Allskammt utar, vestur frá ytri bug hafnarinnar, hefir verið þriðja fornbýlið. Hefur það, eins og hið innsta, lengi í auðn legið, og er nafn þess gleymt. Má vera að einnig hafi það nafn haft af höfninni, en meiri eru þó líkur til, að það hafi Búð heitið; styðja það mörg örnefni þar umhverfis, enda vafalítið að hér nærri hafi búðir verið, farmanna og kaupmanna, þegar í fornöld. Og þó síðar væru hér nálægt búðir enskra, sem því er enn ekki að fullu gleymd og máske hollenskra, svo ætla mætti að frá þeirri tíð séu nöfn þessi öll, er það síst ólíklegra að forn séu þau, eins og byggð þessi, sem engum efa er háð. Hér hefir byggðarstæði best og fegurst verið við fjörð þennan hafa hús öll verið á melhjalla einum breiðum og bærinn á suðurenda hans, er hæst ber. Hefir tún hér verið all mikið þurrlent og slétt að mestu; en niður frá því, víkin, djúpur ós og suðurströnd eyrarinnar, þar uppsátur hefir verið og síðar hin fyrstu verslunarhús.
Fyrir og um síðustu aldamót tók hjábýlum að fjölga í nálægð kauptúnsins, þá einkum á hjalla þessum þar fegurst var bæjarstæði; var þegar um 1866 byggt þar sem staðið mun hafa hinn forni bær og einnig yst á hjallanum; en síðar á fleiri stöðum eru hér því flest forn byggðar merki eydd og horfin. Upp frá bæjarstæðinu hefir þó nokkur hluti hins forna túns haldist óskemmdur til síðustu ára og enn sér efsta jaðar þess á kafla og þar mikinn og mjög fornan túngarð, sem einn er nú vottur þess að hér hafi bær verið á fyrri öldum, auk hins sjálfkjörna byggðarstæðis. Nokkrar finnast líkur til þess, að hér hafi byggð haldist fram á 15. öld eins og á Minni Höfn; en fyrir 1449 verið sameinað miðbýlinu; var hér og mjög þétt setið, lönd því lítil en engi hér minnst; helst sunnan túns, því allt að túni náðu lönd Hvanneyrar að utan.
Hæð sú, innst á hjallanum, þar staðið hefir bærinn, nefnist enn: Búðarhóll (2) sunnan og austan í melnum er brekka mikil, nú albyggð, en var grösug og fögur, nefnd: Búðarbrekka (3) en suður frá melnum, dældarhvolf mikið: Búðarlaut (4). Þá nefnast bakkarnir að neðan frá ytri merkjunum fornu og inn um lautina: Búðarbakkar (5) eins og Hafnarbakkar þar inn frá. Uppspretta er kemur fram úr þeim Búðarlind (6) en Búðarlækur (7) féll áður þvert yfir hjallann, utan bæjar. Ofan hjallans eru og melhöfðar nokkrir, um rætur hlíðarinnar, er nefnast: Búðarhólar (8). Yst á Hafnarfjalli, upp frá bæ þessum, en lítið utar, er hæðatindur, er nú helst nefnist: Hafnarhyrna; en þó á stundum Hvanneyrarhyrna, hafa þar verið hin fornu merki, en reynt hafa guðsmenn Hvanneyrar að helga sér hana, ásamt landssneið allt niður úr og flytja þangað þetta örnefni, sem kunnugt er norðan Hvanneyrarskálar; hefir þetta víða verið aðferð presta. En líklegast er, að áður hafi hún nefnst: Búðarhyrna (9). Loks var og hjábýli það er reist var 1866 nær yst á frambrún hjallans nefnt: Búðarbrekka (10). Þar litlu vestar yst á melnum og jaðri hins forn túns, er melbunga lítil; er sagt að enskir hafi átt þar bústaði nokkra þá mest var um þá hér á 15. og 16. öld nefndust það: Englendingabúðir (11) eru þar nú hús nokkur sem víðar um þetta svæði, en sjá má þó, að þar eru moldarbingir gamlir. Yst á hávaða þessum (nú suðaustur frá kirkjudyrum) var hjábýli reist 1895 nefnt Vindheimar (12) og 1898 tvö hjábýli sunnar, annað suður og upp frá Enskubúðum, nefnt: Brenna (13) hitt niður á brún melsins, suður frá Búðarbrekku, nefnt: Eyrarland (14). Töldu Hvanneyrar-prestar nú þangað ná land sitt og átti nafn þessa býlis að styðja rétt ! þeirra og sanna það. Allt voru þetta torfbæir litlir, nú horfnir en önnur og fleiri hús komin að síðustu í þeirra stað.
Nær efst í hlíð fjallsins er bekkur grösugur eða grunnt hvolf þvers í brekkunni, nefnist það: Fífladalir (15) og framan við þá Fífladalabrúnir (16) en niður frá þeim Fífladalagil (17) um það fellur Fífladalalækur (18) og sunnan við Búðarhólinn. Skilur og gil þetta syðsta melhöfðan frá hinum Búðarhólunum, neðst í hlíðinni og nefnist hann: Lági-Seti (19) því annar melhöfði er nokkuð ofar, einnig sunnan við gilið, nefndur: Hái-Seti (20). Utar nokkuð í hlíðinni er klettabrík, nefnd: Syðsti Gimbrarklettur (21) því tveir eru aðrir honum líkir, á sömu hæð, litlu utar. Norðan við hinn syðsta klettinn, allt ofan frá Búðarhyrnu, er gildrag það er merkjum hefir ráðið, fram á síðustu aldir og lækur niður frá því er féll fast norðan við ysta Búðarhólinn; og nefnst hefir Merkjalækur (22) sést þar og enn á kafla niður frá þeim farvegi mjög forn merkjagarður, skamt upp frá hinni nýju kirkju; stefnir hann beint upp til gilsins en niður þar um sem kirkjan stendur og austur um eyrina sunnan barnaskólans; en er hulinn af framburði lækjarins ofar og neðar í hallanum. Hefir tún þessa býlis náð út að honum, líklega ofar en nú er kirkjan og allt ofan að læk þeim er suður fellur í víkina, neðan hallans og melsins og nefnist Álalækur (23) er hann samsafn margra smálækja úr hlíðinni allt út að Hvanneyrará, sem líka hefir þangað fallið í fornri tíð, og í ós þennan þá flotið allstór skip, eins og róðrarskip enn gerðu á síðustu öld; við hann hefir því verið aðaluppsátur skipa hér um margar aldir. Austur frá læknum er hin fornkunna: Þormóðseyri (24) - nú fjölbyggð orðin - nefnd eftir Þormóði ramma er hér nam fyrst lönd og hér hefir líklega fyrst á land gengið. Hér var og reist hin fyrsta byggð danskra kaupmanna á eyrinni, austan við ósinn 1793 þá föst verslun skyldi hér hafin og nefndist þá Siglufjarðarkaupstaður (25) var hér fyrst búfastur það ár J. P. Hummert kaupm. við 4. mann en síðan ýmsir og óstöðugir. Hófst þá sama ár hin gráðuga sókn Hvanneyrarpresta, að ná og helga ! sér suðurhlut eyrarinnar og færa hina fornu merkjalínu, fyrst inn fyrir hina nýju byggð, síðar lengra, er hún óx og færðist suður fyrir eyrina alla 1816 ásamt mannvirkjum er þá voru að koma suður af henni.
Laust eftir 1800 voru hér og reist líklega þrjú hjábýli og voru tvö þeirra að nafni kunn: Ísaksbær (26) byggður um 1801 af Jóhanni Ísack Grundtvig dönskum bókhaldara er 1810 hrapaði í Saurbæjarskál og Jensbær (27) byggður um 1804 af Jens Ólsen Viborg sænskum beyki er síðar var í Kúvíkum í Reykjarfirði. Var hér þá nokkuð manna um hríð, en svo fljótt hnignaði byggð þessari, að í auðn var hún að fullu 1813 og er enginn þá talinn búfastur í kaupstaðnum. Þar var og lengi síðan örfátt manna og hjábýlin aldrei framar byggð. Hafa þau verið á suðurhlut eyrarinnar, nálægt kaupstaðnum; en eru nú gleymd. Loks voru hér nokkur hjábýli reist á eyrinni, síðast á öldinni og þá á suðurhlut hennar þrjú er nafngreind voru, auk húsa verslunarfólks; voru það Sæbýsbær (28) byggður um 1886 af Andresi Kristjáni Sæby, dönskum beyki, skammt norður frá kaupstaðnum og varir sú byggð enn. Býlið Naust (29) byggt um 1887 austast á eyrinni, þar einnig voru þá sjóbúðir nokkrar. Og býlið Tjarnir (30) byggt um 1898 nokkuð norðar og vestar; en bæði eru þau alllöngu horfin.