Zoals vermeld bij Vrijhof 5 kocht in het jaar 1723 de kerkenraad van Ferwerd een andere pastorie. Deze nieuwe pastorie wordt in de kerkelijke administratie de “van Aysma huizinge genoemd”. De naam geeft aan dat in de zeventiende eeuw het huis wat hier gestaan heeft aan de Hogeburen waarschijnlijk gebouwd is door de adellijke familie van Aysma. Het was Focko Van Aysma die secretaris was van de Grietenij Ferwerderadeel in de zeventiende eeuw. Hij was gehuwd met Ymck van Jeltinga van Harsta state in Hegebeintum. Van Aysma overleed in het jaar 1651 en zijn vrouw twee jaar later. Hun grafsteen zou in de Franse tijd in veiligheid gebracht zijn op Harsta State, maar is sinds enkele jaren weer terug in Ferwert en is tegen de muur in de torenruimte geplaatst. Onder de vloer in de kerk ligt nog een grafsteen uit 1664 van Margareta van Aysma.
Vanaf 1723 hebben vele predikanten, waarvan sommigen klinkende namen hadden, hier gewoond. Ferwerd zal een aangename gemeente geweest zijn gezien de vele jaren dat predikanten hier stonden. Ds Johannes de Schiffart die intrede deed in 1723 zal de eerste geweest zijn die in de nieuwgekochte pastorie woonde. Hij bleef tot zijn overlijden in het jaar 1774.
Om nog enkele predikanten te noemen: Hij werd opgevolgd door Ds Heerco Douma die in Ferwerd predikant was van1775 tot 1811. Dan komt Ds Petrus van Assen predikant alhier van 1812 tot 1837. Vervolgens Ds Eggo Ulphard Thoden van Velzen die in 1838 als kandi- daat bevestigd werd en hier overleed in 1873. Zijn vrouw heette Wendelina Wilhelmina Bergmann en kwam van Weener in Duitsland. Hun grafstenen zijn nog op het kerkhof aanwezig. Ds Eggo Ulphard Thoden van Velzen zelf stamde uit een Oostfries predikantengeslacht.
In het jaar 1891 is de pastorie opnieuw opgebouwd. Een jaar eerder is er een aanbesteding geweest voor: “het bijna geheel afbreken en weder opbouwen der pastorie en consistoriekamer van de Ned. Hervormde gemeente te Ferwerd”. Het bijna afbreken is juist geformuleerd, want de oostelijke muur van het Lytse Lokaal bestaat uit gele steentjes en heeft grote muurankers die stammen uit de zeventiende eeuw. Deze muur is dus blijven staan.
Ds Georg Frederik August Carsten die van 1949 tot 1954 in Ferwerd stond zal de laatste predikant geweest zijn die weer in dit huis gewoond heeft. In die vijftiger jaren van de twintigste eeuw, om het jaar exact aan te geven in 1953, is weer een deel van deze in 1891 gebouwde pastorie afgebroken en is er een nieuwe predikanten woning gebouwd. De consistoriekamer is blijven staan en is “It lytse lokaal “geworden waar toeristen nu kunnen overnachten.
De pastorie wordt nu nog steeds bewoond door de huidige dominee.