Già nel primo documento che ne attesta l’esistenza, Pofi appare come Castellum. Dobbiamo precisare che con il termine Castellum i documenti medievali indicano due realtà distinte: il castello in senso moderno, cioè una fortezza presidiata dai soldati e abitata solo dal castellano e dalla sua famiglia, ma anche il villaggio fortificato, cioè un centro abitato circondato da mura e fossato; esso, oltre alla residenza del signore comprendeva di solito anche una chiesa castellana.
Il Castello di Pofi doveva rispecchiare proprio queste ultime caratteristiche e probabilmente includeva fin dall’inizio la Chiesa castellana di S. Maria (ovviamente con aspetto ben diverso da quello odierno), che nei documenti viene menzionata già a partire dal 1108; sicuramente si può affermare che il Castello feudale racchiudesse la massiccia torre di vedetta in pietra basaltica alta 25 m e una cinta muraria, di cui si conservano ancora oggi le due porte e i bastioni di fortificazione. Esso fu costruito con il consenso del Vescovo di Veroli, ma nulla si sa né dell’ordinamento interno né dell’assetto sociale e religioso.
Il fenomeno dell’incastellamento si manifestò contemporaneamente in tutto il territorio di Campagna, regione corrispondente in gran parte all’attuale provincia di Frosinone, come nella Terra di S. Benedetto, che aveva come centro l’attuale Cassino. I Castelli venivano costruiti per volontà dei Signori che chiamavano i lavoratori ad insediarvisi, assicurando lavoro e tranquillità di vita. Nel castello di Pofi si era stabilito un nucleo di popolazione libera che attendeva ai lavori di dissodamento e coltivazione delle terre circostanti e che in caso di pericolo si rifugiava entro la cinta fortificata. Verso la fine del XIII sec. nel Castello di Pofi si era consolidata un’aristocrazia di proprietari terrieri; qualche decennio dopo, Pofi diventa dominio dei Caetani.
