La famiglia dei Caetani, come si evince anche dal nome, era originaria di Gaeta ed era distinta in vari rami: Caetani di Napoli, di Pisa, di Roma e Anagni, ecc.; la storia di Pofi rientra nella sfera di influenza dei Caetani di Roma e Anagni. I Caetani compaiono a partire dalla seconda metà del XII° secolo come famiglia nobile, ricca e potente. Il cardinale Benedetto Caetani, ancora prima di essere nominato Papa con il nome di Bonifacio VIII, acquistò beni rustici e urbani presso Frosinone, tra cui anche beni del Castello di Pofi.
Durante il suo pontificato, Bonifacio acquistò altri territori con i quali riuscì a creare un vasto territorio in Campagna e Marittima, lo Status Caietanorum, secondo il progetto del pontefice, esso avrebbe dovuto costituire un baluardo ai confini con il regno di Sicilia, per la difesa degli interessi della Chiesa. La realizzazione di questo disegno inseriva i Caetani tra i feudatari del Lazio Meridionale, insieme ai D’Aquino e Da Ceccano. La creazione del dominio dei Caetani impedì ai Colonna, famiglia rivale per la supremazia di Roma, di estendere la propria influenza verso il mezzogiorno.
Il Castello di Pofi venne a far parte di questo dominio tramite acquisizioni effettuate nell’arco di un ventennio; tali acquisti furono ratificati dallo stesso Bonifacio con una Bolla del 1303 e segnarono l’inizio di una signoria che si protrasse quasi alle soglie del XVI° secolo.
Le inimicizie dei Caetani con i Colonna, nonchè i contrasti del Papa con Filippo il Bello sfociarono nell’affronto subito da Bonifacio VIII nel cosiddetto schiaffo di Anagni. L’episodio ebbe ripercussioni anche sul Castello di Pofi: Sciarra Colonna, sfruttando abilmente la situazione, nel 1304 occupò il Castello di Pofi, dopo averne cacciato i Caetani; tale occupazione durò per breve tempo, dopodiché il Castello fu restituito ai Caetani, i quali, come abbiamo ricordato, conservarono il potere fino al XVI° secolo, sebbene con alcune soluzioni di continuità.
