Con la bolla di Papa Clemente VII del 1523, il Castello di Pofi passò dal dominio dei Caetani a quello della non meno potente famiglia Colonna, del ramo di Paliano. Nel corso di sessant’anni nel Castello di Pofi si verificò la successione dei seguenti baroni: Caetani d’Aragona, Colonna, Borgia, Colonna, Farnese, Colonna, Carafa e di nuovo i Colonna. Per tutto il XVI sec., le notizie riguardanti il Castello di Pofi sono molto scarse.
Nel XVII sec. il dominio colonnese esistente nello Stato della Chiesa, che comprendeva 27 feudi, fu riordinato e diviso in due stati: lo Stato di Pofi e lo Stato di Genazzano. Lo Stato di Pofi risultò costituito dalle terre di Pofi, Sonnino, Ceccano, Patrica, Arnara, Falvaterra, Vallecorsa, Castro, Ripi, Santo Stefano, San Lorenzo, Giuliano, Morolo, Sgurgola e Supino. In quanto capo di uno degli Stati colonnesi, Pofi era sede dell’Uditorato generale(o Tribunale Generale dell’Udienza), presieduto dall’Uditore, che rappresentava l’autorità più alta dopo il Barone ed esercitava funzioni giurisdizionali e in parte amministrative sui 15 castelli delllo Stato di Pofi. A capo dei singoli feudi vi era inizialmente un Capitano, poi denominato Governatore, assistito da una Curia baronale, con cancelliere, mandatario, ecc.
La prima metà del XVIII sec. (1707-1746) fu caratterizzata da continue incursioni di eserciti stranieri nello Stato della Chiesa, come le truppe alemanne durante la guerra di successione spagnola (1707-1709). I passaggi spesso si trasformarono in lunghe soste di soldati, con inevitabili soprusi. Nel 1734 l’Uditorato generale dello Stato di Pofi fu stabilito a Ceccano, insieme all’archivio, alle carceri, al barigello (preposto alla direzione delle carceri) e ai birri; i cittadini di Pofi non si rassegnarono mai a tale perdita che significava una perdita di prestigio, e in seguito fecero tentativi, senza risultato, per riappropriarsene. A Pofi rimase solo il Tribunale ordinario, con a capo il Governatore; tuttavia Pofi restò capo dello Stato. Gli uffici dello stato di Pofi rimasero a Ceccano fino al 1816, quando Filippo III Colonna rinunciò alla giurisdizione baronale di tutte terre che passarono sotto il controllo diretto dello Stato Pontificio. Alla fine del XVIII sec. i principi affermati dalla Rivoluzione Francese fecero sentire la propria influenza anche sullo Stato della Chiesa. I Colonna, da avveduti politici, avvertirono le aspirazioni e i sentimenti dei nuovi tempi: nel 1796 operarono una riforma della propria Baronia e riorganizzarono gli Stati di Pofi e Genazzano. Tuttavia le riforma non valsero a impedire che di lì a poco anche Pofi fosse occupata dai francesi, prima dai giacobini e poi da Napoleone.
