La première usine a été construite vers le IXe siècle à la demande de Docibile I, duc de Gaète et se composait d'une seule tour polygonale et d'un mur avec des tours. Au milieu du Xe siècle, la structure d'origine, un avant-poste important vers l'arrière-pays du duché de Gaète, a été agrandie à la demande de Marino I ° (petit-fils de Docibile I °) avec la construction d'une deuxième tour carrée qui dépassait l'existant polygonal. Vers le milieu du XIIIe siècle, le fief d'Itri passa aux mains des Caetani. Le château a été agrandi avec la construction d'un quartier résidentiel de deux étages créé en reliant la tour polygonale à la tour carrée, une troisième tour, un chemin de patrouille et un terrain de parade. La troisième et dernière tour, de forme cylindrique et reliée par le chemin de ronde au corps d'habitation et est connue sous le nom de "tour aux crocodiles", car selon une légende non confirmée par des documents, le bas de cette tour était rempli d'eau un alligator féroce, auquel les prisonniers condamnés à mort étaient jetés à manger. La région du comté, comme beaucoup d'autres le long de la côte du Latium, a été le théâtre de raids de pirates arabes; précisément pour échapper à un probable enlèvement par le pirate maghrébin Kedir El Din (Le Barberousse) Giulia Gonzaga a trouvé refuge dans la forteresse d'Itri. Comtesse féodale de Fondi et veuve de Vespasien, Giulia Gonzaga en plus d'être une femme fascinante était l'une des femmes les plus illustres de la Renaissance, célèbre pour les artistes et écrivains qui faisaient partie de sa cour.

Aux XVIIe et XVIIIe siècles, les territoires du comté de Fondi sont devenus une partie du royaume des Bourbons et en raison de sa position, Itri s'est retrouvé dans la zone frontalière avec l'État pontifical, tristement célèbre avec le surnom de "no man's land" affligé par le phénomène du brigandage. La forteresse d'Itri à ces siècles perdait de son importance défensive et fut progressivement abandonnée ; le brigand Marco Sciarra qui était depuis quelque temps à la tête d'un grand nombre de brigands éparpillés sur toute la frontière, en profita pour en prendre possession. Le château devint ainsi son quartier général d'où il put dominer une grande partie de la Via Appia fréquemment parcourue par les malheureux voyageurs extorqués par Sciarra et ses brigands. Selon une légende, la figure de Michele Pezza, célèbre brigand né à Itri en 1771 et connu sous le nom de Fra 'Diavolo, aurait également à voir avec la forteresse d'Itri ; on raconte que contre les troupes françaises du général Jean Etienne Championnet, il utilisa quelques souterrains du château pour s'échapper de la ville et se moquer à plusieurs reprises à la fois du général et de l'armée française.

Plus récemment, lors de la dernière guerre mondiale, la forteresse d'Itri s'est retrouvée au centre d'une zone stratégique où se sont déroulés de violents combats : la ligne Gustav. Endommagé avec la ville par de lourds bombardements américains, le château a signalé d'importants dommages aux toits du bâtiment résidentiel, une partie de la tour polygonale a été éventrée et une grande partie des murs crénelés qui couvraient les différentes structures ont été perdus.

Après des années de négligence, la structure a été achetée en 1979 par la province de Latina pour être ensuite donnée à la municipalité d'Itri et restaurée. L'inauguration de la première partie restaurée a eu lieu en 2003, mais ce n'est qu'en 2007 que l'ensemble de la structure a été inauguré. Le Château d'Itri se visite désormais moyennant un supplément et accueille des expositions, des marchés d'artisanat local, des conférences et diverses cérémonies.

Vous entrez dans le château en passant par la place d'armes, entourée d'un mur et de petites tours. En montant un escalier, vous arrivez à une réception où vous payez le billet (5 euros) et un gentil guide commence à vous expliquer l'histoire du château. La visite part des pièces de gauche (correspondant au premier étage du quartier résidentiel) trois grandes et austères salles ; du second, on peut descendre à l'étage inférieur, composé d'autant de pièces vraisemblablement autrefois destinées à un usage domestique, que sont supposés être les restes d'un four et d'une cuve servant à stocker les aliments ; de plus, il est possible d'observer l'ancienne citerne où l'eau de pluie était collectée. Au deuxième étage, vous pouvez voir les restes d'une cheminée et ceux d'une fresque représentant Sant'Antonio abate et une Vierge à l'Enfant à l'endroit où se trouvait la chapelle privée des Caetani. En montant le dernier escalier, il est possible de sortir et d'accéder à la grande terrasse panoramique, d'où l'on domine la route de la Via Appia près de la ville et la vue s'étend des montagnes Aurunci vers le nord jusqu'à ce que vous aperceviez Gaeta et la mer vers le sud admiré le panorama fascinant, marchez le long de la passerelle caractéristique qui relie le bâtiment résidentiel pour aller vers la légendaire tour circulaire; via un large escalier en colimaçon est