Met de bouw van de citadel werd gestart in 1536. Het werd gebouwd in een driehoekige vorm op de top van de heuvel voor een garnizoen van 200 soldaten en 4 kanonniers. De naam werd gegeven ter ere van Philip IV van Spanje. Na de val van Cartagena in 1697 viel het kasteel in handen van de Franse kapitein Baron de Pointis. Het kasteel werd gerepareerd door José de Herrera y Sotomayor in 1739. De Britse admiraal Edward Vernon viel het fort aan in de Slag bij Cartagena de Indias in 1741, een belangrijk conflict in de oorlog om Jenkins maar de troepen van Vernon werden afgestoten door de Spaanse admiraal Blas de Lezo.
Het kasteel is goed bewaard gebleven. Toen het niet meer voor militaire doeleinden werd gebruikt, bedekte tropische vegetatie de kantelen en muren en verzamelde zich aarde in de tunnels en loopgraven. In 1984 benoemde UNESCO de citadel en het historische centrum van de stad Cartagena tot werelderfgoed. Sinds 1990 heeft het kasteel gediend als locatie voor sociale en culturele evenementen, georganiseerd door de Colombiaanse regering ter ere van buitenlandse delegaties op presidentiële toppen en ministeriële bijeenkomsten.