Door zijn ligging en zijn immense terrasmuren wordt Sacsayhuaman vaak aangeduid als een fort. Een groot deel van de gevechten in de Heilige Vallei vonden plaats in en rond Sacsayhuaman omdat de site van cruciaal belang was voor het behoud van de controle over de stad Cusco. Uit beschrijvingen en opgravingen op de site blijkt dat er torens en een reeks andere gebouwen op de top stonden. Na de val van Cusco begonnen de Spanjaarden Sacsayhuaman te gebruiken als een bron van stenen voor de bouw van het Spaanse Cusco en binnen een paar jaar werd een groot deel van het complex gesloopt. De site werd verwoest om de nieuwe bestuurlijke en religieuze gebouwen van de stad en de huizen van de rijkste Spanjaarden te bouwen.
Because of its location high above Cusco and its immense terrace walls, this area of Sacsayhuaman is frequently referred to as a fortress. Much of the fighting occurred in and around Saksaywaman as it was critical for maintaining control over the city of Cusco. It is clear from descriptions, as well as from excavations at the site, that there were towers on its summit as well as a series of other buildings. Following the fall of Cusco, the Spaniards began to use Sacsayhuaman as a source of stones for building Spanish Cusco and within a few years much of the complex was demolished. The site was destroyed block-by-block to build the new governmental and religious buildings of the city, as well as the houses of the wealthiest Spaniards.