El seu caràcter de representant de l'opressió (la de l'ocupació militar a la qual fou sotmesa Catalunya i la seva capital, havent suprimit la seva antiga llibertat, i la de l'absolutisme de l'Antic Règim sobre els sectors liberals) la convertí en símbol odiat. Per això, la Junta de Vigilància de Barcelona n'inicià l'enderrocament l'any 1841, tot i que, quan va ser suprimida el mateix any, Espartero la féu restaurar. Amb la Revolució de Setembre de 1868, el nou responsable del govern espanyol fou el general català Joan Prim que, coneixedor dels anhels dels barcelonins, decretà la cessió de la fortalesa a la ciutat i aquesta n'ordenà immediatament l'enderroc, que es va allargar fins 1878 (prop de l'entrada de l'actual Parc que dóna a l'Estació de França es col·locà un monument al general Prim).

De la fortalesa restaren només els principals edificis interns (a excepció de l'odiada torre de la presó): la capella, el palau del governador (actualment, un institut d'ensenyament secundari) i l'arsenal, que el 1888 fou convertit en Palau Reial i el 1931 i, novament, el 1979 (de forma doblement simbòlica), en seu del Parlament de Catalunya.