El edificio es conocido, sin embargo, por haber sido la residencia del dictador español Francisco Franco desde 1939 hasta 1975, año en que falleció. De hecho, se conservan objetos que le pertenecieron como su escritorio, las camas o su antigua televisión, la primera que llegó al país, procedente de Italia.
El palacio se encuentra ubicado en el Real Sitio de El Pardo, un lugar en el que se mezclan flora y fauna repartidas en 16 mil hectáreas de bosque, y que fue usado como recinto de caza de la corte durante los últimos cinco siglos. Cuando no se hospeda la familia real o jefes de Estado extranjeros, se organizan visitas guiadas a los turistas.
Uno de los grandes atractivos del edificio es la decoración interior, en la que convergen las diferentes épocas históricas en las que se remodeló o amplió el palacio. Algunas de las obras más significativas son las composiciones de artistas como Bayeu o Goya. También se expone mobiliario de los siglos XVIII y XIX y obras de arte como el Retrato de Isabel la Católica de Juan de Flandes y el Retrato de Don Juan José de Austria a caballo por Ribera.