El general Guzmán Blanco le añadió una pequeña capilla de estilo gótico francés. Posteriormente, el presidente Joaquín Crespo completó el conjunto en 1885: ordenó la construcción de otra capilla, la cual fue dedicada a la Virgen de Lourdes, se construyó las Graderías de Colón, conocidas hoy en día como Las Escalinatas del Calvario, y el Arco de la Federación para conmemorar la Guerra de Federación, por el cual también se puede ingresar hacia el parque, donde se puede Observar el Palacio de Miraflores, las Torres del Silencio, el 23 de Enero, el Observatorio Cajigal y el Museo Histórico Militar. Durante muchos años este parque estuvo abandonado, por lo que la capilla está muy deteriorada; sin embargo, hay vigilancia y vale la pena recorrerlo e imaginar las peregrinaciones y los paseos de inicios del siglo XX.
