La ordenación actual del Paseo de Colombia como parque público fue realizada en 1898 por Ramón Linares, que dirigió las obras y promovió las aportaciones particulares para financiarlas. La situación del paseo, al borde de uno de los extremos de El Adarve, determinó la distribución de sus espacios definidos por dos amplios corredores laterales que permiten la contemplación del paisaje sobre el que se recortan faroles de filigrana de forma semicircular. La zona central, profusamente ajardinada, presenta una sucesión de fuentes de diversas formas y épocas, que dan idea de las remodelaciones realizadas, en la última se levantó una pérgola en homenaje a los prieguenses ilustres, delante de la que se ha colocado una reproducción en bronce del Ganímedes de Álvarez Cubero.

      Desde su construcción recibió el nombre de Paseo del Adarve, hasta que en 1923 con motivo del II centenario del nacimiento de Caballero y Góngora, arzobispo y virrey de Nueva Granada se le cambió el nombre por Paseo de Colombia, aunque a nivel popular también se lo conoce como Paseo de las Rosas. En un espacio céntrico se encuentra un busto dedicado a Caballero y Góngora.

      El paseo es el jardín más complejo de Priego, marcando los límites del mismo enormes plátanos dan sombra y frescor, entre el resto de arboleda destaca bellos ejemplares del castaño de Indias, el tilo, la acacia, el cedro y el arce. Hay ejemplares que embellecen los parterres como la mimosa, piracanta, lilo y evónimo, pero sobresale entre todos el rosal, que da nombre popular a este recinto.