Habla la tradición de un Calvario viejo situado cerca de la Tiñosa y del que apenas se tienen referencias documentales. Su existencia debió de ser anterior a 1593, pues este año ya había en la meseta que ocupa el actual un humilladero que servía a los mismos fines: era un lugar de devoción con cruz o imagen para que los peregrinos orasen antes de entrar a la población o al salir de ella. También se destinaba para rogativas y prácticas piadosas. Hasta éste llegaba la procesión que los nazarenos efectuaban el Viernes Santo, según se refleja en sus estatutos fundacionales. Se sabe que existían dos cruces primitivas y que en el siglo XVIII se colocaron otras que están bien documentadas.

      En 1707 se terminó de construir la ermita del Calvario con las limosnas de los fieles y la contribución de la Orden Tercera franciscana, que ya en el siglo XVII hacía la Vía Sacra por la calle de las Cruces (el Caminillo), encargándose de reparar aquellas que se encontraban derruidas o en mal estado. En 1708, el Municipio hizo donación de las tierras que circundaban la ermita.

      En 1938, la Hermandad hizo las gestiones necesarias para hacer las obras que necesitaba la ermita, realizando una reforma de la que se conserva el interior tal como lo vemos hoy, aunque el resto de la ermita ha sufrido muchas modificaciones posteriores. Las obras de mejora se siguieron haciendo en el 42, en el 45... A principios de los 60, la ermita presentaba un estado bastante ruinoso, la Hermandad, desde entonces hasta ahora, ha ido efectuando obras de conservación y ampliación.

      En la ermita se venera la imagen de Nuestra Señora de los Dolores se cree que es la que en 1635 fue donada por Marina de Pareja a la ermita del Santo Cristo del Humilladero. Fue trasladada a la ermita del Calvario en el siglo XVIII cuando se terminó ésta.

      Nada se sabe de su autoría, aunque se trata de una imagen de candelero del siglo XVII, que pertenece a la colección de imágenes de vestir que plasman los siete dolores de la Virgen, representados por el corazón llameante atravesado por siete puñales que luce en el centro del pecho. Hasta hace poco, mostraba en sus manos símbolos de la pasión, que se le quitaron en la última restauración realizada en 1978.