Der Große Hörselberg beherbergt an seiner Westflanke zwei bekannte Höhlen im Unteren Muschelkalk, die Venus- und die Tannhäuserhöhle. Die Venushöhle, bis etwa 1900 als "Hörselloch" bekannt, ist von einem gut begehbaren Wanderweg vom Hörselberghaus aus zu erreichen. Der Zugang ist im Winter versperrt (Fledermaus-Winterquartier). Die Tannhäuserhöhle ist verschlossen. Sie wurde erst Anfang des 20. Jahrhunderts entdeckt und beherbergte eiszeitliche Knochenfunde. In den 1970er- und 1980er-Jahren wurden beide Höhlen neu vermessen.