In Tiefenort befinden sich auf dem Krayenberg zwei Burganlagen, auf dem Gipfelplateau die Krayenburg und am nordöstlichen Hang eine in vorgeschichtlicher Zeit genutzte, trapezförmige Wallanlage, die von Wall und Graben geschützt war. Die Burg wurde 1155 erstmals im Besitz des Klosters Hersfeld erwähnt. Die zur Verwaltung eingesetzten Vögte waren verwandt mit den Herren von Frankenstein. 1407 verpfändete das Kloster die Befestigung an den Landgrafen von Thüringen. 1567 fiel sie an Kursachsen. Nach dem Dreißigjährigen Krieg setzt der Verfall ein. Das Gaststättengebäude wurde 1927 erbaut und lädt zum Verweilen ein.