Nordöstlich des Stadtzentrums von Rastenberg, durch den Wasserlauf der Lossa von diesem getrennt, befindet sich auf dem Burgberg eine umfangreiche Befestigungsanlage. Sie geht in ihrem Kern auf die im 11. Jahrhundert von dem Landgrafengeschlecht der Ludowinger errichtete Burg zurück. Diese Burg, "Raspenburg" genannt, war im ausgehenden 11. und im frühen 12. Jahrhundert wichtig für den Landesausbau der Thüringer Landgrafen, verlor aber bald an Bedeutung und kam in Verfügung anderer Adelsgeschlechter. Zum "Raubnest" verkommen, soll die Anlage 1321 zumindest teilweise zerstört worden sein. Umfang und Art der Befestigung der "Raspenburg" zeichnen sich noch gut im Gelände ab. Bereits 1804 wurden die Fundamente eines Bergfriedes freigelegt. Wälle, Gräben und Unebenheiten auf dem Gelände des Burgberges lassen eine eindrucksvolle Burganlage vermuten.