Der Goldberg fällt aufgrund der drei markanten Linden in seiner Mitte auch aus größerer Entfernung auf. Der mittelalterliche Burghügel liegt an einer strategisch wichtigen Stelle, an der die Straße aus Richtung Bürgel den Steilhang der Hochfläche nach Hohendorf erklimmt. Außerdem hat man vom Goldberg einen sehr guten Einblick in das Tal von Bürgel und die südlich vorgelagerten Höhen. Bauliche Reste der mittelalterlichen Anlage sind nicht mehr zu finden. Stattdessen war das Zentrum des Hügels von einem Barackenbau überprägt, von dem man heute noch Fundamentreste erkennt. Um 1710 soll am Goldberg Bergbau betrieben worden sein. Man hoffte Kupfer zu finden, war jedoch erfolglos.