Das im 16. Jahrhundert für die Herrschaft Untergreiz errichtete Untere Schloss lehnt sich in der Stadt unmittelbar an die Stadtkirche an, die gewissermaßen den Schlosshof nach Osten abschließt. Es geht möglicherweise auf eine mittelalterliche Burganlage zurück, von der sich aber keine deutlichen Spuren erhalten haben. Heute beherbergt es das Heimatmuseum.