Seit Langem werden im Bereich von Schloss Osterstein bronzezeitliche, slawische und hoch- bis spätmittelalterliche sowie neuzeitliche Keramikscherben geborgen. Sie verweisen darauf, dass sich hier eine spätbronzezeitliche Wallanlage befand, der nach größerer Unterbrechung eine slawische Burg folgte, die kontinuierlich in eine Burg des hoch- und spätmittelalterlichen Landesausbaus unter deutscher Herrschaft überführt wurde. Von der mittelalterlichen Anlage steht nur noch der Bergfried. Die Schlossanlage ist 1945 einem Bombenangriff zum Opfer gefallen. Ausgrabungen des letzten Jahrzehnts erbrachten im sogenannten Lustgärtchen (barocke Gartenanlage) und im Nordhof des Schlosses Spuren von Burganlagen ab dem 10. Jahrhundert. Es zeigte sich, dass beim Bau der Anlage schon zu Ende des 12. bzw. zu Beginn des 13. Jahrhunderts Backsteine verwendet wurden.