Die Herren von Stein wurden bereits im frühen 12. Jahrhundert bezeugt. Ihre mittelalterliche Burg befindet sich westlich des heutigen Schlossgebäudes in leicht erhöhter Lage. Der Kernburg war eine Vorburg vorgelagert, in deren Bereich das jetzige Schloss erbaut wurde.