Die Probstei gehört zu den ältesten Klöstern Thüringens. Die erste urkundliche Erwähnung als Kloster stammt aus dem Jahr 1005/06, allerdings wurde Göllingen bereits 775 als Besitz des Klosters Hersfeld genannt. Die Anlage wurde im Laufe des Mittelalters mehrfach umgebaut. Der Bau einer Konservenfabrik während des Zweiten Weltkrieges zerstörte einen großen Teil des Mittelbaus der ehemaligen Klosterkirche. Ihr Grundriss ist inzwischen aber restauriert und nachvollziehbar aufgemauert worden.