Das Steinkreuz besaß ursprünglich wohl eine lateinische Kreuzform. Zu dem Schwertstein gibt es verschiedene Überlieferungen. L. Bechstein schrieb dazu: "Es waren hier herum zwei Jägerburschen, die waren beide verliebt in ein schönes Mägdlein, und darum haßten beide einander auf den Tod, kamen auch an jener Stelle zusammen, mit einander auf Tod und Leben zu kämpfen, und des Siegers sollte die geliebte Jungfrau werden. Sie trafen sich aber also hart mit ihren Mordgewehren, daß beide fielen und todt blieben, darum ist zum Gedächtniß der Stein errichtet worden. Später traf sich’s, daß der lange Hans zu Benshausen sein Haus bauen ließ, und ließ von jenem Platz Steine hineinführen, und da führte Jacob Schneider den Schwertstein, (...), auch mit nach Benshausen und die Maurer verwendeten den Stein zum Bau. Aber von da an entstand eine schreckliche Unruhe in dem Hause, Rumor und Gepolter, und Niemand wußte, was das zu bedeuten habe, bis der Verdacht auf den Stein fiel, und man ihn entfernte. Da hat Jacob Schneider wieder hinfahren müssen, wo er ihn genommen hatte." Eine weitere Erzählung berichtet, er sei zur Erinnerung an ein Duell zwischen zwei schwedischen Offizieren während des Dreißigjährigen Krieges errichtet worden. Weiterhin wird ein Duell zwischen einem Grafen von Stolberg und einem Grafen von Henneberg wegen eines erlegten Hirsches bemüht.