Die Wüstung Pottendorf befindet sich im Wald nordwestlich von Ernsee, an der Rubitzer Allee, am oberen Ende des Lessengrabens. Der Weg von Ernsee nach Pottendorf führt am markanten, einzeln stehenden Naturdenkmal "Kalte Eiche" vorbei. Eine ehemalige Quelle mit Teich, der sich durch Bewuchs heute noch abhebt, kennzeichnet im Wald den Platz des mittelalterlichen Ortes. Mit der Wüstung sind mehrere Sagen verbunden.