Der Legende nach wurde das Schloss St. Georgen auf einer Mauer erbaut, die von Riesen aufgestellt wurde.
1555 wurde die Herrschaft St. Georgen an die Freiherrn von Glojach verkauft, welche das Schloss im Stile der Renaissance neu gestalteten. Als, der Erzählung nach, Kaiser Leopold 1661 im Schloss St. Georgen nächtigte, soll er bei einer Jagd 100 Hirsche erlegt haben. Zur Erinnerung an dieses Ereignis wurde das Jagdzimmer mit Fresken geschmückt, die den Kaiser auf dieser Jagd zeigen.
Im Jahre 1754 ging die Herrschaft St. Georgen an den Freiherrn Joseph zu Egkh Hungersbach, welcher den Nordflügel des Schlosses im Barockstil umbauen ließ.
Nach etlichen Besitzwechseln erwarb schließlich Familie Reinisch das Schloss und konnte durch Renovierungsarbeiten den Verfall des Schlosses verhindern.