Obec se původně jmenovala Frejštejn a název byl odvozen od hradu, který vznikl jako stavba zeměpanská. V historických pramenech se objevuje jen ojediněle v několika listinách ze 14. století. Jeho vznik a původ lze odvodit ze zachovalých architektonických zlomků, zejména zbytků kružby kaple, která pochází z let 1260 – 1270.

V roce 1250 se připomíná jistý Gaitmar z Frejštejna a jeho bratr Hartleb, kteří zde měli být purkrabími. Roku 1348 byly vesnice frejštejnského panství a pravděpodobně i hrad Frejštejn dány v léno rakouskému šlechtici Jindřichu z Walsse. Roku 1354 byl už zase majetkem zeměpanským, protože tohoto roku vystupuje jako signatář na listině Hecht z Rosic, což byl nejvyšší purkrabí hradů Vranova a Frejštejna. Zeměpanským majetkem zůstal až do husitských válek.

Záhy po vypuknutí bojů střídalo panství Frejštenské majitele z rodu Krajířů z Krajku. Po válkách husitských se stal hrad loupežnickým hnízdem. Jan Krajíř z Krajku byl vyhlášen za nepřítele zemského, hrad byl pobořen a majetek byl Krajířům zkonfiskován. Hrad už nebyl obnoven a připomíná se jako hrad pustý.

Po Krajířovi z Krajku se stalo panství majetkem Wolfa Strejna ze Švorcenavy a stal se příslušenstvím uherčickým, sdílel s ním i stejné osudy. Podle historických pramenů se v roce 1563 uvádí Frejštejn jako městečko. 8. června 1571 mu byla přidělena pečeť a znak

Obec Podhradí nad Dyjí se rozkládá v Dyjském údolí, které je velmi malebné. Po levém břehu se pnou mohutná skaliska, po pravém horské stráně, které se mírně svažují.

Dominantou je zřícenina hradu Frejštejna. Obec se nachází 10 km od stálého přechodu státní hranice s Rakouskem ve Vratěníně a 5 km od sezónního přechodu s Rakouskem v Šafově. Vzdálenost do Znojma je 38 km.

Obec je hojně využívaná pro individuální rekreaci s možností koupání a rybaření v řece Dyji. Je na trase mezinárodní cesty pro cykloturistiku. V přilehlých lesních porostech se lze věnovat houbaření. Z obce lze po turistických značkách provozovat pěší turistiku.