Ant neaukštos kalvos įsikūrusi Senųjų Trakų piliavietė yra paskelbta valstybinės reikšmės kultūros paminklu. Nuo XIV a. rašytiniuose šaltiniuose minima pilis, kaip ir pusiasalio pilis, yra priskiriama aptvarinio (arba gardinio) tipo pilims. Iš visų pusių ją juosė 35–40 m pločio, iki 8 m gylio vandens pripildytas griovys, saugojo iš lauko akmenų pastatyta 10 m aukščio gynybinė siena.
Nuo 1316-ųjų Senieji Trakai 7 metams buvo tapę Lietuvos kunigaikštystės sostine. Po pranašiško kunigaikščio Gedimino sapno apie geležinį vilką iškėlus sostinę į Vilnių, ši vieta liko tuometinės Trakų kunigaikštystės ir Žemaitijos seniūnijos sostine. Pilyje rezidavo Lietuvos submonarchai, užtikrinę Lietuvos vakarinių sienų apsaugą ir gynybą.
Karų su kryžiuočiais metu Senųjų Trakų pilis ne kartą buvo puolama ir griaunama. Lemtingas buvo 1391 m. kryžiuočių antpuolis, kuomet stipriai apgriauta pilis daugiau nebuvo atstatyta. Senųjų Trakų gynybinė reikšmė susilpnėjo.
Apie 1410 m. Vytautas Didysis savo gimtojoje pilyje apgyvendino iš Tyneco (netoli Krokuvos) pakviestus benediktinus. Valdovas pastatė medinę bažnyčią, paskyrė vienuoliams dešimtinę dvaro žemės, du ežerus. Vienuolynas gyvavo iki XIX a. vidurio, kai jį uždarė Rusijos imperijos administracija.
Šiandien senojoje piliavietėje stovi XVIII–XIX a. sankirtoje perstatytas vienuolyno ir neogotikinės bažnyčios ansamblis. Piliakalnio šlaitus puošia antrą šimtmetį skaičiuojančios vienuolyno sodo liepos. Šalia buvusios piliavietės spiečiasi Senųjų Trakų gatvinis kaimas, kuriam suteiktas architektūrinio draustinio statusas.
