Расположившееся на невысоком холме городище в Старом Тракай является памятником культуры государственного значения. В письменных источниках с XIV в. упоминается замок, который, как и замок на полуострове, принадлежал к замкам оградного типа. Со всех сторон его окружал наполненный водой ров шириной 35‒40 м и глубиной до 8 м, защищала оборонительная стена высотой 10 м, сложенная из полевых камней.
С 1316 г. Старый Тракай на 7 лет стал столицей княжества Литовского. После вещего сна о железном волке князь Гедиминас перенес столицу в Вильнюс (Вильну), а это место осталось столицей тогдашнего Трокского княжества и Жемайтского староства (сянюнии). Замок был резиденцией субмонархов, которые обеспечивали охрану и оборону западных границ Литвы.
В годы войн с крестоносцами на замок Старого Тракай неоднократно совершались нападения, он подвергался разрушениям. Роковым стала атака крестоносцев в 1391 г., после которой сильно поврежденный замок так и не был восстановлен. Оборонительное значение Старого Тракай уменьшилось.
Около 1410 г. Витаутас Великий поселил в своем родовом замке бенедиктинцев, приглашенных из Тынца (близ Кракова). Правитель построил деревянный костел, даровал монахам десятину поместной земли и два озера. Монастырь просуществовал до серединыXIX в., когда его закрыли власти Российской империи.
Сегодня на старом городище стоит ансамбль из монастыря и неоготического костела, построенных на рубежеXVIII–XIX вв. Склоны городища украшают липы монастырского сада, насчитывающие второе столетие. Рядом с бывшим городищем находится деревня уличного типа Старый Тракай, которой присвоен статус архитектурного заказника.