У перший раз згадується в літописі 1226 у зв'язку з перемогою русичів. У 1536 польський король Сигізмунд I подарував Кременець своїй дружині Боні Сфорці.Она запросила архітекторів зі своєї батьківщини і значно зміцнила замок. Вдруге надбудували надбрамну (шляхетська) вежу, перекривши склепінням верхній ярус і зробивши наметову дах. Ймовірно, внаслідок цих робіт вона отримала назву Великий вежі. Тоді ж підвищені інші вежі і забезпечені бойові галереї на стінах. На фундаменті вежі з боку міста зведено будинок з підвалами, світлицею, сіньми і коморою, а також оборонним верхнім ярусом. Ця остання споруда отримала назв Вежі над новим будинком. Розміри замку в цей час були 70,6 х157 м. У 1648 році під час Визвольної війни один з козацьких загонів Максима Кривоноса з допомогою кременецьких міщан захопив замок, спаливши дерев'яні споруди і зруйнувавши частину укріплень. З цього часу замок не відновлювався. Документи XVII - XVIII століть підтверджують поступовий занепад і руйнування замку. З кінця XVIII століття він повністю втрачає оборонну функцію, а в XIX столітті руйнується кілька ділянок оборонних стін. До нашого часу від побудованої з білого каменю-вапняку замку, збереглися квадратна в плані (10 х 10 м) надбрамна двоярусна вежа з арочним готичним проїздом і частина оборонних стін (товщина 2,3 м, висота 8-12 м), завершених зубцями- мерлонами і вузькими щілистими бійницями.