Оборонная башня Чарторыйских и фрагмент крепостной стены являются остатками укреплений Окольного замка, который в средние века усиливал Верхний замок с юга и запада. С восточной, южной и западной сторон его ограждала каменная стена с четырьмя башнями. Въезд на территорию осуществлялся при помощи моста, перекинутого через ров, наполняющийся водой (проходил вдоль нынешней ул. Драгоманова). В XVIII-XIX вв. укрепления постепенно разобрали, рвы засыпали. Сохранилась только одна башня, названная в честь князей Чарторыйских, которые владели Луцком в XV-XVI вв. Сейчас башня примыкает стеной к зданию монастыря иезуитов, осмотреть её можно только с внутренних дворов со стороны ул. Драгоманова. Также в систему укреплений Окольного замка входила оборонная синагога (ул. Данилы Галицкого, 33), прозванная "Малым замком". Сооружена в 1622-29 гг. С юго-запада к ней примыкает квадратная пятиярусная башня с бойницами.