Родовий замок князів Радзивіллів був побудований Миколою Радзивіллом "Чорним". Це був один з перших в Україні квадратних бастіонних замків. Його площа складала 2,7 га, в палаці налічувалося 365 кімнат, як і днів у році. Протягом 1591-1648 рр.. Оликскій замок витримав безліч облог, проте був захоплений тільки один раз - шведами в 1702 р. До кінця XVIII ст. він втратив оборонне значення, але до середини XX ст. залишався резиденцією Радзивіллів. У 1737-1755 рр.. Михайло Казимир "Рибка" Радзивілл провів реконструкцію. На території з'явився триповерховий палац, північно-західні ворота прикрасила двоярусна вежа з годинником. Останнім господарем замку був Януш Радзивілл, заарештований в 1939 р. і провів кілька років у сталінських таборах. У радянські часи на території замку розмістили обласну психіатричну лікарню № 2, яка займає приміщення і зараз. Вхід у двір вільний.