Палац розташований на вул. Ланжеронівської, 2 неподалік від Одеського Оперного театру на мальовничому крутому обриві над морем. Будівля була зведена в 40-х роках XIX століття архітектором Л. Оттоном, який створив такі визначні пам'ятки Одеси як палац Абази, будинок графа М.Д. Толстого та інші. Палац був побудований для князя Д.І. Гагаріна - одного з перших громадян міста, представника вищих кіл російської аристократії в якості парадного особняка для прийомів та балів. Будівля була виконана в стилі російського класицизму з елементами еклектики, таке поєднання архітектурних стилів частіше називають вільної південній еклектикою і палац Гагаріна - один з кращих зразків цього зародився в Одесі унікального стилю. Фасад двоповерхового палацу звернений на Схід - у бік моря. Архітектурна композиція нагадує замок, чому сприяє зовнішнє оздоблення будинку: масивний цокольний поверх, нагадують башти еркери, вікна арочної форми. Через головний вхід відвідувач відразу потрапляє в парадний вестибюль, дивує не тільки великою кількістю простору, але і незвичайним поєднанням в інтер'єрі стилів бароко і ренесансу. Головний стилеобразующий елемент вестибюля - велика мармурові сходи, розходяться в обидві сторони і ведуча в парадні апартаменти, на другий поверх. Дивлячись на ці сходи, легко уявити як по ній спускалися й піднімалися ошатні відвідувачі балів і світських заходів, відчути дух того часу, запашний величністю, урочистістю. Парадні апартаменти другого поверху починаються з головного залу, до якого анфіладою примикають менші зали. Тут можна побачити особливості південній еклектики у всій красі: гармонійне поєднання ампіру, бароко і класицизму, стелі, щедро оздоблені ліпниною, великі віконні прорізи, набірні паркети з цінних порід деревини. Завдяки реставрації, проведеної в 1978-83 роках, інтер'єри і фасади палацу дійшли до нашого часу у майже незмінному вигляді. 21 зал музею - палацу Гагаріна - це експозиція літературної історії Одеси, тут оригінальні риси інтер'єрів поєднуються з сучасними елементами і експозицією. Тому єдиним меморіальним залом палацу, що дійшли до нас у незмінному вигляді, вважається Золотий зал. Історія Золотого залу пов'язана з іменами видатних діячів мистецтва, в цьому красивому приміщенні, що поєднує елементи бароко й ампіру, колись давав концерт великий композитор Ференц Ліст, виступали І. Бунін, Г. Лонгфелло, М. Заньковецька, В. Жаботинський і багато інших . І сьогодні тут проходять найважливіші культурні події міста. Особливостями інтер'єру Золотого залу вважаються еркер з п'ятьма арковими вікнами, що забезпечує велика кількість світла і повітря, створює навіть відчуття їх надлишку, і, звичайно, чудова акустика. Функцію палацу для балів будівлю виконувало близько 6 років, потім воно здавалося в оренду, а в 1898 році Гагаріни передали його літературно-аристократичного суспільства. З тих пір колишній палац Гагаріних став осередком культурного життя міста, тут побували багато відомих письменників і поети, які приїжджали на відпочинок в Одесі. Музей був відкритий в колишньому палаці в 1984 році, і тепер відвідати цю красиву пам'ятка Одеси може будь-хто.