Історія будинку сходить до перших років існування Петербурга. У 1717 р ділянку значиться за Іваном Макаровичем Полянським, ад'ютантом ясновельможного князя А. Д. Меншикова, власника сусіднього Мазанкова будівлі. Якщо у 1732 р у обер-кригскомиссара «верхній апартамент палат недороблений», то через чотири літа кам'яні на підвалах палати вже збудовані в стилі бароко, мають два поверхи, 13 осей по фасаду і ганку по краях. Тоді ж в них «. через маклера Пауля Томсена. різні рухомі речі і убори з публічного торгу продані бути мають ». Окремо Полянські володіли майже ціле століття.
Іван Макарович народився в сім'ї дяка, улюбленця Петра I, і великої кар'єри не зробив. Набагато вдаліше був його син - Андрій Іванович (1698-1764), який успадкував будинок на набережній і закінчив життя в чині повного адмірала. Він був відправлений царем навчатися морської справи в Європу, звідки повернувся в 1725 р Будучи з 1751 р командиром Балтійського флоту, Полянський успішно брав участь в Семирічній війні, блокував прусські порти і брав фортецю Кольберг.
Його зведений брат Олександр Іванович (1721-1818) службі морської вважав за краще сухопутну. Поступово в армію солдатом, він в 1765 р вийшов у відставку полковником. Був призначений до Комісії зі складання нового Уложення, став сенатором і таємним радником. У рік відставки Полянський одружився на графині Єлизаветі Романівні Воронцової (1739-1792), фаворитки убієнного Петра III, який «не приховував ні перед ким непомірною любові до неї», хоча дівчина була негарна, товста і незграбна та до того ж ряба. Подейкували, ніби імператор хотів на цій фрейліні одружитися, розлучившись з великою княгинею Катериною Олексіївною і заславши її в монастир. Після повалення він благав: «Залиште мені моя єдина втіха Єлизавету Романівну».
За словами С. П. Жихарева, Олександр Іванович в старості мав славу диваком: «нікуди не виїжджає, окрім вистав, в яких він буває щодня попеременкам, то в російській, то у французькому, а іноді і в німецькому. і всюди одержувані їм враження розділяє з усією публікою ».
У 1841 г-перероблений в стилі класицизму особняк вдова і її діти продали за 67 тис. Руб. сріблом дійсного статського радника Микиті Всеволодовичу Всеволожському (1799-1862), цього «пестуни долі». Микита і його брат Олександр, учасник війни з Наполеоном, були в числі засновників літературного товариства «Зелена лампа» і успадкували від батька, «російського Креза», велике багатство, в тому числі Підгородне маєток Рябово (нині Всеволожськ). Микита служив чиновником, перекладав французькі водевілі, дружив з А. С. Пушкіним, з яким познайомився по службі в довколишній (Англійська наб. 32) Колегії іноземних справ. Будинок Всеволожский поет хотів зобразити в ненаписане романі «Русский Пелам». Купивши будинок, Всеволожский його відразу перебудував.
Через рік після покупки Віра Миколаївна подарувала особняк молодшому синові - Павлу Павловичу (1870-1943), молодому поручику лейб-гвардії Гродненського гусарського полку, який, збираючись одружуватися, негайно взявся за перебудову. Перебудову в стилі флорентійського ренесансу здійснив академік А. Ф. Красовський, який багато працював для сім'ї барона.
Велелюбний красень-гусар в перший раз одружився в 1891 р в останній - в 1920-і рр. і кожен раз це були нерівні шлюби. Від п'яти шлюбів Павло Павлович мав трьох синів і сім дочок. Після революції він був заарештований, кілька місяців просидів у Бутирській в'язниці в Москві, а потім поїхав в Рязанське маєток Старожилово, де став викладати в школі. Однак маєток довелося залишити, і з 1928 р Дервиз жив і працював учителем в селищі Максатиха під Твер'ю, де і похований. Він носив прізвище Луговий, яку через патріотичних почуттів взяв під час Першої світової війни.
Так як наступні події не виправдали надій фрондеров, Андрію Володимировичу довелося назавжди покинути свій палац, в якому різні радянські установи працювали до 1959 р коли він нарешті отримав більш гідне застосування.
Палац великого князя
Андрія Володимировича.
Бюлетень Ленгорисполкома, № 8, 1959
Організація Міського бюро загс по реєстрації шлюбу
З метою проведення реєстрації шлюбу в більш урочистій обстановці і створення необхідних умов для того, щоб факт реєстрації шлюбу був святковим і пам'ятним днем для нової радянської сім'ї, Виконком Ленгорсовета прийняв рішення про організацію Міського бюро загс по реєстрації шлюбу, виділивши для нього приміщення в будинку № 28 по наб. Червоного флоту.
Виявлено розгром палацу великого князя Андрія Володимировича. помещающегося на Галерній, будинок 27. З головною коморою палацу викрадені всі, хто був там діамантові, золоті і срібні речі. Точну цифру збитків від розгрому встановити поки не можна, але вона визначається в мільйони рублів. Один з учасників розгрому заарештований. Він назвав себе солдатом.
Розгром палацу виявлений абсолютно випадково. У 1-й Нарвський комісаріат був доставлений солдат, над яким натовп хотів влаштувати самосуд за спробу скоїти крадіжку. Цей солдат заявив, що ним спільно з іншими особами вчинено також розгром палацу великого князя і вказав місце, в якому, за його словами, знаходиться 11 пудів срібла, вкраденого з палацу.
Заява про розгром палацу солдатів, припускають, зробив тому, що при розподілі розгромленого його обділили.