Штакеншнейдер выполнил проект по заказу князя Э. А. Белосельского-Белозерского. В рамках этой работы были не только полностью перестроены корпуса, выходящие на Невский проспект и Фонтанку, но и возведены новые флигеля во дворе дома. Заново был создан не только внешний облик, но также и внутренняя отделка здания. Существует мнение, что прототипом здания послужил Строгановский дворец, выстроенный по проекту архитектора Бартоломео Растрелли. В отделке фасадов дворца широко использованы художественные приемы русского барокко XVIII века.
Для отделки дворца был приглашен скульптор Д. И. Иенсен. По его моделям были созданы фигуры атлантов и кариатид. Внутренняя отделка дворца была выполнена Штакеншнейдером, яркими примерами такой отделки стали широкая парадная лестница и мраморные камины.
После октябрьской революции 1917 года дворец Белосельских-Белозерских, как и многие другие, был национализирован. С 1920 года здесь находился районный комитет партии Центрального, позже — Куйбышевского района. Дворец расстался с коллекцией картин, собранной Белосельскими-Белозерскими: она была перевезена частично в Эрмитаж, а частично в особняк на Крестовском острове, также принадлежавший этому семейству.
После провала августовского путча 1991 года райком КПСС закончил своё существование и в 1992-м году дворец Белосельских-Белозерских был передан Комитету по культуре мэрии Санкт-Петербурга и в нем было размещено государственное учреждение культуры «Петербургский культурный центр».
С середины 1990-х и до 2004 г. во дворце располагался Исторический музей восковых фигур.
C января 2003 г. здание передано под юрисдикцию Управления делами президента РФ. Большое внимание уделяется его техническому состоянию. Последние реставрационные работы были проведены в 2015 году. В ходе реставрации Зеркальному (концертному) залу и Парадной столовой были возвращены изначальные цветовые решения в оформлении, задуманные А. И. Штакеншнейдером, были отреставрированы все живописные полотна и панно, встроенные в стены Парадной столовой.