Но уже скоро богатый граф промотал свое состояние и в 1803 году продал остров со всеми постройками князю Александру Михайловичу Белосельскому-Белозерскому. Крестовский остров князь использовал для извлечения прибыли, здесь стали рубить строевой лес, продавались земельные участки, а дом на Крестовском острове стал служить ему летней резиденцией. Зимой же семья проживала в своем главном дворце, на углу Невского и Фонтанки.
Роскошный летний дворец Белосельских-Белозерских был построен в 1846–1847 годах по проекту русского архитектора Андрея Ивановича Штакеншнейдера. В плане трехэтажное строение было крестообразным, с куполом.
Однако коммерческая деятельность Белосельских-Белозерских не имела большого успеха, и в 1884 году свой городской дом они продали и перебрались жить на дачу. Крестовский остров принадлежал им до 1914 года, затем они продали его большую часть, и в их собственности остались только дача и прилегающий парк.
После революции в здании разместился техникум целлюлозно-бумажной промышленности. Во время войны строение было почти полностью разрушено и восстанавливать его не имело смысла. В 1950-е годы разрушенное здание разобрали.
Летний дворец Белосельских-Белозерских воссоздан в 2004–2006 годах, в здании планировалось разместить отель. В цокольном этаже устроены бассейны, бани, а также спортзал. На втором этаже — кухня и столовая, бильярдная и гостиная, зимний сад и кабинет. На третьем этаже — четыре спальни с ванными и гардеробными. В 2006 году дом был выставлен на продажу. К настоящему времени в здании проводится ремонт и восстанавливается декор.
От исторической усадьбы осталась лишь гранитная пристань, несколько служебных построек и фрагмент ограды у въезда в поместье.