В 1812—1814 годах домик перестроили в классический особняк, предположительно, под руководством Луиджи Руска. 2 апреля 1830-го Чернышев присоединил к своему владению соседний земельный участок, который в конце XVIII века Анна Григорьевна Петрово-Соловово продала камергеру Ф. Ф. Вадковскому.
30 июня 1830 года граф Чернышев продал имение шталмейстеру двора князю Василию Долгорукову, который уже к тому моменту имел другую дачу на Каменном острове. Долгоруков решил построить дачу в подарок своему высокопоставленному родственнику принцу Петру Георгиевичу Ольденбургскому. Возглавить строительство пригласили архитектора Смарагда Шустова, весь проект вёлся как государственный: Гоф-интендантская контора проводила торги на подряды, выбирала и нанимала мастеров. 3 ноября 1833 года, сразу после окончания строительства, Долгоруков передал дачу принцу Ольденбургскому.
По проекту Шустова в 1831—1833 было построено квадратное в плане деревянное здание с ротондой в центре и двумя парадными лестницами по бокам от вестибюля, который перекрывался пологим куполом. Три фасада были украшены портиками с шестью колоннами, а по центральному фасаду с двух сторон от портика были полуциркульные окна.
В 1837 году дачу Ольденбургского решено было расширить, план перестройки выполнил знаменитый зодчий Андрей Штакеншнейдер. К основному зданию пристроили флигель из красного кирпича, декорированный по фасадам белыми элементами. Балконы северного и западного портиков стали комнатами. В тот же период были несколько изменены интерьеры. В 1841-м на северной части имения под руководством Льва Яковлевича Тиблена были построены жилой флигель и прачечная. Следующим этапом строительства дачи стала перестройка прилегающих к основному корпусов в 1869-м, её возглавил архитектор Генрих Штегеман.
Дача сильно пострадала в 1924 году от наводнения. В 1928-м дачу Ольденбургского передали в жилой фонд под коммунальные квартиры для Всероссийского общества слепых, при перепланировке была уничтожена практически вся отделка интерьеров. В пожаре 1930-го сгорел купол здания, он был восстановлен в 1936—1937 годах, однако без оригинальной росписи. В 1978 году в занятом под общежитие здании снова произошел пожар, сгорели купол и центральная часть. Дача была заброшена и пришла в запустение. Только в 1982 году купол полностью разобрали и начали восстанавливать в другом материале, с деревянной обшивкой. Работы были закончены в 1989 году. Сейчас дача реставрируется под отель.