На территории дворцового комплекса располагались Инвалидный дом работы архитектора Ивана Кребер. Но он был полностью перестроен под спортивный объект в 1979 г. Также был построен Кухонный корпус в 1785 г. Находились дворы: хозяйственный и дровяной, каменная конюшня, манеж, дом садового мастера, гауптвахта работы архитектора Л. И. Шарлемань.
В 1801 году на престол взошел Александр I. Дворец стал одной из любимых его резиденций. В начале царствования Александра Павловича во дворце собирался "Негласный комитет". В нём 6 августа 1812 года император поручил командование русской армией М. Кутузову. Именно в этом дворце царь узнал о заговоре декабристов в 1825 г.
После Александра I дворцом владели великий князь Михаил Павлович и его супруга Елена Павловна. В 1834—1836 годах у них в гостях бывал великий русский поэт А. С. Пушкин. Здесь жил А. Рубинштейн в 1852—1854 гг. Дочь Михаила Павловича и Елены Павловны Екатерина Михайловна вышла замуж за состоявшего на русской службе в чине генерала немецкого герцога Георга Мекленбург-Стрелицкого. Дочь последних владельцев Елена Георгиевна Саксен-Альтенбургская получила Каменноостровский дворец во владение.Обращенный на парадный двор и дворцовый сад фасад дворца украшен 6-колонным портиком с фронтоном тосканского ордера. К парадному входу ведет лестница, выполненная из финского гранита. В центре фасада, который выходит на Неву, находится 8-колонный портик, увенчанный аттиком. В центральном корпусе дворца располагались: Аванзал, Большой зал, галерея, Морской салон, Картинный зал и Кабинет. В одном из флигелей были жилые помещения, в другом — дворцовый театр.
В 1845 году архитектор А. И. Штакеншнейдер пристроил к невскому фасаду дворца закрытую террасу. Также он устроил тут вместо Малиновой гостиной Музыкальный салон и заменил водопроводную систему дворца. Во дворце сохранились 2 парадных зала павловского времени с фресками с изображениями Рима, которые были выполненные по гравюрам Пиранези, а также личные комнаты великокняжеской четы, 2 парадные гостиные середины XIX в. В 1776—1778 годах у входа во дворец были установлены Парадные ворота, в конце главной аллеи — Церковные, со стороны набережной были установлены Мраморные ворота, перенесенные 1810 году к 1-му Каменноостровскому мосту, а в 1956 году — в Павловский парк.
В 2015 году во дворце городскими властями была создана "Академия талантов" для школьников Санкт-Петербурга — бюджетное учреждение для дополнительного внешкольного образования.Сейчас Каменноостровский дворец является одной из самых больших исторических и архитектурных достопримечательностей Аптекарского острова в Санкт-Петербурге. Это ценный памятник культурного наследия России.