Дворец стал одним из первых зданий в Петербурге, при строительстве которого использовались металлические балки и стропила. Здесь был оборудован местный водопровод; городской был сооружен только в 1863 году. Парадный вход Ново-Михайловского дворца через Главный вестибюль и Парадную лестницу вел на второй этаж к анфиладе парадных помещений. Здесь располагались Банкетный, Танцевальный, Зелёный залы, а также Гостиные, Приёмная и Дубовая столовая. На первом этаже находились жилые помещения и личные комнаты великокняжеской семьи: Кабинет, Будуар, Ванная комната, Баня. На третьем этаже была создана домовая церковь во имя архангела Михаила. Под ней на уровне первого и второго этажей был Зимний сад.
Дворец построен в стиле ранней эклектики, что выражается в многочисленных стилистических отсылках к разным эпохам. Так, в отделке главного фасада, выходящего на Неву, использованы архитектурные формы барокко и ренессанса. Главный фасад акцентирован портиком и украшен на уровне второго этажа коринфскими колоннами из каррарского мрамора. Фасад дворца также украшают декоративные скульптуры работы Д.И. Иенсена и кариатиды.Другой фасад, обращенный на Миллионную улицу, более скромен – здесь находились квартиры придворных и служащих. Многие интерьеры Ново-Михайловского дворца сохранились до наших дней. Парадные залы дворца отличаются роскошной отделкой, особенно примечательны вестибюль главной лестницы и танцевальный зал.
В 1930-е годы в Ново-Михайловском дворце разместился Институт востоковедения. В настоящее время во дворце работает ряд учреждений РАН: Институт истории материальной культуры РАН, Институт восточных рукописей и Институт электрофизики и электроэнергетики.