На первом этаже Столовая, где царственное семейство устраивало завтраки и полдники, во время которых пили кофе, "кушали чай". Для сообщения с Царицыным островом устроили паромную переправу. С острова на остров переправлялись на лодках. В местах причаливания к воде находились мраморные лестницы. В первые десятилетия XX в. Ольгин остров был запущен, павильон опустел. В годы немецкой оккупации Ольгин павильон сожгли.
После революции Ольгин остров был запущен, скульптуру вывезли, павильон стоял пустой и медленно разрушался. В годы второй мировой войны здание сгорело, и долгие годы находилось в руинированном состоянии. Реставрация стала возможной только в начале XXI века. За несколько лет Ольгин павильон был полностью воссоздан: установлены новые перекрытия, оконные и дверные заполнения, выполнены штукатурные работы, заново расписаны интерьеры и изготовлены камины, подобраны экспонаты. В 2005 году в Ольгином павильоне был открыт музей.