В начале 1920-х в квартире сохранялась теплая домашняя атмосфера: дровяная плита, большой деревянный стол, над ним ходики, в углу — икона.
Здесь хозяйничала Аннушка — Анна Богдановна Смирнова, домработница Пуниных. Полки с посудой она по деревенскому обычаю украшала бумажными «кружевами». По утрам кипел самовар.
В начале 1930-х годов квартира стала коммунальной: сын Аннушки Евгений и его жена Татьяна добились права на комнату в квартире Пуниных. В 1938 году у Татьяны Смирновой было уже двое детей — Валя и Володя.
«Наша квартира стала холодной, коммунальной, с выходом всех дверей уже не в анфиладу, как было вначале, а в коридор. Коридор стал холодным, и чтобы подойти к телефону, Анна Андреевна надевала шубу, — вспоминала Ирина Пунина. — Жизнь усложнялась, дрова становилось доставать все труднее и труднее, ввели карточки на продукты, свободная торговля сокращалась, стали появляться очереди за керосином и за всем необходимым».
По словам современников, «атмосфера неблагополучия, глубоко свойственная всей эпохе, может быть, нигде не чувствовалась так остро, как в Фонтанном Доме».