В XVIII веке неподалеку от Арбатских ворот Белого города располагалось обширное владение князей Гагариных.
В пожар 1812 года усадьба сгорела. Из каменных построек сохранился только флигель, расположенный подле Никитского бульвара.
Этот флигель был восстановлен и перестроен в качестве главного дома. В 1820–30-е годы им владела Анастасия Михайловна Щербинина – дочь княгини Екатерины Романовны Дашковой, сподвижницы Екатерины II, долгое время занимавшей пост директора Петербургской академии наук и бывшей первым председателем Императорской Российской академии.
На балу в доме Щербининой 20 февраля 1831 года со своей молодой женой танцевал Пушкин – это был их первый после венчания совместный выход в свет.
В 1872 г. на смену дворянству в усадьбу пришло купечество: она перешла к «ситцевым королям» – купцам Прибыловым. Спустя пять лет дом перестроили по проекту архитектора Александра Вивьена. Особняк получил изящный декор фасада, дошедший до нашего времени. С XIX века сохранилась и нарядная литая чугунная ограда по красной линии Никитского бульвара.
После революции в особняке разместился Дом печати. Здесь читали свои стихи Есенин и Маяковский, Шершеневич и Мариенгоф, Брюсов и Блок.
В 1930-е годы здесь проходили концерты Л. Оборина и Д. Ойстраха, действовал Театр обозрений Дома печати.
С 1938 г. особняк на Никитском бульваре известен как Дом журналиста, знаменитый Домжур.