Ранее в здании размещалась библиотека имени Энгельса. «Приватизировать памятник архитектуры помешала рыбинский учитель истории, директор школы №16 Ольга Сметанина. Учитель не смогла смириться с тем, что комплекс исторических зданий будет выставлен на торги. Вот так началась тема усадьбы Наумова», - рассказывает и.о. главы города Рыбинска Леонид Можейко.
Кандидатура для создания в усадьбе музейного комплекса была найдена. Выбор пал на генерального директора АНО НПО «Эколлайн» Олега Алексеевича Жарова, сумевшего без какой-либо административной и бюджетной поддержки реализовать масштабный музейный проект в селе Вятское Некрасовского района Ярославской области. Олег Жаров посетил Рыбинск. Он высоко оценил потенциал города с точки зрения историко-культурного наследия. «Опыт создания инфраструктуры, приобретенный в Вятском, показывает, что наследие наших предков – это не только дотации и издержки. Но и большой стимул для социально-экономического развития региона,- рассказывает Олег Жаров. - Усадьба Наумова мне безумно понравилась. Я вижу и, самое главное, чувствую, что из этого можно создать». Условие, которое должен соблюсти арендатор, одно – сохранение культурной и исторической ценности памятника. Срок реализации проекта – три года. Финансовых затрат из городского бюджета не требуется.
По словам заместителя председателя муниципального Совета Александра Соколова, музеи Олега Жарова - образец умной просветительской деятельности. «За пять лет, благодаря этому человеку, о Вятском узнала вся страна. Это было заброшенное, заросшее бурьяном село. Теперь оно невероятно популярно, здесь 9 музеев, восстанавливается уникальный Воскресенский храм», - сказал он.