При начале строительства здания, в юго-западном углу его фундамента была заложена плита с надписью: «Здание заложено 1891 г. май 14 дня. При государе императоре Александре III, губернаторе бароне Ракосовском, учредителе обер-камергере Двора Его Императорского Величества Э. Д. Нарышкине, строителе А. С. Четверикове». Здание было построено за полтора года с использованием самых современных (по тому времени) строительных материалов. Оно было снабжено водопроводом, канализацией и электричеством. С его вводом город приобрел прекрасное книгохранилище и огромный зал для собрания общественности. Здесь же расположился и историко-этнографический музей. Строительство здания полностью было проведено на средства Э. Д. Нарышкина. В благодарность учредителю в здании был установлен на парадной лестнице и сохранен до наших дней бюст Э. Д. Нарышкину (А.А. Горелов, Ю.К. Щукин. Тамбов. Справочник-путеводитель. Тамбов.)