Відомий далеко за межами Гомеля палацовий комплекс, що належить генералу-фельдмарашалу Петру Румянцеву, був побудований найвизначнішими архітекторами 19 століття - Бланком, Мосцепановим, Алексєєвим. Палац височить на крутому схилі берега р. Сож, з якого відкривається захоплюючий дух вид.
З кончиною Румянцева приміщення палацу стали одне за іншим ставати музейними експозиціями. Все завдяки зборам рідкісних колекцій творів мистецтв, які вимагали уваги широкої публіки, а не одноосібного милування. Тому поступово палац набув статусу музею історії та мистецтва.
У роки Великої Вітчизняної війни експонати вивезли з метою безпеки. Після закінчення військових дій вони були повернуті, але в набагато в меншому обсязі: з 8000 експонатів додому повернулися не більше двох сотень.
У відвідувачів викликають інтерес колекції музею - багаті зібрання старих монет, археологічні знахідки, зроблені Паскевич, одні з перших друкованих книжкових видань і стародавні представники морської фауни у вигляді скам'янілостей і скелетів.