Замок в Гольшанах був побудований в 1610 році за розпорядженням Павла Стефана Сапеги.
Спочатку замок являв собою будинок у вигляді прямокутника. Його корпусу створювали замкнутий двір, по кутах утворювалися шестигранна вежі, а в центрі п'ятигранна вежа з тунелем для в'їзду. Навпаки тунелю стояла невелика каплиця.
Гольшани завжди були центром ВКЛ і грали основну роль в житті князівства. Перша згадка про Гольшанах, як свідчить камінь при дорозі біля Гольшани, було в 1280 році. Крім того саме 1280 р князь Гольша побудував свій родовий маєток, що називається "литовський град Гольшани". Тут був заснований дерев'яний замок.
Після того, як по чоловічій лінії рід Гольшанських вимер, а остання представниця роду Олена вийшла заміж за члена династії Сапегів - Павла Стефана Сапегу, був зведений новий замок з цегли, руїни якого можна побачити в наші дні.
За часів Північної війни Гольшани зазнали нападу шведських військ, і замок був дуже зруйнований. У 19 столітті за розпорядженням останнього господаря Гольшани, стіни і башти замку підірвалися.
Гольшани - це те місце, про яке ходило безліч різних легенд. Наприклад, існує одна легенда про молоду людину, яка полюбив княжну Гольшанської і дівчина відповіла йому взаємністю, але коли про зустрічі коханих дізнався батько княжни, він наказав замурувати юнака в стіні замку. І з тих пір привид Монаха, як його прозвали люди, наводить жах, з'являючись біля руїн замку і охороняючи його від непрошених гостей.
Однак однією з найстрашніших легенд про замок Гольшанський, є легенда про Білу даму. Колись Павло Сапега видав гроші на будівництво костелу. За умови, якщо будівельники в строк виконають замовлення, їм обіцяли велику винагороду. Будівельники дуже поспішали з будівництвом, проте ні з того ні з сього одна зі стін зруйнувалася. Одна і та ж уже знову відбудована стіна руйнувалася три рази, як ніби якісь темні сили заважали будівництву і, порадившись між собою, будівельники вирішили: потрібна жертва. Жертвою будівельники призначили, ту зі своїх дружин, яка перша принесе одному з них обід. А принесла обід дружина одного молодого, недавно одружився будівельника, за що і поплатилася своїм життям. Дівчину замурували в стіні монастиря живий. І з тих пір його коридорами блукає привид молодої дівчини - Білої пані або як її називали місцеві жителі Білої панни.
Крім того, письменником Володимиром Короткевич був написаний роман про замок «Чорний замок Ольшанський", який був переведений на кілька мов і який прославив цей замок на весь світ.
На даний момент замок Гольшанський погано зберігся, адже залишилися цілими лише 2 вежі і східне крило замку. Однак через недостатність відомостей про зовнішній вигляд замку, повна реконструкція може призвести до втрати його унікальності.