Спочатку монастир був оточений дерев'яною огорожею, але згодом вона була замінена потужної цегляною стіною з бійницями гарматного і піщальний бою, додатково укріпленої високими вежами. Точної дати зведення фортечних стін і веж немає, мабуть, вони були побудовані або перебудовані в різні роки XVI-XVII століть.
Загальна довжина стін з вежами становить 673 метра, вони охоплюють площу, рівну 1,62 га. Планування фортечних споруд підпорядкована рельєфу місцевості і наявності природних перешкод. Однією з топографічних особливостей місцевості, на якій розташований монастир, є невеликий підйом на схід. Фортечні стіни утворюють ромб з закругленими тупими кутами, що нагадує за формою корабель. Велика вісь цього ромба-корабля спрямована із заходу на схід і проходить по діагоналях двох кутових веж (Сторожовий і Куховарській). Ці дві башти мали важливе стратегічне значення - вони майже повністю виходять за межі стін, що дозволяло в старовину під час оборони від ворога вести вогонь у всіх чотирьох напрямках. У східній, найвищій частині фортечних мурів, як би на кормі корабля, розташована головна Сторожова вежа, з якої найкраще проглядалися і охоронялися простори навколо монастиря. З південно-східного боку фортеця має дві квадратні вежі (Георгіївська і Збройна) і одну круглу (Кругла). З північно-західного боку, тобто з боку великого яру, на березі ставка є ще одна прямокутна вежа (Тайницкая). Всього їх шість.
Південно-східна сторона монастиря укріплена значно краще. Це викликано тим, що місцевість тут більш відкрита і висока ймовірність швидкого підходу противника саме з цього боку. Північна і західна кріпосні стіни розташовані на самому березі яру, де протікає річка Істерьма, тут же знаходяться три рукотворних ставка. Особливості місцевості забезпечують в цьому напрямку хорошу природну перешкоду.
Фортечні стіни і башти при погляді з двору не дивлячись такими значними, якими є насправді і якими ми їх бачимо зовні. Здається, що вони вросли в землю. Таке враження створюється тому, що на території двору накопичився великий шар наносний землі (культурний шар). На окремих ділянках його товщина досягла чотирьох метрів. Біля самих стін шар землі прибраний, зроблені вимощення і водостоки.
Будівельний матеріал, з якого складені кріпосні стіни і башти, - в основному большемерного цегла. Виготовлявся він тут же, неподалік від монастиря. На фундаменти і перекриття амбразур використовувався білий камінь - вапняк. Добувався він по березі річки Істерьми біля монастиря, також привозиться з інших місць, наприклад, з Подольська.
Всі вежі триярусні. Нижні яруси перекриті склепіннями, другі і треті мали плоскі перекриття, які зараз втрачені.
У XIX столітті, коли відпала необхідність монастирю бути фортецею, приблизно в середині прясла, між Георгіївської і кухонної вежами, були прорубані Проломная Врата, що служили для господарських потреб. Зараз на цьому місці за дерев'яними гратчастими воротами, між двома виступаючими назовні напівбаштами, розташовується єдиний вхід і в'їзд на територію монастиря.
Георгіївський (ЗНАМЕНСЬКА) ВЕЖА
За старих часів в'їзні ворота розташовувалися в Георгіївській вежі. В'їзд був особливий - під кутом 90 градусів, що забезпечувало безпеку від прямого попадання снаряда або злому воріт вежі. При в'їзді в монастир із зовнішнього боку перебувала невелика каплиця, яка була розібрана в XIX столітті. Поруч з воротами в Прясла стіни, що примикає до башти зі сходу, знаходився прохід всередину монастиря для пішоходів. Вежа за формою майже квадратна, дах її, шатрової форми восьмикутна піраміда (восьмерик), спирається на піраміду з чотирикутним підставою (четверик). Зверху влаштована дерев'яна башточка з хрестом над маленькою головком. Загальна висота вежі до хреста трохи більше 33 метрів, як і всі інші вона має три яруси.
Хід у другий ярус влаштований з двору, його ширина всього близько 80 см. Більш широкі сходи, але дуже крута, йде сюди зі східної сторони від прилеглої кріпосної стіни. До верхньої шатрової вежі можна піднятися крутими багатосекційній дерев'яних сходах, влаштованої в середині намету. Така система ходів існує майже у всіх вежах.
Над воротами і на південній стіні, що йде уздовж дороги, є рельєфні цегляні кіоти - поглиблення, в які встановлювали ікону. У нижній частині правої її половини на південній стіні була написана по штукатурці фреска: Юрій-Змієборець убиває дракона і рятує царівну. Але настінний розпис, виконана приблизно в середині XIX століття, зараз втрачена, проглядаються лише окремі її частини. У 1929-1930 роках розпис по-варварськи заклали тонким шаром цементу, який поступово вимивається дощем і вивітрюється, оголюючи окремі елементи малюнка.
Куховарська вежа багато в чому схожа за своєю конструкцією з Георгіївською. Вона розміщена на гострому західному куті фортечних стін. Вежа ця квадратна за формою, висота її становить 26 м. Товщина стін в нижньому ярусі близько 3,5 м. Південний кут вежі спирається на величезний камінь булижника. Назва вежі, можливо, пояснюється тим, що біля неї на подвір'ї була поварня.
Як Сторожова вежа, так і Куховарська в минулому були увінчані великими двоголовими орлами, які нагадували, що обитель преподобного Пафнутія була в числі монастирів, які користуються особливими царськими милостями.
Князь Михайло бився з ворогами в церковних вратах, був поранений, в знемозі біг до лівого кліросу і там був порубаний злодіями. «Веліе ж чудо Бог показу над тим убієнним, - повідомляє літописець, - того ж князя Михайла кров скребляху і миша, але не можаху тое крові ні зішкребти, ні змити».
Пам'ять про геройську смерть кн. Михайла Волконського відображена в Гербі міста Боровська, який завітала місту Імператриця Катерина II (срібне поле символізує чистоту помислів, червлене серце - вірність, що знаходиться по середині герба хрест - старанність до Божого закону - основі всіх чеснот, а лавровий вінок навколо серця - символ вічної слави ).
Висота вежі, її розташування на найвищому місці архітектурного ансамблю, особливості укріплень - все це робить її найбільш потужною, суворої, котра виправдовує назву Сторожовий. За старих часів дозорець на вежі міг охоплювати поглядом величезну територію з північно-східної сторони, помітити небезпеку, що наближається і підняти тривогу. Зараз з північного боку вежі видно глибокий яр, зарослий листяними і хвойними деревами, густим чагарником. По доріжці, що йде по березі яру, можна пройти вниз до джерела преподобного Пафнутія, уклінного хреста і монастирської купелі.
По обидва боки дороги, що йде уздовж кріпосної стіни з підйомом на схід, простягнулося село Рябушки, в минулому Рябушинські слобода. Тут жили селяни, робітники люди. Дорога з'єднувала Боровськ з містом Серпухова. Зараз біля вежі за металевою огорожею, знаходиться братська могила бійців Червоної Армії, загиблих у Великій Вітчизняній війні.
За старих часів потужний яр, русло швидкоплинної річки Істерьми і три штучних ставка були хорошою перешкодою для просування противника. На річці Істерьме була гребля, вода заповнювала три ставки і через другу греблю в кінці третього ставка зливалася і йшла знову в своє русло. На цій греблі стояла млин, яка приносила дохід монастирю, проточна вода в ставках сприяла розведення риби.
У радянський період дамба зруйнувалася, ставки обміліли і прийшли в запустіння. За відновлення чернечого життя їх вичистили, зміцнили греблю і знову запустили рибу.
Далі на північ, за ставками розташоване паркове господарство монастиря. Це чудове місце для відпочинку з сосновими та липовими алеями, оглядовими майданчиками, плодовим садом.
У 1666 р в монастир двічі засилають протопопа Авакума. Під час першого заслання, яка тривала 9,5 тижнів, його заточили в Круглої вежі. У приміщенні з віконцем на вулицю у протопопа Авакума, відомого своїм красномовством, була можливість проповідувати. До нього став стікатися народ, багато ставали його однодумцями, тоді протопопа Авакума, закувавши в ланцюзі, перевели в ізольоване приміщення в дзвіниці під сходами.