Новооснованном обитель, названа Спасо-камінь, з самого початку свого існування стала під особливе заступництво князів Білозерських і швидко досягла процвітання, як по своїй чернечого життя, сіявшее святістю багатьох подвижників, які брали тут постриг, так і по відношенню до свого матеріального добробуту. З часу князя Димитрія Донського обитель стає відомою і великим князям московським.
У XV столітті Спасо-Кам'яний монастир - великий релігійно-культурний центр, де воювала Діонісій Глушицький, Олександр Куштскій, Іоасаф Каменський (син місцевого князя Дмитра Заозерского).
В 1481 ростовскими майстрами був зведений кам'яний собор про двох розділах - перша кам'яна споруда Російської Півночі. Пізніше тими ж майстрами були збудовані збереглися собори Ферапонтова і Кирило-Білозерського монастирів.
Після установи монастирських штатів з вилученням у казну монастирських майна для Спасо-Кам'яної обителі настав час занепаду, який був прискорений ще великою пожежею в 1774 році, винищивши дотла всі дерев'яні монастирські будівлі. Після цієї пожежі Спасо-Кам'яний монастир був закритий. І це запустіння тривало 26 років.
У 1801 році, за наказом імператора Павла I, обитель була відновлена під ім'ям Белавінской Спасо-Преображенської пустині, так як сюди була переведена братія Белавінской Богоявленської пустелі разом з майном.
Відновлена обитель знову швидко стала розвиватися і здобувати то релігійне значення, яким користувалася вона раніше.
У 1892 році за указом Святійшого Синоду монастирю було повернуто його колишнє найменування Спасо-Кам'яного. Настоятелі обителі носили сан архімандрита.
Радянська влада закрила монастир в 1925 році. Монахов прогнали, а в житлових приміщеннях спробували влаштувати колонію для малолітніх злочинців, які розбіглися по осені. Крім того, осінній пожежа пошкодила багато будівель. Після закриття в 1925 році найдавніший храм Російської Півночі (на той час уже пятиглавий) був знищений вибухом. На його місці височіє купа щебеню.
У 1937 році заради цегли, який хотіли використовувати для будівництва місцевого Будинку культури, був підірваний Спасо-Преображенський собор. Отриманий цегла так і не вдалося використати для будівництва. У війну на острові був організований пункт з прийому та переробки риби.
До 1971 року тут жив штатний сторож районного управління культури. Коли посаду цю скоротили, острів став притулком місцевих рибалок і мисливців. В даний час з монастирських будівель на острові збереглася лише унікальна Успенська церква-дзвіниця XVI століття.
Незважаючи на руйнування Спаського собору, монастир все ще числиться серед пам'яток архітектури XV-XVII століть, так як збереглася Успенська церква «іже під дзвони» 1540-х рр. споруди.
На острові тривають роботи з відтворення трапезного корпусу, з благоустрою території, щодо збереження унікальної екосистеми острова. Планується відтворення головного об'єкта монастиря - Спасо-Преображенського собору.