З разу після весілля Товсті влаштувалися в Ясній Поляні. Микола Ілліч добудував великий будинок, в якому його родина оселилася в 1824 році, збільшив свої земельні володіння. Він викупив свій родовий маєток Микільське-Вяземському. узяте в опіку за борги, придбав багатий маєток Пирогово і надійно забезпечив майбутнє своїх дітей. Марія Миколаївна ніби жила в дещо іншому світі, її більш займала життя духовне.
Надзвичайно релігійна, вона, ймовірно, сприймала свою сім'ю як Божий дар, адже їй був уже тридцять один рік, коли вона вийшла заміж, і вона з радістю цілком присвятила себе чоловікові і дітям. У сім'ї Толстих народилося п'ятеро дітей: сини Микола, Сергій, Дмитро та Лев і дочка Марія. Щасливе життя сім'ї обірвалася через кілька місяців після народження молодшої дочки - в 1830 році Марія Миколаївна померла.
У цей час її молодшому синові Льву не виповнилося й двох років. Толстой не пам'ятав матері, лише неясні спогади про неї жили в його душі, але він обожнював матір. За його словами, вона завжди залишалася для нього «святим ідеалом». І через роки після її смерті Толстой особливо любив і дбайливо зберігав ті куточки яснополянской садиби, які нагадували йому про матір - Нижній (Англійська) парк. альтанку-вишку в ньому, оранжерею.
Коли Толстому було дев'ять років, помер його батько, і опікункою дітей стала жила з ними тітонька, сестра Миколи Ілліча Олександра Іллівна Остен-Сакен, а після її смерті в 1841 році - інша тітонька, Пелагея Іллівна Юшкова. Вона відвезла племінників в Казань, де жила зі своїм чоловіком. У Ясну Поляну Толстой повернеться - вже господарем - лише в 1847 році, залишивши навчання в Казанському університеті.
У 1847 році відбувся поділ батьківських маєтків між братами Товстими. «За звичаєм як молодшому в сім'ї мені віддали маєток, в якому жили - Ясну Поляну», - пише Лев Миколайович. Він відразу ж вирішує круто змінити своє життя і влаштуватися у себе в селі. Як і герой повісті «Ранок поміщика» Дмитро Нехлюдов, дев'ятнадцятирічний Толстой всією душею прагне «присвятити себе життя в селі», бо відчуває, що «народжений для неї».
Але вже перші підприємства викликають розчарування. Все виходить не так, як він очікував, і селяни з недовірою ставляться до починанням молодого пана. Розчарувавшись в прагненні робити добро, він відправляється на військову службу.
До 1857 року Толстого немає в садибі, але господарство йде потроху, і брат Дмитро Миколайович пише йому про Ясній: «... ехавші в травні в Москву, я ... під'їхав до флігеля, і звідти ... обійшов сад і виставку, де тоді все було у відмінному кольором, і це мені доставило таке задоволення, що я аж до Москви їхав з приємним враженням. На зворотному шляху я теж заїжджав в Ясна; ... їв груші, яких нині у тебе достаток ».
В кінці 1850-х років Толстой вийшов у відставку і повернувся в Ясну, хоча і не жив там постійно, багато часу проводячи в Петербурзі і Москві. Він оселився в одному з флігелів, який став згодом будинком для нього і його сім'ї - в ньому він прожив більше 50 років. Разом з ним в новий будинок переїхали старі меблі, книги, прадідівські дзеркала XVIII століття, фамільні портрети. Саме цей будинок сьогодні відомий як Будинок-музей Л. Н. Толстого.
У цей час Росія вступила в нову епоху - неспішна садибна життя йшла в минуле. Толстой зробив два закордонні подорожі, враження від яких вплинули і на хід яснополянской життя, виливаючись у нові ідеї та проекти господаря садиби, творчо підходив до будь-якої справи. Повернувшись до Росії, він з жаром узявся за перетворення в Ясній. Одним з найчудовіших його починань стала школа для селянських дітей, відкрита в 1859 році у флігелі (Товсті називали його «іншим будинком», а пізніше - флігель Кузьмінського. Це була абсолютно нова школа, побудована на принципах свободи і творчості.
Все більше уваги господарству приділяв і Лев Миколайович. Він розширив дідівський яблуневий сад. Поступово площа яснополянський садів виросла в 4 рази і перевищила 40 гектарів. Всього в Ясній Поляні було посаджено п'ять садів. Червоний, Молодий і Старий, а також сади біля Будинку Волконського і у Великого ставу.
Щовесни Товсті милувалися незвичайною красою квітучих садів. «Яблуні цвітуть надзвичайно, - писала в щоденнику Софія Андріївна. - Щось чарівне, шалений в їх цвітінні. Я ніколи нічого подібного не бачила. Поглянеш у вікно в сад і всякий раз вразити цим повітряним, білою хмарою квітів в повітрі, з рожевим відтінком місцями і з свіжим зеленим фоном далеко ».
Ще більш масштабними виявилися лісові посадки Толстого. До нього яснополянський лісу представляли собою ділянки старого лісового масиву. Їх старовинні назви збереглися до цих пір: Чепиж, Старий замовлення, арківського верх. Лісівничих діяльність Толстого значно розширила лісові масиви Ясної Поляни; знову з'явилися ліси не тільки прикрасили собою садибу, але й принесли безсумнівну практичну користь: закріпили розповзаються схили численних ярів. Крім того, землі в районі Ясної Поляни були вельми бідними, і вигідніше було посадити тут лісу. В цілому лісові посадки в Ясній Поляні займають величезну площу - 254 га.
З 1860-х років почав змінюватися і яснополянский будинок Толстих: відтепер він ріс разом з сім'єю. За роки шлюбу у Толстих народилося 13 дітей. П'ятеро з них померли в ранньому дитинстві, до зрілого віку дожили вісім - сини Сергій, Ілля, Лев, Андрій, Михайло і доньки Тетяна, Марія і Олександра. До центральної частини будинку - кільком кімнатам, розташованим анфіладою - в різні роки додавалися прибудови.
У 1881 році Товсті купили будинок в Москві. Виросли старші діти, їм потрібно було продовжувати освіту, дочкам потрібно було виїжджати. Тепер зими родина проводила в Москві. Однак місто обтяжував письменника, йому була необхідна «ванна сільського життя». Навесні він прагнув скоріше повернутися в Ясну Поляну, де йому так добре дихалося і працювалося. В останні роки Толстой вже не переїжджав на зиму в Москву, вважаючи за краще спокій і самоту Ясній.
На той час Яснополянська садиба вже не належала Льву Миколайовичу. Ще в 1892 році він, відповідно до своїх поглядів, відмовився від власності і розділив всі, чим володів, між спадкоємцями. Ясну Поляну отримали Софія Андріївна і зовсім ще маленький молодший син Іванко, згодом померлий від скарлатини (в 1895 році, в семирічному віці).