Віктор Астаф'єв народився 1 травня 1924 року в селі Вівсянка, недалеко від Красноярська, в сім'ї Лідії Іллівни Потиліціной і Петра Павловича Астаф'єва. Він був третьою дитиною в сім'ї, однак дві його старші сестри померли в дитинстві. Через кілька років після народження сина Петро Астаф'єв потрапляє до в'язниці з формулюванням «шкідництво». Під час чергової поїздки Лідії до чоловіка човен, в якій серед інших пливла вона, перекинулася. Лідія Потиліціна, впавши в воду, зачепилася косою за сплавних Бону і потонула. Її тіло знайшли лише через кілька днів. Віктору тоді було сім років. Після смерті матері Віктор жив у її батьків - Катерини Петрівни та Іллі Евграфовича Потиліціних. Про дитинство, проведене з бабусею Катериною Петрівною і залишили в душі письменника світлі спогади, Віктор Астаф'єв розповів в першій частині автобіографії «Останній уклін».
Вийшовши з ув'язнення, батько майбутнього письменника одружився вдруге. Вирішивши податися за «північній дикої грошима», Петро Астаф'єв з дружиною і двома синами - Віктором і новонародженим Миколою - відправляється в Ігарка, куди вислали розкуркулених сім'ю його батька - Павла Астаф'єва. Влітку наступного року батько Віктора уклав договір з ігарскім рибзаводом і взяв сина на промислову риболовлю в містечко між селищами Карасін і поло. Після закінчення путини, повернувшись в Ігарка, Петро Астаф'єв потрапив до лікарні. Кинутий мачухою і рідними, Віктор виявився на вулиці. Кілька місяців він жив в покинутій будівлі перукарні, однак після серйозного інциденту в школі отримав направлення в дитячий будинок.
У 1942 році пішов добровольцем на фронт. Військовій справі навчався в школі піхоти в Новосибірську. Весною 1943 року був направлений у діючу армію. Був шофером, артразведчик, зв'язківцем. До кінця війни Віктор Астаф'єв залишався простим солдатом. У 1944 році в Польщі був контужений.
Після демобілізації в 1945 році виїхав на Урал, в місто Чусовой, Пермська область.
У 1945 році Астаф'єв одружився на Марії Семенівні Корякиной. У них було троє дітей: дочки Лідія (народилася і померла в 1947 році) і Ірина (1948-1987) і син Андрій (нар. В 1950 році).
У Чусовом Астаф'єв працював слюсарем, підсобним робітником, черговим по вокзалу, комірником.
У 1958 році Астаф'єв був прийнятий до Спілки письменників СРСР. У 1959-1961 роках навчався на Вищих літературних курсах у Москві.