Народився в маленькому містечку Бучач у Галичині, провінції Австро-Угорської імперії, яка в даний час є частиною України. Його батько, Шолом Мордехай Халеві Чачкес, за професією торговець хутром, здобув освіту рабина. Мати Агнона, уроджена Есфір Фарб, була дуже начитаною жінкою; високоосвічена був і його дід по материнській лінії, купець Ієгуда Фарб, що зробив великий вплив на юного Агнона.
Щоб звільнитися від служби в армії під час Першої світової війни, Агнон протягом декількох тижнів до проходження призовної комісії в 1916 році дуже багато курив, приймав таблетки і мало спав, в результаті чого замість армії потрапив в госпіталь з серйозним розладом нирок, У 1919 році він одружився на Есфірі Маркс, яка народила йому дочку і сина.
Через війни та її наслідків Агнон повернувся в Єрусалим тільки в 1924 році; до цього часу Палестина стала підмандатної територією Великобританії. У 1927 році він оселився в районі Єрусалиму, званому Тальпійот. Під час арабського заколоту в 1929 році його будинок був розграбований, і він побудував собі новий, в якому і прожив до кінця життя.
У 1930 році Агнон знову повертається до Європи, де в цей час Шокен видає в Берліні його "Повне зібрання оповідань" ( "Kol Sippurav", 1931). Перед поверненням до Єрусалиму в 1932 році письменник відвідує іудейські громади в Польщі, які з часів його дитинства істотно змінилися. Цей досвід знайшов своє відображення в романі "Нічний гість" ( "Oreach Natah Lalun", 1937), де герой повертається в своє рідне село і знаходить її фізично і культурно спустошеною після руйнівної і кровопролитної війни. У романі "Проста історія" ( "Sippur Pashut", 1935) Агнон користується методом, розробленим поставити Флобером і Томасом Манном, - романтичні устремління героя протиставляються інтересам буржуазного суспільства в одному з містечок Галичини на початку XX століття.
На початку 1930-х років твори Агнона широко публікувалися німецькою мовою, проте дія багатьох книг цього періоду відбувається в Палестині. Коли ж в 1938 році нацисти закрили видавництво Шокена, підприємець перебирається в Тель-Авів, де продовжує видавати твори Агнона. В кінці Другої світової війни Шокен відкрив філію свого видавництва в Нью-Йорку і почав публікувати книги Агнона англійською мовою, після чого письменник здобув світову популярність.
В останні роки життя Агнон став в Ізраїлі свого роду національним кумиром. Коли в єрусалимському районі Тальпійот почалися будівельні роботи, мер міста Тедді Коллек наказав встановити спеціальний знак поблизу будинку Агнона: "Дотримуйтеся тиші! Агнон працює", Незважаючи на величезну популярність, сам Агнон був переконаний, що його читацька аудиторія скорочується. У газових камерах Другої світової війни загинуло дуже багато тих людей, для яких він писав, і письменникові здавалося, що молоде покоління байдуже до тих традиційним культурним цінностям, які знайшли відображення в його творчості. Агнон помер від серцевого нападу в 1970 році в Єрусалимі. Похований на Оливній горі.
Крім Нобелівської премії, Агнон був удостоєний і інших нагород, в т.ч. престижної Біалікской премії Тель-Авіва (1935 і 1951), Уссішкінской премії (1950) та премії Ізраїлю (1950 і 1958). Крім того, письменник був удостоєний почесних ступенів Іудейської теологічної семінарії в Америці, Єврейського університету в Єрусалимі, Колумбійського університету в США. У 1962 році Агнон був обраний почесним громадянином Єрусалиму.
Мало відомий широкому читачеві до отримання Нобелівської премії, в даний час Агнон вважається одним з найбільш видатних єврейських письменників, якого не раз порівнювали з Джеймсом Джойсом, Марселем Прустом, Уїльямом Фолкнера і перш за все з Францем Кафкою, з яким його ріднять багатозначність і суто похмурий колорит . Його творчість насилу піддається критичному осмисленню в значній мірі від того, що Агнон часто переробляв вже видані твори, а також з-за архаїчного, складного для перекладу синтаксису. Однак, незважаючи на це, навіть в перекладі проза Агнона зберігає свою особливу, самобутню силу. Оцінюючи досягнення Агнона, американський критик Роберт Альберт зазначив, що "в своїй багатогранній літературній спадщині Агнон торкнувся багатьох найскладніших аспектів сучасного світу. Не гаючи духовного зв'язку з минулим. Він дотримувався переконання, що такий зв'язок необхідна і її можна досягти".