Едгара взяли на виховання Френсіс і Джон Аллани - вони були знайомі з матір'ю хлопчика ще до її смерті; разом з новою сім'єю Едгар став жити в Річмонді, штат Вірджинія. Його сестру усиновила інша сім'я, а Вільяма забрали жити до себе батьки померлого батька.
Дитинство Едгара пройшло в обстановці любові і розкоші. У Алланом не було своїх дітей, і до Едгара вони ставилися з особливою турботою. Вони не шкодували коштів на його виховання, і хоча часом справи їх йшли невдало (були випадки, коли їм навіть загрожувало банкрутство), хлопчик цього не відчував: його одягали «як принца», у нього була своя кінь, свої собаки. Коли Едгару було шість років, Аллани поїхали в Англію і віддали хлопчика в дорогий пансіон в Лондоні, де він провчився п'ять років. Після повернення Алланом в 1820 в США Едгар вступив до коледжу, який закінчив в 1826 році Закінчувати освіту Едгара відправили в університет в Річмонді, тоді тільки що заснований.
Едгар розвинувся рано: в п'ять років він читав, малював, писав, декламував, їздив верхи. У школі він добре вчився, придбав великий запас знань з літератури, особливо англійської та латинської, з загальної історії, з математики, по деяких галузях природознавства, таким як астрономія, фізика. Фізично Едгар був сильний, брав участь у всіх витівках товаришів, а в університеті - в усіх їх гульні. Характер майбутнього поета з дитинства був нерівний, пристрасний, поривчастий. У його поведінці відзначали багато дивного. З ранніх років Едгар писав вірші, захоплювався фантастичними планами, любив проводити психологічні експерименти над собою та іншими. Усвідомлюючи свою перевагу, він давав іншим це відчувати.
Життя в багатстві скінчилася для Едгара, коли йому не було й повних 17 років. В університеті він пробув лише рік. Восени тисяча вісімсот двадцять шість стався розрив між Джоном Алланом і його прийомним сином. Хто був «винен», тепер з'ясувати важко. Є свідчення, несприятливі для Едгара. Наприклад, підтверджено, що він підробив векселі з підписом Джона Аллана, що одного разу, п'яний, наговорив йому грубощів, замахнувся на нього палицею і т. П. З іншого боку, невідомо, що терпів геніальний юнак від розбагатів покровителя (Джон Аллан одержав несподіваний спадок , що перетворило його вже в мільйонера), далекого питань мистецтва і поезії. Мабуть, щиро любила Едгара тільки пані Аллан, а її чоловік давно вже був незадоволений ексцентричним приймаком. Приводом до сварки стало те, що Аллан відмовився заплатити карткові борги Едгара. Юнак вважав їх «боргами честі» і не бачив іншого результату для порятунку цієї «честі», як покинути багатий будинок, де виховувався.
З Вест-Пойнта Едгар По поїхав в Нью-Йорк, де поспішив видати третю збірку віршів, названий, проте, «другим виданням»: «Поеми Едгара А. По. Друге видання ». Кошти на видання зібрані підпискою; підписалися багато товаришів з академії, які очікують, що знайдуть в книзі ті віршовані памфлети і епіграми на професорів, якими студент Аллан По став відомий в школі. Але їм довелося розчаруватися. Покупців у книги, оціненої в два з половиною долара, не знайшлося.
Період з осені 1831 по осінь 1833 - найважчий період для Едгара По. Влітку 1 831 Едгар жив в Балтіморі у своєї тітки пані Клем - матері тієї Віргінії, яка пізніше стала дружиною поета. З осені тисячі вісімсот тридцять одна його сліди губляться. До кінця цього періоду Едгар По дійшов до крайнього зубожіння. За одружився в 1836 на Віргінії Клем. Йому було 27, їй 13.
Однак незабаром його спіткало серйозне випробування. У Віргінії після співу лопнув кровоносну судину і вона перебувала при смерті (вона була хвора на туберкульоз). До того ж в 1846 нью-йоркський журнал Broadway Journal, з яким він співпрацював, закрився, і По втратив гроші на прожиття. Відновилася тяжке життя.
Останні роки життя Едгара По, 1847-1849, були роками метань, напівбожевілля, успіхів, падінь і постійної наклепу. Віргінія, вмираючи, взяла клятву з пані Шию, подруги Едгара, ніколи не залишати його. Едгар По полонила жінками, уявляв, що закоханий, йшлося навіть про одруження. У житті він тримав себе дивно, однак встиг видати ще кілька геніальних творів.