Через понад століття після смерті Його Світлості Алі (а), місце розташування його могили залишалося таємницею. Імам став шахідом, пав від меча члена угруповання анархістського спрямування, хариджитов.
Прихильники імама побоювалися, що після поховання, Хариджити можуть осквернити могилу Його Світлості. Тому тіло Імама Алі (а) було віддане землі вночі, за участю лише найближчих родичів і сподвижників. Згідно з переказами, в церемонії взяли участь сини покійного - Імам Хасан (а), Імам Хусейн (а) і Мухаммад ібн Ханафіййа, племінник Абдуллах ібн Джафарі-таййар і ще кілька людей. Дані про загальну кількість учасників коливаються від 6-ти до 8-ми (в деяких джерелах говориться навіть про 4-х). За заповітом Імама, щоб приховати місце розташування істинної могили, в околицях Куфи були вириті ще три хибні могили. Крім того, згідно з переказами, були виготовлені три труни, які відправили в Мекку, Медину і Кудс.
Місцезнаходження могили ховалося від усіх. Про таємниці були обізнані лише представники роду Пророка (с) і їх близькі сподвижники. У хадисах йдеться, що коли Імам Джафар Садик (а) за наказом першого аббасітского халіфа Абуль-Аббас Саффаха був доставлений в Ірак, здійснив паломництво до могили Імама Алі (а), вказавши це місце і близьким соратникам. Згодом імам розповів про місцезнаходження могили наступного аббасітскому халіфа Мансуру і з тих пір до цього місця стали стікатися паломники. Відзначимо, що до цього часу небезпека заподіяння шкоди могилі харіджітов або ж амавітамі, минула. Аббасіти хоч і вважали імамів Ахлі-бейта своїми суперниками, утримувалися вести з ними відкриту боротьбу і, на відміну від амавітов, що не ображали пам'ять Імама Алі (а). Справа в тому, що Його Світлість Алі (а) був племінником Аббаса ібн Абдульмуталліба, дядька Пророка (с) і предка аббасітов. Образа імама означало б образу самої правлячої династії.
У багатьох джерелах же стверджується, що місце розташування могили Імама Алі (а) стало відомо в період правління Харуна ар-Рашида (175-ий рік хіджри) в результаті події дива. Кажуть, що одного разу Харун ар-Рашид вийшов пополювати в околицях Куфи. Гончаки собаки і соколи почали переслідувати кількох джейранів. Тварин загнали на пагорб, але коли собаки спробували переслідувати їх і там, з якоїсь причини не змогли зробити це: невідома сила зупинила їх. Навіть соколам не вдалося підлетіти до вершини пагорба. Коли ж джейрани спустилися з пагорба, гонитва відновилася знову. Джейрани знову піднялися на пагорб, рятуючи тим самим свої життя. Все це повторилося тричі. Харун дуже здивувався цьому, вирішивши дізнатися у місцевих жителів про таємниці. За наказом халіфа, до нього привели одного старця, який живе поблизу. На питання Харуна, той відповів: «Я чув від предків, що під цим пагорбом похований Повелитель правовірних Алі ібн Абу Таліб (а). Тому Аллах зробив це місцем притулком для знедолених. Всякий, що прийшов сюди, буде в безпеці ».
Почувши це, Харун зробив на цьому місці намаз, піднісши Аллаху. Потім розпорядився побудувати там перший мавзолей.