Єрмолов не дбав про особисте щастя так наполегливо, як про своїх солдатів. Його власна інтимне життя залишалася бідною і представляла собою як би вимушену поступку природі і її вимогами.
Він не дозволяв собі поступитися військовою службою і боргом навіть заради можливого особистого щастя. Єдине, що міг дозволити собі ця дивовижна людина, було висновок не зв'язує його християнськими довічними зобов'язаннями кебінного шлюбу.
У мусульман дружини поділялися на кебінних, яким по шаріату призначалася при одруженні відома грошова сума, часто з різними речами нерухомим майном, і тимчасових, які користувалися тільки грошима, обумовлених при укладанні шлюбного умови. Кебінная дружина мала перед тимчасовою ще ті переваги, що після смерті чоловіка, якщо він помер бездітним, вона отримувала з його спадщини чверть, а якщо залишалися діти - восьму частину. Діти від кебінних і від тимчасових дружин вважалися однаково законними.
Чи не наважуючись на церковний шлюб, Єрмолов надійшов в суворій відповідності зі звичаями, які панували серед мусульманського населення.
У 1819 році, Пслі розгрому Ахмед-хана Аварского у Балтугая, Єрмолов прибув до дружньої Тарко. Тут йому сподобалася молода татарка Сюйда, дочка Абдулли, з якою він уклав кебін і яку залишив вагітної, доручивши перед виїздом в Тифліс на піклування дружини шамхала Тарковського - Піржан-хакуми.
Сюйда народила сина Бахтіар, який отримав при хрещенні ім'я Віктора, і два роки по тому приїхала до нього в Тифліс. Малолітнього Віктора Єрмолов відправив до Росії, щоб потім віддати його в кадетський корпус. Сюйда не побажала залишатися без сина в Тифлісі, як мине рік з почестями і подарунками повернулася в Тарко і згодом вийшла заміж за Султан-Алія, від якого мала трьох дітей.
Іншу кебінную дружину Єрмолов взяв під час експедиції в Акуш, в секленіі Кака-шурі. Приїхавши туди в супроводі шамхала Акушінского, він побачив доньку кака-Шуринську вузді Ака, на ім'я Тота, дівчину рідкісної краси. Тота була представлена Єрмолова і справила на нього глибоке враження. Тоді ж він виявив готовність взяти її в Тифліс при поверненні з походу. Та тільки-но він виступив в Акуш, як дівчина була видана заміж за свого односельця Іскандера, щоб перешкодити Єрмолова відвезти її до Грузії.
Однак горяни не були знайомі з рішучим характером головнокомандувача.
Повертаючись з Акуш, Єрмолов відправив сина шамхала в Кака-шуру з дорученням будь-що-будь привезти Тота. У момент викрадення дівчини її батько перебував на Кафир-кумицька млинах, де молов пшеницю. Повернувшись додому і довідавшись про те, що сталося, він, не злазячи з коня, помчав слідом за російським загоном і наздогнав його в селищі Шамхал-Янгі-Юрті. Йому вказали будинок, в якому знаходилася його дочка. Ака відправився туди, але перекладач Єрмолова Мірза-Джан Мадатов не допустив його до Тота, пояснивши, що вона ні в якому разі не може бути йому повернута, причому вручив йому перстень, сережки та шубу дочки.
При укладанні кебінного шлюбу з тотал Єрмолов дав їй слово, що прижитися від неї синів залишить собі, а дочок надасть їй.
Надалі Олександр II наказав визнати синів Єрмолова, які отримали гарну освіту, родовими дворянами і його законними дітьми. Всі вони гідно пішли по стопах батька, - закінчивши артилерійське училище, були зроблені в офіцери і бездоганно служили в російській армії.