Розглянемо несумісні систему лінійних рівнянь
щодо невідомих. Так як система (5.6) несумісна, то це означає, що не існує такого набору чисел. які при підстановці в систему (5.6) замість невідомих звертали б кожне рівняння системи в тотожність.
Підставляючи різні набори чисел замість невідомих в ліві частини рівнянь (5.6), ми будемо отримувати набори чисел.
Потрібно знайти такий набір чисел. щоб середнє квадратне відхилення відповідних чисел від даних величин. тобто значення виразу
було найменшим порівняно з іншими можливими значеннями. Зауважимо, що вимога відшукати найменше значення величини (5.7) означає вимогу знайти такі значення коефіцієнтів. для яких абсолютні величини помилок були в якомусь сенсі малими в сукупності.
Для вирішення поставленого завдання введемо в розгляд векторів. компонентами яких є стовпці коефіцієнтів при відповідно, тобто
Позначимо через лінійну комбінацію векторів (5.8), так що
де числа приймають будь-які значення.
Сукупність усіх лінійних комбінацій (5.9) утворюють підпростір. З геометричної точки зору ясно, що вираз (5.7) приймає найменше значення тоді, коли вектор збігається з перпендикуляром до проекціівектора на підпростір. а це значить, що вектор повинен бути ортогонален кожному з векторів. тобто повинні виконуватися рівності
Замінивши вектор у всіх рівняннях (5.10) на відповідні висловлювання з (5.9) і зробивши очевидні операції, отримаємо систему лінійних неоднорідних рівнянь щодо невідомих.
Так як поставлена задача має єдине рішення, то визначник системи (5.11)
відмінний від нуля і, отже, по теоремі Крамера отримуємо вирази для коефіцієнтів.
З викладеного випливає, що отриманий набір чисел вирішує поставлене завдання.
Метод найменших квадратів
На практиці часто виникає таке завдання: відомо, що величина лінійно залежить від величин так, що має місце рівність
але коефіцієнти невідомі. Для їх визначення вироблено з однаковою точністю вимірів (тут) величини. тобто відомі числа і відповідні виміри величин. тобто відомі числа. Це означає, що повинні виконуватися рівнянь системи (5.6). Але внаслідок невідомих помилок при вимірах ця система буде, взагалі кажучи, несумісною. Виникає запитання щодо визначення коефіцієнтів так, щоб кожне рівняння задовольнялося приблизно, але із загальною найменшою похибкою. Якщо за міру похибки прийняти середнє квадратичне з відхилень величин
від відомих величин. тобто вираз (5.7), то прийдемо до задачі, вирішеною в § 2.
В «Основах хімії» Д.І. Менделєєва наводяться експериментальні дані про розчинність азотно-кислого натрію в залежності від температури води. У 100 частинах води розчинялося наступне число умовних
частин при відповідних температурах
З теоретичних міркувань слід, що кількісна сторона цього процесу може бути описана рівнянням
де - температура в градусах, - розчинність в умовних частинах на 100 частин води, а й - невідомі. Якщо підставити в рівняння (5.14) замість і відповідні числа з даної таблиці, то отримаємо систему з шести рівнянь
яка несумісна. У згоді з викладеним в п. 2 введемо в розгляд 3 вектора
а потім обчислимо 5 скалярних творів
Система рівнянь (5.11) в нашому випадку набуде вигляду
вирішивши яку отримаємо; . так що шукана залежність набуде вигляду
Якщо підставити в рівняння значення температури води з даної таблиці, то отримаємо числа умовних частин
що свідчить про непоганий збіг з експериментальними даними.