Мінімальна среднеквадратическая помилка і градієнт

Мінімальна среднеквадратическая помилка і градієнт

У багатьох корисних для практики способах адаптації пошук вектора вагових коефіцієнтів, відповідного мінімуму робочої функції, здійснюється градієнтними методами. Градієнт функції СКО, що позначається або просто V, можна отримати диференціюванням функції (2.13), при цьому вектор-стовпець

R і P визначаються по (2.11) і (2.12). Цей вислів отримано диференціюванням функції (2.13) по кожному з компонентів вектора вагових коефіцієнтів. Диференціювання члена можна здійснити дифференцированием твори.

Для знаходження мінімального значення СКО вважаємо, що вектор вагових коефіцієнтів W дорівнює оптимальному W, градієнт якого дорівнює нулю:

Вважаючи, що R є неособенной матрицею, з (2.16) знаходимо вектор іноді званий винеровским вектором вагових коефіцієнтів:

Це рівність є рівнянням Вінера - Хопфа [8, 9, 12], записаним в матричної формі. Підставляючи тепер (2.17) в (2.13), отримуємо мінімальне значення СКО:

Спростимо отриманий результат, використовуючи наступні три властивості, які корисні при розгляді робочої функції СКО:

1. Для будь-якої квадратної матриці існує одинична матриця:

2. Транспонування твори матриць:

3. Симетричність кореляційної матриці вхідного сигналу:

Відповідно до цих властивостями (2.18) набирає вигляду

Тепер для того щоб пояснити введені поняття квадратичної поверхні, градієнт і СКО, розглянемо приклад.