нехай <. . .> - безліч можливих станів деякої фізичної системи. У будь-який момент часу система може находітьcя тільки в одному стані. З плином часу система переходить послідовно з одного стану в інший. Кожен такий перехід називається кроком процесу.
Для опису еволюції цієї системи введемо послідовність дискретних випадкових величин. . . Індекс n грає роль часу. Якщо в момент часу n система перебувала в стані. то ми будемо вважати, що = j. Таким чином, випадкові величини є номерами станів системи.
Послідовність. . . утворює ланцюг Маркова. якщо для будь-якого n і будь-яких. .
P (= j | =. = I) = P (= j | = i).
Для ланцюгів Маркова ймовірність в момент часу n потрапити в стан. якщо відома вся попередня історія досліджуваного процесу, залежить тільки від того, в якому стані перебував процес в момент n-1; коротше: при фіксованому "сьогоденні" "майбутнє" не залежить від "минулого". Властивість незалежності "майбутнього" від "минулого" при фіксованому "сьогоденні" називається марковским властивістю.
Ймовірності (= j | = i), i, j = 1,2. r називаються матрицями переходу зі стану в стан за один крок.
Ланцюг Маркова називається однорідним. якщо вірогідність переходів не залежить від n, тобто якщо вірогідність переходів не залежить від номера кроку, а залежать тільки від того, з якого стану і в яке здійснюється перехід. Для однорідних ланцюгів Маркова замість писатимемо.
Ймовірності переходу зручно розташовувати у вигляді квадратної матриці
Матриця P називається матрицею ймовірностей переходу однорідного ланцюга Маркова за один крок. Вона має такі властивості:
б) для всіх i = 1.
Квадратні матриці, для яких виконуються умови а) і б), називаються стохастичними.
Вектор. де = P (), i = 1,2. r, називається вектором початкових ймовірностей.
Властивості однорідних ланцюгів Маркова повністю визначаються вектором початкових ймовірностей і матрицею ймовірностей переходу. У конкретних випадках для опису еволюції ланцюга Маркова замість явного виписування матриці P використовують граф, вершинами якого є стани ланцюга, а стрілка, що йде зі стану в стан з числом над нею показує, що зі стану в стан можливий перехід з ймовірністю. У тому випадку, коли. відповідна стрілка не проводиться.
Можна показати, що матриця ймовірностей переходу ланцюга Маркова за n кроків дорівнює n-го ступеня матриці P ймовірностей переходу за один крок.
Для однорідного ланцюга Маркова при будь-якому m виконується рівність
Але остання ймовірність є ймовірність переходу зі стану в стан за n кроків.
Теорема про граничні ймовірності. Якщо при деякому всі елементи матриці = [] позитивні, то існують межі
Граничні імовірності не залежать від початкового стану і є єдиним рішенням системи рівнянь
Фізичний сенс цієї теореми полягає в тому, що ймовірність знаходження системи в стані практично не залежить від того, в якому стані вона перебувала в далекому минулому.
Ланцюг Маркова, для якої існують межі. називається ергодічеськой.
Рішення (..) Написаної вище системи називається стаціонарним розподілом ймовірностей для марковської ланцюга з матрицею переходу P = [].
Якщо зі стану система може перейти в стан з позитивною ймовірністю за кінцеве число кроків, то кажуть, що можна досягти з.
Стан називається істотним, якщо для кожного стану. досяжного з. досяжно з. Якщо ж для хоча б одного j досяжно з. а не досяжно з. то - несуттєве стан.
(Див. Завдання в Чистяков В. П. Курс теорії ймовірностей: Навчальний 3-е изд. Іспр.-М. Наука. Гл. Ред. Фіз.-мат. Літ.- 1987.)
Завдання 1. Матриця ймовірностей переходу ланцюга Маркова має вигляд
. Розподіл по станам в момент часу t = 0 визначається вектором. знайти:
1) розподіл по станам в момент t = 2;
2) ймовірність того, що в моменти t = 0, 1, 2, 3 состяние ланцюга будуть відповідно 1, 3, 3, 2;
3) стаціонарний розподіл.
Рішення. Задамо матрицю P, вектор початкових ймовірностей q і знайдемо матрицю P2 ймовірностей переходу за два кроки як.
2) Знайдемо розподіл по станам в момент t = 2
Знайдемо розподіл по станам в момент t = 1
Знайдемо розподіл по станам в момент t = 3
Тоді шукану ймовірність знайдемо так
Тут ми перемножили першу координату вектора q (ймовірність того, що система в початковий момент часу перебувала в стані 1), третю координату вектора q1 (ймовірність того, що система в момент часу t = 1 перебувала в стані 3), третю координату вектора q2 ( ймовірність того, що система в момент часу t = 2 перебувала в стані 3), другу координату вектора q3 (ймовірність того, що система в момент часу t = 3 перебувала в стані 2).
3) Знайдемо стаціонарний розподіл ланцюга Маркова. Для цього транспоніруем матрицю P
> P: = linalg [matrix] ([[0.1, 0.5, 0.4], [.6. 2. 2], [.3. 4. 3]]); Pt: = linalg [transpose] (P);
Для знаходження свого власного вектора транспонованою матриці, сума координат якого дорівнює 1, складемо систему лінійних рівнянь
Вирішимо цю систему
Таким чином, вектор v визначає стаціонарний розподіл ланцюга Маркова.
Завдання 2. Нехай - номер стану в ланцюзі Маркова в момент часу t, P () = 1 і матриця ймовірностей переходу за одиницю часу дорівнює; . якщо і . якщо. Показати, що послідовність є ланцюгом Маркова. Знайти відповідну їй матрицю ймовірностей переходу.
Завдання 3. Гральний кубик весь час перекладається випадковим чином з однієї грані равновероятно на будь-яку іншу з чотирьох сусідніх граней незалежно від попереднього. До якої межі прагне при t прагне до нескінченності ймовірність того, що в момент часу t кістка лежить на межі "6", якщо в момент t = 0 вона перебувала в цьому ж положенні (t = 0, 1, 2, 3.)?
Завдання 4. Матриця ймовірностей переходу P і вектор q початкового розподілу по станах мають вигляд:. .
а) несуттєві стану;
б) математичне сподівання - часу виходу з несуттєвих станів;
в) імовірності. попадання в безлічі станів. . якщо початковим станом є i з;
г) граничний при розподіл по станам, тобто величини.
Завдання 4. Матриця ймовірностей переходу P = || || ланцюга Маркова визначається формулами. . . . Довести, що
Знайти стаціонарну вірогідність.
Вказівка. Для доказу формули застосуєте метод математичної індукції.