ланцюги маркова

ланцюги Маркова

Завдання 1. Задана матриця ймовірностей переходу дискретної ланцюга Маркова з i -го стану в j -е за один крок (i. J = 1, 2). Розподіл ймовірностей по станам в початковий момент t = 0 визначається вектором = (0,1; 0,9). знайти:

1. матрицю Р2 переходу ланцюга зі стану i в стан j за два
кроку;

2. розподіл ймовірностей по станам в момент t = 2;

3. ймовірність того, що в момент t = 1 станом ланцюга буде А2;

4. стаціонарний розподіл.

Рішення. Для дискретної ланцюга Маркова в разі її однорідності справедливо співвідношення

де Р1 - матриця перехідних ймовірностей за один крок;
Рn - матриця перехідних ймовірностей за n кроків;

1. Знайдемо матрицю Р2 переходу за два кроки

Нехай розподіл ймовірностей по станам на S -ом кроці визначається вектором
.
Знаючи матрицю Pn переходу за n кроків, можна визначити розподіл ймовірностей по станам на (S + n) -му кроці. (5)

2. Знайдемо розподіл ймовірностей по станам системи в момент t = 2. Покладемо в (5) S = 0 і n = 2. Тоді.

3. Знайдемо розподіл ймовірностей по станам системи в момент t = 1.

Покладемо в (5) s = 0 і n = 1, тоді.
Звідки видно, що ймовірність того, що в момент t = 1 станом ланцюга буде А2, дорівнює р2 (1) = 0,69.
Розподіл ймовірностей по станам називається стаціонарним, якщо воно не змінюється від кроку до кроку, тобто
Тоді зі співвідношення (5) при n = 1 отримаємо

4. Знайдемо стаціонарний розподіл. Так як = 2 маємо = (р1; р2). Запишемо систему лінійних рівнянь (6) в координатної формі


Остання умова називається нормувального. В системі (6) завжди одне рівняння є лінійною комбінацією інших. Отже, його можна викреслити. Вирішимо спільно перше рівняння системи і нормувального. Маємо 0,6р1 = 0,3р2. тобто р2 = 2р1. Тоді р1 +2 р1 = 1 або, тобто. Отже,.
відповідь:
1) матриця переходу за два кроки для цього ланцюга Маркова має вигляд;
2) розподіл ймовірностей по станам в момент t = 2 дорівнює;
3) ймовірність того, що в момент t = 1 станом ланцюга буде А2. дорівнює р2 (t) = 0,69;
4) стаціонарний розподіл має вигляд

Задана матриця інтенсивностей переходів безперервного ланцюга Маркова. Скласти розмічений граф станів, відповідний матриці Λ; скласти систему диференціальних рівнянь Колмогорова для ймовірностей станів; знайти граничне розподіл ймовірностей. Рішення. Однорідна ланцюг Маркова з кінцевим числом станів А1. А2, ... А характеризується матрицею інтенсивностей переходів,

де - інтенсивність переходу ланцюга Маркова зі стану А i в стан Аj; Рij (Δt) -ймовірність переходу Ai → Aj за інтервал часу Δt.

Переходи системи зі стану в стан зручно задавати за допомогою розміченого графа станів, на якому зазначаються дуги, відповідні интенсивностям λij> 0. Складемо розмічений граф станів для заданої матриці інтенсивностей переходів

ланцюги маркова

Нехай - вектор ймовірностей рj (t).
j = 1, 2, ... ,, знаходження системи в стані Аj в момент t.

Очевидно, що 0≤рj (t) ≤1 і. Тоді за правилом диференціювання векторної функції скалярного аргументу отримаємо. Ймовірності рj (t) задовольняють системі диференціальних рівнянь Колмогорова (СДУК), яка в матричної формі має вигляд. (7)

Якщо в початковий момент система перебувала в стані Аj. то СДУК слід вирішувати при початкових умовах
рi (0) = 1, рj (0) = 0, j ≠ i, j = 1, 2, ... ,. (8)
Сукупність СДУК (7) і початкових умов (8) однозначно описує однорідну ланцюг Маркова з безперервним часом і кінцевим числом станів.
Складемо СДУК для заданої ланцюга Маркова. Оскільки = 3, то j = 1, 2, 3.

Зі співвідношення (7) отримаємо
.
Звідси матимемо

ланцюги маркова

Остання умова називається нормувального.
Розподіл ймовірностей по станам називається стаціонарним. якщо воно не змінюється з плином часу, тобто, де рj = const. j = 1,2, ... ,. Звідси.

Тоді з СДУК (7) отримуємо систему для знаходження стаціонарного розподілу
(9)
Для даної задачі з СДУК матимемо

З нормувального умови отримаємо 3р2 + р2 + р2 = 1 або. Отже, граничне розподіл має вигляд.
Зауважимо, що цей результат можна отримати безпосередньо по розміченому графу станів, якщо скористатися правилом: для стаціонарного розподілу сума творів λjipi. j ≠ i. для стрілок, що виходять з i -го стану, дорівнює сумі творів λjipi. j ≠ i. для стрілок, що входять в i -е стан. дійсно,

Очевидно, що отримана система еквівалентна тій, яка складена за СДУК. Отже, вона має те саме рішення.
Відповідь: стаціонарний розподіл має вигляд.

підручники
Пропонуємо найбільш хороші на наш погляд підручники для самостійного вивчення математики та економіки

Довідники
Компактні довідкові матеріали, формули з різних розділів вищої математики та економічної статистики.

Схожі статті