Условие:
Дана матрица переходных вероятностей за один шаг марковской цепи с дискретным временем. Составить граф марковской цепи, найти вероятности переходов из одного состояния в другое за два шага. Найти распределение вероятностей за один, два, три шага. Определить стационарные вероятности. Сравнить стационарные вероятности с распределение вероятностей за три шага.
Решение:
Для описания цепи Маркова удобно использовать граф вероятностей переходов, вершины которого обозначают возможные состояния системы, стрелки от одной вершины к другой указывают возможные переходы между состояниями, а число над стрелкой задаёт вероятность такого перехода.
В задаче множество состояний 
матрица вероятностей переходов имеет вид