Условие задачи
Рассмотрим игру «восхождение по лестнице». Есть 5 уровней в игре, уровень 1 самый низкий и уровень 5-самый высокий. Игрок начинает внизу. Каждый ход бросается монета. Если выпадает орёл, игрок движется на один уровень вверх. Если решка, игрок сразу переходит в самый низ, на 1-й уровень. После того, как игрок оказался на самом верхнем, 5-м уровне, то перемещается в самый низ если выпадет решка, и остается на вершине, если выпадает орёл.
а) найти матрицу вероятности перехода.
б) найдите стационарное распределение цепи Маркова.
Ответ
Считаем, что монета симметричная, т.е. выпадения орла и решки равновероятны.
Представляя переходы между уровнями игры в виде цепи Маркова, вводим состояния цепи Маркова, соответствующие уровням игры, т.е. 1 самый низкий уровень, а 5 наивысший уровень.
Поскольку при выпадении решки игрок опускается на самый низкий уровень, то имеем а поскольку при выпадении орла игрок поднимается на следующий уровень (или остается на верхнем уровне, если орел выпал на этом уровне), то . Все остальные переходы невозможны, поэтому имеем следующую матрицу вероятностей переходов между состояниями:
