На столе лежит стопка из четырех книг. Каждая книга берется для чтения с вероятностью ¼, а при возвращении она с вероятностью 2/3 кладется сверху, либо с вероятностью 1/3 на ... На столе лежит стопка из четырех книг. Каждая книга берется для чтения

Представим последовательность перемещения книг марковской цепью с четырьмя состояниями верхней книгой в стопке лежит 1, 2, 3 и 4 книга соответственно.

Определим вероятности переходов между состояниями:

- пусть верхней книгой в стопке лежит первая книга.

Тогда с вероятностью следующей книгой, лежащей сверху, может оказаться любая из книг 2-4, а с вероятностью верхней останется первая книга;