Условие задачи
Задан источник с памятью глубиной 1 (Марковский источник), генерирующий 3 символа: a, b, c. Переходные вероятности P(ai|aj) заданы матрицей переходов:
Рассчитать условную энтропию Марковского источника.
Безусловные вероятности генерации символов источника: P(a) = 0,45, P(b) = 0,45, P(c) = 0,1.
Определить условную энтропию этого источника.
Ответ
Условная энтропия источника определяется по формуле: