Условие задачи
Рассмотрим источник сообщений с алфавитом знаков {G, U, L, F}. Вероятности знаков в текстах этого источника выберите самостоятельно.
Считая появления знаков независимыми, найдите энтропию источника. Какое количество информации мы получим, узнав о появлении какого-то знака на выходе, - конкретного знака? Какой будет энтропия источника, если его состояния отождествлять со всевозможными парами знаков? Сколько информации содержится в сообщении о том, что в паре нет гласных, две гласные, одна гласная? Сколько информации содержится в сообщении из пяти знаков? Найдите собственную информацию сообщения LFFULG.
Ответ
1. Пусть
Энтропия источника:
Количество информации при появлении на выходе конкретного знака:
Потяни
