Условие задачи
Определить среднее количество информации, содержащееся в сообщении, используемом три независимых символа S1, S2, S3. Известны вероятности появления символов p(S1) = p1 = 0,05; p(S2) = p2 = 0,15; p(S3) = p3 = 0,8. Оценить избыточность сообщения.
Ответ
Рассматриваем дискретный источник сообщений S. Пусть Si независимые элементы алфавита сообщений, а p(Si) их вероятности (i = 1, 2, 3). Тогда среднее количество информации на один элемент алфавита сообщений определяется через энтропию источника по следующей формуле:
Потяни
