Определить среднее количество информации, содержащееся в сообщении, используемом три независимых символа с1, с2, с3. Известны вероятности появления символов п(с1) равно п1 равно 0,05; п(с2) равно п2 равно 0,15; п(с3) равно п3 равно 0,8.

25 июля 2024
Информатика

Условие:

Определить среднее количество информации, содержащееся в сообщении, используемом три независимых символа S₁, S₂, S₃. Известны вероятности появления символов p(S₁) = p₁ = 0,05; p(S₂) = p₂ = 0,15; p(S₃) = p₃ = 0,8. Оценить избыточность сообщения.

Решение:

Рассматриваем дискретный источник сообщений S. Пусть S_i независимые элементы алфавита сообщений, а p(S_i) их вероятности (i = 1, 2, 3). Тогда среднее количество информации на один элемент алфавита сообщений определяется через энтропию источника по следующей формуле: