Условие задачи
Определить среднее количество информации, содержащееся в сообщении, используемом три независимых символа
Известны вероятности появления символов
Оценить избыточность сообщения.
Ответ
Среднее количество информации на один элемент алфавита сообщений определяется через энтропию источника по следующей формуле: