Условие задачи
Определить среднее количество информации, содержащееся в сообщении, использующем три независимых символа
Известны вероятности появления символов:
Оценить избыточность сообщения.
Ответ
По формуле Шеннона, когда события не равновероятны, количество информации равно:
Рассчитаем: