Условие:
Определить среднее количество информации, содержащееся в сообщении, использующем три независимых символа
Известны вероятности появления символов:
Оценить избыточность сообщения.
Учесть зависимость между символами, которая задана матрицей условных вероятностей P(Si/Sj).
Решение:
Условной энтропией первого называется энтропия для алфавита, где известны вероятности появления одной буквы после другой:
Произведем расчет:
