Условие задачи
Определить количество информации в каждой букве. Определить энтропию и избыточность источника, выдающего текст, состоящий из этих букв, при отсутствии статистических связей между буквами.
Ответ
Количество информации, содержащейся в i-м символе равна log2 (1/pi), где pi является вероятностью появления i-го символа. Вычисленное количество информации для каждого символа представлено в таблице.
Энтропия источника, не учитывающего статистическую взаимосвязь между буквами, равна:
Потяни
