Условие задачи
Рассчитать энтропию дискретного источника без памяти и количество информации, содержащееся в сообщении.
Дан дискретный источник информации без памяти, генерирующий независимо друг от друга 4 различных символа: a, b, c, d. Вероятности появления этих символов: P(a) = 0,2, P(b) = 0,35, P(c) = 0,3, P(d) = 0,15.
Определить энтропию этого источника. Определить количество информации, содержащееся в сгенерированном данным источником сообщении dcdcba.
Ответ
Поскольку символы генерируются независимо, то энтропия источника составит:
Потяни
