Условие задачи
Задан источник сообщений А = {ai}, где i = 1, 2, 3, 4, 5 с вероятностями, Р(а1) = 0,15, Р(а2) = 0,35, Р(а3) = 0,3, Р(а4) = 0,1, Р(а5) = 0,2.
Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе. Вычислить энтропию и избыточность заданного источника. Показать, что при равных объемах алфавитов N, энтропия H(A) имеет максимальное значение Hmax(A) = log2N при равновероятных символах.
Ответ
Количество информации I(ai), содержащееся в символе ai, выбираемом из ансамбля {ai} (i = 1,2,3, , K), где К объем алфавита, с вероятностью P(i), причем P(i) = 1, определяется по формуле
I(i) = -log2P(i)
Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.
Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.
