1. Главная
  2. Библиотека
  3. Электроника, электротехника, радиотехника
  4. Задан источник сообщений А = {ai}, где i = 1, 2, 3, 4, 5 с вероятностями, Р(а1) = 0,15, Р(а2) = 0,35, Р(а3) = 0,3, Р(а4) =...

Задан источник сообщений А = {ai}, где i = 1, 2, 3, 4, 5 с вероятностями, Р(а1) = 0,15, Р(а2) = 0,35, Р(а3) = 0,3, Р(а4) = 0,1, Р(а5) = 0,2.

«Задан источник сообщений А = {ai}, где i = 1, 2, 3, 4, 5 с вероятностями, Р(а1) = 0,15, Р(а2) = 0,35, Р(а3) = 0,3, Р(а4) = 0,1, Р(а5) = 0,2.»
  • Электроника, электротехника, радиотехника

Условие:

Задан источник сообщений А = {ai}, где i = 1, 2, 3, 4, 5 с вероятностями, Р(а1) = 0,15, Р(а2) = 0,35, Р(а3) = 0,3, Р(а4) = 0,1, Р(а5) = 0,2.

Найти количество информации, содержащейся в каждом из символов источника при их независимом выборе. Вычислить энтропию и избыточность заданного источника. Показать, что при равных объемах алфавитов N, энтропия H(A) имеет максимальное значение Hmax(A) = log2N при равновероятных символах.

Решение:

Количество информации I(ai), содержащееся в символе ai, выбираемом из ансамбля {ai} (i = 1,2,3, , K), где К объем алфавита, с вероятностью P(i), причем P(i) = 1, определяется по формуле

I(i) = -log2P(i)

Основание логарифма может быть произвольным, оно определяет лишь систему единиц измерения количества информации.

Информация измеряется в двоичных единицах (битах). Одна двоичная единица информации это количество информации, содержащееся в одном из двух выбираемых с равной вероятностью символов.

Похожие задачи

Не нашел нужную задачу?

Воспользуйся поиском

AI помощники

Выбери предмет

E
S
А
Б
В
Г
Д
Е
Ж
З
И
К
Л
М
Н
О
П
Р
С
Т
У
Ф
Х
Ц
Ч
Э
Я