Условие:
Рассчитайте безусловную энтропию источника сообщений, если вероятности
появления различных символов равны соответственно: p(a)=0.5, p(b)=0.25, p(c)=0.125,
p(d)=0.125.
Решение:
Шаг 1. Запишем формулу энтропии Шеннона для источника с символами, где p(i) – вероятность появления i-го символа: H = -∑[p(i) * log2(p(i))]. Шаг 2. Подставим вероятности для каждого символа a, b, c и d: H = -[p(a)*log2(p(a)) + p(b)*log2(p(b)) + p(c)*l...
