Условие:
Пусть алфавит А содержит 6 букв, вероятности которых равны 0,4;
0,2; 0,2; 0,1; 0,05 и 0,05.
Вычислить энтропию сообщений Н(Х)
Решение:
Шаг 1. Запишем формулу энтропии для дискретного источника: H(X) = –Σ(pᵢ * log₂ pᵢ).
Шаг 2. Подставим вероятности букв: p₁ = 0,4; p₂ = 0,2; p₃ = 0,2; p₄ = 0,1; p₅ = 0,05; p₆ = 0,05.
Шаг 3. Вычислим каждый член суммы. Для p₁ = 0,4: log₂(0,4) ≈ –1,32193, тогда –0,4 * (–1,32193) = 0,4 * 1,3219...