Пусть алфавит А содержит 6 букв с вероятностями: 0,4; 0,2; 0,2; 0,1; 0,05; 0,05. Вычислить энтропию сообщений H(X).

6 ноября 2025
Теория вероятностей

Условие:

Пусть алфавит А содержит 6 букв, вероятности которых равны 0,4;
0,2; 0,2; 0,1; 0,05 и 0,05.
Вычислить энтропию сообщений Н(Х)

Решение:

Шаг 1. Запишем формулу энтропии для дискретного источника: H(X) = –Σ(pᵢ * log₂ pᵢ). Шаг 2. Подставим вероятности букв: p₁ = 0,4; p₂ = 0,2; p₃ = 0,2; p₄ = 0,1; p₅ = 0,05; p₆ = 0,05. Шаг 3. Вычислим каждый член суммы. Для p₁ = 0,4: log₂(0,4) ≈ –1,32193, тогда –0,4 * (–1,32193) = 0,4 * 1,3219...