Найдите энтропию , принимающую значения на множестве из 4 элементов с распределением вероятностей: а) ; б) ; в) .

Добавлена: 02.05.2026
Обновлена: 02.05.2026
Предмет: Теория вероятностей
Автор: Кэмп

#Теория вероятностей и математическая статистика
#Теория случайных величин

Найдите энтропию , принимающую значения на множестве из 4 элементов с распределением вероятностей: а) ; б) ; в) .

Условие:

Найдите энтропию $X$ , принимающую значения на множестве из 4 элементов с распределением вероятностей: а) $p_{1}=1 / 2, p_{2}=1 / 4, p_{3}=1 / 8, p_{4}=1 / 8$ ; б) $p_{1}=1 / 8, p_{2}=1 / 8, p_{3}=3 / 4, p_{4}=0$ ; в) $p_{1}=3 / 4, p_{2}=1 / 8, p_{3}=1 / 16, p_{4}=1 / 16$ .

Решение:

Найдем энтропию случайной величины X по формуле
H(X) = –Σ pi · log2(pi).
При этом если pi = 0, то соответствующий член принимается равным 0.

Для каждого пункта проделаем вычисления пошагово.

Пункт а) Дано: p1 = 1/2, p2 = 1/4, p3 = 1/8, p4 = 1/8.

Вычислим log2 для каждого pi: log2(1/2) = –1, log2(1/4) = –2, log2(1/8) = –3.
Умножим каждое pi на соответствующий логарифм: 1/2 · (–1) = –1/2, 1/4 · (–2) = –1/2, 1/8 · (–3) = –3/8 (для p3), 1/8 · (–3) = –3/8 (для p4).
Просуммируем полученные произведения...