Пусть принимает значения из -элементного множества. Докажите, что: а) ; б) тогда и только тогда, когда с вероятностью 1 принимает некоторое значение; в) если принимает любое значение с одинаковой вероятностью, то ; г) .

Добавлена: 02.05.2026
Обновлена: 02.05.2026
Предмет: Высшая математика
Автор: Кэмп

#Теория вероятностей и математическая статистика
#Теория информации

Пусть принимает значения из -элементного множества. Докажите, что: а) ; б) тогда и только тогда, когда с вероятностью 1 принимает некоторое значение; в) если принимает любое значение с одинаковой вероятностью, то ; г) .

Условие:

Пусть $X_{n}$ принимает значения из $n$ -элементного множества. Докажите, что: а) $H\left(X_{n}\right) \geq 0$ ; б) $H\left(X_{n}\right)=0$ тогда и только тогда, когда $X_{n}$ с вероятностью 1 принимает некоторое значение; в) если $X_{n}$ принимает любое значение с одинаковой вероятностью, то $H\left(X_{n}\right)=\log _{2} n$ ; г) $H\left(X_{n}\right) \leq \log _{2} n$ .

Решение:

Рассмотрим случайную величину Xₙ, принимающую значения из множества из n элементов с вероятностями p₁, p₂, …, pₙ, где Σₖ₌₁ⁿ pₖ = 1. Напомним, что энтропия определяется формулой \nH(Xₙ) = – Σₖ₌₁ⁿ pₖ log₂ pₖ.
\na) Докажем, что H(Xₙ) ≥ 0.
Шаг 1. Заметим, что для любого pₖ, где 0 ≤ pₖ ≤ 1, логарифм log₂ pₖ не положительный, то есть ≤ 0.
Шаг 2. Тогда каждый слагаемый – pₖ log₂ pₖ неотрицательный (отрицательный знак перед выражением делает неотрицательным каждое слагаемое).
Шаг 3. Сумма неотрицательных чисел неотрицательна, откуда следует H(Xₙ) ≥ 0.
\nb) Докажем, чт...