Среди всевозможных распределений абсолютно непрерывных случайных величин с нулевым матожиданием и единичной дисперсией найдите то, что максимизирует дифференциальную энтропию. Число называют дифференциальной энтропией распределения с плотностью (при этом

Добавлена: 27.04.2026
Обновлена: 27.04.2026
Предмет: Теория вероятностей
Автор: Кэмп

#Теория вероятностей и математическая статистика
#Теория случайных величин

Условие:

Среди всевозможных распределений абсолютно непрерывных случайных величин с нулевым матожиданием и единичной дисперсией найдите то, что максимизирует дифференциальную энтропию. Число $H(\xi) \triangleq-\int_{\mathbb{R}} f_{\xi}(x) \log \left(f_{\xi}(x)\right) d x$ называют дифференциальной энтропией распределения с плотностью $f_{\xi}$ (при этом считаем, что $0 \log 0 \triangleq 0$ ).

Решение:

Рассмотрим задачу максимизации дифференциальной энтропии H(ξ) = –∫_ℝ f(x) log f(x) dx при условии, что случайная величина ξ имеет абсолютно непрерывное распределение с плотностью f(x), со следующими ограничениями: нормировка ∫_ℝ f(x) dx = 1, матожидание E[ξ] = ∫_ℝ x f(x) dx = 0 и дисперсия Var(ξ) = ∫_ℝ x² f(x) dx – (E[ξ])² =
1.

Шаг 1. Принцип максимума энтропии

Из известных результатов теории вероятностей следует, что среди всех распределений с заданными первым и вторым моментами (то есть с заданными матожиданием и дисперсией) максимальная энтропия достигаетс...