Докажите следующие свойства взаимной информации: а) ; б) ; в) ; г) ;

Добавлена: 02.05.2026
Обновлена: 02.05.2026
Предмет: Высшая математика
Автор: Кэмп

#Теория вероятностей и математическая статистика
#Теория информации

Докажите следующие свойства взаимной информации: а) ; б) ; в) ; г) ;

Условие:

Докажите следующие свойства взаимной информации: а) $I(X ; Y)=I(Y ; X)$ ; б) $I(X ; Y)=H(X)-H(X \mid Y)=H(Y)-H(Y \mid X)$ ; в) $I(X ; Y)=H(X, Y)-H(X \mid Y)-H(Y \mid X)$ ; г) $I(X ; Y) \leq \min \{H(X), H(Y)\}$ ;

Решение:

Ниже приведено подробное пошаговое доказательство каждого из свойств взаимной информации.

--------------------------------------------------
Сначала напомним определение взаимной информации. Для случайных величин X и Y она определяется как

I(X; Y) = H(X) + H(Y) – H(X, Y).

Также известны соотношения условных энтропий:
H(X|Y) = H(X, Y) – H(Y),
H(Y|X) = H(X, Y) – H(X).

--------------------------------------------------
а) Доказать, что I(X; Y) = I(Y; X).

Шаг 1. Запишем определение взаимной информации...