Условие задачи
Независимые случайные величины X и Y задаются следующими распределениями:
Пусть Z = X2 - Y2 . Вычислите энтропии случайных величин X,Y,Z, условные энтропии H(X|Z),H(Y|Z) и H(Z|X), совместную энтропию H(X,Z), а также взаимную информацию I(Y,Z) .
Ответ
Найдем распределение Z = X2 - Y2 . Для удобства вычисления представим в виде таблицы:\
Суммируя вероятности для одинаковых значений Z , получаем распределение:
Вычисляем энтропии случайных величин: