Условие задачи
Имеются два зависимых источника сообщений X и Y. Сложная система, объединяющая эти источники, описана совместным распределением двух случайных величин, заданным матрицей значений P(X,Y):
Рассчитать энтропию сложной системы.
Определить энтропии обоих источников Н(Х), H(Y), их полные условные энтропии HX(Y), HY(X), и энтропию сложной системы H(X,Y).
Ответ
Находим распределения источников сообщений Y и X (суммируем вероятности по столбцам и строкам соответственно совместного распределения):
И находим энтропии источников:
Потяни
