Условие задачи
Вероятности появления символов источника алфавита р(х1)=0,5, р(х2)=0,25, р(х3)=0,125, р(х4)=0,125. Между соседними символами имеются корреляционные связи, которые описываются матрицей вероятностей
Требуется определить избыточность источника при статистической независимости символов и избыточность при зависимости символов.
Ответ
Для оценки избыточности нужно найти безусловную энтропию H2(X) и условную энтропию H3(X/X) источника.
В случае не учета статистической связи на основании для H2(X) имеем
Потяни
