Условие:
При статистическом кодировании уменьшается избыточность, благодаря чему повышается производительность источника сообщений.
В работе необходимо дать определение количества информации и энтропии источника дискретных сообщений и вычислить энтропию для источника Вашего варианта с учетом вероятностей передачи элементов "1" и "0" и его производительность (длительность каждого элемента сообщений задана). Далее, с целью повышения производительности источника, необходимо закодировать источник с использованием неравномерного кода по методу Шеннона-Фано или близкого этому методу – методу Хаффмена, что практически более удобно. Описать, в чем заключается идея оптимального статического кодирования и почему при этом повышается производительность источника сообщений.
Таблица 6 – Исходные данные для решения задачи
Решение:
В теории информации изучаются количественные закономерности передачи, хранения, и обработки информации. Количество информации, содержащейся в элементарном сообщении i, является некоторой функцией от вероятности передачи этого сообщения Р(i):
Определим вид этой функции. Для этого потребуем, чтобы мера количества информации J(i) удовлетворяла двум интуитивным свойствам:
1. Если выбор сообщения i заран...