Условие задачи
Исчисление объемов информации
Цель работы: Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.
Задания:
1. В результате воздействия импульсной помехи во время передачи посылки из l бит по последовательному каналу был искажен один из передаваемых разрядов.
- расположение бита, подвергшегося искажению известно достоверно, но его исходное значение полностью утеряно (стирание);
- известно, что один из битов принял инверсное значение относительно своего исходного, но его расположение неизвестно.
Сравнить конечные неопределенности состояния источника информации для первого и второго случаев, а также оценить по Шеннону объем принятой информации в обоих случаях, предполагая, что все состояния источника информации равновероятны.
Длина посылки данных l:
а) 8 разрядов; б) 12 разрядов; в) 16 разрядов; г) 20 разрядов.
2. Для заданного фрагмента текста:
- найти объем алфавита источника, необходимого для передачи данного сообщения;
- рассчитать объем информации по Хартли, приходящийся на один символ данного сообщения;
- оценить частоты появления отдельных символов алфавита;
- оценить объем информации по Шеннону, приходящийся на один символ данного сообщения, предполагая, что алфавит источника ограничен символами, встречающимися в сообщении;
- то же, предполагая, что алфавит источника совпадает с алфавитом русского языка.
В качестве фрагмента анализируемого текста выбрать:
«Информатика это отрасль науки, изучающая структуру и общие свойства научной информации, а также вопросы, связанные с ее сбором, хранением, поиском, переработкой, преобразованием, распространением и использованием в различных сферах деятельности»;
Ответ
1. При известном расположении утерянного бита возможны два состояния передаваемой информации, тогда неопределенность состояния источника при любой длине посылки данных будет:
Так как при равной вероятности появления двух состояний источника вероятность появления каждого тогда:
