Исчисление объемов информации Цель работы: Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.

Исчисление объемов информации

Цель работы: Закрепление знаний о количественном исчислении объемов информации. Мера информации по Хартли. Мера информации по Шеннону.

Задания:

1. В результате воздействия импульсной помехи во время передачи посылки из l бит по последовательному каналу был искажен один из передаваемых разрядов.

• расположение бита, подвергшегося искажению известно достоверно, но его исходное значение полностью утеряно (стирание);
• известно, что один из битов принял инверсное значение относительно своего исходного, но его расположение неизвестно.

Сравнить конечные неопределенности состояния источника информации для первого и второго случаев, а также оценить по Шеннону объем принятой информации в обоих случаях, предполагая, что все состояния источника информации равновероятны.

Длина посылки данных l:

а) 8 разрядов; б) 12 разрядов; в) 16 разрядов; г) 20 разрядов.

2. Для заданного фрагмента текста:

• найти объем алфавита источника, необходимого для передачи данного сообщения;
• рассчитать объем информации по Хартли, приходящийся на один символ данного сообщения;
• оценить частоты появления отдельных символов алфавита;
• оценить объем информации по Шеннону, приходящийся на один символ данного сообщения, предполагая, что алфавит источника ограничен символами, встречающимися в сообщении;
• то же, предполагая, что алфавит источника совпадает с алфавитом русского языка.

В качестве фрагмента анализируемого текста выбрать:

«Информатика это отрасль науки, изучающая структуру и общие свойства научной информации, а также вопросы, связанные с ее сбором, хранением, поиском, переработкой, преобразованием, распространением и использованием в различных сферах деятельности»;