Алфавит источника состоит из четырех символов: a, b, c и d, с вероятностями возникновения соответственно  p(a) = 0.2, p(b) = 0.3, p(c) = 0.4 и p(d) = 0.1.

Алфавит источника состоит из четырех символов: a, b, c и d, с вероятностями возникновения соответственно 

p(a) = 0.2, p(b) = 0.3, p(c) = 0.4 и p(d) = 0.1. 

Оценить избыточность сообщений

2. Ансамбль источника информации имеет вид:

Определить энтропию, коэффициент сжатия, избыточность и недогруженность символов сообщений источника.

3. Определить общую и частную избыточность некоторого восьмибуквенного алфавита, если известно, что с учетом неравновероятности распределения символов его энтропия равна H’ = 2.7 бит/символ, а с учетом взаимозависимости букв энтропия этого алфавита уменьшается на 0.25 бит/символ.