Источник сообщений создает последовательность букв, выбранных из набора букв А, В, C, D с вероятностями 0,5; 0,25; 0,125; 0,125, причем очередная буква выбирается независимо. Вычислить избыточность текста.

Избыточность текста (redundancy) определяется как разница между энтропией источника и средней длиной сообщения.

Энтропия источника H(X) вычисляется следующим образом:

H(X) = - p(x) * log₂(p(x))

где p(x) - вероятность появления символа x.

Средняя длина сообщения L(X) вычисляется как:

L(X) = l(x) * p(x)

где l(x) - длина кода ...