Закодируйте равномерным кодом и кодом Шеннона-Фано алфавит, состоящий из пяти букв: а1, а2, а3, а4, а5, вероятности появления которых равны 0,4; 0,3; 0,15; 0,1; 0,05. Сравните полученные коды по избыточности. Определите эффективность кода Шеннона-Фано по

Ниже приведено пошаговое решение задачи.

1. Определим входные данные. Имеется алфавит из 5 символов с вероятностями появления:
    а1 – 0,4
    а2 – 0,3
    а3 – 0,15
    а4 – 0,1
    а5 – 0,05

2. Построим равномерный (фиксированной длины) код.
    Для 5 символов минимальная длина кода определяется неравенством 2^(L) ≥ 5, откуда L = ceil(log2 5) = 3 бита.
    Например, можно присвоить:
     а1 – 000
     а2 – 001
     а3 – 010
     а4 – 011
     а5 – 100
    Средняя длина кода Lрав = 3 бита.

3. Вычислим энтропию источника.
    Энтропия H рассчитывается по формуле
     H = – Σ P(i) · log2(P(i)).
    Вычис...