Количественная мера информации. Энтропия источника дискретных сообщений с независимыми сообщениями. Количественной оценкой информации выступает ее объем — количество символов в сообщении.

Количественной оценкой информации выступает ее объем количество символов в сообщении. При энтропийном способе (энтропия мера неопределенности) количество информации определяется формулой Шеннона. Им же впервые введена единица измерения количества информации бит (binary digital бинарная единица).

Она соответствует минимальному объему информации, полученной в виде ответа да или нет, в двоичной системе 1 или 0. В данном случае происходят два равновероятностных события: I=-1/2*log21/2-1/2*log21/2=1.

Алгоритмический способ оценки информации предлагается алгоритмической теорией информации, которая ...