Аддитивная мера информации по Хартли

В 1928 году Хартли предложил меру для измерения информации дискретных сообщений:

I = log N,

где I – количество полученной информации, а N – количество возможных исходов или различных сообщений, которое может быть получено от источника дискретных сообщений с алфавитом в M букв при длине сообщения в n букв.

Рассмотрим эту меру подробнее.

Если получили одно элементарное сообщение – xi, а оно выбрано из алфавита в M букв, то получено I = log M единиц информации. Поскольку в данной мере не учитывается ни в каком состоянии находился источник, ни какова вероятность появления каждой буквы, то считается, что имеет место элементарный источник с одинаковой вероятностью употребления различных букв алфавита pi = 1M = pj, когда ij. Это очень сильные ограничения, которые значительно завышают истинное значение информации в сообщении.

С другой стороны у этой меры есть положительные моменты:

  • она пропорциональна длине сообщения, так как если составлено сообщение длиной в n букв, то общее число различных сообщений из n букв будет равно N = M n и следовательно In = n log M;
  • предложенная мера аддитивна, то есть если имеет место сообщение, полученное путем одновременного наступления нескольких событий от разных источников, то количество полученной при этом информации будет равно сумме информаций, полученных от каждого из них независимо друг от друга. Например, есть два источника Q1 и Q2 со своими алфавитами {xi}, где 1 ≤ iM1 и {yj}, где 1 ≤ jM2. Наступило событие: (xi; yj). Какое при этом получено количество информации? Так как общее число возможных исходов N в этом случае равно (M1·M2), то I = log N = log(M1·M2) = log M1 + log M2.

Основание логарифма можно принять различным. Это не принципиально, так как полученные меры будут отличаться только числовым коэффициентом. Но этим мерам даны различные названия:

loga M = lg 10 = 1[дит];

loga M = ln e = 1[нит(нат)];

loga M = log2 2 = 1[бит];

1[дит] = 1 ⁄ lg 2 = 1 ⁄ 0.301 = 3.322[бит].

В дальнейшем, если это не оговорено, будем пользоваться битами и не писать основание логарифма.

Численно предложенная мера совпадает с минимальным количеством вопросов, которое необходимо задать человеку, задумавшему число в заданном диапазоне чисел при условии, что на каждый вопрос он отвечает «да» или «нет».

Пример 1

Задумай целое число в диапазоне от 1 до 8. Задумал число три.

  1. Вопрос 1: Число больше четырех? Ответ 1: нет.
  2. Вопрос 2: Число меньше трех? Ответ 2: нет.
  3. Вопрос 3: Вы задумали число четыре? Ответ 3: нет.

Вывод: Вы задумали число три. Решение получено после I = log 8 = 3 вопросов. http://peredacha-informacii.ru/ Вы, наверное, заметили, что каждый новый вопрос делил оставшуюся зону неопределенности в отгадывании задуманного числа ровно пополам.

Пример 2

Какое количество информации Вы получили, если узнали на какое поле шахматной доски какая фигура и какого цвета поставлена? (Цветов 2; полей 64; разных фигур 6.)

Решение

  1. Число различных исходов: N = 2 · 64 · 6.
  2. Количество информации: I = log N = 1 + 6 + 2.58 = 9.58[бит].

Ответ: число в диапазоне 9.5÷9.6.

Пример 3

Какое количество информации содержится во фразе:

«Кому на Руси жить хорошо?» (n = 25 (включая пропуски и знак вопроса), M = 32 (русские буквы) + пропуск + (.; -; !; ?) = 37 знаков.)

Решение: I = log N = log M n = 25 · log 37 = 25 · 5.21 = 130.25.

Ответ: число в диапазоне 130.2÷130.3.