Энтропия непрерывной случайной величины

При попытке оценить неопределенность непрерывной случайной величины (с непрерывным множеством возможных состояний) – появляются особенности.

• «Непрерывность» имеет смысл только для количеств, то есть объект с непрерывным множеством возможных состояний – это количественная случайная величина.
• Распределение вероятности по состояниям характеризуется в этом случае плотностью вероятности p(x). Плотность вероятности величина размерная. Размерность обратная размерности случайной величины X, так как вероятность p(x)·dx безразмерна.

Переход к безразмерной случайной величине X, проведем путем деления размерной случайной величины X* на единицу ее измерения X₀. Тогда и плотность вероятности будет безразмерной. Разобьем всю область (–; +) возможных значений случайной величины X на интервалы, разделенные отстоящими на равных расстояниях Δx друг от друга интервалами (x_-1; x₀;...x_k;...).

Всякий раз, когда реализуется значение x О (x_k; x_k + Δx) будем считать, что реализовалось значение x_k величины X.

Рис. 2.3

Таким образом перешли к дискретной случайной величине, которая характеризуется распределением вероятностей. Вероятность наступления какого-либо состояния равна

Очевидно, что при Δx ® 0 квантованная величина X_д будет все более и более полно отражать все свойства непрерывной величины X. С другой стороны, к величине X_д (дискретной) можно применить понятие энтропии

Устремим Δx ® 0. При достаточно малых Δx примем . Поэтому

Таким образом предел энтропии H(X_д) за счет второго члена (–log Δx) стремится к бесконечности при Δx ® 0. Убедившись в том, что непрерывные случайные величины не допускают введения конечной абсолютной меры неопределенности, введем относительную меру. В качестве стандарта для сравнения можно брать неопределенность какого-либо простого распределения, например – равномерного в интервале шириной e. Разделим интервал e также на участки Δx и подсчитаем

Будем характеризовать неопределенность непрерывной случайной величины X числом, к которому стремится разность энтропий квантованных величин X_д (случайной величины X любого распределения) и X_д;равн(случайной величины, распределенной по равномерному закону на интервале e):

.

Эта разность конечна.

Если взять за стандарт неопределенность случайной величины, равномерно распределенной в единичном интервале, то есть принять (e = 1), то

Число H_e=1(X) обычно и называют относительной энтропией непрерывной случайной величины. http://peredacha-informacii.ru/ По численному значению относительной энтропии различные источники сообщения можно сравнить между собой.

Относительная энтропия характеризуется теми же свойствами, что и энтропия дискретного источника:

1. Не зависит от конкретного содержания случайной величины.

2. Энтропия объединения двух независимых источников выражается формулой:

3. Энтропия объединения двух статистически зависимых источников:

,

где

.

4. H_e(X; Y) ≤ H_e(X) + H_e(Y).

5. Всякое сглаживание функций распределения p(X) ведет к росту H_e(X).

Рис. 2.4

H_ε1(X) < H_ε2(X).

Исключение составляет лишь то, что H_e(X) может принимать отрицательные значения, так как H_e(X) – это разность энтропий, а случайная величина X может быть распределена на небольшом интервале меньшем, чем (e = 1).

Примеры.

Подсчитайте относительную энтропию непрерывного источника, имеющего следующий закон распределения плотности вероятности случайной величины X:

1.

H_e(x) = 0.

2.

H_e(x) = –1;

.

3.

H_e(x) = 1;

.

4.

Рис. 2.8

Пусть m_x = 0; s_x = 0.1; 0.2; 0.3; 0.4; 0.5;... Найти H_e(X).

Таблица 2.11