Энтропия непрерывной случайной величины

При попытке оценить неопределенность непрерывной случайной величины (с непрерывным множеством возможных состояний) – появляются особенности.

  • «Непрерывность» имеет смысл только для количеств, то есть объект с непрерывным множеством возможных состояний – это количественная случайная величина.
  • Распределение вероятности по состояниям характеризуется в этом случае плотностью вероятности p(x). Плотность вероятности величина размерная. Размерность обратная размерности случайной величины X, так как вероятность p(xdx безразмерна.

Переход к безразмерной случайной величине X, проведем путем деления размерной случайной величины X* на единицу ее измерения X0. Тогда и плотность вероятности будет безразмерной. Разобьем всю область (–; +) возможных значений случайной величины X на интервалы, разделенные отстоящими на равных расстояниях Δx друг от друга интервалами (x-1; x0;...xk;...).

Всякий раз, когда реализуется значение x О (xk; xk + Δx) будем считать, что реализовалось значение xk величины X.

энтропия непрерывной случайной величины
Рис. 2.3

Таким образом перешли к дискретной случайной величине, которая характеризуется распределением вероятностей. Вероятность наступления какого-либо состояния равна

энтропия непрерывной случайной величины

Очевидно, что при Δx ® 0 квантованная величина Xд будет все более и более полно отражать все свойства непрерывной величины X. С другой стороны, к величине Xд (дискретной) можно применить понятие энтропии

энтропия непрерывной случайной величины

Устремим Δx ® 0. При достаточно малых Δx примем . Поэтому

энтропия непрерывной случайной величины

Таким образом предел энтропии H(Xд) за счет второго члена (–log Δx) стремится к бесконечности при Δx ® 0. Убедившись в том, что непрерывные случайные величины не допускают введения конечной абсолютной меры неопределенности, введем относительную меру. В качестве стандарта для сравнения можно брать неопределенность какого-либо простого распределения, например – равномерного в интервале шириной e. Разделим интервал e также на участки Δx и подсчитаем

энтропия непрерывной случайной величины

Будем характеризовать неопределенность непрерывной случайной величины X числом, к которому стремится разность энтропий квантованных величин Xд (случайной величины X любого распределения) и Xд;равн(случайной величины, распределенной по равномерному закону на интервале e):

энтропия непрерывной случайной величины.

Эта разность конечна.

Если взять за стандарт неопределенность случайной величины, равномерно распределенной в единичном интервале, то есть принять (e = 1), то

энтропия непрерывной случайной величины

Число He=1(X) обычно и называют относительной энтропией непрерывной случайной величины. http://peredacha-informacii.ru/ По численному значению относительной энтропии различные источники сообщения можно сравнить между собой.

Относительная энтропия характеризуется теми же свойствами, что и энтропия дискретного источника:

1. Не зависит от конкретного содержания случайной величины.

2. Энтропия объединения двух независимых источников выражается формулой:

энтропия непрерывной случайной величины

3. Энтропия объединения двух статистически зависимых источников:

энтропия непрерывной случайной величины,

где

энтропия непрерывной случайной величины. энтропия непрерывной случайной величины

4. He(X; Y) ≤ He(X) + He(Y).

5. Всякое сглаживание функций распределения p(X) ведет к росту He(X).

энтропия непрерывной случайной величины
Рис. 2.4

Hε1(X) < Hε2(X).

Исключение составляет лишь то, что He(X) может принимать отрицательные значения, так как He(X) – это разность энтропий, а случайная величина X может быть распределена на небольшом интервале меньшем, чем (e = 1).

Примеры.

Подсчитайте относительную энтропию непрерывного источника, имеющего следующий закон распределения плотности вероятности случайной величины X:

1.

энтропия непрерывной случайной величины
Рис. 2.5

He(x) = 0.

2.

энтропия непрерывной случайной величины
Рис. 2.6

He(x) = –1;

энтропия непрерывной случайной величины.

3.

энтропия непрерывной случайной величины
Рис. 2.7

He(x) = 1;

энтропия непрерывной случайной величины.

4.

энтропия непрерывной случайной величины
Рис. 2.8
энтропия непрерывной случайной величины

Пусть mx = 0; sx = 0.1; 0.2; 0.3; 0.4; 0.5;... Найти He(X).

энтропия непрерывной случайной величины

Таблица 2.11

sx 0.1 0.2 0.3 0.24 0.5
Hε(X) –1.27 –0.27 0.31 0 1.05