|
Энтропия непрерывной случайной величиныПри попытке оценить неопределенность непрерывной случайной величины (с непрерывным множеством возможных состояний) – появляются особенности.
Переход к безразмерной случайной величине X, проведем путем деления размерной случайной величины X* на единицу ее измерения X0. Тогда и плотность вероятности будет безразмерной. Разобьем всю область (–; +) возможных значений случайной величины X на интервалы, разделенные отстоящими на равных расстояниях Δx друг от друга интервалами (x-1; x0;...xk;...). Всякий раз, когда реализуется значение x О (xk; xk + Δx) будем считать, что реализовалось значение xk величины X. Рис. 2.3 Таким образом перешли к дискретной случайной величине, которая характеризуется распределением вероятностей. Вероятность наступления какого-либо состояния равна Очевидно, что при Δx ® 0 квантованная величина Xд будет все более и более полно отражать все свойства непрерывной величины X. С другой стороны, к величине Xд (дискретной) можно применить понятие энтропии Устремим Δx ® 0. При достаточно малых Δx примем . Поэтому Таким образом предел энтропии H(Xд) за счет второго члена (–log Δx) стремится к бесконечности при Δx ® 0. Убедившись в том, что непрерывные случайные величины не допускают введения конечной абсолютной меры неопределенности, введем относительную меру. В качестве стандарта для сравнения можно брать неопределенность какого-либо простого распределения, например – равномерного в интервале шириной e. Разделим интервал e также на участки Δx и подсчитаем Будем характеризовать неопределенность непрерывной случайной величины X числом, к которому стремится разность энтропий квантованных величин Xд (случайной величины X любого распределения) и Xд;равн(случайной величины, распределенной по равномерному закону на интервале e): .
Эта разность конечна. Если взять за стандарт неопределенность случайной величины, равномерно распределенной в единичном интервале, то есть принять (e = 1), то Число He=1(X) обычно и называют относительной энтропией непрерывной случайной величины. http://peredacha-informacii.ru/ По численному значению относительной энтропии различные источники сообщения можно сравнить между собой. Относительная энтропия характеризуется теми же свойствами, что и энтропия дискретного источника: 1. Не зависит от конкретного содержания случайной величины. 2. Энтропия объединения двух независимых источников выражается формулой: 3. Энтропия объединения двух статистически зависимых источников: ,
где .
4. He(X; Y) ≤ He(X) + He(Y). 5. Всякое сглаживание функций распределения p(X) ведет к росту He(X). Рис. 2.4 Hε1(X) < Hε2(X). Исключение составляет лишь то, что He(X) может принимать отрицательные значения, так как He(X) – это разность энтропий, а случайная величина X может быть распределена на небольшом интервале меньшем, чем (e = 1). Примеры. Подсчитайте относительную энтропию непрерывного источника, имеющего следующий закон распределения плотности вероятности случайной величины X: 1. Рис. 2.5 He(x) = 0. 2. Рис. 2.6 He(x) = –1; .
3. Рис. 2.7 He(x) = 1; .
4. Рис. 2.8 Пусть mx = 0; sx = 0.1; 0.2; 0.3; 0.4; 0.5;... Найти He(X). Таблица 2.11
|