Энтропия двух и более взаимозависимых источников

Вероятность совместного наступления объединения двух взаимозависимых событий p(x_i; y_j) подсчитывается как произведение вероятности появления одного из них на условную вероятность появления второго при условии, что имеет место факт появления первого события, то есть

Учитывая это, энтропию объединения двух взаимозависимых источников следует считать по иному:

Где – условная энтропия источника Y относительно события x_i;

H(^Y⁄_X) – условная энтропия источника Y относительно источника X, так как при расчете учитываются все состояния, которые может принимать источник X.

Для объединения из трех взаимозависимых источников X; Y; Z можно записать:

H(X; Y; Z) = H(X) + H(^Y⁄_X) + H(^Z⁄_X;Y).

Для объединения двух взаимозависимых событий можно записать пределы, в которых может меняться его энтропия:

max[H(X); H(Y)] ≤ H(X; Y) ≤ H(X) + H(Y), то есть

энтропия объединения всегда больше энтропии одного из источников, но меньше суммы их энтропий. Первое утверждение верно, когда имеет место линейная зависимость одного из источников от другого. http://peredacha-informacii.ru/ А второе – когда источники независимы.

Рассмотрим пример расчета энтропии объединения двух источников. Пусть нам задана матрица ||p(x_i; y_j)|| следующего вида:

На матрицу наложены следующие ограничения:

; ; .

Требуется определить H(X; Y) тремя способами:

Надо определить источники X и Y взаимозависимы или нет.

Матрицу ||p(x_i; y_j)|| можно задать самим при условии, что m и n не более четырех, а можно запросить у ЭВМ, которая ее (матрицу) сгенерирует.

При расчетах следует учитывать, что

; .