Энтропия объединения двух и более источников

Пусть имеются два источника X и Y , которые выдают события {x1; x2;...xi;...xn} и {y1; y2;...yj;...ym}. Рассмотрим одновременное наступление двух событий xi и xj. http://peredacha-informacii.ru/ Вероятность его появления обозначим p(xi; yj), а вероятности появления любых пар (xi; yj) составят матрицу ||p(xi; yj)||, где 1 ≤ in, а 1 ≤ jm.

Количество информации, которое будет получено от факта наступления события (xi; yj) будет равно I = –log p(xi; yj).

Среднее количество информации на одну пару, или энтропия объединения двух событий подсчитывается по формуле:

энтропия объединения двух и более источников