Энтропия объединения двух и более источников
Пусть имеются два источника X и Y , которые выдают события {x1; x2;...xi;...xn} и {y1; y2;...yj;...ym}. Рассмотрим одновременное наступление двух событий xi и xj. http://peredacha-informacii.ru/ Вероятность его появления обозначим p(xi; yj), а вероятности появления любых пар (xi; yj) составят матрицу ||p(xi; yj)||, где 1 ≤ i ≤ n, а 1 ≤ j ≤ m.
Количество информации, которое будет получено от факта наступления события (xi; yj) будет равно I = –log p(xi; yj).
Среднее количество информации на одну пару, или энтропия объединения двух событий подсчитывается по формуле:
|