2.4. Условная собственная информация. Взаимная информация
Обозначим возможные различные символы на входе некоторого блока системы передачи информации через , i = 1,…, m, а выходные символы через yj, j = 1,…,n. Под символом можно подразумевать символы источника, информационные последовательности, сигналы на входе линии связи, а под символами yj - символы закодированных сообщений, кодовые последовательности, сигналы на выходе линии связи.
Рассмотрим простейший случай, когда , i = 1,…, m, взаимно независимые. При этом источник X полностью описывается априорными вероятностями ,i=1,…,m, которые и характеризуют первоначальное незнание (первоначальную неопределенность) о появлении конкретного символа на входе блока.
При наличии помех между символами и yj нет однозначного соответствия, т.е. символ может перейти в любой символ yj с некоторой условной вероятностью , которую можно вычислить, если известен механизм такого перехода. Зная вероятности и ,i=1,…,m, j=1,…,n, нетрудно найти вероятности появления на входе блока символов , i = 1,…, m, при условии, что на выходе блока наблюдался символ yj. Эти вероятности, называемые апостериорными, характеризуют оставшееся незнание (оставшуюся неопределенность) о появлении на входе символов , i = 1,…, m, при наблюдении символа yj на выходе блока.
Таким образом, полученная информация о символе при наблюдении символа yj приводит к изменению вероятности появления символа от ее априорного значения к ее апостериорному значению .
Тогда, по аналогии с собственной, информация, содержащаяся в символе xi при условии, что сигнал принял значение yj, определяется как
I(xi / yj) = - log p(xi / yj),
и называется условной собственной информацией.
Ее можно интерпретировать как количество информации, доставляемое событием xi при известном событии yj, или как количество информации, которое должно доставляться некоторым другим событием для однозначного определения события при известном yj.
В изучении проблем передачи – приема информации, кроме рассмотренных выше величин, важную роль играет среднее значение взаимной информации между элементами различных ансамблей.
Рассмотрим снова ансамбли X и Y. Пусть ансамбли зависимы. В результате опыта (приема символа yj) апостериорная вероятность появления символа xi изменяется по сравнению с априорной.
Тогда количество информации относительно символа сообщения xj, доставляемое символом yk, определяется как логарифм отношения апостериорной вероятности к априорной
I(xi; yj) = log (p(xi / yj))/ p(xi),
и называется взаимной информацией.
Последнее выражение указывает на симметрию выражения для количества информации относительно сигналов и .
Выражение (2.7.) может быть представлено в виде
Первый член этого выражения может рассматриваться как количество информации в сигнале , а второй – как потери информации, связанные с искажением сигнала при преобразовании в . Если преобразование однозначно, то р( / )=1 приi=j, то
При отсутствии каких – либо статистических связей между и р ( / )=р( ), и тогда .
Ниже приведены основные свойства взаимной информации.
1. Взаимная информация может быть отрицательной, положительной или равной нулю, в зависимости от соотношения между априорной и апостериорной вероятностями
- < I(xi; yj) <
2. Взаимная информация не превышает собственную
I(xi ; yj) I(xi)
I(xi ; yj) I(yj).
При данной вероятности p(xi) взаимная информация I(xi; yj) достигает максимума, когда принятый символ yj однозначно определяет переданный символ xj и это максимальное значение взаимной информации I(xi; yj) = - log p(xj), равно собственной информации, определяемой только априорной вероятностью символа xi .
3. Свойство симметрии
I (xi; yj) = I (yj; xi),
т.е. информация, содержащаяся в yak относительно ax , равна информации, содержащаяся в xj относительно yak . В силу этого свойства информацию I(xj; yak) называют взаимной информацией между xj и yak .
4.Свойство аддидивности количества информации
I(xi , zk; yj, ql) = I(xi ; yj) + I( zk ; ql) .
Если пара X,Y независима от пары Z,Q , то информация, содержащаяся в паре yj, ql относительно пары xi , zk, равна сумме информации, содержащейся в yj относительно xi , и информации, содержащейся в ql относительно zk .
Рассмотрим условное среднее значение взаимной информации для объединенного ансамбля XY. Пусть сигнал принял значение yk. Тогда информация, содержащаяся в реализации yk принятого сигнала относительно ансамбля передаваемых сообщений X, есть
средняя взаимная информация между ансамблем X и реализацией yj:
Аналогично информация, содержащаяся в ансамбле принятых сигналов Y относительно реализации переданного сообщения xj, определяется как средняя взаимная информация между ансамблем Y и реализацией xj:
Наконец, средняя взаимная информация между ансамблем принимаемых сигналов Y и ансамблем передаваемых сообщением X есть то количество информации, которое содержится в среднем в ансамбле принимаемых символов Y относительно ансамбля передаваемых символов X.
Взаимную информацию записать в одной из следующих форм:
Пример 2.56. По дискретному каналу передаются сообщения x1 и x2. Вследствие действия шумов на выходе канала появляются сигналы y1, y2 и y3. Вероятности совместного появления заданы в таблице