Чтение онлайн

 

(3.08)

и количество информации равно

 

(3.081)

Заметим, что если f1(x, y) имеет вид (х)(y) и

 

, (3.082)

[c.122]

то

 

(3.083)

и

 

(3.084)

т. е. количество информации от независимых источников есть величина аддитивная.

Интересной задачей является определение информации, получаемой при фиксации одной или нескольких переменных в какой-либо задаче. Например, положим, что переменная u заключена между х и x+dx с вероятностью

 

,

а переменная v заключена между теми же двумя пределами с вероятностью

 

Сколько мы приобретаем информации об u, если знаем, что u+v=w? В этом случае очевидно, что u=w—v, где w фиксировано. Мы полагаем, что априорные распределения переменных u и v независимы, тогда апостериорное распределение переменной u пропорционально величине

 

, (3.09)

где c1 и c2 — константы. Обе они исчезают в окончательной формуле.

Приращение информации об u, когда мы знаем, что w таково, каким мы его задали заранее, равно

 

[c.123]

 

(3.091)

Заметим, что выражение (3.091) положительно и не зависит от w. Оно равно половине логарифма от отношения суммы средних квадратов переменных u и v к среднему квадрату переменной v. Если v имеет лишь малую область изменения, то количество информации об u, которое дается знанием суммы u+v, велико и становится бесконечным, когда b приближается к нулю.

Мы можем истолковать этот результат следующим образом. Будем рассматривать u как сообщение, а v — как помеху. Тогда информация, переносимая точным сообщением в отсутствие помехи, бесконечна. Напротив, при наличии помехи это количество информации конечно и быстро приближается к нулю по мере увеличения силы помехи.

Мы сказали, что количество информации, будучи отрицательным логарифмом величины, которую можно рассматривать как вероятность, по существу есть некоторая отрицательная энтропия. Интересно отметить, что эта величина в среднем имеет свойства, которые мы приписываем энтропии.

Пусть (х) и (x) — две плотности вероятностей, тогда

 

также есть плотность вероятности и

 

(3.10)

Это вытекает из того, что

 

(3.11)

Другими словами, перекрытие областей под (х) и (x) уменьшает максимальную информацию, заключенную в сумме (х)+(x). Если же (х) есть плотность [c.124] вероятности, обращающаяся в нуль вне (а, b), то интеграл

 

(3.12)

имеет наименьшее значение, когда

на интервале (а, b) и (х)=0 вне этого интервала. Это вытекает из того, что логарифмическая кривая выпукла вверх.

Как и следовало ожидать, процессы, ведущие к потере информации, весьма сходны с процессами, ведущими к росту энтропии. Они состоят в слиянии областей вероятностей, первоначально различных. Например, если мы заменяем распределение некоторой переменной распределением функции от нее, принимающей одинаковые значения при разных значениях аргумента, или в случае функции нескольких переменных позволяем некоторым из них свободно пробегать их естественную область изменения, мы теряем информацию. Никакая операция над сообщением не может в среднем увеличить информацию. Здесь мы имеем точное применение второго закона термодинамики к технике связи. Обратно, уточнение в среднем неопределенной ситуации приводит, как мы видели, большей частью к увеличению информации и никогда — к ее потере.

Интересен случай, когда мы имеем распределение вероятностей с n– мерной плотностью f(х1, …, xn) по переменным (х1, …, xn) и m зависимых переменных y1, …, ym. Сколько информации мы приобретаем при фиксации таких т переменных? Пусть они сперва фиксируются между пределами y1*, y1*+dy1*; …; ym*, ym*+dym*. Примем х1, x2, …, xn—m, y1, y2, …, ут за новую систему переменных. Тогда для новой системы переменных наша функция распределения будет пропорциональна f1(х1, …, xn) над областью R, определенной условиями

 

и равна нулю вне ее. Следовательно, количество информации, полученной при наложении условий на значения y, будет равно [141] [c.125]

 

 

 

 

(3.13)

С этой задачей тесно связано обобщение задачи, о которой говорилось по поводу уравнения (3.091). Сколько информации в рассматриваемом случае приобретается нами об одних только переменных х1, …, xn—m? Здесь априорная плотность вероятности этих переменных равна

 

, (3.14)

а ненормированная плотность вероятности после фиксации величин у* будет

 

(3.141)

где берется по всем множествам значений (xn—m+1, …, xn), соответствующим данному множеству значений y*. Основываясь на этом, нетрудно записать решение нашей задачи, хотя оно и будет несколько громоздким. Если мы примем множество (x1, …, xn—m) за обобщенное сообщение, множество (xn—m+1, …, xn) — за [c.126] обобщенный шум. а величины y* — за обобщенное искаженное сообщение, то получим, очевидно, решение обобщенной задачи выражения (3.091).

Таким образом, мы имеем по крайней мере формальное решение обобщения упомянутой уже задачи о сигнале и шуме. Некоторое множество наблюдений зависит произвольным образом от некоторого множества сообщений и шумов с известным совместным распределением. Мы хотим установить, сколько информации об одних только сообщениях дают эти наблюдения. Это центральная проблема техники связи. Решение ее позволит нам оценивать различные системы связи, например системы с амплитудной, частотной или фазовой модуляцией, в отношении их эффективности в передаче информации. Это техническая задача, не подлежащая здесь подробному обсуждению; уместно, однако, сделать некоторые замечания.