Чтение онлайн

А теперь сравним вероятности того, что при случайном перемешивании шариков реализуется какое-либо из пяти возможных макросостояний. Вспомним сведения, которые мы получили ранее. Вероятность события определяется отношением числа благоприятных событий к общему числу возможных событий. В данном случае общее число событий равно 1 + 4 + 6 + 4 + 1 = 16, т. е. четыре шарика можно распределить по двум ячейкам шестнадцатью способами. Поскольку состояния I и V можно реализовать единственным способом, вероятность того, что все шарики окажутся в ячейке А, так же как и вероятность того, что все они попадут в ячейку Б, будет равна 1/16. Вероятность того, что в ячейке А (или Б) окажется один шарик, а остальные попадут в другую ячейку, равна 4/16. Вероятность же того, что шарики расположатся равномерно, по два в каждой ячейке, составит 6/16. Можно подсчитать эти вероятности для любого числа ячеек и для любого числа шариков (или молекул), и всякий раз мы будем убеждаться в том, что чем равномернее распределены предметы по ячейкам, тем вероятнее такое распределение. В этом нетрудно убедиться на любом примере. Насыплем в стакан с водой немного сахарного песка.

Сначала наибольшая концентрация сахарного сиропа будет возле дна стакана, но со временем сахар растворится, и концентрация выравняется по всему объёму.

Рис. 18. Реализация состояния III

Представить, что молекулы сахара самопроизвольно соберутся в некоторой части сосуда, практически невозможно, потому что вероятность такого события ничтожно мала.

Таким образом, вероятность состояния с равномерным распределением оказывается наибольшей по сравнению со всеми другими возможными состояниями, и все естественные процессы направлены в сторону достижения этого наиболее вероятного состояния. Но мы также знаем, что в результате всех природных процессов происходит увеличение энтропии. Напрашивается вывод, что между вероятностью существования данного состояния и энтропией должна существовать связь. Эта связь действительно существует, и впервые её охарактеризовал Л. Больцман. Он имел в виду термодинамические процессы, а мы будем рассуждать в рамках наших ячеек и шариков.

Будем называть, как это сделал Больцман, наши состояния I–V макросостояниями. Макросостояние определяется тем, сколько шариков находится в данной ячейке, и не интересуется тем, какие шарики там находятся. В противоположность этому микросостояние определяется тем, какие именно шарики в какой ячейке находятся. Понятно, что, для того чтобы определить микросостояние, требуется более глубокое и внимательное изучение (например, цифры на шариках могут быть едва заметными), поэтому оно так и называется. Разным макросостояниям соответствует различное число микросостояний. Чем более равномерным является распределение шариков по ячейкам, тем больше вероятность такого макросостояния и тем больше микросостояний ему соответствует. Но для такого состояния характерна и наибольшая энтропия. Из этого Больцман сделал вывод, что энтропию данного макросостояния можно измерить числом микросостояний, которым оно определяется. Более точно, энтропия пропорциональна логарифму этого числа. В физике энтропию принято обозначать буквой S, поэтому формулу, выведенную Больцманом, можно представить так:

S = klog W,

где k – коэффициент пропорциональности, а W – число микросостояний, соответствующих данному макросостоянию.

Состояние I, так же как и состояние V, определяется единственным микросостоянием. Так как логарифм единицы по любому основанию равен нулю, то и энтропия этих состояний равна нулю. Это значит, что в этих состояниях существует абсолютный порядок. Число микросостояний, которые определяют макросостояния I и IV, равно четырём, а значит, энтропия каждого из них равна log 4. Величина этого логарифма зависит от того, какое основание для логарифмирования мы выберем. Вообще говоря, основание может быть любым, так как в зависимости от этого изменится только коэффициент пропорциональности. Но по причинам, о которых вы узнаете в дальнейшем, нам будет удобно выбрать основание 2. Тогда энтропия макросостояний I и IV будет равна двум. Самым «беспорядочным» из наших макросостояний будет состояние III, которое может осуществиться шестью микросостояниями. Следовательно, энтропия этого, наиболее вероятного, состояния равна логарифму 6 по основанию 2, что составляет приблизительно 2,6.

1. Что такое макро– и микросостояние?

2. Чему равна энтропия макросостояния, которое обеспечивается единственным микросостоянием?

3. Почему макросостояние, при котором число шариков в каждой ячейке одинаково, оказывается наиболее вероятным?

4. Какие у создателей статистической физики были основания сопоставить вероятность состояния с его энтропией?

Предположим, что у нас имеется 6 шариков, которые могут быть распределены по двум ячейкам.

A. Составьте таблицу, в которой будут указаны все возможные макросостояния.

Б. Составьте таблицу, в которой будут указаны все микросостояния для каждого макросостояния.

B. Найдите вероятность каждого макросостояния.

Любое живое существо постоянно передаёт во внешний мир какие-то сигналы, а также получает сигналы из окружающей его среды.

Рис. 19. К. Шеннон

Человеку свойственна непрерывная познавательная деятельность, в течение жизни он постоянно узнаёт что-то новое и что-то в устной или письменной форме сообщает другим людям. Мы постоянно передаём окружающим и получаем от них знаки и сообщения, содержащие сведения о мыслях, чувствах, мнениях или желаниях. Мир этих сообщений и способов их передачи кажется необъятным, не поддающимся никакому строгому формальному описанию, тем более в математической форме.

Тем не менее в первой половине XX в. встал вопрос о необходимости введения количественной характеристики для передаваемых и принимаемых сообщений. Эта количественная характеристика вскоре получила название информация. Официально создателем теории информации считается американский инженер и математик Клод Шеннон (1916–2001), опубликовавший свою работу в этой области в 1948 г., хотя ещё в начале XX в. у него были предшественники (рис. 19). Работая в компании «Белл», Шеннон занимался процессами передачи сообщений, а во время Второй мировой войны много времени уделял процедуре шифрования (рис. 20). Перед исследователями, занимавшимися проблемами связи, стоял вопрос, как передать полезное сообщение с максимальной точностью и минимальными затратами. Для этого требовалось знать, сколько информации попало к потребителю и сколько её потерялось в процессе передачи. Поэтому количество информации необходимо было измерить.

Как можно измерить информацию? Прежде всего, надо уяснить, что информация – это не характеристика сообщения, а характеристика отношения между сообщением и его потребителем. Одно и то же сообщение может содержать огромную информацию для одного потребителя и нулевую – для другого, например для человека, незнакомого с языком, на котором передано это сообщение.

Логично предположить, что количество содержащейся в сообщении информации зависит от того, насколько это сообщение было неожиданным. Ведь если мы заранее знали всё, о чём нам сообщили, то никакой информации нам это сообщение не дало. Но как измерить степень неожиданности строгой количественной мерой? Допустим, получив сообщение, мы не узнали ничего нового. Это означает, что результат был известен нам и до сообщения и мы могли предугадать его с вероятностью, равной единице. Значит, единичной вероятности соответствует нулевая информация. Но если мы не были уверены в правильном ответе на интересующий нас вопрос, мы вместе с точным ответом получаем и какую-то информацию. Определить её количество можно, если представить себе, что такое самый простой вопрос. Очевидно, это такой вопрос, на который можно ответить либо «да», либо «нет».

Рис. 2 0. Лаборатория «Белл» в Мюррей Хилл (Нью-Джерси, США), работая в которой в 1948 г. Клод Шеннон опубликовал статью «A Mathematical Theory of Communication», одну из основополагающих работ по теории информации.

Если мы не имеем заранее никаких предположений, то, независимо от того, каким будет ответ, мы получаем одно и то же количество информации. Это количество представляет собой единицу информации и называется бит.

В том случае, когда ответ нельзя получить сразу, требуется задавать дополнительные вопросы. Самой эффективной для спрашивающего будет такая стратегия, когда он задаёт вопросы с возможными ответами «да» или «нет», причём вероятности получить тот или иной ответ кажутся ему одинаковыми. На этом строится широко известная игра в угадывание известного человека или кого-нибудь из присутствующих. Угадывающий мысленно разбивает ответы на две, как ему кажется, равновероятные части и задаёт вопрос, ответ на который может быть положительным или отрицательным. Каждый раз он получает информацию, равную одному биту. Количество полученной при угадывании информации равно числу вопросов, которые пришлось задать игроку. Искусство угадывания зависит от того, каким образом должен быть поставлен вопрос. Приведём один из возможных примеров такой игры. Допустим, требуется угадать Исаака Ньютона. Можно представить, что игра проходит следующим образом.