Готовый перевод Richard Dawkins The Oxford Book of Modern Science Writing / Ричард Докинз Оксфордская книга публикаций современной науки: Claude E. Shannon and Warren Weaver from THE MATHEMATICAL THEORY OF COMMUNICATION / Клод Шеннон и Уорен Уивер из «Математическая теория связи»

Клод Шеннон и Уорен Уивер

из «Математическая теория связи»

Клод Шеннон был еще одним математиком, который находил удовольствие в шутливой jeux d’esprits (игре ума (франц.)) в своей благородной дисциплине, но он известен прежде всего как отец теории информации.

Как приличествует его занятости в лабораториях Bell Telephone, он хотел выстроить этакую экономику коммуникации.

Объем информации, содержащийся в сообщении, связан с тем, насколько неожиданным является ее получение

Если получателю известна большая часть передаваемого сообщения, этот объем невелик.

Таким образом, сообщение "сегодня в Долине Смерти шел дождь" содержит больше информации, чем сообщение "сегодня в Оксфорде шел дождь".

Тот факт, что разница в объеме информации заключается лишь в ожиданиях получателя, на первый взгляд кажется немного удивительным, хотя, по некоторому размышлению, это не выглядит необычным.

Подобные интуитивно понятные идеи позволили Шеннону сформулировать определение единицы измерения количества информации

Он назвал эту единицу "бит", и она определяется как количество информации, требуемое получателю для уменьшения исходной неопределенности его ожидания вдвое.

Допустим вам сообщают, что родился ребенок, при этом вы знаете, что это может быть как мальчик так и девочка.

Поскольку оба варианта обладают приблизительно равными вероятностями, то количество переданной информации в сообщении - один бит.

В сообщении о вытягивании из колоды карты какой-либо масти содержится два бита (степень, в которую надо возвести двойку, чтобы получить общее число всех возможных событий, равное в данном случае числу мастей - 4)

При выборе дня недели количество связанной с этим событием информации равно 2.8 бит (вам необходимо возвести 2 в степень 2.8, чтобы получить 7 - то же самое, если сказать что 2.8 является логарифмом семерки по основанию два).

На практике вычисление количества информации немного сложнее, так, что Шеннон вывел целую математическую теорию информации

Удивительно, что естественное и понятное логарифмическое выражение для определения количества информации, которое получил Шеннон, чисто математически является тем же самым выражением, которое получил Людвиг Больцман для расчета энтропии, и которое используется физиками по сей день.

Шеннон написал свою книгу об информации в соавторстве с Уорреном Уивером

Шеннон описал сложные биты, а Уивер сделал более популярное описание.

Следующий отрывок из части Уивера. ■

Системы связи и ее проблемы.

Система связи могут быть символически представлены

на рис. 20.

Источник информации выбирает нужное сообщение из ряда возможных сообщений.

Выбранное сообщение может состоять из письменных или устных слов, или картинки, музыки и т. д.

Передатчик изменяет этого сообщения в сигнал, который передается на протяжении канала связи от передатчика к приемнику.

В случае телефонии канал - это проводная линия, сигнал – это переменный электрический ток в этом проводе; передатчик представляет собой набор устройств (телефон передатчика и т.д.) которые преобразуют звуковое давление голоса в переменный электрический ток.

В телеграфии, коды передатчика преобразуют письменные слова в дискретные последовательности тока различной длины (точки, тире, пробелы).

В устной речи, информация это мозг, передатчик это голосовой механизм, производящий различное звуковое давление (сигнал), которое передается через воздух (канал).

В случае с радио, канал это просто пространство и сигналом является передающаяся электромагнитная волна.

Приемник это отчасти инвертированный передатчик, преобразовывает переданный сигнал обратно в сообщение, а также передает это сообщение на место назначения.

Когда я говорю с вами, мой мозг - источник информации, ваш - место назначения; моя голосовая система - отправитель, и ваше ухо и связанный восьмой нерв - получатель.

Для процесса передачи, к сожалению, характерно, что некоторые вещи будут добавлены в сигнал, которые не предоставлены источником информации.

Эти нежелательные дополнения могут быть искаженным звуком (в телефонии, например) или помехами (по радио), или искажением формы или затенением изображения (телевидение), либо ошибками при передаче (телеграфной или факсимильной связи), и т.д.

Все эти изменения в передаваемом сигнале называют шумом.

Вот ряд вопросов, которые предполагается задать в отношении такой коммуникационной системы:

а. Как измерить количество информации?

b. Как измерить емкость канала связи?

c. Действие передатчика при преобразовании сообщения в сигнал часто включает процесс кодирования.

Каковы характеристики эффективного процесса кодирования? Когда кодирование эффективно настолько, насколько это возможно, при каком уровне канал способен передавать информацию?

d. Какие у шума есть характеристики? Как шум влияет на точность сообщения, доставленного до точки назначения? Как можно минимизировать нежелательные эффекты шума и в какой степени они могут быть устранены?

e. Как влияет на проблему ситуация, в которой сигнал передавался непрерывно (например, в случае речи или музыки), а не в виде дискретных символов (как письменная речь, телеграф и т.д.).

Информация.

Слово "информация", в математической теории связи, используется в специальном смысле, который не следует путать с его обычным использованием.

В частности, информацию не следует путать со значением.

На самом деле два сообщения, одно из которых имеет очень важное значение и второе которое является полной чепухой, могут быть полностью эквивалентны, с нынешней точки зрения, так же как и с точки зрения информации.

Это, несомненно то, о чем упоминает Шеннон когда говорит, что "семантические аспекты связи не имеют отношения к инженерным аспектам’.

Но это не означает, что технические аспекты обязательно не важны семантическим аспектам.

Слово "информация" в теории связи относится не столько к тому, что вы говорите, а к тому, что можно сказать.

Это означает, что информация это мера своей свободы выбора, когда выбираешь сообщение.

Если человек сталкивается с весьма элементарной ситуацией, где он должен выбрать одно из двух альтернативных сообщений, тогда произвольно обозначим, что информация, связанная с этой ситуацией единична.

Отметим, что это - неправильно говорить, что то или другое сообщение, передает единицы информации.

Понятие информации относится не к отдельным сообщениям (как это понятие имеет значение), а, скорее, к ситуации в целом, единица информации показывает то, что в этой ситуации надо сумму свободы выбора, при выборе сообщения которой она удобно рассматривать как стандартную единицу количества.

Два сообщения, между которыми надо выбирать в такой ситуации, могут быть любыми.

Одно из них может быть текстом Библии короля Якова, а другое — словом ‘Да’.

Передатчик должен закодировать эти два сообщения: ‘ноль’ бы означал сигнал для первого, ‘один’ сигнал для второго; или же обозначить первое сообщение замкнутым состоянием цепи (ток есть), а второго — разомкнутым (тока нет).

Таким образом, два состояния простого реле могут соответствовать двум сообщениям.

Чтобы быть несколько более формальным, количество информации равняется, в простейших случаях, логарифму количества возможных состояний.

Удобнее всего использовать логарифм по основанию 2, а не десятичный алгоритм - информация, когда есть выбор только из двух вариантов, пропорциональна логарифму по основанию 2.

Это единица информации. Таким образом, как уже было сказано выше, выбор из двух вариантов определяет количество информации, равное одному.

Эта единица измерения информации называется «бит» - впервые этот термин был предложен Джоном Тьюки как сокращение от «binary digit» (англ. «двоичная цифра»).

Для представления чисел в двоичной системе используются только две цифры: 0 и 1. Также как в десятичной системе, где основание равно 10, используются цифры от 0 до 9 включительно.

Переведено на Нотабеноиде
http://notabenoid.org/book/35417/126983

Переводчики: Irina73, Foreigner_Mad, gr8desu, algrid