Richard Dawkins The Oxford Book of Modern Science Writing / Ричард Докинз Оксфордская книга публикаций современной науки: Claude E. Shannon and Warren Weaver from THE MATHEMATICAL THEORY OF COMMUNICATION / Клод Шеннон и Уорен Уивер из «Математическая теория связи»

Клод Шеннон и Уорен Уивер

Irina73 21.08.13 в 20:29

из «Математическая теория связи»

Irina73 21.08.13 в 20:30

Клод Шеннон был еще одним математиком, который находил удовольствие в шутливой jeux d’esprits (игре ума (франц.)) в своей благородной дисциплине, но он известен прежде всего как отец теории информации.

Irina73 21.08.13 в 20:37

Как приличествует его занятости в лабораториях Bell Telephone, он хотел выстроить этакую экономику коммуникации.

Irina73 21.08.13 в 20:40

Объем информации, содержащийся в сообщении, связан с тем, насколько неожиданным является ее получение

Foreigner_Mad 12.12.13 в 05:14

Если получателю известна большая часть передаваемого сообщения, этот объем невелик.

Foreigner_Mad 12.12.13 в 05:15

Таким образом, сообщение "сегодня в Долине Смерти шел дождь" содержит больше информации, чем сообщение "сегодня в Оксфорде шел дождь".

Foreigner_Mad 12.12.13 в 05:17

Тот факт, что разница в объеме информации заключается лишь в ожиданиях получателя, на первый взгляд кажется немного удивительным, хотя, по некоторому размышлению, это не выглядит необычным.

Foreigner_Mad 12.12.13 в 05:23

Подобные интуитивно понятные идеи позволили Шеннону сформулировать определение единицы измерения количества информации

Foreigner_Mad 12.12.13 в 05:25

Он назвал эту единицу "бит", и она определяется как количество информации, требуемое получателю для уменьшения исходной неопределенности его ожидания вдвое.

Foreigner_Mad 12.12.13 в 05:27

Допустим вам сообщают, что родился ребенок, при этом вы знаете, что это может быть как мальчик так и девочка.

Foreigner_Mad 12.12.13 в 05:27

Поскольку оба варианта обладают приблизительно равными вероятностями, то количество переданной информации в сообщении - один бит.

Foreigner_Mad 12.12.13 в 05:29

В сообщении о вытягивании из колоды карты какой-либо масти содержится два бита (степень, в которую надо возвести двойку, чтобы получить общее число всех возможных событий, равное в данном случае числу мастей - 4)

Foreigner_Mad 12.12.13 в 05:49

При выборе дня недели количество связанной с этим событием информации равно 2.8 бит (вам необходимо возвести 2 в степень 2.8, чтобы получить 7 - то же самое, если сказать что 2.8 является логарифмом семерки по основанию два).

Foreigner_Mad 12.12.13 в 06:27

На практике вычисление количества информации немного сложнее, так, что Шеннон вывел целую математическую теорию информации

Foreigner_Mad 12.12.13 в 13:17

Удивительно, что естественное и понятное логарифмическое выражение для определения количества информации, которое получил Шеннон, чисто математически является тем же самым выражением, которое получил Людвиг Больцман для расчета энтропии, и которое используется физиками по сей день.

Foreigner_Mad 12.12.13 в 15:05

Шеннон написал свою книгу об информации в соавторстве с Уорреном Уивером

Foreigner_Mad 12.12.13 в 06:27

Шеннон описал сложные биты, а Уивер сделал более популярное описание.

Irina73 12.12.13 в 15:56

Следующий отрывок из части Уивера. ■

Irina73 12.12.13 в 15:58

Системы связи и ее проблемы.

Irina73 20.05.13 в 14:55

Система связи могут быть символически представлены

Irina73 20.05.13 в 14:56

на рис. 20.

Irina73 20.05.13 в 14:55

Источник информации выбирает нужное сообщение из ряда возможных сообщений.

Irina73 20.05.13 в 14:56

Выбранное сообщение может состоять из письменных или устных слов, или картинки, музыки и т. д.

Irina73 20.05.13 в 14:57

Передатчик изменяет этого сообщения в сигнал, который передается на протяжении канала связи от передатчика к приемнику.

Irina73 20.05.13 в 14:57

В случае телефонии канал - это проводная линия, сигнал – это переменный электрический ток в этом проводе; передатчик представляет собой набор устройств (телефон передатчика и т.д.) которые преобразуют звуковое давление голоса в переменный электрический ток.

Irina73 20.05.13 в 14:57

В телеграфии, коды передатчика преобразуют письменные слова в дискретные последовательности тока различной длины (точки, тире, пробелы).

Irina73 20.05.13 в 14:57

В устной речи, информация это мозг, передатчик это голосовой механизм, производящий различное звуковое давление (сигнал), которое передается через воздух (канал).

Irina73 20.05.13 в 15:00

В случае с радио, канал это просто пространство и сигналом является передающаяся электромагнитная волна.

Irina73 20.05.13 в 15:01

Приемник это отчасти инвертированный передатчик, преобразовывает переданный сигнал обратно в сообщение, а также передает это сообщение на место назначения.

Irina73 20.05.13 в 15:00

Когда я говорю с вами, мой мозг - источник информации, ваш - место назначения; моя голосовая система - отправитель, и ваше ухо и связанный восьмой нерв - получатель.

Irina73 29.11.13 в 13:21

Для процесса передачи, к сожалению, характерно, что некоторые вещи будут добавлены в сигнал, которые не предоставлены источником информации.

Irina73 27.05.13 в 13:29

Эти нежелательные дополнения могут быть искаженным звуком (в телефонии, например) или помехами (по радио), или искажением формы или затенением изображения (телевидение), либо ошибками при передаче (телеграфной или факсимильной связи), и т.д.

Irina73 27.05.13 в 13:29

Все эти изменения в передаваемом сигнале называют шумом.

Irina73 27.05.13 в 13:29

Вот ряд вопросов, которые предполагается задать в отношении такой коммуникационной системы:

Irina73 28.04.15 в 08:46

а. Как измерить количество информации?

Irina73 28.04.15 в 08:47

б. Как измерить емкость канала связи?

Irina73 28.04.15 в 08:47

c. Действие передатчика при преобразовании сообщения в сигнал часто включает процесс кодирования.

Irina73 28.04.15 в 08:49

Каковы характеристики эффективного процесса кодирования? Когда кодирование эффективно настолько, насколько это возможно, при каком уровне канал способен передавать информацию?

gr8desu 12.05.15 в 16:41

d. Какие у шума есть характеристики? Как шум влияет на точность сообщения, доставленного до точки назначения? Как можно минимизировать нежелательные эффекты шума и в какой степени они могут быть устранены?

gr8desu 12.05.15 в 16:44

e. Как влияет на проблему ситуация, в которой сигнал передавался непрерывно (например, в случае речи или музыки), а не в виде дискретных символов (как письменная речь, телеграф и т.д.).

gr8desu 12.05.15 в 16:46

Информация.

Irina73 20.05.13 в 15:17

Слово "информация", в математической теории связи, используется в специальном смысле, который не следует путать с его обычным использованием.

Irina73 20.05.13 в 15:18

В частности, информацию не следует путать со значением.

Irina73 20.05.13 в 15:18

На самом деле два сообщения, одно из которых имеет очень важное значение и второе которое является полной чепухой, могут быть полностью эквивалентны, с нынешней точки зрения, так же как и с точки зрения информации.

Irina73 20.05.13 в 15:18

Это, несомненно то, о чем упоминает Шеннон когда говорит, что "семантические аспекты связи не имеют отношения к инженерным аспектам’.

Irina73 28.04.15 в 08:53

Но это не означает, что технические аспекты обязательно не важны семантическим аспектам.

Irina73 28.04.15 в 08:54

Слово "информация" в теории связи относится не столько к тому, что вы говорите, а к тому, что можно сказать.

Irina73 27.05.13 в 13:42

Это означает, что информация это мера своей свободы выбора, когда выбираешь сообщение.

Irina73 27.05.13 в 13:42

Если человек сталкивается с весьма элементарной ситуацией, где он должен выбрать одно из двух альтернативных сообщений, тогда произвольно обозначим, что информация, связанная с этой ситуацией единична.

Irina73 27.05.13 в 13:42