Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Decoherence is Simple

Открытое письмо физикам:

sepremento 08.03.20 в 08:14

Когда я ходил пешком под стол, мой отец, доктор физико-математических наук (PhD physicist) строго-настрого запретил мне копаться в делах физиков. Он утверждал, что бесполезно пытаться понять физику без формальной математики. Точка. Никаких исключений. Однако я уже читал научно-популярные книжки Фейнмана и он утверждал, что если действительно понимаешь физику, то ты должен суметь объяснить её не-физику. Я больше верил Фейнману, чем своему отцу, поскольку Фейнман получил Нобелевскую премию, а мой отец --- нет.

sepremento 08.03.20 в 08:19

И только позже, когда я читал Фейнмановские Лекции, я понял, что мой отец рассказал мне всё просто и честно. Нет математики = нет физики.

sepremento 08.03.20 в 08:20

По призванию я Байесианец, а не физик. И несмотря на запрет отца ковыряться в делах физиков, меня притягивали редкие, но возмутительные ошибки в использовании трех терминов: простой, фальсифицируемый и проверяемый.

sepremento 08.03.20 в 08:22

Это введение я написал, чтобы вы не смеялись со словами: "Ну конечно я знаю, что означают эти слова!". Здесь присутствует математика. С последующего текста я переформулирую тезисы Убеждения в подразумеваемой невидимости (Belief in the Implied Invisible) в той степени, в какой они применимы к квантовой механике.

sepremento 08.03.20 в 08:25

Давайте начнём с ремарки, которая заставила меня пойти по этому пути. Я видел несколько её версий. Сформулировать можно так:

sepremento 08.03.20 в 08:26

Многомировая интерпретация квантовой механики постулирует, что существует огромное количество других миров, которые существуют параллельно нашему. Бритва Оккама требует, чтобы мы не плодили сущности сверх необходимого.

sepremento 08.03.20 в 08:27

Справедливости ради следует отметить, что это говорят те же самые люди, которые впоследствии признаются:

sepremento 08.03.20 в 08:28

Впрочем не все придерживаются такой интерпретации Бритвы Оккама. Кто-то заявляет, что её следует применять к законам, по которым работает модель, а не к числу объектов внутри модели.

sepremento 08.03.20 в 08:29

Замечательно, что мы признаём существование противоположных аргументов и раскрываем обе стороны истории ---

sepremento 08.03.20 в 08:30

Но предположим, вам требуется рассчитать простоту теории.

sepremento 08.03.20 в 08:30

Исходная формулировка Уильяма Оккама гласит:

sepremento 08.03.20 в 08:31

Lex parsimoniae: Entia non sunt multiplicanda praeter necessitatem.

sepremento 08.03.20 в 08:31

"Закон скупости: сущности не следует умножать сверх необходимости."

sepremento 08.03.20 в 08:32

Это совет качественный, не количественный. Недостаточно просто сказать, что одна теория кажется более простой, а другая кажется более сложной --- необходимо присвоить численное значение. А численное значение должно иметь смысл, его нельзя просто так придумать. Разница та же самая, что и между прикидкой на глазок, какие объекты движутся "быстро" и "медленно" и измерением скоростей.

sepremento 08.03.20 в 08:34

Предположим, вы скажете: "Посчитай слова --- вот настолько и будет сложна теория."

sepremento 08.03.20 в 08:35

Роберт Хайнлайн однажды заявил (в шутку, надеюсь), что "самое простое объяснение" всегда выглядит так: "Женщина, что живёт вниз по улице --- ведьма. Она сделала это." Всего десять слов --- не так много физических статей могут уложиться в этот норматив.

sepremento 08.03.20 в 08:36

Есть два способа, которыми можно попытаться разрешить эту проблему

sepremento 08.03.20 в 08:37

Во-первых, можно спросить: "Женщина, что живёт вниз по улице --- это что?". Только потому, что в русском языке одно слово обозначает какую-то концепцию, не означает, что концепция проста сама по себе. Предположим, вы говорите с пришельцами, которые понятия не имеют о ведьмах, женщинах или улицах --- сколько времени вам потребуется, чтобы объяснить свою теорию? Более того, предположим, что вы хотите написать компьютерную программу, которая реализовывала бы вашу гипотезу, а на выходе выдавала бы её предсказания --- какого размера была бы программа? Пусть задачей является предсказать временной ряд положений камня, который скатывается с холма. Если вы напишете подпрограмму, которая моделирует ведьм, то это не позволит точнее определить, куда укатится камень --- вы только раздуете свой код. Однако, вы обнаружите, что код обязательно должен будет включать подпрограмму для возведения чисел в квадрат.

sepremento 09.03.20 в 07:35

Во-вторых, можно спросить: "Женщина, что живёт вниз по улице --- ведьма. И она сделала что?". Предположим, вы хотите описать некоторое событие так точно, насколько это возможно с учётом всех свидетельств --- и вновь, к примеру, ряд расстояния/времени для камня, который катится с горы. Вы можете предварить своё объяснение словами "Женщина, что живёт вниз по улице --- ведьма", но потом ваш друг спросит "что она сделала?" и вы ответите: "Она заставила камень прокатиться один метр после первой секунды, девять метров после третьей секунды...". И то, что вы предварили своё сообщение фразой "Женщина, что живёт вниз по улице --- ведьма" никак не помогло сжать остаток описания. В целом, пришлось послать сообщение больше, чем необходимо. Будет гораздо короче, если убрать часть с "ведьмой". С другой стороны, если у вас найдётся минутка поговорить о Галилео, получится значительно сжать следующие пять тысяч подробных временных рядов скатывающихся камней.

sepremento 09.03.20 в 07:42

Если пользоваться первым способом, то в итоге получится нечто, что известно под названием сложности по Колмогорову или индукции по Соломонову. Если пользоваться вторым способом, то в итоге получится нечто, что известно как Минимальная Длина Сообщения.

sepremento 09.03.20 в 07:43

Ах, так это что получается, можно выбирать среди определений простоты?

sepremento 09.03.20 в 07:43

Нет, вообще-то можно доказать, что оба вида формализма в своих наиболее развитых формах эквиваленты.

sepremento 09.03.20 в 07:44

А теперь, предполагаю, вы скажете мне, что оба формализма являются следствиями выражения "Оккам имел в виду подсчёт законов, а не подсчёт объектов."

sepremento 09.03.20 в 07:45

Да, более-менее. В Минимальной Длине Сообщения до тех пор, пока вы можете сообщить своему другу точный мыслительный рецепт, при помощи которого можно получить временной ряд катящегося камня, безразлично, сколько усилий ему понадобится, чтобы следовать рецепту. В индукции по Соломонову, мы считаем биты в коде программы, а не биты RAM, которая программе потребуется во время исполнения. "Сущности" --- это строки кода, а не симулированные объекты. И, как я уже сказал, эти два вида формализма в конечном счёте эквивалентны.

sepremento 09.03.20 в 07:48

Прежде чем я продолжу обсуждать детали формальной простоты, позвольте мне отвлечься и рассмотреть возражение.

sepremento 09.03.20 в 07:49

И что? Почему нельзя изобрести свой собственный иной формализм? Почему мне вообще нужно обращать внимание на то, как вы решили вести дела в своей области? У вас есть какие-то экспериментальные свидетельства, что надо вести себя именно так?

sepremento 09.03.20 в 07:50

Вообще-то да, верите вы или нет. Начну издалека.

sepremento 09.03.20 в 07:51

Правило конъюнкции вероятностей гласит:

sepremento 09.03.20 в 07:51

P(X,Y) ≤ P(X) .

sepremento 09.03.20 в 07:51

Для любых высказываний X и Y, вероятность для высказывания "X истинно и Y истинно" меньше либо равна вероятности для высказывания "X истинно (неважно, истинно ли Y)" (Если это высказывание не кажется чересчур глубоким, позвольте заверить вас, что очень легко найти случаи, когда люди при назначении вероятностей нарушают это правило.)

sepremento 09.03.20 в 07:54

Обыкновенно нельзя применять правило конъюнкции P(X,Y) ≤ P(X) напрямую к противоречию между взаимно исключающими гипотезами. Его можно напрямую применять только к случаям, где правая сторона уравнения строго следует из левой стороны. Более того, правило конъюнкции это не просто неравенство, в нём нет необходимого качества численных соотношений.

sepremento 10.03.20 в 07:36

При этом оно даёт нам правило монотонного убывания вероятности: по мере добавления деталей в историю, где каждая деталь может быть истинной или ложной, общая вероятность истории монотонно снижается. Можно думать о вероятности как о сохраняющейся величине --- в мире её существует строго ограниченное количество. По мере увеличения деталей в истории количество возможных историй экспоненциально растёт, но сумма их вероятностей никогда не может быть больше 1. На каждую историю "X и Y" приходится история "X и ¬Y". А когда вы рассказываете только историю "X", её вероятность складывается из возможностей Y и ¬Y.

sepremento 10.03.20 в 07:39

Если добавить десять деталей к X, каждая из которых может быть истинной или ложной, то такой истории придётся соревноваться с 2^10 - 1 прочими столь же детальными историями за бесценную вероятность. С другой стороны, если будет достаточно лишь сказать X, то можно сложить все вероятности за 2^10 историй.

sepremento 10.03.20 в 07:42

((X и Y и Z и ...) ил (X и ¬Y и Z и ...) или ...) .

sepremento 10.03.20 в 07:42

"Сущности", о которых идёт речь в Бритве Оккама, имеют одинаковую вероятностную стоимость, а потому мы предпочитаем теории, где их меньше.

sepremento 10.03.20 в 07:43

Вообразите себе лотерею, в которой можно продать до миллиона билетов, каждый билет только один раз и к моменту розыгрыша распроданы все билеты. Ваш друг приобрёл один билет за $1 и кажется, что это плохая инвестиция, поскольку первый приз всего лишь $500 000. Но ваш друг говорит: "Ой, но давай рассмотрим альтернативные гипотезы 'Завтра кто-нибудь выиграет лотерею' и 'Завтра я выиграю лотерею'. Очевидно, что последняя гипотеза проще согласно Бритве Оккама, в ней участвует только один человек и один билет, а первая гипотеза более сложна --- в ней присутствует миллион людей и миллион билетов!"

sepremento 10.03.20 в 07:47

Говорить, что Бритва Оккама учитывает только законы, но не объекты, не совсем правильно. В зачёт против теории идут сущности, которые необходимо явно упомянуть, поскольку по ним нельзя произвести суммирование вероятностей. Предположим, что вы с товарищем обдумываете потрясающий удар в бильярде. Вы знаете исходное состояние бильярдного стола, какие шары попали в лузы, но не способ, которым нанесли удар. Вы предлагаете теорию, в которой происходит десять столкновений между десятью разными шарами, а друг предлагает теорию, в которой только пять отдельных столкновений между пятью разными шарами. В зачёт против теорий пойдут не только законы, которые, по вашему мнению, руководят движением бильярдных шаров, но и все шары, которые должны будут оказаться в некоторых конкретных состояниях, чтобы предсказание модели оказалось правильным.

sepremento 10.03.20 в 08:00

Если вы измерите температуру в гостиной и получите 22 градуса по Цельсию, нет смысла говорить: "Термометр, вероятно, ошибается. Температура комнаты гораздо более вероятно 20 градусов Цельсия. Ведь если учесть все частицы в комнате, то количество состояний, которые они могут занять, если температура действительно 22 °C, экспоненциально больше --- а это делает каждое отдельное состояние маловероятным". Неважно, какое именно состояние с температурой 22 °C реализовано в комнате, можно сделать одно и то же предсказание (для подавляющего большинства этих состояний), что термометр покажет 22 °C и, таким образом, вы не чувствительны к исходным условиям. Не нужно указывать точное положение всех молекул воздуха в комнате, а потому это не пойдёт в зачёт против текущего объяснения.

sepremento 10.03.20 в 08:06

С другой стороны --- обратимся вновь к примеру с лотереей --- предположим, что ваш друг выиграл десять раз подряд. В этот момент следует задуматься. Гипотеза "мой друг выигрывает в лотерею каждый раз" сложнее, чем гипотеза "кто-то выигрывает в лотерею каждый раз", однако она предсказывает данные гораздо более точно.

sepremento 11.03.20 в 06:43

В формализме Минимальной Длины Сообщения фраза "Только один человек каждый раз выигрывает в лотерее" в начале сообщения сжимает описание следующих десяти победителей. Можно добавить в конце "и этот человек Фред Смит". Сравните с "Первую лотерею выигрывает Фред Смит, вторую лотерею выигрывает Фред Смит, третью лотерею выигрывает ..."

sepremento 11.03.20 в 06:46

В формализме индукции по Соломонову, априорная вероятность гипотезы "мой друг выигрывает в лотерею каждый раз" мала, поскольку программа, которая описывает лотерею, должна также явно выделить вашего друга. Но поскольку эта программа может предоставить более точное распределение победителей лотерей чем "кто-то выигрывает в лотерею каждый раз", то, согласно Теореме Байеса, она может преодолеть свою априорную невероятность и состояться как гипотеза.

sepremento 11.03.20 в 06:49

Любая формальная теория Бритвы Оккама должна количественно описывать не только "сущности" и "простоту", но и "необходимость".

sepremento 11.03.20 в 06:50

Формализм Минимальной Длины Сообщения определяет необходимость, как "нечто, что сжимает сообщения".

sepremento 11.03.20 в 06:50

В индукции по Соломонову назначается априорная вероятность каждой возможной компьютерной программе, сумма таких вероятностей должна сходиться к единице. Этого можно добиться, используя двоичный код так, чтобы ни одна компьютерная программа не была префиксом к другой, например, содержала бы код остановки. Тогда априорная вероятность любой программы P просто равна 2^-L(P), где L(P) --- длина P в битах.

sepremento 11.03.20 в 06:54

Программа P сама по себе может быть такой, которая получает на вход строку битов (возможно нулевой длины) и выдаёт условную вероятность, что следующий бит будет 1. Таким образом P становится распределением двоичных последовательностей. Таким образом, эта версия индукции по Соломонову для каждой строки даст смесь апостериорных вероятностей, где предпочтение будет отдано наикратчайшим программам, которые наиболее точно предсказывают строку. Суммирование по этой смеси даст предсказание для следующего бита.

sepremento 11.03.20 в 06:57

В итоге нам необходимы Байесианские свидетельства --- больше удачных предсказаний или более точные предсказания --- чтобы отдать предпочтение более сложной гипотезе. Но это возможно. Тяжесть априорной невероятности не бесконечна. Если подбросить монетку четыре раза и каждый раз выпадет орёл, то вы не решите сразу же, что монетка всегда выпадает орлом. Однако, если это произойдёт двадцать раз подряд, вы будете уже очень серьёзно рассматривать эту гипотезу. Но что насчёт гипотезы, что монета падает циклами оррорр...? Это уже более странно, но после сотни бросков будет глупо отрицать такую гипотезу.

sepremento 11.03.20 в 07:02

Химия утверждает, что в одном грамме водорода содержится шесть сотен миллиардов триллионов атомов водорода. Это удивительное заявление, но всё же было достаточно свидетельств, которые убедили физиков в целом и вас в частности, что это высказывание истинно.

sepremento 11.03.20 в 07:03

Теперь задайте себе вопрос, сколько свидетельств потребовалось бы вам, чтобы поверить в теорию с шестью сотнями миллиардов триллионов отдельных физических законов.

sepremento 11.03.20 в 07:04

Почему априорная вероятность программы по формализму Соломонова не включает в себя меру использования RAM или общее время исполнения программы?

sepremento 11.03.20 в 07:05