Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: The Hidden Complexity of Wishes

Я желаю обитать в выбранном мною месте, обладать физически здоровой, целой и очевидно нормальной версией моего настоящего тела, содержащей моё текущее состояние сознания. Это тело будет исцеляться от любых повреждений со скоростью большей на три сигма от средней, учитывая доступные медицинские технологии, а также будет защищено от любых болезней и травм, инвалидности, боли или потери функций любого органа на более чем десять дней подряд или пятнадцати дней в сумме за год.

sepremento 18.09.19 в 09:57

-- Открытый проект "Желание", Желание бессмертия 1.1

sepremento 18.09.19 в 09:57

Существует три вида джинов: джины, которых можно попросить "осуществить то, чего мне следует желать", джины, которых небезопасно просить сделать что-либо и джины, которые не так уж и сильны.

sepremento 19.09.19 в 09:13

Допустим, ваша пожилая мать оказалась в горящем здании, а вы - в инвалидной коляске и не можете ей помочь. И рядом нет никого, кто мог бы помочь.

sepremento 19.09.19 в 09:15

Однако, вот удача, в кармане у вас нашлась Помпа Исходов. Это полезное устройство сжимает поток времени, переливая вероятности из одних исходов в другие.

sepremento 19.09.19 в 09:17

Помпа исходов не разумна. В ней содержится крохотная машина времени, которая перезапускает течение времени до тех пор, пока не происходит требуемое событие. Например, если бы вы подключили помпу исходов к монетке, указали бы в условиях перезапуск хода времени всегда, когда монетка выпадает решкой, а затем подбросили бы монетку, то вы бы увидели орла. (Физики скажут, что любое будущее, в котором происходит "перезапуск" будет противоречивым и, следовательно, не наступит, и поэтому вы не убиваете какие-либо версии самого себя.)

sepremento 19.09.19 в 09:21

Какое бы условие вы не поставили помпе исходов, оно реализуется, не нарушая при этом законов физики. Если вы попробуете составить событие, наступление которого слишком маловероятно, то машина времени сломается до наступления этого события.

sepremento 19.09.19 в 09:23

Также можно перенаправлять вероятностный поток более тонко, используя "функцию будущего" для масштабирования вероятности перезапуска времени для каждого из исходов. Если вероятность перезапуска 99% для орла и 1% для решки, то шансы упадут с 1:1 до 99:1 в пользу решки. Если бы у вас была загадочный механизм, выплевывающий деньги и вы хотели бы максимизировать их количество, нужно было бы использовать вероятности перезапуска уменьшающиеся по мере увеличения количества денег. Например, $10 имели бы вероятность перезапуска 99.999999%, а $100 имели бы 99.99999%. Таким образом вы бы получали исход, стремящийся к наивысшему значению функции будущего, не зная при этом допустимого максимума.

sepremento 19.09.19 в 09:31

И вот вы в отчаянии выхватываете из кармана Помпу исходов -- ведь ваша мать всё ещё в горящем здании, помните? -- и пытаетесь описать свою цель: вытащить мать из здания!

sepremento 19.09.19 в 09:32

Пользовательский интерфейс помпы не понимает человеческого языка. Она же не разумна, помните? Но внутри есть 3D сканеры ближайшей местности и встроенные приложения для распознавания образов. Вот вы достаёте фото вашей матери по плечи, определяете положение её тела (а не только головы и плеч) и определяете функцию будущего через расстояние до центра дома. Чем больше это расстояние, тем меньше вероятность перезапуска машины времени. Крикнув на удачу "вытащи мою маму из этого дома!", вы нажимаете "Enter".

sepremento 19.09.19 в 09:35

Мгновение ничего не происходит. Вы оглядываетесь, ожидая подъезжающую пожарную машину или спасателей, или в крайнем случай, что быстрый сильный спортсмен спасёт вашу мать из здания --

sepremento 19.09.19 в 09:38

И бум! Газовая труба под зданием взрывается с оглушительным грохотом. По мере разрушения здания вы видите, будто в замедленной съемке, как тело вашей матери поднимается в воздух и быстро уносится далеко от центра здания.

sepremento 19.09.19 в 09:40

На Помпе исходов есть кнопка экстренного сожаления. По нажатию этой кнопки всем функциям будущего автоматически присваиваются отрицательные значения -- вероятность перезапуска времени близкая к 1 -- поэтому крайне маловероятно, что пользователь когда-либо будет опечален результатом работы Помпы настолько, что нажмёт эту кнопку. Вы не помните ни одного случая, чтобы приходилось её нажать. И вот вы только потянулись к ней (на что она теперь годится?), как тут же горящая головешка падает с неба и убивает вас.

sepremento 19.09.19 в 09:46

Вряд ли вы заказывали именно это, но такой исход имеет высокий рейтинг в указанной функции будущего.

sepremento 19.09.19 в 09:47

Помпа исходов это джинн второго типа. Ни одно желание не является безопасным.

sepremento 19.09.19 в 09:47

Если вас попросят достать из горящего здания человека, вы можете помочь, а можете притвориться глухим. Но вам не придёт в голову взорвать для этой цели здание. "Вытащи мою маму из здания" звучит безопасно, поскольку планы, содержащие негативные последствия, даже не рассматриваются.

sepremento 20.09.19 в 07:39

Вспомним трагедию группового отбора -- биологи раньше предполагали, что групповой отбор в направлении популяций меньшего размера приведёт к индивидуальному ограничению спариваний. На деле же оказалось, что такой групповой отбор, осуществленный в лаборатории, приводил к каннибализму, особенно в отношении неполовозрелых самок. В ретроспективе очевидно, что если делать отбор по признаку малого размера популяции, то каннибалы будут лучше приспособлены, чем особи, добровольно отказывающиеся от репродуктивных возможностей. Однако поедание маленьких девочек было столь неприемлемо для Винна-Эдвардса, Алле, Бреретона и других сторонников группового отбора, что они даже не приняли такой вариант во внимание. Они видели лишь решения, которые бы использовали сами.

sepremento 20.09.19 в 07:46

Предположим, мы попробуем исправить функцию будущего, уточнив, что Помпе исходов не следует взрывать здания: те исходы, в которых куски здания будут распределены по слишком большому объёму получат вероятность перезапуска времени ~1.

sepremento 20.09.19 в 08:35

В следующий раз ваша мать падает со второго этажа и ломает себе шею. Помпа исходов выбрала иной путь, формально точный, но он всё равно привёл к нежелательному результату и всё равно это не тот путь, который выбрал бы для спасения человек.

sepremento 20.09.19 в 08:37

Если бы открытый проект "Желание" разрабатывал желание по спасению матерей из горящих зданий:

sepremento 20.09.19 в 08:38

Я желаю переместить мою мать (определяемую как женщину, разделяющую половину моих генов и родившую меня) из границ ближайшего ко мне на данный момент горящего здания и при этом не использовать взрыв здания, не использовать падение стен здания, ведущее, в свою очередь, к исчезновению его границ, не использовать сценарий с пожарным, вытаскивающим тело моей матери из прогоревшего здания...

sepremento 20.09.19 в 08:41

Все эти особые случай, кажущееся бесконечным число патчей программы, служат напоминанием притчи об "искусственном сложении", в которой был описан случай программирования арифметической экспертной системы через полное перечисление высказываний вроде "пятнадцать плюс пятнадцать равняется тридцати, но пятнадцать плюс шестнадцать равняется тридцати одному".

sepremento 20.09.19 в 08:44

Как исключить исход, в котором здание взрывается и выбрасывает тело вашей матери в небо? Вы планируете наперед, прогнозируете, что в таком случае она будет мертва, а вы не хотите подобных последствий и потому запрещаете события, ведущие к ним.

sepremento 20.09.19 в 08:46

В мозге не существует встроенных утверждений вида "взрыв горящего здания с моей матерью внутри - плохая идея". И всё же при этом вы пытаетесь предварительно проговорить каждое условие функции будущего помпы исходов. Из-за этого желание разрастается, превращаясь в гигантскую справочную таблицу с человеческими суждениями по каждой возможной траектории событий.

sepremento 20.09.19 в 08:49

Вы просили не того, что хотели. Вы хотели, чтобы ваша мать выжила, а просили переместить её от центра здания.

sepremento 21.09.19 в 03:55

Правда, это не всё, чего вы хотели. Если бы её спасли из пожара со значительными ожогами, такой исход находился бы значительно ниже в вашем списке предпочтений по сравнению со спасением в целости и сохранности. А это значит, что вы цените не только её жизнь, но и здоровье.

sepremento 21.09.19 в 03:57

А ещё не только телесное, но и психическое здоровье . Спастись и получить при этом психологическую травму -- например с помощью гигантского ревущего фиолетового монстра -- менее предпочтительно, чем при содействии пожарного, вежливо провожающего её через безопасный коридор. (И да, мы договорились не нарушать законов физики, но будем считать, что помпа исходов достаточно могущественна, чтобы обработать ситуацию со случайно оказавшимися по соседству в нужный момент инопланетянами.) При этом, разумеется, предпочтительнее монстр-спаситель, чем сгореть заживо.

sepremento 21.09.19 в 04:02

Так, а что насчёт червоточины, внезапно перенёсшей её на пустынный остров? Такой исход гораздо лучше смерти, но хуже, чем быть живой, здоровой, без психологической травмы и при этом оставаться на связи с родными и кругом общения.

sepremento 21.09.19 в 04:04

А будет ли приемлемым спасение матери ценой жизни любимой собаки, которая бросилась дать сигнал пожарным, но была впоследствии сбита машиной? Определенно да, но лучше при всех прочих равных избежать смерти собаки. Не хотелось бы обменивать жизни людей одну на другую, но что насчёт жизни осужденного за убийство? Будет ли иметь значение, если убийца погибнет, пытаясь спасти её по доброте душевной? А что насчёт двух убийц? Стоит ли жизнь вашей матери, например, разрушения всех существующих копий, включая воспоминания, "Малой" органной фуги соль-минор Баха? А если бы оказалось, что у неё смертельное заболевание и она умрёт в течение 18 месяцев так или иначе?

sepremento 21.09.19 в 04:10

Если часть перекрытия повредит стопу, будет ли приемлемо спасать всё остальное тело? А если голова повреждена, но тело нет? А что если всё тело раздавлено и только голова цела? Что если рядом ждёт команда криоников, готовая спасти голову? Является ли замороженная голова личностью? Является ли Терри Шайво личностью? Какова ценность жизни шимпанзе?

sepremento 21.09.19 в 04:13

Мозг не бесконечно сложен, сложность по Колмогорову или иначе длина сообщения, достаточная для описания всех возможных суждений, конечна. Но конечность такой сложности не означает, что она мала. Наши ценности выражены многими вещами и они не сводятся только к счастью или к репродуктивной приспособленности.

sepremento 21.09.19 в 04:15

Не существует безопасного желания, которое бы оказалось меньше всей полноты человеческой морали. Слишком уж много путей можно проложить через время. И невозможно представить все траектории до пункта назначения, который вы описали джинну. "Максимизировать расстояние между моей матерью и центром здания" можно очень эффективно при помощи взрыва атомной бомбы. Или, если джинн достаточно силён, можно вообще удалить её тело за пределы Солнечной Системы. А если джинн ещё и достаточно разумен, то он может сделать нечто, о чём ни вы, ни я не смогли бы помыслить, точно также, как шимпанзе не смогла бы придумать взрывать атомную бомбу. Точно так же, как невозможно запрограммировать шахматную программу через описание ходов для любой возможной позиции на доске, невозможно представить все пути, ведущие сквозь время.

sepremento 21.09.19 в 04:21

А жизнь гораздо сложнее шахмат. Невозможно предсказать заранее, какие именно ценности окажутся для вас важными на траектории, выбранной джинном. Особенно в отношении долгосрочных желаний или более глобальных, чем спасение матери из горящего здания.

sepremento 22.09.19 в 08:10

Думаю, что Открытый проект "Желание" обречен на провал, разве что его можно использовать в качестве иллюстрации, как не стоит думать о задачах джиннам. Только джинн, разделяющий все ваши критерии суждения, является безопасным и ему можно сказать "сделай то, чего мне стоит пожелать", что просто-напросто исполнит функцию "следует" джинна.

sepremento 22.09.19 в 08:14

Этих слов должно оказаться достаточно. Чтобы джинн оказался безопасным исполнителем желаний, он должен разделять все ценности, которые привели вас к составлению пожелания. В противном случае, джинн мог бы выбрать траекторию сквозь время, которая не привела бы к задуманной вами точке назначения или он мог бы реализовать план с ужасными побочными эффектами, который вы бы даже рассматривать не стали. Желания являются дырявыми обобщениями, сделанными из гигантской, но всё же конечной структуры морали. Только определив всю эту структуру можно избавиться от всех дыр.

sepremento 22.09.19 в 08:19

А с безопасным джинном желания становятся избыточными. Вам остаётся лишь выпустить его.

sepremento 22.09.19 в 08:19