Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Anthropomorphic Optimism

Сутью искажения антропоморфизма является наше ожидание возможности предсказания поведения некоторого объекта при помощи черного ящика в виде нашего мозга, в то время как причинно-следственная структура этого объекта настолько отличается от мозга, что указанное ожидание неоправданно.

sepremento 23.09.19 в 03:16

Биологи до 1966 года были убеждены, что хищники добровольно ограничат частоту спариваний во избежание перенаселения и истощения популяции своей добычи. Они столкнулись с трагедией группового отбора. Позже, когда Майкл Уэйд воссоздал в лаборатории условия, максимально подходящие для реализации группового отбора, взрослые особи в качестве адаптации пришли к поведению каннибалов, поедая яйца и личинки, особенно личинки самок.

sepremento 23.09.19 в 03:21

Почему же сторонники группового отбора не подумали о такой возможности?

sepremento 23.09.19 в 03:21

Предположим, вы состоите в племени и знаете о грядущем сокращении ресурсов. Вы предлагаете решение ограничить рождаемость до одного ребенка на пару родителей. Вам даже в голову не придёт предложить что-то вроде: "а давайте все нарожаем как можно больше детей, а потом начнём охотиться на них и съедим чужих детей, особенно девочек."

sepremento 23.09.19 в 03:24

Задумайтесь о порядке предпочтительности решений по отношению к вашим целям. Вы бы хотели, чтобы итоговое решение оказалось как можно выше в этом списке. Как вы его найдёте? Разумеется, при помощи мозга! Считайте мозг генератором высокоранговых решений, неким поисковым процессом, производящим решения, оказывающиеся на верхних строчках порядка предпочтений.

sepremento 23.09.19 в 03:28

Пространство решений задач реального мира в общем случае огромно, а потому мозгу необходимо быть эффективным и отбрасывать без обдумывания подавляющее большинство низкоранговых решений.

sepremento 23.09.19 в 03:30

Если вашему племени грозит недостаток ресурсов, можно попытаться прыгать на одной ноге или пожёвывать пальцы на ноге. Такие "решения" естественно не сработают и при ближайшем рассмотрении приведут к большим потерям, но мозг эффективен и даже не тратит время на формирование столь плохих решений. В поисках высокоранговых решений он мгновенно перемещается к участкам пространства решений вроде: "Собираемся все вместе и соглашаемся не заводить более одного ребёнка на семью пока трудные времена не пройдут".

sepremento 23.09.19 в 03:34

Решения вида "завести как можно больше детей, а потом съесть девочек" такой поисковый процесс создавать не будет.

sepremento 23.09.19 в 03:35

Но следует понимать, что описание варианта как "плохого" или "хорошего" не является неотъемлемым свойством варианта. Это свойство оптимизационного процесса в момент создания предпочтений. Другой оптимизационный процесс будет осуществлять поиск иначе.

sepremento 23.09.19 в 03:38

С точки зрения эволюции очевидным решением будет отобрать особей, которые оставят максимум потомства, а затем съедят чужих дочерей. И наоборот, смешно отобрать особей, которые добровольно ограничивают воспроизводство ради группы. Говоря менее атропоморфно, первый набор аллелей быстро заменит второй в популяции. (У естественного отбора в этом случае нет очевидного порядка поиска - обе альтернативы появляются одновременно в виде мутаций)

sepremento 23.09.19 в 03:43

Допустим, биолог произнесёт такую фразу: "На месте эволюции я бы сконструировал популяцию хищников, где каждая особь добровольно ограничивает частоту спариваний, если ресурсы ограничены". Это полноценный антропоморфизм, с прозрачным и понятным рассуждением: "я бы так сделал, следовательно, я заключаю, что эволюция сделает так же"

sepremento 24.09.19 в 07:12

В моей работе иногда сталкиваешься напрямую с искажениями. Но если возразить "ИИ не обязательно будет работать так, как ты" или если сказать нашему воображаемому биологу: "Эволюция не работает так, как ты думаешь", то что мы получим в ответ? Я могу сказать, чего мы не услышим: "Ох ты! Я и не подумал! Один из этапов моего суждения был неверным, так что отброшу свой вывод и начну заново."

sepremento 24.09.19 в 07:15

Напротив, мы выслушаем речь о причинах, почему ИИ должен думать ровно так, как считает наш собеседник. Или о причинах естественного отбора с абсолютно иным критерием и методами оптимизации делать ровно то, что человек бы счёл хорошей идеей.

sepremento 24.09.19 в 07:17

Отсюда идут мысли, что групповой отбор будет осуществляться в пользу групп, где особи добровольно отказываются от репродуктивных возможностей.

sepremento 24.09.19 в 07:18

Сторонники группового отбора ошиблись столь же сильно в своих предсказаниях, как и человек, использующий антропоморфизм напрямую. Конечные выводы оказались такими же, как если бы они сразу предполагали у эволюции человеческое мышление. Они стёрли всё, что оказалось выше итоговой черты, оставили черту и сверху вписали рационализацию. Теперь ошибочное мышление скрыто, очевидно неверный этап в рассуждениях спрятан, даже несмотря на сохранение исходного решения. Абсолютно неверного в реальном мире.

sepremento 24.09.19 в 07:25

Но почему ученые вообще это допускают? В конце концов, данные опровергли сторонников группового отборы и они были посрамлены.

sepremento 24.09.19 в 07:26

Как я уже упоминал в Fake Optimization Criteria у людей выработался инстинкт отстаивать идею, что предпочитаемая политика с неизбежностью выводится из практически любого критерия оптимизации. Политика была особенностью среды обитания наших предков. Мы произошли от тех особей, которые наиболее убедительно доказывали, что не только их личные интересы, но и всего племени, требуют убийства Углака, их заклятого врага. Уж точно мы не произошли от самого Углака, который не смог доказать, что этический кодекс племени, не говоря уж о его собственных интересах, требовал пощады.

sepremento 24.09.19 в 07:30

А поскольку мы убедительнее всего доказываем позиции, в которых искренне убеждены, у нас развился инстинкт искренне верить, что цели других людей и моральный кодекс нашего племени должен требовать поступать по-нашему ради их же блага.

sepremento 24.09.19 в 07:33

Поэтому сторонники группового отбора, представив себе прекрасную картину хищников с ограничениями в спаривании, инстинктивно рационализировали причины естественному отбору вести себя так, как они считают правильным, причем в соответствии с его собственными целями. Лисы будут гораздо более приспособленными, если ограничат рождаемость! Нет, правда! Они даже смогут оставить больше генов, чем лисы, которые не ограничивают своё потомство! Честно-честно!

sepremento 25.09.19 в 04:21

Однако попытка спора с естественными отбором влечёт за собой проблему -- он не содержит элементов, которых заботят ваши доводы. Эволюция так не работает, вплоть до того, что не обладает какими-либо частями, способными прислушаться к вашим дотошным объяснениям, почему ей следует вести себя так, как вы считаете правильным. Человеческие аргументы не сопоставимы с внутренней структурой оптимизационного процесса естественного отбора, ведь они не участвуют так в распространении аллелей, как они участвуют в причинно-следственных отношениях человеческой политики.

sepremento 25.09.19 в 04:28

В итоге сторонники группового отбора не смогли убедить эволюцию поступать по-своему, а вместо этого были унижены реальным развитием событий.

sepremento 25.09.19 в 04:30

Здесь мощный кивок в сторону Недружелюбного ИИ.

sepremento 25.09.19 в 04:31

Можно сделать обобщение: проблема в оптимистичных суждениях в целом. Ведь что есть оптимизм? Это расположение возможных исходов в некотором порядке в соответствии с вашими предпочтениями и последующий выбор благоприятного исхода каким-то образом оказывается вашим предсказанием. Какие именно хитрые рационализации использовались в этом процессе, вероятно, не столь важно, как можно подумать. Посмотрите на историю разума и вы увидите оптимизм на входе и оптимизм на выходе. Однако Природа или любой другой обсуждаемый процесс не расставляет исходы согласно вашим предпочтениям и не выбирает наилучший. Поэтому у мозга не получается синхронизироваться с окружением и предсказание не совпадает с реальностью.

sepremento 25.09.19 в 04:36