Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 273. Morality as Fixed Computation

Нравственность как зафиксированное вычисление.

sepremento 01.11.20 в 05:32

Тоби Орд прокомментировал:

sepremento 01.11.20 в 05:32

Элиезер, я только что перечитал твою статью и мне интересно, сгодится ли такое краткое резюме твоей точки зрения (оставляя за скобками, как ты к нему пришёл):

sepremento 01.11.20 в 05:33

"Я должен X" означает, что я бы предпринял попытку X, обладай я полной информацией.

sepremento 01.11.20 в 05:33

Тоби профессионал, поэтому если уж он не понял, то я лучше попытаюсь ещё раз. Попробую подойти к объяснению с другой стороны --- той, что ближе к моему собственному прошлому пути к этой точке зрения.

sepremento 01.11.20 в 05:35

Предположим, вы строите ИИ и --- оставив в стороне, что системы целеполагания ИИ нельзя выстроить вокруг англоязычных высказываний и следующее описание будет из разряда фантазий --- пытаетесь внушить ему принцип для определения поступков вида "Делай то, что я хочу".

sepremento 03.11.20 в 05:52

И предположим, что вы сумели настроить ИИ достаточно точно --- он не просто покрывает всю вселенную скрепками, чизкейками или маленькими молекулярными копиями счастливых программистов --- что его функция полезности и впрямь назначает следующие полезности тем состояниям мира, которые мы бы описали на человеческом языке так:

sepremento 03.11.20 в 05:55

<Программист слабо желает "Х",
существует 20 единиц X>: +20

sepremento 03.11.20 в 05:55

<Программист сильно желает "Y",
существует 20 единиц X>: 0

sepremento 03.11.20 в 05:56

<Программист слабо желает "X",
существует 20 единиц Y>: 0

sepremento 03.11.20 в 05:56

<Программист сильно желает "Y",
существует 30 единиц Y>: +60

sepremento 03.11.20 в 05:57

Конечно, вы уже догадываетесь, что это приведёт к разрушению мира.

sepremento 03.11.20 в 05:57

... поскольку если программист изначально слабо желает "X", а X трудно получить, то ИИ изменит программиста так, чтобы он сильно желал "Y", которую легко создать, а затем поставит огромное количество Y. Референтом к "Y" могут быть, к примеру, атомы железа --- они очень стабильны.

sepremento 03.11.20 в 06:00

Можно ли залатать эту дыру? Нет. В общем случае, невозможно поправить проекты дружественных ИИ с ошибками.

sepremento 03.11.20 в 06:01

Если попытаться ограничить функцию полезности или заставить ИИ перестать заботиться о том, насколько программист желает чего-либо, то у ИИ всё равно будет мотив (как у максимизатора ожидаемой полезности) заставить программиста хотеть нечто, что можно получить с высокой вероятностью.

sepremento 03.11.20 в 06:03

Если вы попытаетесь сделать так, чтобы ИИ не мог изменять программиста, то ИИ не сможет разговаривать с ним (разговоры меняют людей).

sepremento 03.11.20 в 06:04

Если вы попытаетесь исключить отдельный класс способов, которыми ИИ может изменять программиста, то у ИИ появится мотив использовать свой сверхинтеллект для поиска лазеек и способов изменять программиста не напрямую.

sepremento 03.11.20 в 06:05

В общем случае, невозможно поправить проекты дружественных ИИ с ошибками.

sepremento 03.11.20 в 06:05

Мы, сами по себе, не представляем и не оцениваем как хорошее будущее любое будущее, в котором мозг чего-то хочет и это существует. Если бы мы так размышляли, мы бы сказали: "Ура! Давай изменяй нас так, чтобы мы сильно желали чего-нибудь доступного!" Но мы так не говорим, а это означает, что данный проект ИИ фундаментально ошибочен: он будет предпочитать вещи, которые мы вряд ли бы предпочли. Он будет оценивать всё иначе по сравнению с нашими оценками. Эта внутреннюю дисгармонию невозможно залатать с помощью исключения нескольких конкретных режимов отказа.

sepremento 03.11.20 в 06:10

Существует контраст между задачами дружественного ИИ и задачами нравственной философии --- хоть и нужно выстроить этот контраст правильно. Если угодно, основная проблема в том, что ИИ будет строить предпочтения способом, который по своей структуре очень не похож на, ну, правильный --- и даже без учёта, как мы выстраиваем предпочтения. Разве не в том суть, что если просто желать чего-то, то это не делает это что-то правильным?

sepremento 03.11.20 в 06:15

Я придумал вот такую парадоксальную аналогию, чтоб продемонстрировать разницу между:

sepremento 04.11.20 в 05:41

калькулятором, который при нажатии “2”, “+” и “3” пытается вычислить:

sepremento 04.11.20 в 05:41

"Чему равно 2 + 3?"

sepremento 04.11.20 в 05:42

калькулятором, который при нажатии “2”, “+” и “3” пытается вычислить:

sepremento 04.11.20 в 05:42

"Что получится на выходе у этого калькулятора, если нажать ‘2’, ‘+’ и ‘3’"?

sepremento 04.11.20 в 05:43

Калькулятор типа 1, как и полагается, хочет вывести на экран 5.

sepremento 04.11.20 в 05:44

"Калькулятор" типа 2 может вывести на экран любой результат, а в процессе вывода на экран ответ становится правильным ответом на вопрос, какой был задан.

sepremento 04.11.20 в 05:45

Мы похожи на калькулятор типа 1. Но предполагаемый ИИ строится так, как если бы он изображал калькулятор типа 2.

sepremento 04.11.20 в 05:46

Теперь представьте, что калькулятор типа 1 пытается построить ИИ, но только калькулятор типа 1 не знает собственного вопроса. Калькулятор продолжает задавать вопрос по самой своей природе --- он был рождён задавать этот вопрос, создан сразу в движении с этим вопросом --- но у калькулятора нет понимания своих собственных транзисторов. Он не может воспроизвести вопрос, который исключительно сложен и у него нет простого приближения.

sepremento 04.11.20 в 05:50

Итак, калькулятор хочет построить ИИ (это довольно умный калькулятор, у него просто нет доступа к собственным транзисторам) и заставить ИИ дать правильный ответ. Вот только проблема в том, что калькулятор не может записать вопрос. Потому калькулятор хочет, чтобы ИИ взглянул на калькулятор, туда, где вопрос записан и ответил на тот вопрос, который ИИ увидит встроенным в те самые транзисторы. Но это невозможно сделать с помощью дешевого обходного пути, функции полезности вида: "Для всех X: ⟨калькулятор спрашивает ‘X?,’ ответить X⟩: полезность 1; иначе: полезность 0", потому что это по сути отражает функцию полезности калькулятора типа 2, а не калькулятора типа 1.

sepremento 04.11.20 в 05:54

Это подводит нас к трудности дружественного ИИ, в которые я не буду вдаваться (в некоторых из них я ещё разбираюсь).

sepremento 04.11.20 в 05:55

Однако, если отстраниться от деталей проектирования дружественного ИИ и переключиться вновь на точку зрения нравственной философии, то наша беседа была о сути нравственной проблемы: “Если ‘правильно’ это всего лишь предпочтение, тогда что угодно, чего кто-либо хочет оказывается ‘правильным’. ”

sepremento 04.11.20 в 05:58

Ключевая идея в том, что то, что мы называем "правильным" --- это зафиксированный вопрос или, возможно, зафиксированные рамки мышления. Мы можем столкнуться с нравственными аргументами, которые изменят наши терминальные ценности и даже столкнуться с нравственными аргументами, которые изменят, что мы считаем за нравственный аргумент. И тем не менее, всё это уходит корнями в некоторую начальную точку. Мы не воспринимаем себя как воплощение вопроса

sepremento 05.11.20 в 04:29

"Что я решу делать?", что было бы схоже с калькулятором типа 2 и в таком случае, что бы мы не решили, стало бы правильным. Мы воспринимаем себя задающими вопрос "Что позволит моим друзьям, моему народу меньше страдать? Как возможно больше радоваться жизни? ...", где "..." --- порядка тысячи других вещей.

sepremento 05.11.20 в 04:32

Поэтому "я должен X" не означает, что я бы предпринял попытку X, обладай я всей полнотой информации.

sepremento 05.11.20 в 04:33

"Я должен X" означает, что X отвечает на вопрос "Что спасёт моих близких? Как стать более счастливым? Как получить больше контроля над собственной жизнью? Какие шутки будут наилучшими? ..."

sepremento 05.11.20 в 04:35

И я, на самом деле, могу даже не знать, что это за вопрос. Я могу не суметь зафиксировать ни свою догадку, ни мыслительный процесс, который к ней привёл. Но я знаю, как и все, кроме сторонников нравственного релятивизма, инстинктивно знают, что этот вопрос не просто:

sepremento 05.11.20 в 04:37

"Как бы мне делать то, что я хочу?"

sepremento 05.11.20 в 04:37

Когда эти две формулировки начинают выглядеть абсолютно независимыми, как "снег" и снег, тогда у вас появится две отдельные корзины для описания и описуемого.

sepremento 05.11.20 в 04:38