Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: Fake Utility Functions

Фальшивые функции полезности

sepremento 27.09.20 в 03:00

Время от времени можно встретить людей, которые открыли Самый Главный Принцип Нравственности и все остальные ценности являются всего лишь следствиями из него.

sepremento 27.09.20 в 03:02

Я встречаю таких людей чаще, чем вы. Просто в моём случае это люди, которым известна удивительно простая функция полезности и всё, что требуется --- запрограммировать на неё искусственный сверхинтеллект и всё сразу будет хорошо.

sepremento 27.09.20 в 03:04

Некоторые люди, когда сталкиваются с задачей программирования сверхинтеллекта, пытаются сразу же её решить. Норман Р. Ф. Майер писал: "Не предлагайте решений до тех пор, пока задачу не обсудили настолько подробно, насколько это возможно." А Робин Доуз заметил: "Я часто давал такой наказ группам, которые я вёл, особенно в ситуациях, когда группа сталкивается с очень сложной задачей, потому что именно в этих случаях члены группы наиболее склонны предлагать решения незамедлительно". Дружественный ИИ --- это очень сложная задача и потому люди решают её исключительно быстро.

sepremento 27.09.20 в 03:08

Я заметил несколько больших классов быстрых неправильных решений. Один из таких классов я называю Удивительно Простая Функция Полезности, Которую Нужно Дать Сверхинтеллекту И Всё Будет Хорошо.

sepremento 27.09.20 в 03:09

Возможно, я сделал свой вклад в проблему много лет назад, когда впервые начал высказывать о "Дружественном ИИ", неправильно подобрав слова. Я называл оптимизационный критерий оптимизационного процесса --- ту область, в которую агент пытается направить будущее --- "суперцелью". Я использовал "супер" в смысле "родительский", как отправную точку в ребре с направлением в ацикличном графе. Но кажется, что моя формулировка привела к тому, что некоторые люди закружились в счастливой смертельной спирали, пытаясь представить Самую СуперЦель, Цель Которая Превосходит Все Другие, Одно Главное Правило Из Которого Можно Вывести Всю Этику.

sepremento 27.09.20 в 03:16

Возможно, я и сам внёс вклад в эту проблему, когда много лет назад, впервые начав высказываться о "дружественном ИИ" неверно выбрал слова. Я обозначил оптимизационный критерий оптимизационного процесса --- ту область, в которую агент пытается направить будущее --- как "суперцель". Я использовал приставку "супер" в смысле "родительский", как указание на отправную точку в ребре в ациклическом графе. Однако, кажется, моя формулировка направила некоторых людей в счастливую смертельную спираль, где они пытаются представить Самую Суперскую СуперЦель, Цель Которая Превосходит Все Другие: Одно Главное Правило Из Которого Можно Вывести Всю Этику.

Alaric 29.10.20 в 12:52

Но функция полезности не должна быть простой. Она может содержать произвольное число слагаемых. У нас есть все причины считать, что если у людей есть ценности, то их существует множество --- большая сложность по Колмогорову. Мозг человека реализует тысячи разных осколков желания, хотя этот факт может быть недооценён людьми несведущими в эволюционной психологии. (Попытайся объяснить это без длинного вступления и слушатель уловит "люди пытаются максимизировать приспособленность", а это ровно противоположное тому, что предлагает эволюционная психология.)

sepremento 27.09.20 в 03:20

Сложность человеческой нравственности это известный факт, если говорить об дескриптивных теориях морали. Мы наблюдаем как факт о человеке, что любовь родителя к ребёнку, любовь ребёнка к родителю, любовь мужчины к женщине и любовь женщины к мужчине не выводятся когнитивно друг из друга или из какой-либо другой ценности. Матери не требуется заниматься сложной нравственной философией, чтобы любить свою дочь, равно как и не приходится экстраполировать последствия этой любви на другие ценности. Существует множество осколков желания и всё это разные ценности.

sepremento 27.09.20 в 03:24

Забудьте хотя бы одну из этих ценностей, программируя сверхинтеллект, и, даже если вы с успехом реализуете все остальные, то вы можете столкнуться с экзистенциальной катастрофой, судьбой хуже смерти. Если появится сверхинтеллект, который будет желать всего, чего мы сами бы захотели, за исключением человеческих ценностей в части контроля над собственной жизнью и достижения своих собственных целей, то этот сценарий --- одна из самых типичных дистопий. (для этого случая, Джек Уильямсон, "Со сложенными руками ...")

sepremento 27.09.20 в 03:26

Если, программируя сверхинтеллект, вы забудете хотя бы одну из ценностей, то, даже если вы с успехом реализуете все остальные, вы можете столкнуться с гиперэкзистенциальной катастрофой, судьбой хуже смерти. Если появится сверхинтеллект, который будет желать для нас всего, что мы бы захотели сами, но не учитывающий человеческих ценностей "контролировать свою жизнь" и "достигать своих целей", то мы получим сценарий, давно описанный в антиутопиях (для примера смотрите Джек Уильямсон, "Со сложенными руками").

Alaric 29.10.20 в 17:23

Как же составляют Удивительно Простую Функцию Полезности с учётом этого возражения?

sepremento 28.09.20 в 03:44

Возражения? Возражения? Почему кто-то будет искать возможные возражения против своей любимой теории? (Обратите внимание, что процесс поиска настоящих убийственных возражений не похож на тот вид поиска, когда находятся исключительно вопросы, на которые есть мгновенный ответ.) Они об этом даже ничего не знают. Они не думают о бремени доказательств. Они не знают, что задача сложная. Они услышали слово "суперцель" и пустились по счастливой смертельной спирали вокруг слова "сложность" или чего-то такого.

sepremento 28.09.20 в 03:45

Возражения? Возражения? Зачем кто-то вообще будет искать возможные возражения против своей любимой теории? (Обратите внимание, что процесс поиска настоящих убийственных возражений не похож на тот вид поиска, когда находятся исключительно вопросы, на которые есть мгновенный ответ.) Люди ничего об этом не знают. Люди не думают о бремени доказательств. Люди не знают, что задача сложная. Они услышали слово "суперцель" и пустились по счастливой смертельной спирали вокруг слова "сложность" или чего-нибудь ещё в этом духе.

Alaric 29.10.20 в 17:36

Начните уточнять конкретные моменты, вроде любви матери к своему ребёнку и вам ответят: "Но если сверхинтеллект захочет «сложности», он увидит, насколько сложны взаимоотношения родителя и ребёнка и, следовательно, будет способствовать, чтобы матери любили своих детей." О ужас, с чего мне даже начать?

sepremento 28.09.20 в 03:52

Начну с мотивированной остановки: Сверхинтеллект, который будет и впрямь искать способы максимизировать сложность, не станет останавливаться, если обнаружит, что отношения родитель-ребёнок сложны. Он начнёт задаваться вопросом, есть ли что-то ещё более сложное. Это фальшивое оправдание. Тот кто пытается обосновать выбор поведения воображаемого сверхинтеллекта не пришёл сам к предлагаемой линии поведения через честный поиск способов, которыми можно достичь максимума сложности.

sepremento 28.09.20 в 03:57

Весь довод является ложной моралью. Если вы и впрямь ценили бы сложность, то вы оправдывали бы любовь родителя, указав на то, как она увеличивает сложность. Если вы оправдываете стремление к сложности тем, что оно увеличивает любовь родителя, то это значит, что вы на самом деле цените любовь родителя. Это всё равно, что выдвигать аргумент в пользу общественно-полезного поведения как довод в пользу эгоизма.

sepremento 28.09.20 в 04:00

Весь довод --- это ложная мораль. Тот, кто на самом деле ценит сложность, оправдывал бы родительскую любовь тем, что она увеличивает сложность. Тот, кто оправдывает стремление к сложности тем, что оно увеличивает родительскую любовь, на самом деле ценит родительскую любовь. Это всё равно, что защищать эгоизм, потому что он приводит к общественно-полезному поведению.

Alaric 02.11.20 в 19:52

Но если рассмотреть аффективную смертельную спираль, то воспринимаемая привлекательность "сложности" не увеличивается, если сказать: "Отношение матери к её дочери важно только потому, что оно увеличивает сложность. Представьте, если эти взаимоотношения стали проще, мы бы их не ценили." Что увеличивает воспринимаемую привлекательность "сложности", так это высказывание: "Если вы начнёте увеличивать сложность, то матери начнут любить своих дочерей --- смотрите, какие замечательные последствия!"

sepremento 28.09.20 в 04:03

Эта позиция применима всегда, когда вы сталкиваетесь с моралистом, который пытается убедить вас, что его Единственная Великая Идея --- это всё, что необходимо для нравственного суждения и доказывает это словами: "Смотри, какие у этой Великой Штуковины замечательные последствия", а не словами: "Смотри, все вот эти вещи, которые мы считаем «положительными», оказываются положительными только если их последствия увеличивают Великую Штуковину". Последнее высказывание необходимо, чтобы довод работал.

sepremento 28.09.20 в 04:06

Однако, если вы стараетесь убедить других (или себя) в том, что Главная Идея заключается в "бананах", то вы продадите гораздо больше бананов, если покажете, что бананы приводят к большему количеству секса, а не если покажете, что следует хотеть секса только в том случае, когда он приводит к большему количеству бананов.

sepremento 29.09.20 в 03:25

Однако, если вы стараетесь убедить других (или себя), что Самое Главное в Жизни --- это бананы, то вы продадите гораздо больше бананов в том случае, если убедите, что бананы приводят к большему количеству секса, а не в том случае, если убедите, что хотеть секса стоит только в том случае, когда он приводит к большему количеству бананов.

Alaric 02.11.20 в 20:04

По крайней мере, пока вы не пройдёте настолько далеко по Смертельной Спирали Счастья, что и впрямь начнёте говорить "Секс хорош только когда ведёт к бананам". Тогда у вас проблемы. Хорошо, что вы, по крайней мере, никого больше не убедите.

sepremento 29.09.20 в 03:26

В конечном итоге, единственный процесс, который надежно воспроизводит все конкретные решения, которые вы бы приняли, руководствуясь своей нравственностью --- ваша нравственность. Всё остальное --- любая попытка заменить инструментальными средствами терминальные цели --- приведёт к потере значения и потребует бесконечного количества заплаток, потому что система не будет содержать источника инструкций, которые вы в неё вносите. Не следует ожидать, что можно сжать нравственность человека до одной функции полезности более, чем ожидать, что можно сжать большой файл до десяти бит.

sepremento 29.09.20 в 03:31