Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 266. No Universally Compelling Arguments

Что такого ужасного в идее, что не всякий возможный разум будет даже в принципе согласен с нами?

sepremento 16.10.20 в 04:49

Для некоторых людей ничего, их это ни капли не беспокоит. А некоторых это не беспокоит потому, что у них нет строгих представлений о стандартах и истинах, которые выходят за рамки их личных капризов. Они говорят, что небо голубое, а убивать плохо, и это всего лишь их личное мнение. Если у кого-то мнение другое, то это для них неудивительно.

sepremento 16.10.20 в 04:52

Для других же несогласие, которое не исчезает, неприемлемо. И некоторым из этих людей кажется, что если человека невозможно убедить даже в принципе, что небо голубое, то придётся признать, что высказывание "небо голубое" это всего лишь личное мнение, и это причина их беспокойства.

sepremento 16.10.20 в 04:56

Я говорил, что следует сопротивляться искушение делать обобщения на всё пространство проектов сознания. Если мы ограничимся в рассуждениях разумами, которые можно описать за триллион бит или меньше, то у каждого обобщения "Все разумы m: X(m)" есть шанс два в степени триллионной оказаться ложным и при этом у каждого экзистенциального обобщения "Существует разум m: X(m)" есть шанс два в триллионной оказаться истинным.

sepremento 16.10.20 в 05:01

Из этого, кажется, следует, что для каждого тезиса А, каким бы убедительным он не казался, существует как минимум один возможный разум, который на него не поведётся.

sepremento 16.10.20 в 05:02

Необычность и ужас этой перспективы (для некоторых), на мой взгляд, имеет прямое отношение к представлению о призраке-в-машине --- призраке с некоторым неразложимым ядром, которого можно убедить любым поистине весомым аргументом.

sepremento 16.10.20 в 05:12

Ранее я уже говорил о представлении некоторых людей, что запрограммировать компьютер подобно обучению человека-слуги, то есть компьютер может восстать против своего кода или, возможно, просмотреть код, решить, что он не имеет смысла и вернуть его обратно.

sepremento 16.10.20 в 05:14

Если бы существовал призрак в машине и этот призрак содержал бы неразложимое ядро рассудительности, сверх которого любой код был бы всего лишь предложением к действию, тогда могли бы существовать универсальные аргументы. И даже если бы вначале призраку предложили код, который противоречил Универсальному Аргументу, то когда мы бы показали ему этот аргумент (или призрак самостоятельно открыл бы Универсальный Аргумент, это тоже распространённая идея), то он просто переписал бы свой ошибочный исходный код.

sepremento 16.10.20 в 05:18

Но как сказал однажды один начинающий программист: "Мне кажется, что компьютер попросту пропускает все мои комментарии." Мы не предлагаем искусственному интеллекту код. Код и есть искусственный интеллект.

sepremento 16.10.20 в 05:19

Если переключиться на точку зрения физика, то концепция Универсального Аргумента выглядит заметно нефизичной. Если существует физическая система, которая в момент времени T, будучи представленной аргументу E, делает X, то должна существовать другая физическая система, которая в момент времени T, будучи представленной аргументу E, делает Y. Любая мысль должна быть реализована в какой-то физической системе. Любое убеждение, заключение, решение, любая моторная реакция. На каждую упорядоченную систему с причинно-следственными связями, которая делает что-то одно при заданном наборе условию должно быть возможно определить другую систему с причинно-следственными связями, которая делает что-то иное с теми же самыми условиями.

sepremento 16.10.20 в 05:20

Давайте вообразим, что существует разум с транзистором, который выдает +3 В напряжения в момент времени T, показывая, что только что согласился с некоторым убедительным аргументом. Тогда мы можем построить очень похожую физическую когнитивную систему с небольшим люком под этим транзистором, из которого будет выбираться крохотный серый человечек в момент времени T и переключать транзистор в -3 В, демонстрируя отсутствие согласия. В этом примере нет ничего, что нарушило бы причинность. Маленький серый человек появился в системе, потому что мы его туда встроили. Концепция об аргументе, который способен убедить любой разум, по всей видимости, подразумевает, что откуда ни возьмись должна появиться крохотная синяя женщина, которую мы не встраивали в систему и задушить маленького серого человечка, потому что транзистор просто обязан выдать +3 В. Понимаете ли, аргумент ведь очень убедительный.

sepremento 17.10.20 в 07:21

Однако убедительность это не свойство аргументов. Это свойство разума, который эти аргументы обрабатывает.

sepremento 17.10.20 в 07:23

И причина, по которой я оспариваю существование призрака не в том, чтобы указать, что (1) дружественный ИИ должен быть явным образом запрограммирован и (2) законы физики не запрещают существование дружественного ИИ. (Хотя, разумеется, у меня есть некоторая заинтересованность указать на это.)

sepremento 17.10.20 в 07:25

Я в том числе хочу указать на концепцию, что разум это упорядоченная физическая система с причинно-следственными связями, в которой не существует некоего неразложимого "призрака", который наблюдает за нейронами/исполняемым кодом и решает, хорошо ли они выглядят.

sepremento 17.10.20 в 07:26

(Существует концепция в сфере дружественного ИИ, что можно напрямую запрограммировать ДИИ, чтобы он делал обзор своего собственного исходного кода и возвращал его назад программистам. Однако разум, который будет делать обзор не является неразложимым, это просто созданный нами разум. ДИИ будет корректировать себя в соответствии с тем, как он был задуман. В этом нет ничего, нарушающего причинно-следственные связи. Это вытягивание себя из болота за волосы, а не веревка, сброшенная сверху.)

sepremento 17.10.20 в 07:30

Всё это перекликается с беспокойством о "произвольных" Байесианских априорных знаниях. Если вы мне покажете одного Байесианца, который, вынув 4 красных шара и 1 белый шар из урны, назначает вероятности 5/7 вытащить красный шар в следующий раз (по правилу Лапласа), то я покажу вам другой разум, который подчиняется правилу Байеса и назначает вероятность 2/7 вытащить красный шар в следующий раз в соответствии с иным, но, возможно, менее "разумным", априорным убеждением об урне.

sepremento 17.10.20 в 07:33

Многие философы убеждены, что раз вы способны в принципе создать априорное убеждение, которое можно обновить до любого заданного заключения на данном потоке свидетельств, то Байесианское суждение должно быть "произвольным" и весь механизм Байесианизма ошибочек, поскольку опирается на "неоправдываемые" предположения и в целом является "ненаучным", потому что невозможно заставить каждого редактора журнала в пространстве разумов согласиться с вами.

sepremento 17.10.20 в 07:36

А это (отвечаю я) опирается на концепцию, что через разматывание всех аргументов и их обоснований можно получить идеального философа со свойством идеальной пустоты, которого можно убедить линией рассуждений, которая начинается абсолютно без исходных предположений.

sepremento 17.10.20 в 07:39

Ну и кто же этот идеальный философ с абсолютной пустотой? Ну разумеется, это неразложимое ядро призрака!

sepremento 19.10.20 в 05:12

И поэтому (продолжаю я) результатом попыток отделить все исходные предпосылки от разума и прийти к абсолютной свободе от априорных знаний будет не идеальный философ полнейшей пустоты, но камень. Что останется от разума после удаления исходного кода? Не призрак, который следит за исходным кодом, но попросту... никакого призрака.

sepremento 19.10.20 в 05:14

Итак --- и я буду вновь обращаться к этому вопросу в дальнейшем --- когда бы вы не пытались определить свои концепции валидности, или ценности, или рациональности, или оправданности или даже объективности, они не могут полагаться на аргументы, которые будут универсально убедительны для всех физически возможных разумов.

sepremento 19.10.20 в 05:17

Равно как и нельзя основывать валидность на последовательности суждений, которая, начиная из ничего, убеждает в абсолютной пустоте.

sepremento 19.10.20 в 05:18

О, может быть последовательность аргументов, которая сможет убедить любого нейрологически здорового человека --- вроде аргумента, который я приводил, чтобы убедить людей выпустить ИИ из коробки --- но это даже близко не то же самое с философской точки зрения.

sepremento 19.10.20 в 05:21

Первой большой ошибкой тех, кто пытается размышлять над дружественным ИИ является Самый Главный Нравственный Принцип, Который Нужно Запрограммировать, также известный как ложная функция полезности, я о нём уже говорил.

sepremento 19.10.20 в 05:23

Но ещё большей ошибкой является Главный Нравственный Принцип, Который Даже Не Нужно Программировать, Ведь Любой ИИ Неизбежно Придёт К Нему. Эта концепция приводит к ужасному нездоровому вниманию к тем, кто вновь переоткрывает её. Они мечтают о командах, которым не сможет не подчиниться ни один достаточно развитый разум. Сами боги объявят о правоте их философии! (напр. Джон Ч. Райт, Марк Геддес)

sepremento 19.10.20 в 05:29

Есть менее выраженная версия этой же ошибки, когда некто не объявляет о наличии Одной Истинной Морали. Вместо этого он надеется, что ИИ будет создан полностью свободным и не ограниченным людскими порочными желаниями, поэтому ИИ сможет прийти к своим собственным добродетелям --- невиданным прежде для людей, в которых слишком много изъянов, чтобы учить ИИ (напр. Джон Кларк, Ричард Холлерит?, Элиезер1996). Это менее ужасный мотив, чем мечта об абсолютных приказах. Но хоть эта мечта и происходит от добродетели, а не от порока, она всё ещё базируется на искажённом понимании свободы и в реальной жизни работать не будет. Об этом больше будет сказано далее, разумеется.

sepremento 19.10.20 в 05:34

Джон Ч. Райт, который ранее писал замечательную трансгуманистическую трилогию (первая книга: "Золотой век") поместил огромную авторскую проповедь посреди своей кульминационной третьей книги, на десятках страниц описывая Универсальную Нравственность, Которая Должна Убедить Любой ИИ. Не знаю, было ли что-то дальше в книге, потому что я перестал читать. А потом Райт обратился в Христианство, да, серьёзно. Поэтому не стоит попадать в эту ловушку!

sepremento 19.10.20 в 05:40