Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 272. Could Anything Be Right?

Может ли что-то быть правильным?

sepremento 01.11.20 в 05:31

Многие годы назад, Элиезер1999 был убеждён, что он ничего не знал о нравственности. Всё, что он знал, так это что нравственность может потребовать истребления человечества, и если так, то нет ничего добродетельного в том, чтобы выступить против нравственности, поскольку, как он думал, по определению, если постулировать такой нравственный факт, то получится, что "нужно" истребить человечество.

sepremento 28.10.20 в 06:03

Я считал, что могу разобраться в том, что правильно, возможно, если у меня будет достаточно времени на размышления и достаточно фактов, но об этом у меня информации не было. Я не мог доверять эволюции, которая меня выстроила. На какое основание я мог опереться?

sepremento 28.10.20 в 06:05

На самом деле, Элиезер1999 серьёзно ошибался о природе нравственности, если говорить о его явной философии.

sepremento 28.10.20 в 06:07

Но как однажды заметил Дэвидсон, если вы убеждены, что "бобры" живут в пустынях, абсолютно белые и взрослые особи весят 150 килограммов, то у вас нет никаких убеждений о бобрах, истинных или ложных. Нужны по крайней мере какие-то правильные убеждения прежде чем остальные могут быть ложным по отношению к чему-либо.

sepremento 28.10.20 в 06:09

Моё убеждение, что у меня не было никакой информации о нравственности, было внутренне противоречивым.

sepremento 28.10.20 в 06:09

Сказать, что я ничего не знаю казалось добродетельным, ведь мне ранее уже говорили, что признавать своё невежество --- это добродетель. "Я знаю, что ничего не знаю" и всё в таком духе. Но в этом случае мне было бы лучше рассмотреть возможно несколько преувеличенное высказывание "величайшая глупость заключается в непонимании своей мудрости". (Это даже и близко не величайшая глупость, но всё-таки глупость)

sepremento 28.10.20 в 06:14

Было ли неправильным убивать людей? Я считал, что да, но не был уверен. Возможно убивать людей правильно, но это казалось менее вероятным.

sepremento 29.10.20 в 05:04

Какой тип процедуры дал бы ответ, правильно ли убивать людей? Этого я тоже не знал, однако я думал, что если построить общий сверхинтеллект (который я позднее назвал "призраком идеальной пустоты"), то он мог бы, знаете ли, рассуждать о том, что, вероятно, будет правильным или неправильным. И раз уж это был бы сверхинтеллект, то он должен будет прийти к правильному ответу.

sepremento 29.10.20 в 05:06

Я каким-то образом умудрился не задуматься о том, откуда сверхинтеллект возьмёт процедуру, которая откроет процедуру, которая откроет процедуру, которая откроет нравственность, если я не смог бы вписать её в начальное состояние, которое записало потомка ИИ, который написал потомка ИИ.

sepremento 29.10.20 в 05:09

Как впоследствии сказал Марчелло Херешофф: "Мы не заморачиваемся с запуском компьютерной программы, если мы не знаем результат её работы и знаем важный факт о результате." Если бы я ничего не знал о нравственности и даже не претендовал на знание природы нравственности, то как я смог бы построить какую-либо компьютерную программу вообще --- пусть даже "сверхинтеллект" или "самоулучшающуюся" --- и заявлять, что её результатом будет что-то под названием "нравственность"?

sepremento 29.10.20 в 05:13

Не бывает бесплатных теорем в компьютерной науке --- во Вселенной с максимальной энтропией ни один план не будет лучше в среднем, чем любой другой. Если у вас вообще нет знаний о "нравственности", то не существует вычислительной процедуры, которая с большей вероятностью, чем другая, вычислит эту "нравственность" и не существует какой-либо метапроцедуры, которая с большей вероятностью, чем какая-то другая, создаст процедуру, которая вычислит "нравственность".

sepremento 29.10.20 в 05:16

Я считал, что призрак полной пустоты, обнаружив, что не знает ничего о нравственности, уж точно увидит нравственный императив подумать о нравственности.

sepremento 29.10.20 в 05:20

Однако сложность заключается в слове думать. Думание это не та деятельность, которую призрак идеальной пустоты сможет автоматически реализовать. Думание требует запуска некоторых специфических вычислений, которые являются мыслью. Чтобы рефлексивный ИИ решил подумать, ему необходимо знать некоторое вычисление, которое, по его убеждениям, с большей вероятностью, чем говорящая доска, даст ему то, что он хочет знать. У ИИ также должно быть понимание, как интерпретировать результат.

sepremento 29.10.20 в 05:24

Если не знать ничего о нравственности, то что вообще означают слова "следовало бы"? Если вы не знаете, что смерть правильна или неправильна и не знаете, как разобраться, является ли смерть правильной или неправильной, и даже не знаете, даст ли некоторая процедура процедуру, которая позволит определить, является ли смерть правильной или неправильной... то что вообще означают слова "правильно" и "неправильно"?

sepremento 29.10.20 в 05:27

Если слова "правильно" и "неправильно" ничего не содержат внутри себя и не дают никакой отправной точки, если всё в области нравственности выводимо, и не только содержание, но также структура, начальная точка и сама определяющая процедура --- то в чём тогда их значение? Что отличает фразу "я не знаю, что правильно" от фразы "я не знаю, что вакаликс"?

sepremento 31.10.20 в 05:33

Учёный может сказать, что в науке всё выводимо, поскольку любая теория может быть опровергнута. Но в таком случае у него всё равно есть какая-то идея, что посчитать за свидетельство, которое опровергнет теорию. Возможно ли что-то, что поменяет понятие ученого о свидетельстве?

sepremento 31.10.20 в 05:35

Ну, на самом деле, да. Учёному, который читал Карла Поппера и считал, что знает, что такое "свидетельство", можно показать доказательства последовательности и уникальности в основе Байесовой вероятности, а это может поменять его определение свидетельства. У него может и не быть заранее явного понимания, что такие доказательства могут существовать. Однако будет понимание неявное. В мозги будет встроено, пусть и неявно представлено, что такой-то и такой-то аргумент действительно переубедит его, что Байесова вероятность даёт лучшее определение "свидетельства", чем то, что у него было до сих пор.

sepremento 31.10.20 в 05:40

Аналогично можно сказать "я не знаю, что такое нравственность, но я её узнаю, когда увижу" и высказывание будет иметь смысл.

sepremento 31.10.20 в 05:41

Но тогда вы не полностью восстаёте против своей эволюционной природы. Предполагается, что что бы не было встроено в вас для распознавания "нравственности", то это что-то если и не заслуживает абсолютного доверия, то по крайней мере является отправной точкой для дебатов. Можно ли доверять своей нравственной интуиции и получать от неё информацию о нравственности вообще, когда она является продуктом всего лишь эволюции?

sepremento 31.10.20 в 05:44

Но если отмести каждую процедуру, которую предоставила эволюция и все её результаты, то придётся отмести весь мозг. Придётся отбросить всё, что может потенциально узнать нравственность, когда она попадётся на глаза. Отбрасывается всё, что может потенциально реагировать на нравственные аргументы и обновлять свою нравственность. Отматывание происходит даже за пределы начальной точки --- отбрасывается даже то интуитивное заключение, которое привело к осознанию, что нельзя доверять нравственность эволюции. Ведь это существующее нравственное понимание подсказывает, что эволюция не выглядит достойным источником нравственности. Тогда что будут означать слова "правильно", "должно" и "лучше"?

sepremento 31.10.20 в 05:49

Люди неидеально распознают истину, когда видят её и у охотников-собирателей не было явного понимания Байесова критерия свидетельства. Но вся наша наука и вся наша теория вероятности построена на цепочке, тянущейся от нашего инстинктивного представления об "истине". Будь это ядро искажено, мы ничего не смогли бы сделать даже в принципе, чтобы создать современную концепцию науки. Концепция науки звучала бы абсолютно непривлекательно и бессмысленно.

sepremento 31.10.20 в 05:53

Одним из аргументов, который смог бы стряхнуть с меня-подростка эту ошибку, если бы я мог отправиться в прошлое и поспорить с ним, был бы вопрос:

sepremento 31.10.20 в 05:54

Может ли существовать какая-то нравственность, какая-то заданная правота или неправота, которую люди не воспринимают, не хотят воспринимать, не видят никаких нравственных аргументов, чтобы её принять или аргументов, чтобы принять процедуру, которая её примет, и так далее? Может ли существовать нравственность, совершенно не укладывающаяся в наши рамки? Но тогда что бы делало эту штуку нравственностью, кроме какой-нибудь каменной таблички со словом "убий", нацарапанной на ней без всяких обоснований?

sepremento 31.10.20 в 05:58

Всё это заставляет предполагать, что мы знаем хоть что-то о нравственности. Ничего такого, что не подлежало бы сомнению, но некое начальное состояние, с которого можно начинать задавать вопросы. Это знание встроено в мозг, но не обязательно известно в явной форме. И тем не менее, речь о том, что мозг распознаёт как правильное. Достаточно понять и принять в качестве отправной точки по крайней мере такую долю способа реагирования на нравственные аргументы, чтобы определить "нравственность" как нечто, о чём можно думать.

sepremento 01.11.20 в 05:15

Но это уже довольно большой шаг вперёд.

sepremento 01.11.20 в 05:15

Отсюда следует принятие собственного разума как элемента, задающего нравственные рамки, вместо того, чтобы считать нравственность светом из ниоткуда (который, в принципе, вы можете даже не быть в состоянии воспринять). Отсюда следует принятие, что даже если свет и правда существует, а мозг решил воспринять его как "нравственность", то это всё равно дело мозга распознать этот свет и не получится избежать причинно-следственной ответственности или, как по мне, и нравственной ответственности.

sepremento 01.11.20 в 05:20

Отсюда следует, что призрак абсолютной пустоты совсем не обязательно будет согласен с вами, поскольку этот призрак может обладать другими рамками для оценки, реагировать на иные аргументы, задавать иные вопросы при определении дальнейших своих поступков.

sepremento 01.11.20 в 05:22

И, если уж вы согласились вплести хоть что-то в само значение темы "нравственности", вот это качество правильности, о котором вы говорите, когда говорите о "правильности" --- если вы согласны даже принять, что нравственность есть нечто, о чём вы говорите, когда говорите о "нравственности" --- то почему бы не принять другое интуитивное знание, другие части себя в качестве отправной точки?

sepremento 01.11.20 в 05:26

Почему бы не принять, при прочих равных, что радость более предпочтительна, чем горе?

sepremento 01.11.20 в 05:26

Впоследствии вы, возможно, найдёте какие-то основания внутри себя, чтобы покритиковать это высказывание --- но почему не принять его до поры? И, обратите внимание, не как личное предпочтение, а как нечто встроенное в сам вопрос, когда вы спрашиваете "Что поистине верно"?

sepremento 01.11.20 в 05:28

Но тогда вы можете обнаружить, что на деле знаете довольно много о нравственности! Ничего наверняка, ничего бесспорного, ничего несомненного, но тем не менее, приличное количество информации. Готовы ли вы отбросить своё Сократическое невежество?

sepremento 01.11.20 в 05:30

Разумеется, я не собираюсь спорить об определениях. Но если вы заявляете, что ничего не знаете о нравственности, то у вас будут проблемы со значением ваших слов, а не только с их достоверностью.

sepremento 01.11.20 в 05:31