Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: When Science Can’t Help

Одно время у юного Элиезера была глупая теория. Скажем так, у Элиезера-18 была глупая теория, что первопричинами сознания являются замкнутые времяподобные кривые, которые скрываются в квантовой гравитации. Это даже близко не полная история, но для начала подойдёт.

sepremento 28.04.20 в 09:41

И пришло время, когда я оглянулся в прошлое и понял:

sepremento 28.04.20 в 09:42

Я тщательно следовал всему, чему меня учили в курсе традиционной рациональности, на своём пути в никуда. Так, например, я тщательно выбирал только те глупые теории, у которых были новые предсказания результатов эксперимента, вроде "окажется, что нейронные микротрубочки будут поддерживать только когерентные квантовые состояния".
И Наука была абсолютно согласна с тем, чтобы я провел десять лет в попытках протестировать свою глупую теорию и получил отрицательный результат, если бы в конце я сказал: "Ой, ну ладно, видимо моя теория была неверна."
С точки зрения Науки всё так и должно работать --- весело и счастливо для каждого. Ты признал свою ошибку! Ты молодец! Разве не в этом вся Наука?

sepremento 28.04.20 в 09:47

Ну... Науке нечего было на это сказать. Как Наука может сказать, чья теория верна до проверки экспериментом? Науке плевать, откуда происходит твоя теория, она просто говорит: "Сходи проверь."

sepremento 28.04.20 в 09:48

Это величайшая сила Науки и одновременно это её величайшая слабость.

sepremento 28.04.20 в 09:49

Пользователь Gray Area спросил:

sepremento 28.04.20 в 09:49

Элиезер, почему тебя заботят вопросы, которые невозможно протестировать в эксперименте?

sepremento 28.04.20 в 09:49

Потому что на те вопросы, которые легко мгновенно проверить в эксперименте, Науке сложно получить неверные ответы.

sepremento 28.04.20 в 09:50

В смысле, разумеется, когда уже существуют точные неоспоримые экспериментальные свидетельства, вперед, прими их. Кто в здравом уме сделает иначе?

sepremento 28.04.20 в 09:52

Но иногда у вопроса будут очень большие и чётко определённые последствия в экспериментах в будущем, однако их нельзя легко протестировать прямо сейчас, и тем не менее, можно составить сильный рациональный аргумент.

sepremento 28.04.20 в 09:54

Можно проверить существование макроскопических квантовых суперпозиций. Всего-то потребуются точность нанотехнологий, очень низкие температуры и свободный кусок межзвёздного пространства. О, разумеется, это нельзя сделать прямо сейчас, поскольку это слишком дорого или невозможно с использованием нынешних технологий, однако в теории --- пожалуйста! Почему бы и нет, возможно однажды сделают симуляции целых цивилизаций на квантовых компьютерах, которые будут находиться в состоянии макроскопической суперпозиции на тщательно расчищенных кусках Великой Пустоты. (Если задаться вопросом о том, что квантовый не-реализм может сказать о статусе любых наблюдателей внутри таких компьютеров, то можно лучше раскрыть недостатки формулировки квантового не-реализма.)

sepremento 28.04.20 в 10:00

Кажется, что это не имеет сиюминутной практической важности, но легко можно увидеть логику: не всё, что имеет последствия в будущем, можно легко протестировать сейчас.

sepremento 28.04.20 в 10:01

Эволюционная психология --- это ещё один пример ситуации, когда рациональность должна возобладать над наукой. Хоть теории из эволюционной психологии и взаимосвязаны, лишь некоторые из них можно проверить на эксперименте. Но нам всё равно нужны другие части теории, поскольку вместе они формируют взаимосвязанную сеть, а это помогает формулировать гипотезы, которые действительно можно проверить. Тогда эти вспомогательные гипотезы оказываются подкреплены в байесианском смысле, но не подкреплены экспериментом. Наука вынесет вердикт "не доказано" на отдельные части теоретической конструкции, хоть вся конструкция хорошо показывает себя в эксперименте. Нам нужен иной вид вердикта, что-то вроде "косвенно доказано".

sepremento 28.04.20 в 10:07

А что насчёт крионики?

sepremento 30.04.20 в 10:22

Крионика представляет собой архетипичный пример исключительно важной проблемы (около 150 тысяч человек умирает каждый день), которая будет иметь огромные последствия в ближайшем будущем, но не предлагает чётких экспериментальных доказательств прямо сейчас.

sepremento 30.04.20 в 10:23

А потому надо ли говорить: "Я не верю в крионику, поскольку она не была доказана в экспериментах и вам не следует верить во что-либо, что не было экспериментально доказано"?

sepremento 30.04.20 в 10:24

С точки зрения байесианства это неверно. Отсутствие свидетельств является свидетельством отсутствия только в той степени, в какой мы ожидаем наличия таких свидетельств. Если кто-то кричит, что змеиный яд лечит рак, можно вполне ожидать, что если бы он действительно помогал лечить рак, то какие-то учёные уже провели бы контролируемое исследование в этой области, по крайней мере, были бы доклады об отдельных случаях чудесного исцеления, а потому отсутствие свидетельств здесь является строгим свидетельством отсутствия. Но "пропуски в окаменелостях" не являются строгим свидетельством против эволюции. Окаменелости формируются очень редко и потому даже если промежуточные виды на самом деле существовали, мы не можем с большой вероятностью ожидать, что Природа послушно превратит их в камни, а мы потом их найдём.

sepremento 30.04.20 в 10:30

Нельзя ожидать воскрешения замороженного млекопитающего с помощью современных технологий, даже если нанотехнологии будущего позволят осуществить такое воскрешение. Вот так я вижу применение теоремы Байеса здесь.

sepremento 30.04.20 в 10:32

О, что касается аргументов в пользу крионики --- я сейчас не буду в них углубляться. Но если вы читали цепочки о физике и Зомби, то должно казаться гораздо более правдоподобным, что если сохранить паттерн ваших синапсов, то удастся сохранить такое же количество вашего "Я", сколько сохраняется от засыпания вечером до пробуждения утром.

sepremento 30.04.20 в 10:36

Если честно, то те, кто говорят: "Я не верю в крионику, поскольку у неё нет доказательств в эксперименте" неверно применяют законы Науки. Это не тот случай, где наука даёт неверный ответ. В отсутствие чёткого эксперимента вердиктом науки будет "не доказано". Любой, кто интерпретирует этот ответ как отвержение делает лишний шаг за пределы науки, а не ошибочный шаг внутри неё.

sepremento 30.04.20 в 10:39

Страница на Викицитатнике Джона Маккарти приводит такое его высказывание: "Ваши утверждения приводят к идее, что если ИИ возможен, то его должно быть легко создать. Почему это?" [fn]Викицитатник не указывает, на что Маккарти отвечал, но я могу догадаться. --- прим. автора.[/fn][fn]Не нашёл таких высказываний ни в русском, ни в английском Викицитатнике. --- прим. переводчика.[/fn]

sepremento 30.04.20 в 10:45

В основном, ошибка возникает, вероятно, потому, что существуют случаи, где сильным свидетельством будет отсутствие научного доказательства --- ведь эксперимент должно быть легко провести и если его не проводят, то это подозрительно. (Впрочем, не настолько подозрительно, как мне казалось --- никто не проверяет теорию Сета Роберта о подавлении аппетита, хоть и существуют разнообразные анекдотические свидетельства из уважаемых источников)

sepremento 01.05.20 в 07:42

Другим источником замешательства может быть ситуация, когда проверяют Препарат X на 1000 испытуемых и обнаруживают, что 56% контрольной группы и 57% группы эксперимента выздоравливают, некоторые люди назовут такой результат "не доказано". Я бы описал результаты такого эксперимента как "Препарат X работает плохо, если вообще работает." И то, что этот вердикт легко отозвать в свете новых свидетельств, не делает его неясным.

sepremento 01.05.20 в 07:49

В любом случае, прямо сейчас есть люди, которые отвергают крионику, как "ненаучную", как будто это какое-то лекарство, что можно с лёгкостью назначить 1000 пациентов и посмотреть, что произойдёт. "Позвоните мне, когда крионики кого-нибудь воскресят," --- говорят они. Это, как заметил Майк Ли, подобно высказыванию: "Я отказываюсь садиться в эту карету скорой помощи, позвоните мне, когда она доедет до больницы." Может быть Мартин Гарднер предостерёг их верить в странные штуки без экспериментальных свидетельств. Потому они ждут точного безошибочного вердикта Науки, а в это время их семьи, и друзья, и другие 150000 человек каждый день умирают, а их, может быть, возможно спасти ---

sepremento 01.05.20 в 07:54

--- и эту точно рассчитанную ставку можно сделать лишь рационально.

sepremento 01.05.20 в 07:56

Суть Науки в том, чтобы получить гору свидетельств столь большую, что даже склонные к ошибкам учёные не смогли бы её неправильно обработать. Но даже этот процесс время от времени идёт наперекосяк, когда люди путают, какая теория что предсказывает или когда они встраивают сложные для проверки компоненты в ранние версии своих теорий. А иногда просто невозможно получить чёткие свидетельства в эксперименте.

sepremento 01.05.20 в 07:58

В любом случае, необходимо попытаться сделать то, что Наука никому не доверяет делать --- думать рационально и найти ответ до того, как он свалится на голову.

sepremento 02.05.20 в 08:38

(О, а иногда опровергающий результат эксперимента выглядит так: "Весь ваш мир только что был стёрт с лица Земли! Теперь вам необходимо отказаться от своей теории. Если вы публично отречётесь, то вы молодец! Помните, что необходим сильный разум, чтобы отказаться от глубоких убеждений. Удачи со следующей гипотезой!")

sepremento 02.05.20 в 08:40