Готовый перевод Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: When Science Can’t Help

Одно время у юного Элиезера была глупая теория. Скажем так, у Элиезера-18 была глупая теория, что первопричинами сознания являются замкнутые времяподобные кривые, которые скрываются в квантовой гравитации. Это даже близко не полная история, но для начала подойдёт.

И пришло время, когда я оглянулся в прошлое и понял:

Я тщательно следовал всему, чему меня учили в курсе традиционной рациональности, на своём пути в никуда. Так, например, я тщательно выбирал только те глупые теории, у которых были новые предсказания результатов эксперимента, вроде "окажется, что нейронные микротрубочки будут поддерживать только когерентные квантовые состояния".
И Наука была абсолютно согласна с тем, чтобы я провел десять лет в попытках протестировать свою глупую теорию и получил отрицательный результат, если бы в конце я сказал: "Ой, ну ладно, видимо моя теория была неверна."
С точки зрения Науки всё так и должно работать --- весело и счастливо для каждого. Ты признал свою ошибку! Ты молодец! Разве не в этом вся Наука?

Ну... Науке нечего было на это сказать. Как Наука может сказать, чья теория верна до проверки экспериментом? Науке плевать, откуда происходит твоя теория, она просто говорит: "Сходи проверь."

Это величайшая сила Науки и одновременно это её величайшая слабость.

Пользователь Gray Area спросил:

Элиезер, почему тебя заботят вопросы, которые невозможно протестировать в эксперименте?

Потому что на те вопросы, которые легко мгновенно проверить в эксперименте, Науке сложно получить неверные ответы.

В смысле, разумеется, когда уже существуют точные неоспоримые экспериментальные свидетельства, вперед, прими их. Кто в здравом уме сделает иначе?

Но иногда у вопроса будут очень большие и чётко определённые последствия в экспериментах в будущем, однако их нельзя легко протестировать прямо сейчас, и тем не менее, можно составить сильный рациональный аргумент.

Можно проверить существование макроскопических квантовых суперпозиций. Всего-то потребуются точность нанотехнологий, очень низкие температуры и свободный кусок межзвёздного пространства. О, разумеется, это нельзя сделать прямо сейчас, поскольку это слишком дорого или невозможно с использованием нынешних технологий, однако в теории --- пожалуйста! Почему бы и нет, возможно однажды сделают симуляции целых цивилизаций на квантовых компьютерах, которые будут находиться в состоянии макроскопической суперпозиции на тщательно расчищенных кусках Великой Пустоты. (Если задаться вопросом о том, что квантовый не-реализм может сказать о статусе любых наблюдателей внутри таких компьютеров, то можно лучше раскрыть недостатки формулировки квантового не-реализма.)

Кажется, что это не имеет сиюминутной практической важности, но легко можно увидеть логику: не всё, что имеет последствия в будущем, можно легко протестировать сейчас.

Эволюционная психология --- это ещё один пример ситуации, когда рациональность должна возобладать над наукой. Хоть теории из эволюционной психологии и взаимосвязаны, лишь некоторые из них можно проверить на эксперименте. Но нам всё равно нужны другие части теории, поскольку вместе они формируют взаимосвязанную сеть, а это помогает формулировать гипотезы, которые действительно можно проверить. Тогда эти вспомогательные гипотезы оказываются подкреплены в байесианском смысле, но не подкреплены экспериментом. Наука вынесет вердикт "не доказано" на отдельные части теоретической конструкции, хоть вся конструкция хорошо показывает себя в эксперименте. Нам нужен иной вид вердикта, что-то вроде "косвенно доказано".

А что насчёт крионики?

Крионика представляет собой архетипичный пример исключительно важной проблемы (около 150 тысяч человек умирает каждый день), которая будет иметь огромные последствия в ближайшем будущем, но не предлагает чётких экспериментальных доказательств прямо сейчас.

А потому надо ли говорить: "Я не верю в крионику, поскольку она не была доказана в экспериментах и вам не следует верить во что-либо, что не было экспериментально доказано"?

С точки зрения байесианства это неверно. Отсутствие свидетельств является свидетельством отсутствия только в той степени, в какой мы ожидаем наличия таких свидетельств. Если кто-то кричит, что змеиный яд лечит рак, можно вполне ожидать, что если бы он действительно помогал лечить рак, то какие-то учёные уже провели бы контролируемое исследование в этой области, по крайней мере, были бы доклады об отдельных случаях чудесного исцеления, а потому отсутствие свидетельств здесь является строгим свидетельством отсутствия. Но "пропуски в окаменелостях" не являются строгим свидетельством против эволюции. Окаменелости формируются очень редко и потому даже если промежуточные виды на самом деле существовали, мы не можем с большой вероятностью ожидать, что Природа послушно превратит их в камни, а мы потом их найдём.

Нельзя ожидать воскрешения замороженного млекопитающего с помощью современных технологий, даже если нанотехнологии будущего позволят осуществить такое воскрешение. Вот так я вижу применение теоремы Байеса здесь.

О, что касается аргументов в пользу крионики --- я сейчас не буду в них углубляться. Но если вы читали цепочки о физике и Зомби, то должно казаться гораздо более правдоподобным, что если сохранить паттерн ваших синапсов, то удастся сохранить такое же количество вашего "Я", сколько сохраняется от засыпания вечером до пробуждения утром.

Если честно, то те, кто говорят: "Я не верю в крионику, поскольку у неё нет доказательств в эксперименте" неверно применяют законы Науки. Это не тот случай, где наука даёт неверный ответ. В отсутствие чёткого эксперимента вердиктом науки будет "не доказано". Любой, кто интерпретирует этот ответ как отвержение делает лишний шаг за пределы науки, а не ошибочный шаг внутри неё.

Страница на Викицитатнике Джона Маккарти приводит такое его высказывание: "Ваши утверждения приводят к идее, что если ИИ возможен, то его должно быть легко создать. Почему это?" [fn]Викицитатник не указывает, на что Маккарти отвечал, но я могу догадаться. --- прим. автора.[/fn][fn]Не нашёл таких высказываний ни в русском, ни в английском Викицитатнике. --- прим. переводчика.[/fn]

В основном, ошибка возникает, вероятно, потому, что существуют случаи, где сильным свидетельством будет отсутствие научного доказательства --- ведь эксперимент должно быть легко провести и если его не проводят, то это подозрительно. (Впрочем, не настолько подозрительно, как мне казалось --- никто не проверяет теорию Сета Роберта о подавлении аппетита, хоть и существуют разнообразные анекдотические свидетельства из уважаемых источников)

Другим источником замешательства может быть ситуация, когда проверяют Препарат X на 1000 испытуемых и обнаруживают, что 56% контрольной группы и 57% группы эксперимента выздоравливают, некоторые люди назовут такой результат "не доказано". Я бы описал результаты такого эксперимента как "Препарат X работает плохо, если вообще работает." И то, что этот вердикт легко отозвать в свете новых свидетельств, не делает его неясным.

В любом случае, прямо сейчас есть люди, которые отвергают крионику, как "ненаучную", как будто это какое-то лекарство, что можно с лёгкостью назначить 1000 пациентов и посмотреть, что произойдёт. "Позвоните мне, когда крионики кого-нибудь воскресят," --- говорят они. Это, как заметил Майк Ли, подобно высказыванию: "Я отказываюсь садиться в эту карету скорой помощи, позвоните мне, когда она доедет до больницы." Может быть Мартин Гарднер предостерёг их верить в странные штуки без экспериментальных свидетельств. Потому они ждут точного безошибочного вердикта Науки, а в это время их семьи, и друзья, и другие 150000 человек каждый день умирают, а их, может быть, возможно спасти ---

--- и эту точно рассчитанную ставку можно сделать лишь рационально.

Суть Науки в том, чтобы получить гору свидетельств столь большую, что даже склонные к ошибкам учёные не смогли бы её неправильно обработать. Но даже этот процесс время от времени идёт наперекосяк, когда люди путают, какая теория что предсказывает или когда они встраивают сложные для проверки компоненты в ранние версии своих теорий. А иногда просто невозможно получить чёткие свидетельства в эксперименте.

В любом случае, необходимо попытаться сделать то, что Наука никому не доверяет делать --- думать рационально и найти ответ до того, как он свалится на голову.

(О, а иногда опровергающий результат эксперимента выглядит так: "Весь ваш мир только что был стёрт с лица Земли! Теперь вам необходимо отказаться от своей теории. Если вы публично отречётесь, то вы молодец! Помните, что необходим сильный разум, чтобы отказаться от глубоких убеждений. Удачи со следующей гипотезой!")

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: идёт перевод

Переведено на Нотабеноиде
http://notabenoid.org/book/77383/472389

Переводчики: sepremento