Готовый перевод Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Science Isn’t Strict Enough

Было время, когда у молодого Элиезера была глупая теория. Элиезер-18 чётко следовал рекомендациям Традиционной Рациональности, которым его учили. Он удостоверился, что у глупой теории были последствия в эксперименте. Элиезер-18 заявлял, в соответствии с добродетелями учёного, о которых ему говорили, что он желает протестировать свою глупую теорию.

И, как учили Элиезера-18 в области добродетелей науки, это всё, что было нужно, дабы быть добродетельным.

И этих усилий даже близко было недостаточно, чтобы получить правильный ответ.

Привычные идеалы Науки слишком легко раздают золотые звёздочки. Отрицательные результаты эксперимента --- это тоже знания, поэтому все, кто играют в эти игры, тоже получают награды. И если ты придумал эксперимент, поставил эксперимент и принял результаты --- ты сыграл в игру по правилам. Ты хороший исследователь.

Не факт, конечно, что ты во всём разобрался, но ты наукопослушный гражданин.

(Отмечу сейчас, что я говорю о Науке, а не об общественном процессе науки, как он обычно протекает на практике, по двум причинам. Во-первых, я отошёл от попыток следовать идеалам Науки --- и дело не в том, что меня отверг злобный редактор журнала и не в том, что я пытался имитировать недостатки академической науки. А во-вторых, если я указываю на проблему с идеалом в том виде, в каком его преподают, учёные не обязаны также сходить с пути!"

Наука возникла как восстание против великих философских схем и рассуждений в кресле. А потому Наука не включает в себя правила, какие именно виды гипотез дозволено и не дозволено тестировать --- это дело каждого конкретного исследователя. Попытки угадать априори будут требовать некой великой философской схемы и суждения без свидетельств. Будучи общественным идеалом, Наука не осудит тебя за предложение еретической гипотезы. Честный эксперимент и принятие результатов --- это добродетели исследователя.

По мере того как большинство учёных способны принять чёткие, недвусмысленные, неопровержимые свидетельства в эксперименте, наука может двигаться вперёд. Движение может происходить слишком медленно --- может потребоваться больше времени, чем должно --- возможно, придётся ждать, когда вымрет поколение старейшин --- но в конечном итоге, маховик знаний прокрутится ещё раз. Год за годом, десятилетие за десятилетием, колесо катится вперёд. И этого достаточно, чтобы поддерживать цивилизацию.

Это всё, что Наука требует от вас --- способность принять реальность, когда она сваливается вам на голову. Это немного, но достаточно, чтобы поддерживать научную культуру.

Сравните с концепцией точного количественного рационального суждения из теории вероятности. Если у 1% женщин, которые проходят скрининг, есть рак груди, у 80% женщин с раком груди --- положительная маммограмма и у 10% без рака груди --- ложноположительный результат, то какова вероятность, что у женщины с положительным результатом теста на скрининге действительно есть рак груди? Вероятность равна 7,5%. И нельзя сказать: "я верю, что у неё нет рака груди, потому что эксперимент недостаточно определён".

Нельзя сказать и: "Я верю, что у неё рак груди, потому что так показал единственный на данный момент эксперимент, а пессимистичным быть мудро". Семь целых и пять десятых процента --- это рациональная оценка с нынешними свидетельствами, не 7,4% и не 7,6%. Законы теории вероятности --- законы.

В Двенадцати Добродетелях сказано о третьей добродетели, лёгкости:

Если вы относитесь к свидетельствам, как к ограничениям и ищите способ освободиться, вы сковываете себя цепями своих причуд. Нельзя сделать истинную карту города, если сидеть в спальне с закрытыми глазами и импульсивно рисовать линии на бумаге. Нужно пройти сквозь город и рисовать линии в соответствии с тем, что видно. А если вы видите город смутно и думаете, будто можете сдвинуть линию чуть-чуть влево или чуть-чуть вправо в соответствии с вашими пожеланиями, вы совершаете ту же самую ошибку.

Когда приходит время решать, какие гипотезы тестировать, этика Науки даёт свободу выбирать убеждения до той степени, пока они не отвергнуты экспериментом и до тех пор, пока есть стремление проверить свою гипотезу. Наука не станет выносить официальный вердикт относительно наилучшей гипотезы, которую стоило бы протестировать, до эксперимента. Это остаётся уделом каждого исследователя.

Там, где существуют чёткие экспериментальные свидетельства, Наука приказывает вам склонить упрямую голову и принять их. В ином случае, Наука оставляет выбор за вами. Наука оставляет пространство для прихоти среди границ экспериментальных свидетельств.

А это не так просто примирить с концепцией байесианства о чёткой оценке вероятности, которая существует до и после эксперимента, без какой-либо гибкости или пространства для прихоти. Байесианство плохо соотносится с древней причиной для Науки --- недоверию к большим схемам, предположению, что люди недостаточно рациональны, чтобы сразу во всём разобраться без чётких и неоспоримых свидетельств из эксперимента. Если бы мы все были идеальными байесианцами, то нам не потребовался бы общественный процесс науки.

Тем не менее, к тому времени, как я осознал свою большую ошибку, я уже изучал Канемана и Тверски, а также Джейнса. Я изучал новый Путь, более строгий, чем Наука. Путь, который мог бы осудить меня за ошибки таким образом, каким Наука никогда бы не смогла. Путь, который мог бы мне сказать то, чего Наука не сказала бы загодя: "Ты выбрал неправильную гипотезу для проверки, дурилка."

Но следовать Пути Байеса гораздо сложнее, чем использовать Науку. Наука требует лишь заметить наковальню, которая свалилась вам на голову; Путь же чрезвычайно требователен к способности различить мельчайшую фальшь.

Наука позволяет совершить одну-две ошибки, тогда следующий эксперимент придёт и всё поправит. В худшем случае, пропадёт пара десятилетий.

Но если попытаться использовать правило Байеса даже в его качественном виде --- если попытаться сделать то, чего Наука вам делать не доверяет, и рационально мыслить в отсутствие вала свидетельств --- то, как и в математике, единственная ошибка в сотне шагов вычислений может привести вас куда угодно. Байес требует легкости, баланса, точности и перфекционизма.

Есть веская причина, почему Наука не доверяет учёным заниматься такими вещами и требует доказательств в эксперименте даже после заявлений, что они получили правильный ответ через логику и зацепки.

Но если вы предпочитаете не тратить десять в лет в попытках доказать неверную теорию, то потребуется подойти к гораздо более сложной задаче --- прислушаться к свидетельствам, которые не бросаются в глаза.

Даже если невозможно найти априорные данные для задачи в справочниках по физике и химии, даже если не существует Авторитетного Источника, который сказал бы, какие априорные данные использовать, то это не означает, что вам дозволено сделать свободный выбор априорных данных по собственной прихоти. Это означает, что появилась новая задача, которую нужно решить как можно лучше.

Если бы когнитивная машина разума могла выдавать правильные оценки на основе произвольно подобранных априорных данных, то можно было бы не смотреть на вещи и познавать их, изменять их без касания. Но разум это не магия. У рациональных оценок вероятностей нет пространства для прихотливых манёвров, даже если кажется, будто априори ничего не известно.

Похожим образом, если ответ по Байесу сложно вычислить, то из этого не следует, что правило Байеса неприменимо. Это лишь значит, что вы не знаете, каков будет ответ по Байесу. Байесианская теория вероятности это не ящик со статистическими инструментами, это закон, который управляет работой всех инструментов, которые вы используете, независимо от того, знаете вы об этом или нет, можете ли вы сделать расчёт или нет.

Что касается применения Байесианских методов на огромных, крайне обобщённых пространствах гипотез --- вроде "вот данные со всех физических экспериментов, а теперь скажи мне, какой будет Теория Всего?" --- если бы вы знали, как сделать это на практике, то вы бы были не статистиком, а программистом сильного искусственного интеллекта. Но это не означает, что люди, когда моделируют Вселенную с помощью своего интеллекта, нарушают законы физики или байесианства, производя правильные ответы без свидетельств.

Ник Тарлетон комментирует:

Проблема в том, что поощряется столь слабый личный эпистемический стандарт, как общественный.

Что выделяет проблему, которую я пытался подчеркнуть, гораздо лучше, чем это получилось сделать у меня.

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: перевод редактируется

Переведено на Нотабеноиде
http://notabenoid.org/book/77383/472390

Переводчики: sepremento, niya3