Готовый перевод Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: What Do I Mean By “Rationality”?

Под рациональностью я подразумеваю:

Эпистемическую рациональность, то есть, систематическое улучшение точности своих убеждений.

Инструментальную рациональность, то есть, систематическое достижение своих целей.

Когда вы открываете глаза и осматриваете комнату, вы замечаете ноутбук на столе и книжный шкаф около стены. Если с вашими глазами или вашим мозгом случится что-нибудь плохое, возможно, у вас в голове окажется мысленная модель, которая скажет, что шкаф стоит там, где его на самом деле нет. В этом случае, когда вы пойдёте за книгой, вам будет обидно.

Примерно так и выглядят ложные убеждения --- карта мира, не соответствующая территории. Эпистемическая рациональность посвящена построению карт, точно отображающих реальность. Точную связь между убеждением и реальностью обычно называют "истиной", и я тоже с радостью пользуюсь этим словом.

С другой стороны, инструментальная рациональность посвящена управлению реальностью. Вы делаете будущее таким, каким вам хочется. Инструментальная рациональность --- это искусство выбрать действия, которые приведут к последствиям, стоящим выше в вашей шкале предпочтений. Иногда я называю это "выигрыванием".

Так что рациональность --- это искусство формировать истинные убеждения и принимать выигрышные решения.

Поиск "истины" не означает, что нужно отвергать нечёткие или косвенные свидетельства. Вы можете оглядеть комнату и построить её мысленную модель. Убеждения о комнате принципиально ничем не отличаются от убеждений, что у Земли есть расплавленное ядро, а Юлий Цезарь был лысым. Возможно, эти вопросы вам кажутся более сложными и абстрактными, чем вопрос о вашем шкафе, ведь вас и предметы этих вопросов разделяет значительное пространство и время. И тем не менее состояние ядра Земли в 2015 году нашей эры и состояние головы Цезаря в 50 году до нашей эры --- это вопросы о фактах. Эти факты могут влиять на реальность, даже если у вас нет никакой возможности лично встретить Цезаря или посмотреть на земное ядро.

А когда я пишу о "выигрывании", это не значит, что речь идёт о достижении успеха за счёт других. Не обязательно превращать жизнь в соревнование, её можно строить на базе сотрудничества и самопожертвования. Под "вашими ценностями" подразумевается всё, о чём вы заботитесь --- включая других людей. Они не ограничиваются исключительно эгоистическими ценностями.

Зачастую, когда люди говорят "Х --- рационально!", это просто чуть более звучный способ сказать: "Я думаю, что Х --- истинно" или "Я считаю, что Х --- хорошо!". Так зачем же использовать дополнительное слово "рационально", если можно говорить "истинно" и "хорошо"?

Тот же самый аргумент применим и к слову "истинно". Незачем говорить "истинно, что снег белый", когда можно сказать просто "снег белый". Идея истины полезна, потому что она позволяет нам говорить о соответствии карты и территории в целом. Фраза "истинные модели позволяют лучше делать проверяемые предсказания, чем ложные модели" --- это полезное обобщение, и его нельзя сделать, не пользуясь понятиями вроде "истины" и "точности".

Аналогично, фраза "Рациональные агенты принимают решения, которые максимизируют вероятностное ожидание согласованной функции полезности" относится к понятию (инструментальной) рациональности, а фразу "Рационально есть овощи" наверняка можно заменить на "Полезно есть овощи" или "Есть овощи --- в ваших интересах". Нам нужно понятие, вроде "рациональности", чтобы описывать общие факты о том, какие способы мышления систематически приводят нас к истине или к выигрышу, а также какие способы систематически приводят нас к обратному.

Иногда экспериментальные психологи обнаруживают, что в некоторых ситуациях люди, размышляют, судя по всему, очень странно. Например, человек присваивает утверждению "Билл играет джаз" вероятность меньшую, чем утверждению "Билл --- бухгалтер, который играет джаз". Поскольку, очевидно, любой играющий джаз бухгалтер --- играет джаз, такое суждение выглядит странно. Однако какими принципами мы пользуемся, когда говорим, что это суждение неверно?

Экспериментальные психологи применяют два золотых стандарта: теория вероятностей и теория принятия решений.

Теория вероятностей --- это набор законов, лежащих в основе рациональных убеждений. Математика теории вероятностей абсолютно одинаково описывает и а) как выяснить, где находится ваш книжный шкаф, и б) как узнать температуру земного ядра, и в) как вычислить, сколько волос было на голове Юлия Цезаря. С точки зрения того, как нужно обрабатывать свидетельства и наблюдения, чтобы пересматривать и обновлять свои убеждения, это одинаковые задачи. Аналогично, теория принятия решний --- это набор законов, лежащих в основе рациональных действий, и её можно применять независимо от того, о каких целях и каких вариантах действий идёт речь.

Обозначим выражением "Р(что-нибудь)" вероятность того, что это что-нибудь случится, а выражением "Р(А,В)" --- вероятность, что А и В случатся вместе. Поскольку в теории вероятностей есть универсальный закон, что P(A) ≥ P(A, B), суждение, что Р(Билл играет джаз) меньше, чем Р(Билл играет джаз, Билл бухгалтер) отмечается как неверное.

Говоря формально, такое рассуждение о вероятностях --- небайесианское. Убеждения и действия, рациональные в строго определённом математическом смысле, называются байесианскими.

Обратите внимание, современное понятие рациональности не привязано к словесным рассуждениям. Я привёл пример, как вы открываете глаза, осматриваетесь и строите мысленную модель комнаты со шкафом около стены. Современное понятие рациональности --- достаточно общее и включает ваши глаза и зрительную кору вашего мозга, как объекты на карте. Оно включает и вашу интуицию, которую сложно выразить словами. Математика не обращает внимание на то, что мы используем одинаковое слово "рациональный", и описывая Спока[Известный персонаж сериала "Звёздный путь". --- Прим.перев.], и описывая байесианский способ рассуждений. Математические модели --- это хороший способ достигать своих целей или строить карту мира, независимо от того, какие у нас сложились предубеждения и стереотипы относительно слова "рациональность".

Однако это не решает проблему о том, что именно подразумевается под занятием "рациональностью", по двум основным причинам.

Во-первых, невозможно строго вычислить байесовские вероятности, необходимые для решения подавляющего большинства реальных задач. Никто не в состоянии посчитать правильное решение и ему следовать. Это всё равно, что попытаться предсказать поведение рынка акций, исходя из движения кварков.

Именно поэтому существует целый сайт под названием "Less Wrong", а не одна страница, которая ограничивается простым перечислением строгих аксиом. Для человеческого разума находить истину и достигать своих целей --- это целое искусство. Чтобы сталкиваться с правдой и делать то, что должно, нам надо изучать собственные недостатки, справляться со своими предубеждениями, удерживаться от самообмана, поддерживать себя в хорошей эмоциональной форме, и так далее, и так далее.

Во-вторых, иногда математика сама по себе приводит к новым вопросам. Например, точные правила теории вероятностей приводят к вопросу антропного принципа, где неизвестно число наблюдателей. Точные правила теории принятия решений приводят к задачам вроде парадокса Ньюкома, в которых другие агенты могут предсказать ваше решение до того, как вы его примете.

В таких случаях совершенно бессмысленно пытаться решить проблему, введя новое определение слова "рациональность" и заявив: "Таким образом под "рациональностью", по определению, будет подразумеваться предпочитаемый мной ответ". В этом случае, естественно, встанет вопрос, почему ваше определение должно кого-то интересовать. Теория вероятностей важна для меня не потому, что это священные слова, вручённые нам Лапласом. Байесианское обновление убеждений (вместе с оккамовскими априорными вероятностями) интересно для меня, потому что я ожидаю, что именно такой способ думать приведёт нас к карте, которая систематически более точно отображает территорию.

А ещё некоторые вопросы о том, как следует думать, кажется, не решаются целиком ни с помощью теории вероятностей, ни с помощью теории принятия решений. Например, вопрос о том, какие чувства испытывать по отношению к правде. В этих случаях какое-то собственное определение "рациональности" тоже лишь будет включать в себя уже существующий ответ, но не позволит найти что-то новое.

Я не собираюсь здесь спорить о значении слов, даже если речь идёт о слове "рациональность". Привязка неких последовательностей букв к определённым понятиям нужна, чтобы люди могли разговаривать между собой --- передавать мысли от одного человека к другому. Невозможно изменить реальность или доказать какую-то мысль, манипулируя этими привязками.

Поэтому если вы поняли, какое понятие я связываю со словом "рациональность" и со словосочетаниями "эпистемическая рациональность" и "инструментальная рациональность", передача информации уже случилась. В рамках разговора о том, как определять "рациональность", мы сделали всё, что нужно. Дальше мы не будем разговаривать, какой смысл привязан к слогам "ра-ци-о-наль-ность". Дальше мы будем разговаривать, как именно лучше рассуждать.

Если вы говорите "Для меня (эпистемически) рационально считать, что Х, однако истина в том, что Y", вы наверняка используете слово "рационально" не в том же смысле, что и я. (Например, "рациональность" должна "выдерживать рефлексию" --- "рациональный" взгляд на свидетельства и "рациональные" размышления о том, как ваш разум обрабатывает эти свидетельства, не должны приводить к разным выводам.)

Аналогично, если вы вдруг говорите "Для меня (инструментально) рационально сделать Х, но я считаю, что правильно делать Y", то почти наверняка вы используете для слова "рационально" или для слова "правильно" какие-то другие значения. Я использую термин "рациональность" нормативно: чтобы выбирать предпочитаемый способ рассуждений.

В этих случаях --- а также во всех других, когда люди не соглашаются относительно смысла слов --- вам стоит заменять слово "рационально" на более точные описания. Например: "Ради собственного благополучия следовало бы убежать, но я надеюсь, что хотя бы постараюсь вытащить ребёнка с рельсов". Или: "Причинная теория приятия решений в привычной формулировке говорит, что в задаче Ньюкома нужно брать оба ящика, но я предпочту получить миллион долларов".

Я вообще рекомендую перечитать это эссе, заменяя все вхождения слова "рационально"(и однокоренные) на "фузально". Проверьте, изменится ли смысл текста. Если изменится, стремитесь не к рациональности, а к фузальности.

В слове "рационально" таятся многочисленные ловушки. Однако во многих случаях с его помощью можно прекрасно передавать тот смысл, который я в него вкладываю. В этих случаях я не боюсь его использовать.

И всё же будьте с этим словом осторожны и не используйте его напрасно. Вы ничего не заработаете, просто произнося его вслух. Слишком много рассуждающий о пути не достигнет просветления.

Переведено на Нотабеноиде
http://notabenoid.org/book/77383/461091

Переводчики: Alaric