Rationality: From AI to Zombies / Рациональность: от ИИ до зомби: (1) (lesswrong.ru) Что я подразумеваю под «рациональностью»?

Я подразумеваю:

Remlin 16.10.15 в 21:38

Эпистемологическую рациональность: систематическое улучшение точности ваших убеждений.

Remlin 16.10.15 в 21:39

Инструментальную рациональность: систематическую реализацию ваших ценностей.

Remlin 16.10.15 в 21:39

Когда вы откроете глаза и осмотрите комнату вокруг себя, вы обнаружите ваш ноутбук на столе и книжную полку у стены. Если что-то не в порядке с вашими глазами или мозгом, то ваша ментальная модель может показать книжную полку там, где её нет, и когда вы пойдете за книгой, вы растеряетесь.

Kroid 17.10.15 в 20:40

Это то, на что похоже иметь ложное убеждение, карту мира, которая не отражает территорию. Эпистемологическая рациональность учит создавать точные карты. Соответствие между убеждением и реальностью обычно называют "истиной", и я буду счастлив называть это так.

Kroid 17.10.15 в 20:45

Инструментальная рациональность в свою очередь учит тому, как управлять реальностью - приближать то будущее, которое вы хотите. Это искусство выбирать действия, ведущие к наиболее важным для вас предпочтениям. Иногда я называю это "выигрыванием".

Kroid 17.10.15 в 20:54

Так что рациональность - это про формирование истинных убеждений и принятии выигрышных решений.

Remlin 16.10.15 в 21:41

Преследовать "истину" тут не значит избавляться от неопределенности или косвенных свидетельств. Осмотреть свою комнату и построить её ментальную карту, в принципе, не отличается от убеждения, что земля имеет расплавленное ядро или что Цезарь был лысым. Эти вопросы, находящиеся далеко от вас в пространстве и во времени, могут выглядеть более пустыми и абстрактными, чем вопросы о вашем книжном шкафе. Еще это факты о состоянии земного ядра в 2015 году н.э. и о состоянии головы цезаря в 50 году до н.э. Эти факты могут иметь реальные последствия для вас, даже если вы никогда не найдете способ встретиться с Цезарем или ядром лицом к лицу.

Kroid 17.10.15 в 21:39

И "выигрывание" тут не должно происходить за счет других. Планы о будущем могут быть не о конкуренции, а о сотрудничестве или самопожертвовании. "Ваши цели" означает всё то что вас заботит, включая других людей. Они не ограничиваются эгоистичными или личными целями.

Kroid 17.10.15 в 22:11

Когда люди говорят "Х рационально!", это обычно означает чуть более вычурное "я думаю, что Х истинно" или "я думаю, что Х хорошо". Тогда зачем использовать слово "рационально", когда есть "истинно" или "хорошо"?

Kroid 17.10.15 в 22:19

Аналогичный аргумент можно применить к слову "истинно". Нет нужны говорить "это правда, что снег белый", когда можно просто сказать "снег белый". Что делает идею об истинности полезной, так это то, что она позволяет нам говорить об общих особенностях соответствия карты и территории. "Истинные модели обычно выдают лучшие экспериментальные предсказания, чем ложные модели" - полезное обобщение, и это не то, что вы можете делать, не используя концепцию вроде "истины" или "точности".

Kroid 17.10.15 в 22:28

Аналогично, "Рациональные агенты принимают решения, максимизирующие вероятность ожидания в связанyой функции полезности" - подобные мысли используют концепт (инструментальной) рациональности, тогда как "Это рационально - есть овощи" можно заменить на "Это полезно - есть овощи" или "Это в твоих интересах - есть овощи". Нам нужна концепция вроде "рациональности" для того, чтобы отметить основные факты о тех способах мышления, которые систематически производят истину или ценность - и о систематических способах, в которых мы еще далеки от этих стандартов.

Kroid 17.10.15 в 22:54

Временами экспериментальные психологи обнаруживают человеческие умозаключения, которые выглядят крайне удивительно. Например, кто-то оценивает вероятность «Билл играет джаз» меньше, чем вероятность «Билл — бухгалтер, который играет джаз». Это выглядит странным суждением, так как любой играющий джаз бухгалтер — это явно человек, играющий джаз. Но к каким именно правилам мы обращаемся, называя данное суждение ошибочным?

Kroid 17.10.15 в 22:55

Экспериментальные психологи используют два золотых стандарта: теорию вероятностей и теорию принятия решений.

Kroid 17.10.15 в 22:58

Теория вероятностей - система законов, лежащих в основе рациональных убеждений. Математика вероятности точно описывает, не делая различий между: а) вычислением местонахождения вашего книжного шкафа, б) вычислением температуры земной коры, с) приблизительным подсчетом количества волос на голове Цезаря. Это всё схожие проблемы обработки свидетельств и пересмотра (обновления) своих убеждений. Аналогично, теория принятия решений - система законов, лежащих в основе рациональных действий. Она также применяется независимо от вида целей и доступных возможностей.

Kroid 18.10.15 в 10:48

Положим "P(что-то)" как "вероятность того, что что-то случилось", и "P(А,В)" как "вероятность того, что и А и В случилось". Так так универсальный закон теории вероятности гласит, что Р(А) ≥ Р(А,В), то неправильно давать меньшую оценку Р(Бил играет в джаз) , чем Р(Билл играет в джаз, Билл бухгалтер).

Kroid 18.10.15 в 11:03

Технически выражаясь, вы можете сказать, что эта вероятностная оценка не байесианская. Убеждения и действия, рациональные в математическом смысле, называются "байесианскими".

Kroid 18.10.15 в 11:25

Обратите внимание, что современное представление рациональности не о значении слов. Я приводил пример "открыть глаза, осмотреться, создать ментальную модель комнаты, включающую книжный шкаф у стены". Современная концепция рациональности в общем включает в себя ваши глаза и ваши зрительные участки мозга, отображающие вещи-на-карте. Она также включает в себя не выраженную словами интуицию. Математике безразлично, используем ли мы слово "рациональность", ссылаясь на Спока или же на байесианство. Математические модели хороши для достижения целей или отображения мира, независимо от наших предрассудков и стереотипов о том, что значит "рациональность".

Kroid 21.10.15 в 19:35

Это не полностью исчерпывает проблему того, что на практике значит "рациональность", по двум основным причинам:

Kroid 21.10.15 в 19:42

Во-первых, байесианские алгоритмы «в чистом виде» плохо применимы к большинству задач реального мира из-за своей трудновычислимости. Математик, попытавшийся это сделать, столкнётся примерно с теми же проблемами, что и физик, попытавшийся предсказать поведение фондовой биржи, вычисляя траектории кварков.

Kroid 21.10.15 в 19:52

Именно поэтому есть целый сайт "Less Wrong", а не единственная страница с формальными аксиомами и всё. Это целое искусство, находить истину и достигать цели, находясь в недрах человеческого разума: нужно узнать о недостатках нашей когнитивной архитектуры, победить порождённые ей ошибки (искажения), сорвать с глаз все шоры самообмана, достигнуть хорошей эмоциональной формы перед тем, как столкнуться с истиной, избавиться от влияющих на решение посторонних факторов и так далее и тому подобное.

Kroid 21.10.15 в 20:03

Во-вторых, иногда корректность самих формул вызывает сомнения. Правила теории вероятности получают удар от, скажем, задач на антропный принцип, где неизвестно число наблюдателей. Правила теории принятия решений разваливаются под действием, скажем, задачи Ньюкома, где другие агенты могут предсказать ваше решение до того, как оно было совершено.

Kroid 21.10.15 в 20:04

В таких случаях бессмысленно придумывать альтернативное определение слова «рациональность» и надеяться, что это разрешит проблему. Фраза «Выбранный мною ответ, по определению, рационален» всего лишь создаёт новый вопрос: почему кого-то должно интересовать ваше определение? Теорией вероятности пользуются не потому, что она была спущена с небес руками Святого Лапласа. Я использую корректировку убеждений в байесианском стиле (с априорными вероятностями, выбранными согласно бритве Оккама) потому, что считаею, что этот образ мышления систематически приближает нас к точности: к карте, которая отражает местность.

Kroid 21.10.15 в 20:07

И тогда возникают вопросы о том, как мыслить, ответов на которые нет ни в теории вероятности, ни в теории принятия решений - вроде того, какие чувства испытывать по отношению к правде после того, как она найдена? Попытки дать определение "рациональности" не способны нам помочь получить ответ, а лишь разрешают его.

Kroid 21.10.15 в 20:12

Я тут не для того, чтобы спорить о том, какое значение вкладывать в слово, даже если это слово "рациональность". Привязка последовательности букв к определённым понятиям нужно для того, чтобы позволить людям обмениваться информацией; для того, чтобы помочь перенести мысли из одного разума в другой. Вы не можете изменить реальность или доказать мысль, манипулируя значениями слов.

Kroid 21.10.15 в 20:20

Так что, если ты примерно понимаешь, что я имею ввиду, говоря о «рациональности», «эпистемологической рациональности» и «инструментальной рациональности», то обмен информацией между нами уже произошёл. Нельзя достичь большего, оставаясь в рамках спора об определениях. Пришло время говорить не о том, какое понятие лучше всего привязать к набору слогов «ра-ци-о-наль-ность», а том, каким образом стоит думать.

Kroid 21.10.15 в 20:22

Если ты говоришь "Эпистемологически рационально для меня верить в Х, но истина - У", то ты используешь слово "рациональность" для обозначения чего-то другого (к примеру рациональность должна быть логически последовательна при переходе к рефлексии: т.е. «рациональный» взгляд на информацию и «рациональное» моделирование того, как твой разум «рационально» обрабатывает эту информацию, не должны вести к двум разным выводам).

Kroid 21.10.15 в 20:28

Аналогично, говоря "рационально сделать X, но правильно сделать Y", вкладываешь другой смысл или в слово "рационально" или в слово "правильно". Я использую термин "рациональность", чтобы выделить желаемые паттерны мышления.

Kroid 21.10.15 в 20:33

В таких случаях — да и в любых других случаях, когда слова можно понять превратно, — рекомендуется говорить более конкретно: «Предельно эгоистичный поступок — убежать, но я хотя бы попытался стащить ребенка с рельс» или «Причинная теория принятия решений говорит, что в задаче Ньюкома нужно выбрать оба ящика, но я лучше заберу миллион долларов».

Kroid 21.10.15 в 20:51

По факту, я рекомендую перечитать эту главу, заменяя слово "рациональность" на "фубарность" и смотреть что получится. Раз так, я скажу: стремитесь не к рациональности, а к фубарности.

Kroid 21.10.15 в 20:56

В слове «рациональность» хватает подводных камней, но есть куча неграничных случаев, в которых это слово отлично выполняет свою коммуникативную функцию; в таких ситуациях я не боюсь его использовать.

Kroid 21.10.15 в 20:58

Но всё же не стоит злоупотреблять этим словом. Нельзя заработать очки, просто громко произнеся его вслух. Чрезмерно говорящий об Учении не достигнет просветления.

Kroid 21.10.15 в 21:01