Rationality: From AI to Zombies / Рациональность: от ИИ до зомби: Искажения: введение

от Роба Бесинджера

Remlin 17.10.15 в 07:30

Это не тайна. Хотя, по какой-то причине, редко всплывает в разговорах и очень немногие спрашивают, что же нам с этим делать. Это шаблон, спрятанный за всеми нашими победами и поражениями, невидимый нашими глазами. Что это?

Remlin 17.10.15 в 07:32

Представьте, что подходите к урне с семидесятью белыми шарами и тридцатью красными и вытаскиваете десять наугад. Возможно, три из них будут красными, и вы верно угадаете, сколько всего красных шаров в урне. Или, возможно, у вас будет четыре красных шара или какое-то другое число. Тогда вы, вероятно, получите неправильное общее число.

Remlin 17.10.15 в 07:34

Эта случайная ошибка - цена за неполное знание и, как любая ошибка, это не так и плохо. Ваши оценки не будут неверны в среднем, и чем больше вы узнаете, тем меньше будет у вас ошибок.

Remlin 17.10.15 в 07:39

С другой стороны, предположим, что белые шары тяжелее и опускаются на дно урны. Тогда ваша выборка может быть нерепрезентативной даже при последовательном вытаскивании.

Remlin 17.10.15 в 07:41

Такой вид ошибок называется "статистическая ошибка". Когда ваш метод изучения мира имеет искажения, изучение может вводить в заблуждение. Накопление данных может даже ухудшать искаженное предсказание. Если вы привыкли твердо опираться на знание и запросы, то это пугающая перспектива. Если мы хотим быть уверены, что познание поможет нам, а не сделает все еще хуже, чем ранее, нам надо узнавать об искажениях в наших данных и исправлять их.

Remlin 17.10.15 в 07:44

Идея когнитивных искажений работает тем же образом. Когнитивное искажение - это систематическая ошибка в том, как мы думаем, в противоположность случайной ошибке, вызванной простым невежеством. В то время как статистическая погрешность искажает выборку так, что она менее точно отражает положение дел, когнитивные искажения портят наши убеждения так, что они менее точно отражают факты и вмешиваются в процесс принятия решений, вследствие чего мы достигаем наших целей с меньшей надежностью.

Remlin 17.10.15 в 17:47

Возможно, вы склонны к оптимизму, а подсчет красных шаров существенен для лечения редкой тропической болезни, которую подхватил ваш брат. Тогда вы переоцените количество красных шаров в урне, поскольку будете желать, чтобы их было больше. И вот здесь будет искажена не ваша выборка, а вы сами.

Remlin 21.10.15 в 06:10

Однако, нам следует быть осторожней, говоря об искажениях в людях. Обычно таким образом мы говорим о том, что люди нечестны или ущербны. Но когнитивные искажения - это совершенно другой зверь. Они являются основной частью того, как люди думают, а не каким-то дефектом, который можно списать на воспитание или гнилой характер.

Remlin 22.10.15 в 10:05

Когнитивное искажение - это систематический путь, по которому идут ваши внутренние шаблоны мысли, когда не достигают истины (или какой-либо потенциально достижимой цели, наподобие счастья). Наподобие статистических погрешностей, когнитивные искажения могут искривлять наше виденье реальности, их нельзя в большинстве случаев исправить просто собрав побольше данных, и их эффекты суммируются со временем. Но когда тот неточный инструмент, который вы пытаетесь откалибровать, это вы сами, избавление от искажений является уникальным вызовом.

Remlin 22.10.15 в 10:08

И тут вполне очевиден вопрос, который следует задать в первую очередь. Если вы не можете доверять своему мозгу, то как вы можете доверять вообще хоть чему-то?

Remlin 22.10.15 в 10:10

Было бы полезно иметь название для этого проекта преодоления когнитивного искажения и для преодоления всех видов ошибок, которыми наши сознания могут навредить себе.

Remlin 22.10.15 в 10:12

Мы могли бы назвать такой проект как угодно. В настоящий момент, полагаю, "рациональность" такое же неплохое название, как и любое другое.
Рациональные Чувства
В голливудских фильмах быть "рациональным" обычно значит, что вы суровы и гиперинтеллектуальны, наподобие Спока из Звездного пути, который "рационально" подавляет эмоции, "рационально" отказывается полагаться на интуицию и легко впадает в ошеломление, будучи превзойден "иррациональным" оппонентом.

Remlin 22.10.15 в 10:16

Есть другой вид "рациональности", изучаемый математиками, психологами и социологами. Грубо говоря, это идея делать лучшее из того, что можешь. Рациональный человек, не имеет значения насколько продвинувшийся, формирует лучшие убеждения, которые может, из тех свидетельств, что у него есть Рациональный человек, не имеет значения в насколько ужасной ситуации застрявший, делает лучшие выборы, что может, для улучшения своих шансов на успех.

Remlin 22.10.15 в 10:48

Реальная рациональность не о том, чтобы игнорировать интуицию и эмоции. Для людей, часто, рационально осознавать свои чувства, чтобы учитывать их, как фактор, при принятии решений.

Muyyd 17.10.15 в 07:57

Рациональность может быть даже о том, чтобы знать когда не стоит сознательно рассуждать. Выбирая постер на стену, предсказывая исход баскетбольной игры, субъекты эксперимента показывали результаты хуже, если они их аккуратно обдумали (3)(4). Есть проблемы, для которых сознательные рассуждения помогут нам больше, для других же - быстрые решения лучше. Психологи, работающие над теорией двух процессов, выделяют процесс "Система 1" (быстрое, неявное, ассоциативное, автоматическое суждение) и процесс "Система 2" (медленное, явное, интеллектуальное, подконтрольное суждение). (5). Стереотипный рационалист целиком полагается на Систему 2, игнорируя чувства и импульсы. Если посмотреть не на стереотип, а на того, кто действительно рационален, кто достигает своих целей, кто действительно смягчает урон от когнитивных искажений, можно обнаружить, что он сильно полагается на привычки и интуицию Системы 1, в ситуациях, где на них можно положиться.

Muyyd 17.10.15 в 08:12

К сожалению, Система 1 является плохим помощником, когда надо определить "стоит ли сейчас доверять Системе 1?". Наша нетренированная интуиция не подскажет нам когда мы должны перестать полагаться на нее. Предвзятость и непредвзятость ощущаются одинаково. (6). С другой стороны, поведенческий экономист Дэн Ариели отмечает: мы предсказуемо иррациональны. Мы запарываемся одними и теми же способами, снова и снова, систематически.

Muyyd 17.10.15 в 08:23

Если мы не можем использовать инстинкт чтобы понять, когда поддаемся когнитивному искажению, то можно использовать науки о разуме.

Muyyd 17.10.15 в 08:25

Многоликие Ошибки.

Muyyd 17.10.15 в 10:01

В ходе эволюции, наши мозги, для решения проблем, стали использовать когнитивные эвристики - кратчайшие пути, чтобы быстро получить правильные решения, но, время от времени - неправильные.

Muyyd 17.10.15 в 08:38

Эвристика репрезентативности, например, является нашей склонностью оценивать феномен, основываясь но том, насколько он характерен по отношению к разным категориям. Это может вести к таким ошибкам, как конъюнктивное заблуждение. Тверский и Канеман обнаружили, что субъекты эксперимента считали менее вероятным, что сильный игрок в теннис "проиграет в первом сете", чем "проиграет в первом сете, но выиграет матч" (7). То, что сильный игрок сможет отыграться, кажется более характерным, так что мы переоцениваем вероятность такого сложного-но-так-разумно-звучащего рассказа, по сравнению с вероятностью действительно простого сценария.

Muyyd 17.10.15 в 08:47

Так же эвристика репрезентативности может быть частью нечувствительности к априорной вероятности, когда мы основываем наше суждение на том, насколько "нормальна" комбинация атрибутов, пренебрегая тем, насколько распространены атрибуты в популяции в целом (8). Стив более вероятно является застенчивым библиотекарем, или застенчивым продавцом? Большинство людей будет думать над этим, анализируя насколько "застенчивость" сочетается с стереотипами этих профессий. Они терпят неудачу в том, чтобы учесть насколько больше продавцов в сравнении с библиотекарями в Соединенных Штатах (9).

Muyyd 17.10.15 в 10:13

Среди других примеров искажений есть: игнорирование срока действия (оценка опыта без учета того, как долго он будет переживаться), заблуждение невозвратных затрат (чувство необходимости продолжать заниматься тем, на что уже потрачены силы и время, тогда как следует сжечь мосты и двигаться дальше), и ошибка подтверждения (придавать больше значения подтверждающим наши убеждения свидетельствам) (10), (11).

Muyyd 18.10.15 в 04:00

Знание об искажениях редко может защитить от них. В ходе исследований слепоты по отношению к искажениям, субъекты эксперимента предсказали, что, если они будут знать, что оцениваемая картина принадлежит кисти известного художника, им будет сложней нейтрально оценить качества этой картины. И, действительно, субъекты, которым сообщили имя автора картины и попросили оценить ее качество продемонстрировали действие искажения, которого они предсказали, относительно контрольной группы. Когда их опрашивали после, эти же субъекты заявляли, что их оценка картины была объективной и нетронутой искажением - и так во всех группах! (12), (13)

Muyyd 18.10.15 в 04:16

Особенно отвратительна мысль о том, что именно наши убеждения ошибочны. Даже если мы корректно определим ошибки других, для своих у нас есть особое слепое пятно (14). Нам не удается заметить "ошибочно-чувствующиеся мысли", когда мы занимаемся самоанализом, так что мы полагаем себя более объективными, чем все остальные (15).

Muyyd 19.10.15 в 22:23

Изучение искажений может сделать вас более уязвимыми для сверхуверенности и ошибки подтверждения, по мере того, как вы будете видеть влияние искажений у окружающих, но не у вас. И слепое пятно, в отличии от остальных искажений, особенно серьезно проявляется среди интеллектуальных, вдумчивых, непредубежденных. (16(, (17)..

Muyyd 19.10.15 в 22:27

И это причина для беспокойства.

Muyyd 19.10.15 в 22:28

И все же... Кажется, мы способны быть лучше. Известно, что мы способны снизить влияние нечувствительности к априорной вероятности, думая о вероятностях, как о частоте событий. Мы можем минимизировать игнорирование срока действия, уделяя внимание сроку действия и изображая его графически (18). Люди различаются в том, как сильно у них проявляются различные искажения, так что должны существовать способы повлиять на наши заблуждения.

Muyyd 19.10.15 в 22:36

Однако, если мы хотим стать лучше, недостаточно просто создать список когнитивных искажений. Подход к устранению искажений в "Рациональности: от ИИ до Зомби" предполагает системное понимание того, как работает правильное мышление и как мозг отстает от него. В определенных границах, эта книга делает свою работу, ее подход может быть сравнен с тем, что описан у Серфаса, который заметил, что "годы работы в финансовом секторе" не влияют на уязвимость к заблуждению невозвратных затрат, тогда как "посещение некоторого количества курсов по бухгалтерскому учету" влияет.

Muyyd 19.10.15 в 22:44

Следовательно, следует различать опыт и компетентность, которая означает "развитие схематических принципов, включающих концептуальное понимание проблем", что, в свою очередь, позволяет лицу, принимающему решения, распознать конкретное искажение. Однако, использование контрмер компетентности требует большего, чем знание контекста проблемы и того, что вы являетесь экспертом в своем деле. Это требует полного понимания скрытой подоплеки конкретного искажения, способности заметить его, наличия соответствующих инструментов для нейтрализации искажения (19).

Muyyd 19.10.15 в 22:52

Цель этой книги - заложить фундамент для создания рациональной компетентности. Что означает глубокое понимание структуры широкой проблемы: человеческие ошибки, самообман, и тысяча способов, как утонченная мысль может победить себя.

Muyyd 19.10.15 в 22:55

Слово об этом тексте.

Muyyd 19.10.15 в 22:56

"Рациональность: от ИИ до Зомби" родилась в качестве серии эссе Элиезера Юдковского, опубликованных между 2006 и 2009 на экономическом блоге "Overcoming Bias" и побочном блоге "Less Wrong". Я работал с Юдковским вот уже год в Machine Intelligence Research Institute(MIRI), некоммерческой организации, основанной им в 2000 для исследования теоретических требований к созданию умней-чем-человесеского интеллекта (ИИ).

Muyyd 19.10.15 в 23:00

Читая его посты, я заинтересовался его работой. Он впечатлил меня способностью кратко передать идеи, выработка которых у меня занимала годы изучения аналитической философии. Ища пути соединить дух науки и скептицизма со строгим и системным подходом к исследованиям, Юдковский старается не только опровергнуть, но и понять ложные шаги и слепые пятна плохой философии (плохой недо-философии). Помогая собрать его эссе в книгу, я надеюсь облегчить погружение в них и понимание их как целого.

Muyyd 19.10.15 в 23:19

Получившийся в результате рациональный букварь полон личных деталей - Юдкоский использует свой опыт общения с со своей матерью, ортодоксальной иудейкой (психиатром) и отцом (физиком), разговорах в чате и рассылках. Читатели, знакомые с Юдковским по "Гарри Поттеру и Методам Рационального Мышления", его научно-ориентированной интерпретацией Гарри Поттера Дж. К. Роулинг, узнают ???????????, и основные концепты.

Muyyd 22.10.15 в 14:13

С точки зрения стилистики, эсее в этой книге представляют гамму от "жизнерадостный учебник" до "сборник вдумчивых виньеток" и "буйного манифеста", контент соответственно, тоже отличается от эссе к эссе. В книге собраны сотни статей Юдковского в двадцать шесть "цепочек", как бы глав, связанных по смыслу постов. Цепочки же сгруппированы в шесть книг, раскрывающих темы:

Muyyd 21.10.15 в 21:56

Книга 1 - Карта и территория. Что такое убеждение и почему одни убеждения работают лучше других? Эти четыре цепочки объясняют Байесовские понятия рациональности, убеждений и свидетельств. Основная тема: штуки, которые мы называем "объяснениями" и "теориями" не всегда функционируют как карты для навигации по миру. В результате, есть риск перепутать наши ментальные карты с другими инструментами.

Muyyd 21.10.15 в 22:00

Книга 2 - Как Действительно Изменить Свое Мнение. Штука, называемая "правдой", похоже полезная. Так почему же мы спешим с выводами, наступаем на те же грабли, повторяя те же ошибки? Почему мы так плохо умеем вырабатывать точные убеждения и как делать это лучше? В этих семи цепочках обсуждаются мотивированные рассуждения и ошибка подтверждения, особый фокус на образцах самообмана, которые трудно заметить, и ловушке "использования аргументов как солдат".

Muyyd 21.10.15 в 22:08

Книга 3 - Машина В Призраке. Почему мы не эволюционировали более рациональными? Даже при условии ограниченных ресурсов, похоже, мы могли бы получать больше эпистемической отдачи от наших свидетельств. Чтобы получить более реалистичную картину, того, почему и как наш разум исполняет свои биологические функции, нам нужно to crack open the hood и внимательно посмотреть как работает эволюция и наш мозг. Эти три цепочки иллюстрируют как, даже философы и ученые могут заблуждаться, если полагаются на интуитивное, не-техническое понимание эволюционных и психологический идей. Обозначив наши разумы внутри огромной системы целеполагающей системы, мы можем идентифицировать некоторые основы человеческого рассуждения и понять как эта система может "потерять цель".

Muyyd 21.10.15 в 22:20

Книга 4 - Всего Лишь Реальность. В каком мире мы живем? Какого наше место в нем? Основываясь на примерах работы эволюционных и когнитивных моделей из предыдущих цепочек, в этих шести цепочках исследуется природа ума и физического закона. В дополнение к применению и обобщению прошлых уроков о научных тайнах и скупости, эссе этой части ставят поднимают новые вопросы о роли науки в рациональности отдельного индивида.

Muyyd 21.10.15 в 22:27

Книга 5 - Всего Лишь Доброта. Как что-то становится ценным - морально, эстетически или пруденциально? Эти три цепочки задаются вопросами как мы можем оправдать, пересмотреть и принять наши ценности и желания. Цель - понять наши цели, не повредив их достижению. Самая сложная проблема: как понять, когда стоит доверять запутанному, сложному, работающему от случая к случаю импульсивному пониманию "хорошо" и "плохо", а когда заменить его на простые, не ведающие исключений, принципы.

Muyyd 21.10.15 в 22:35

Книга 6 - Становясь Сильней. Как люди и сообщества могут применить все это на практике? Эти три цепочки начинаются с автобиографической истории о самых серьезных философских промахах Юдковского, сочетающейся с советами о том, как другие люди могут избежать подобных. Книга заканчивается рекомендацией по разработке курса обучения прикладной рациональности, основанной (основана рациональность, а не рекомендация (прим. перев.) на фактических данных. И по формированию групп и институтов для поддержки заинтересованных студентов, педагогов, исследователей и друзей.

Muyyd 21.10.15 в 22:42

Еще цепочки дополнены "интерлюдиями", эссе с личного сайта Юдковского (http://www.yudkowsky.net). Они связаны с разными цепочками, например, "Двенадцать добродетелей рациональности" лирически суммируют множество уроков "Рациональности: от ИИ до Зомби", и часто цитируются в эссе.

Muyyd 21.10.15 в 22:46

Кликнув на звездочку в конце каждого эссе, вы попадете на оригинальную версию с сайта Less Wrong (так можно оставить комментарий) или с сайта Юдковского. Так же, вы можете обнаружить словарь терминов на http://wiki.lesswrong.com/wiki/RAZ_Glossary.

Muyyd 21.10.15 в 22:48

Карта и местность.

Muyyd 21.10.15 в 22:48

Первая книга начинается с цепочки о когнитивных искажениях: "Предсказуемые ошибки". Книга не ограничена этой темой: плохие привычки и плохие идеи тоже имеют значение, даже если они становятся следствием содержания нашего разума, а не его структуры. Таким образом, эволюционировавшие и изобретенные будут показаны в цепочках, начиная с дискуссии в "Ложных Убеждениях" о ожидания расходятся с декларированными убеждениями.

Muyyd 21.10.15 в 22:55

Оценка иррациональности была бы не полной без теории, описывающей рациональность, или если "теория" будет состоять из смутных трюизмов, без точного объяснительного механизма. Цепочка "Noticing Confusion" раскрывает вопрос: почему полезно основывать поведение на "рациональных" ожиданиях и как это ощущается изнутри.

Muyyd 21.10.15 в 23:01

Дальше, "Таинственные ответы" ставит вопрос: способна ли наука решить эти проблемы для нас. Ученые основывают свои модели на повторяемых экспериментах, а не на спекуляциях и слухах. Наука, так же, имеет великолепную репутацию в сравнении с историями, религией и... Да в сравнении с чем угодно имеет. Стоит ли волноваться по поводу "ложных" убеждений, ошибки подтверждения, ошибки знания задним числом и им подобных, если мы работаем с сообществом людей, желающих объяснять феномены, а не рассказывать трогательные истории?

Muyyd 21.10.15 в 23:07

За этим следует "Простая Истина", отдельная аллегория о природе знания и убеждений.

Muyyd 21.10.15 в 23:08

Однако, именно когнитивные искажения предоставляют наиболее ясное и прямое представление о нашей психологии, виды эвристик и логику наших ограничений. Именно с искажений мы и начнем. Строка в Zhuangzi, пре-Дасосского философского трактата, гласит: "Ловушка для рыбы существует из-за рыбы, заполучив рыбу, ты может позабыть о ловушке" (20).

Muyyd 21.10.15 в 23:13