Rationality: From AI to Zombies / Рациональность: от ИИ до зомби: Рациональность: введение.

Во что мне следует верить?

Muyyd 01.12.15 в 21:31

Как оказалось, на этот вопрос есть правильный ответ.

Muyyd 01.12.15 в 21:31

Правильный ответ есть даже тогда, когда ты по горло в неуверенности, а не только при условии наличия убедительного доказательства. Всегда есть корректное количество уверенности в утверждение, даже если это выглядит как "личное мнение", а не подтвержденный экспертом "факт".

Muyyd 01.12.15 в 21:32

И все же, мы часто рассуждаем так, будто существование неуверенности или разногласий делает убеждения вопросами вкуса. Мы говорим "Это всего лишь мое мнение", или "ты имеешь право на личное мнение", как будто заявление науки и математики существуют на более высоком уровне бытия, чем те убеждения, которые всего лишь "личные" и "субъективные". Но, как пишет Робин Хансон (1):

Muyyd 01.12.15 в 21:38

У тебя нет прав на личное мнение. Никогда! У тебя нет прав даже на "я не знаю". У тебя есть право на желания, и

Muyyd 01.12.15 в 21:38

порой, на выбор. Ты можешь распоряжаться выбором, ты можешь выбирать предпочтения, у тебя может даже есть право на это. Но твои убеждения это не о тебе; убеждения - о мире. Твои убеждения - лучшее, что ты можешь предположить о том, как дела обстоят на самом деле. Все остальное - ложь. [ . . . ]

Muyyd 01.12.15 в 21:40

Правда, что некоторые вопросы предоставляют экспертом более сильные механизмы для разрешения споров. Когда дело касается других вопросов, наши искажения и сложность мира мешают делать сильные выводы [ . . . ]

Muyyd 01.12.15 в 22:08

Но не забывай, что на любой вопрос о том, как обстоят дела (или как должны), и при любой информации, всегда есть лучшая оценка. Ты имеешь право лишь на возможность приложить все силы для нахождения лучшей оценки; все остальное - ложь.

Muyyd 01.12.15 в 22:11

Предположим, что ту узнаёшь, что один из шести человек - влюблен в тебя. Может, ты получаешь письма от тайного обожателя и ты не сомневаешься, что это один из тех шести. Твой одноклассник Боб - один из шести кандидатов, но у тебя нет особых свидетельств за и против того, чтобы именно он был тем, кто влюблен. В этом случае - шансы на то, что Боб это именно тот, кто влюблен в тебя 1:5.

Muyyd 01.12.15 в 22:15

Шесть возможностей означают, что ты будешь угадаешь верно один раз, а пять - не верно, в среднем. Это и есть то, что мы обозначаем, как "шансы один к пяти". Ты не можешь сказать: "Ну, понятия не имею кто в меня влюблен; может это Боб, может нет. Так что шансы мои пятьдесят на пятьдесят." Ты даже не можешь сказать "я не знаю" или "может быть" и остановиться на этом, ответ все еще - 1:5 (2).

Muyyd 01.12.15 в 22:18

Предположим, что ты так же замечаешь, что влюбленные люди в десять раз чаще подмигивают тем, в кого они влюблены. И, если Боб подмигивает тебе, то это новое свидетельство. В данном случае, будет ошибкой по прежнему сохранять скептицизм по поводу идеи, что Боб - тайный обожатель; шансы 10:1 в пользу "случайный человек, подмигнувший мне, влюблен в меня" перевешивают шансы 1:5 против "Боб влюблен в меня".

Muyyd 01.12.15 в 22:21

Но так же будет ошибкой заявлять: "Это свидетельство такое сильное, что сомневаться глупо! Я просто буду думать, что Боб в меня влюблен!". Сверхуверенность ничем не лучше неуверенности.

Muyyd 01.12.15 в 22:24

По факту, только один ответ математически непротиворечив. Для того, чтобы изменить свое мнение с априорных шансов 1:5, основываясь на свидетельстве с отношениями правдоподобия 10:1, мы умножаем левые стороны отдельно и правые, получая апостериорные шансы 10:5 (2:1 в пользу того, что "Боб влюблен в меня"). С учетом наших предположений и доступных свидетельств, догадка, что Боб влюблен в тебя окажется правдой каждые два раза, и ложью - один раз. Эквивалентно: вероятность, что ты его привлекаешь - 2\3. Любое другое число, выражающее уверенность, в данном случае, будет несовместимым.

Muyyd 01.12.15 в 22:31

Наша культура не усвоила пока уроки теории вероятности, что правильный ответ на вопросы вроде "как сильно я могу верить в то, что Боб влюблен в меня?" точно так же логически определены как и и правильные ответы на вопросы из контрольной по алгебре или учебника геологии. Наши шаблоны мышления идут не в ногу с открытием, что "каких убеждений о мне следует придерживаться?" имеет объективно верный ответ, независимо от того, является ли это вопросом вроде "влюблен ли в меня мой одноклассник?" или "есть ли у меня бессмертная душа?" Есть правильный путь изменения своего мнения. И точный.

Muyyd 01.12.15 в 22:43

Как действительно изменить свое мнение.

Muyyd 01.12.15 в 22:43

Однако, пересмотр своих убеждений так же как и в том (с Бобом) идеальном случае - задача не из легких.

Muyyd 01.12.15 в 22:44

В первом томе "Рациональности: от ИИ до Зомби" мы обсуждали ценность "правильных" убеждений. Нет ничего предосудительного в выражении поддержки тому, что тебя волнует - группе, с которой ты себя идентифицируешь, духовному опыту, который ты находишь превозносящим. Когда мы сталкиваем провозглашения с фактическими убеждениями, однако, эти "недопонятые" провозглашения могут защитит целую идеологию от загрязнения свидетельствами.

Muyyd 01.12.15 в 22:49

Даже те убеждения, что элегантно объясняют наши наблюдения не обладают иммунитетом от этой проблемы. Слишком уж просто нам воспринимать туманно-научные (так или иначе авторитетные) фразы и делать выводы, что они "объясняют" что-либо, даже если они не меняют шансы, которые мы использовали для косвенной оценки наших ожиданий будущего.

Muyyd 01.12.15 в 22:54

Хуже всего, что даже прозаичные убеждения - те, что принципиально фильсифицируемы, что ограничивают варианты будущих наблюдений - могут застрять в голове, будучи поддержанными сетью иллюзий и искажений.

Muyyd 01.12.15 в 22:56

В 1951 году произошло необычайно жесткая игра между Дартмутом и Принстоном. Психологи Хасторф и Кантрил провели опрос среди болельщиков от каждой школы о том, кто же начал вести жесткую игру первым. Почти все были согласны в том, что это был не Принстон; однако, на 86% студентов Принстона, веривших, что начал Дартмут, приходилось лишь 36% студентов Дратмута, тоже обвинявших Дартмут. (Большинство студентов Дартмута верило,что "обе стороны начали".)

Muyyd 01.12.15 в 23:01

Нет никаких оснований полагать, что это было противоположным настоящим убеждениям провозглашение. Студенты, вероятно, следовали разным убеждениям в разных оценках будущего поведения игроков в будущих играх. И все же, совершенно обычные фактические убеждения Дартмута сильно отличались от совершенно обычных фактических убеждений Принстона.

Muyyd 01.12.15 в 23:11

Можем ли мы винить разницу в доступных источниках информации? Даже само по себе, искажения в разных источниках новостей, на которые полагаются группы - серьезная проблема.

Muyyd 01.12.15 в 23:13

Однако, факторов больше. Когда студентам была показана запись игры и они должны были посчитать количество нарушений, то Дартмутские насчитали в среднем 4.3 нарушения со стороны Дартмута (половина из которых была названа "мягкими"), в то время как Принтсонские - 9.8 нарушения со стороны Дартмута (треть из которых была названа "мягкими").

Muyyd 01.12.15 в 23:17

Чего уж тут надеяться на согласие конкурирующих фракций по сложным вопросам или моральной философии; студенты, верные разным группам, не могли согласится о том, что они видели (3).

Muyyd 01.12.15 в 23:19

Когда над дорогим нам "чем-то" нависла угроза - мировоззрением, социальным статусом или чем-либо еще наши мысли и даже восприятие спешат на защиту (4) (5). Некоторые психологи сегодня полагают, что наша способность придумывать явные оправдания для наших выводов специально эволюционировала для того, чтобы помогать нам выигрывать споры (6).

Muyyd 01.12.15 в 23:24

Одним из определяющих психологию 20-го века озарений, освещающим всех, от Фрейда до когнитивных психологов наших дней, является идея сложных подсознательных процессов, в значительной степени ответственных за наше поведение, и искаженности (большей, чем кажется на первый возгляд) историй, которые мы рассказываем себе о наших мотивах и поступках.

Muyyd 01.12.15 в 23:28

По факту, мы часто не замечаем сам процесс рассказывания таких историй. Когда кажется, что мы "прямо переживаем" что-то о себе посредством интроспекции, часто бывает, что это основано на незначительных косвенных причинных моделях (7, 8). Когда мы защищаем наши убеждения, то можем выдумывать хрупкие причины, не имеющие никакого отношения к тем, благодаря которым мы действительно пришли к таким убеждениям (9). Вместо того, чтобы судить объяснения на основе их предсказательной силы, мы пытаемся найти смысл в том, что, как нам кажется, мы знаем.

Muyyd 01.12.15 в 23:35

Как мы можем стать лучше? Как мы можем приобрести реалистичный взгляд на мир, если наши умы так склонны к рационализации? Как мы можем реалистично взглянуть на свой внутренний мир, если даже наши мысли под подозрением? Как мы можем снизить искаженность, если даже наша деятельность по исправлению этого имеет свои искажения?

Muyyd 08.12.15 в 20:15

Есть ли твердая кочка в этом болоте?

Muyyd 08.12.15 в 20:16

Математика Рациональности.

Muyyd 08.12.15 в 20:17

На рубеже 20-го века появился набор простых (теоретико-множественных) аксиом для арифметики давших математикам возможность оценивать корректность их выводов. Если человек или калькулятор выдает "2+2=4", теперь мы можем больше, чем просто сказать "интуитивно это кажется верным". Мы можем объяснить почему это верно, и мы можем доказать, что эта правильность систематически связана с правильностью всей остальной арифметики.

Muyyd 08.12.15 в 20:22

Но логика и математика позволяют нам моделировать более интересные системы, чем карманный калькулятор. Мы можем формализовать рациональные убеждения в целом, используя теорию вероятности для сбора сливок со все успешных форм вывода. Мы даже можем формализовать рациональное поведения в целом, разработав теорию принятия решений.

Muyyd 08.12.15 в 20:25

Теория вероятности описывает идеальные рассуждения в условиях неуверенности, если бы у нас было достаточно времени, вычислительных мощностей и самоконтроля. Учитывая предыдущие знания (априорные) и новое свидетельство, теория вероятности однозначно определяет наилучший набор новых убеждений (апостериорные), которые я могу принять. Так же, теория принятия решений определяет, какие действия я должен предпринять на основе моих убеждений. Для любого непротиворечивого набора убеждений и предпочтений, что я имею о Бобе, есть ответ теории принятия решений о том, как я должен действовать, чтобы удовлетворить свои предпочтения.

Muyyd 08.12.15 в 20:32

Люди - так же являются идеальными мыслителями или разработчиками решений, как они могут быть идеальными калькуляторами. Наши мозги небрежно слеплены эволюцией. Даже стараясь вовсю, мы не способны вычислить правильный ответ на "что мне следует думать?" и "как мне следует поступить?". У нас не хватает времени и вычислительных мощностей, и эволюции оказалась недостаточно дальновидной и компетентной, чтобы создать менее багнутую систему.

Muyyd 08.12.15 в 20:35

Максимально эффективный, свободный от ошибок мыслитель в реальном мире, по факту, все равно будет полагаться на эвристики и аппроксимациями. Оптимальные алгоритмы, путь вычислений которых можно проследить, выпадают из непротиворечивой теории вероятности.

Muyyd 08.12.15 в 20:49

И все же, даже зная, что мы не может быть полностью непротиворечивыми, мы можем стать лучше. Зная о существовании идеала, с которым мы можем себя сравнивать (исследователи называют это "Байесовской рациональностью"), мы можем улучшать наши рассуждения и действия. И хотя, мы никогда не станем идеальными байесовскими агентами, математика рациональности поможет нам понять, почему некий ответ является верным, заметить где мы облажались.

Muyyd 08.12.15 в 20:55

Только представь изучение математики исключительно с помощью заучивания. Тебе сказали, что “10 + 3 = 13,” “31 + 108 = 139,” и т.д., но это не слишком поможет, если ты не будешь понимать последовательность, стоящую за закорючками. Трудно искать методы улучшения рациональности, не имея при этом парадигмы для оценки успешности этих методов. Цель этой книги - помочь построить такую парадигму индивидуально каждому.

Muyyd 08.12.15 в 20:59

Прикладная рациональность.

Muyyd 08.12.15 в 21:00

В своем блог-посте про разницу между восторженными рациональностью "рационалистами" и "рационалистами" анти-эмпиристами Скотт Александр пишет (10):

Muyyd 08.12.15 в 21:02

[O]чевидно - здорово иметь как можно больше свидетельств, в том же смысле, что и иметь как можно больше денег. Но так же очевидно, что и полезно уметь распоряжаться имеющимися ресурсами с умом, так же, как и полезно уметь распоряжаться с умом ограниченным бюджетом.

Muyyd 08.12.15 в 21:04

Техники рациональности помогут выжать больше из имеющихся свидетельств в тех случаях, когда они неоднозначны или когда наши искажения и пристрастия мешают интерпретировать их. Это применимо и к таким обыденным ситуациям, как та, что с Бобом. К разногласиям политических фракций (и спортивных болельщиков). И так же применимо к технологическим и философским загадкам, вроде дебатов о трансгуманизме и том, должны ли мы использовать технологии для радикально изменения нашего состояния. Признавая, что те же математические правила применимы к каждой из описанных областей, как и господство когнитивных искажений, автор, в "Как действительно изменить свое мнение", обрисовывает множество примеров проблем.

Muyyd 08.12.15 в 21:06

Первая цепочка статей в "Как действительно изменить свое мнение" - "Чрезвычайно удобные оправдания" фокусируется на на вопросах, которые настолько четкие с точки зрения вероятностей, насколько это возможно. Оптимальные вычисления по Байесу часто трудно выполнимы, но ошибки вроде ошибки подтверждения существуют даже в случаях когда доступные свидетельства однозначны и у нас достаточно времени на обдумывание.

Muyyd 08.12.15 в 21:25

Отсюда мы движемся в темные воды вместе с цепочкой "Политика и Рациональность". Мэйнстримная политика, как и теледебаты, знаменита своими гневными, непродуктивными дискуссиями. Если задуматься, это кажется странным. Почему мы воспринимаем так близко к сердцу политические разногласия, если эффекты национальной политики так далеки от нас в пространстве и времени? Если уж на то пошло, почему мы не можем быть аккуратней со свидетельствами, когда имеем дело с важными для нас вопросами?

Muyyd 08.12.15 в 21:29

В игре Дартмута с Принстоном есть пара подсказок. Большая часть наших рассуждений - рационализация, рассказывание историй, которые помогают нам воспринимать наши убеждения как последовательные и оправданные. при этом редко улучшая их точность. Об этом автор пишет в "Против рационализации", затем следует цепочка "Против двоемыслия" (о самообмане) и "Свежий взгляд на вещи" (о вызове признавать свидетельства, даже если они не слишком подходят нашим ожиданиям и предположениям).

Muyyd 08.12.15 в 21:36

Поднятие уровня своей рациональности подразумевает знакомство с множеством интересных или сильных идей. Часто, это так же означает знакомства с людьми для обсуждений этих идей и даже сообществами, поощряющими саморазвитие. "Смертельные Спирали" описывает потенциальные риски, влияющие на группы, созданные вокруг общих интересов и блестящих идей, которые надо обойти или перебороть, если мы расчитываем получить хоть какую-то выгоду от сообщества рационалистов. "Как действительно изменить свое мнение" заканчивается цепочкой "Отпустить".

Muyyd 10.12.15 в 20:19

Наша природа не подразумевает изменение нашего мнения, как это делал бы байесовский агент. Чтобы заставить студентов Дартмута и Принстона заметить, что же происходило в реальности, понадобится больше, чем обучение их теории вероятности. Как писал Люк Мюлхаузер в "Силе автономного Агента" (11):

Muyyd 10.12.15 в 20:25

Ты не байесовский гомункул, чье мышление "загрязнено" когнитивными искажениями.

Muyyd 10.12.15 в 20:26

Ты просто когнитивное искажение.

Muyyd 10.12.15 в 20:26

Ошибка подтверждения, ошибка статуса кво, ошибка соответствия и прочие не присосались к нашему мышления; они являются его сутью.

Muyyd 10.12.15 в 20:28

Это не значит, что снижение их влияния невозможно. Мы не являемся идеальными калькуляторами под слоем арифметических ошибок. Множество из наших ограничений в математике являются следствием особенностей работы мозга. И тем не менее, мы способны тренировать математические навыки; мы способны обучаться различать ситуации, где можно, а где нельзя доверять математической интуиции и делиться этим знанием с другими; мы способны менять окружающую среду и создавать инструменты, снимающие бОльшую часть нагрузки.

Muyyd 10.12.15 в 20:32