Hero Licensing / Лицензия героя: Success factors and belief sharing

Пат: То есть, вы в самом деле считаете, что когда вы назначаете шансы в 9:1 против того, что "Методы" достигнут суперуспеха, описанного Незнакомцем в маске, вы хорошо откалиброваны. Будете ли вы настаивать на том, что я должен расширить собственные доверительные интервалы о том, каких успехов могут достичь "Гарри Поттер и методы рационального мышления", чтобы избежать собственной сверхуверенности?

Alaric 18.04.20 в 21:19

Элиезер: Нет. С моей точки зрения, это ничем не отличается от заявления, что вы не должны назначать успеху "Методов" вероятность в 0,1%, потому что шансы 1000:1 --- это слишком мало. Так аргументировать нельзя, и я тщательно стараюсь этого не делать. Подобное мышление приводит к статьям вроде работы Орда, Хиллербранда и Сандберга "Как узнать вероятность невероятного", которую я считаю неверной. В общем, если существует 500 тысяч фанфиков и лишь один из них может набрать больше всего отзывов, нельзя случайно взять один из них и заявить, что шансы 500 000:1 --- это слишком мало.

Alaric 18.04.20 в 21:26

Пат: Рад, что вы с этим согласны. Конечно, я не дурак, я понимаю, что ваши книги лучше средних. 90% фанфиков по Гарри Поттеру --- это полная хрень (в соответствии с законом Старджона), а 90% оставшихся 10% не хватает вдохновения. Таким образом остаётся примерно 5000 фанфиков, с которыми вам придётся соревноваться всерьёз. Я даже признаю, что если вы будете стараться всерьёз, вы окажетесь среди лучших 10% из них. Таким образом шансы, что вы станете лучшим автором фанфика по Гарри Поттеру на fanfiction.net - 1 из 500. Ещё нам надо учесть, что есть и другие сайты с фанфиками по Гарри Поттеру, где работ меньше, но эти работы в среднем лучше. Получается, что ваши шансы написать самый лучший фанфик примерно 1 к 1000, и, по-моему, это довольно щедрая оценка, с учётом того, насколько удивительно несерьёзно вы отнеслись к подготовке... Гм, с вами всё в порядке, Незнакомец в маске?

Alaric 18.04.20 в 21:36

Незнакомец: Извините, пожалуйста. Я отвлёкся на мысль о мире, где я мог бы зайти на fanfiction.net и обнаружить там 1000 историй, сравнимых с "Гарри Поттером и методами рационального мышления". Я думаю об этом мире и стараюсь не заплакать. Не то, что я не в состоянии вообразить мир, где ваше скромно звучащее вычисление Ферми корректно... Просто мир, который вы описываете, кажется, очень отличается от нашего.

Alaric 18.04.20 в 21:38

Элиезер: Пат, я понимаю, к чему вы клоните, и я действительно не знаю, что вам ответить, пока у меня не будет возможности показать вам книгу.

Alaric 18.04.20 в 21:39

Пат: Вы понимаете, что я хочу до вас донести? На вас вообще мои слова действуют? Да, моя оценка довольно приблизительная, но мне кажется, что мой подход к вычислению Ферми вполне разумен. Если вы не согласны с выводом, мне хотелось бы узнать, какие дополнительные факторы приводят к тому, что ваше вычисление Ферми даёт результат в 10%.

Alaric 18.04.20 в 21:43

Незнакомец: Вы недооцениваете, насколько по-разному вы думаете. Когда Элиезер говорил о своей оценке в 10%, ни один из перечисленных вами факторов ему даже не пришёл в голову.

Alaric 19.04.20 в 21:10

Элиезер: Вынужден признать, что это правда.

Alaric 19.04.20 в 21:10

Пат: И какие же, по-вашему, самые важные факторы, влияющие на то, преуспеете вы или нет?

Alaric 19.04.20 в 21:11

Элиезер: Гм. Хороший вопрос. Я бы назвал... удастся ли мне сохранять мой писательский энтузиазм, смогу ли я писать достаточно быстро, получится ли у меня настолько хорошая история, какую я сейчас представляю, получится ли у меня учиться на ходу и создавать что-то ещё лучшее. Плюс большое количество неуверенности на тему, как люди на самом деле будут реагировать на работу, которая сейчас в моей голове, когда я её напишу.

Alaric 19.04.20 в 21:14

Пат: Хорошо, у нас есть пять ключевых факторов. Оценим вероятности для каждого из них. Предположим, мы оценим шансы на сохранение энтузиазма в 80%, и в 50% на то, что вы будете писать достаточно быстро, --- хотя в прошлом у вас были с этим проблемы, на "Тройной контакт" у вас ушёл целый год, если я правильно помню. Оценим в 25% вероятность того, что вы сможете успешно записать эту невероятную историю, которую, судя по всему, вы представляете: по-моему, авторы практически всегда на этом спотыкаются, и я почти уверен, что и у вас будут с этим большие проблемы, но пусть будет одна четвёртая --- хотелось бы "застилменить" ваши доводы. Пусть 50% --- вероятность, что вы будете учиться достаточно быстро, чтобы ваш проект не пошёл ко дну из-за уже известных вам проблем. Теперь, даже не упоминая возможную реакцию читателей (вы действительно собираетесь продать когнитивную психологию и формальную эпистемологию фанатам Гарри Поттера?) и несмотря на то, что я был довольно щедр в своих оценках, перемножив все эти вероятности мы получаем оценку в 5%, что меньше полученных вами 10%...

Alaric 19.04.20 в 21:24

Незнакомец: Неверно.

Alaric 19.04.20 в 21:24

Пат: ...Неверно? Что вы хотите сказать?

Alaric 19.04.20 в 21:24

Незнакомец: Давайте рассмотрим факторы, которые могут повлиять на то, что ваше рассуждение верно. Сперва оценим вероятность, что произвольное предложение окажется истинным. Затем нужно рассмотреть вероятность, что некий аргумент, направленный в поддержку некоего вывода, не будет содержать грубейших логических ошибок. Потом вероятность, что некто, утверждающий, что аргумент "неверен", ошибается...

Alaric 19.04.20 в 21:27

Пат: Элиезер, если вы не согласны с моими выводами, то что не так с моими вероятностями?

Alaric 19.04.20 в 21:28

Элиезер: Ну. начнём с того, что смогу ли я писать быстро, зависит от того, смогу ли я сохранять свой энтузиазм. Реакция аудитории зависит от того, смогу ли я писать быстро. Смогу ли я чему-то научиться, зависит от того, смогу ли я сохранять мой энтузиазм. С точки зрения теории вероятностей перемножать эти числа бредово.

Alaric 19.04.20 в 21:31

Пат: Хорошо, чему же будет равна вероятность, что вы сможете писать быстро, при условии, что у вас сохраняется энтузиазм...

Alaric 19.04.20 в 21:33

Элиезер: Вы считаете, что если бы вы начали с этого вопроса, вы бы пришли к другим результатам? Уверен, что если бы вам пришло бы в голову построить вопрос как "вероятность при условии...", у вас получились бы точно такие же вероятности, потому что именно к этому привёл бы баланс ваших мыслительных сил --- взять какое-нибудь небольшое число, которое звучит разумно или что-нибудь в этом духе. К тому же проблема условной вероятности далеко не единственная причина, по которой я считаю, что приём "оценим эти вероятности, а потом перемножим" лишь риторический трюк.

Alaric 21.04.20 в 19:24

Пат: Риторический трюк?

Alaric 21.04.20 в 19:25

Элиезер: Если подобрать для "вывода" нужные факторы, можно легко добиться, чтобы люди давали сколь угодно маленькие "ответы". Например, посмотрите статью ван Бовена и Эпли "Эффект подробностей при оценочных суждениях" (van Boven and Epley’s “The Unpacking Effect in Evaluative Judgments”). Проблема в том, что люди... как бы это покороче объяснить... если людей просить оценить вероятность чего бы то ни было, их оценки будут стремиться к некоторым медианным значениям. Поэтому ими можно довольно сильно манипулировать, подбирая категории, для которых нужно "посчитать" вероятность. Например, если если спрашивать автомеханика о возможных причинах, почему машина может не завестись --- причём опытного автомеханика, который каждый день наблюдает настоящую частоту поломок! --- а затем просить оценить либо вероятность "отказ системы электрооборудования" в целом, либо отдельные вероятности для "умер аккумулятор", "проблемы с генератором" и "проблема с зажиганием", то вероятность для составляющих в сумме окажется гораздо больше, чем вероятность для целого, если не вдаваться в подробности.

Alaric 21.04.20 в 19:42

Пат: Но возможно, когда я разбираю в подробностях, что может пойти не так, я просто компенсирую ошибку планирования и то, что люди обычно недостаточно пессимистичны...

Alaric 21.04.20 в 19:48

Элиезер: Прежде всего, проблема в ваших рассуждениях в том, что описанный исход не обязан быть идеальной конъюнкцией упомянутых факторов. Чтобы достичь успеха, не всё в вашем перечне должно сработать одновременно. Вы упустили другие дизъюнктивные пути, ведущие к тому же исходу. В вашей вселенной никто не прикладывает дополнительных усилий и не ищет ошибки, когда что-то пошло не так! Я никогда не видел, чтобы люди назначали якобы маленькую конъюнктивную вероятность чему-то, что на самом деле требовало выполнения всех предпосылок. Именно поэтому я всегда тщательно стараюсь избегать приёма: "Я любезно разобью это утверждение на большую конъюнкцию и попрошу оценить вероятность каждого множителя".

Alaric 21.04.20 в 19:56

По моему опыту, этот приём можно применять только с одной целью: заставить людей поверить, что они "назначают" вероятности, в то время как вы манипулируете подбором факторов, чтобы получить итоговый результат, который вам нравится. В честном разговоре использовать его не имеет смысла. Я много раз видел, как люди использовали этот приём. Иногда с его помощью поддерживали выводы, с которыми я был согласен, иногда --- выводы, с которыми я был не согласен. Но я никогда не видел, чтобы этот приём помогал найти истину. Я считаю его применение плохой эпистемологией, которая распространена, потому что, пока люди не задумываются достаточно внимательно, он звучит разумно.

Alaric 21.04.20 в 20:04

Пат: Я рассматривал те факторы, которые вы сами назвали самыми важными. С чем именно в моей оценке вы не согласны?

Alaric 21.04.20 в 20:05

Незнакомец (в сторону): Кстати, ошибка многих этапов --- это замечательный трюк. Можно попросить людей самих подумать о ключевых факторах и всё равно подтолкнуть их дать ответы, из которых будет следовать маленький итоговый ответ. Ведь чем дольше люди перечисляют факторы и назначают им вероятности, тем меньше будет итоговое произведение. Как только мы понимаем, что при увеличении числа перемножаемых вероятностей произведение становится всё меньше и меньше, нам, чтобы отличать правду от лжи, приходится вводить дополнительные компенсирующие меры.

Alaric 21.04.20 в 20:10

В итоге вам придётся прийти к выводу, что если успех в каком-то реальном предприятии зависит от четырёх факторов (не говоря уже о десяти), то вы априори не сможете его достигнуть. Да, выписать множество возможных сценариев провала для того, чтобы заранее решить, как с ними справляться, может быть мудрой идеей (известной под названием Мерфиджитсу [В российском сообществе чаще используется название "премортемы"(!Поставить ссылку!). --- Прим.перев.]). Однако когда вы начинаете присваивать "вероятность того, что Х пойдёт не так и это нельзя будет исправить, при условии, что всё предыдущее в списке идёт по плану или может быть успешно исправлено", то, если проект теоретически может достичь успеха --- как, например, "Методы", --- вам стоит взять вероятность близкую к единице. В противном случае вы априори исключаете возможность собственного успеха, а попытка что-то "посчитать" --- это притворство.

Alaric 24.04.20 в 20:40

Честно говоря, сомневаюсь, что эту методологию вообще стоит чинить. Вряд ли нужно заморачиваться, пытаясь компенсировать вероятности в сторону увеличения. Просто не нужно заниматься подсчётами "конъюнктивного провала" на основе вероятностей успеха критичных факторов, когда у нас этих факторов очень много и вероятности получены очень приблизительно. Не думаю, что в таких условиях вы сможете что-нибудь оценить хорошо, даже если попытаетесь компенсировать упомянутую предсказуемую ошибку.

Alaric 24.04.20 в 20:45

Элиезер: Да, я перечислил ключевые для меня факторы и я в самом деле сомневаюсь, что они сработают. Если бы я в них был уверен сильнее, я бы назначил вероятность больше, чем 10%. Однако эти факторы связаны дизъюнктивно в той же мере, что и конъюнктивно. Они не обязаны сработать вместе и сразу. Например, возможен такой сценарий: я буду писать "Методы" достаточно хорошо, что у них сложится достаточная аудитория, потом моя скорость написания значительно снизится, но "Методы" всё равно добьются большого успеха в итоге.

Alaric 24.04.20 в 20:52

Пат: И как же вы скомбинируете эти факторы, чтобы оценить невероятный успех в 10%?

Alaric 24.04.20 в 20:53

Элиезер: Никак. Я получил свою оценку следующим образом: я обнаружил, что у меня есть две границы --- 20:1 и 4:1 --- и я не готов их двигать, не беспокоясь об излишней сверхуверенности в ту или иную сторону. Примерно таким же образом я строил свои десять доверительных интервалов на тесте калибровки CFAR. Затем я взял логарифмическое среднее.

Alaric 24.04.20 в 20:56

Пат: То есть вы даже не пытались оценить все эти факторы, а затем перемножить?

Alaric 24.04.20 в 20:57

Элиезер: Нет.

Alaric 24.04.20 в 20:57

Пат: Тогда откуда, чёрт возьми, вы взяли эти самые 10%? Ваше заявление, что вы получили два других таинственных числа --- 20:1 и 4:1, --- после чего взяли их геометрическое среднее, не отвечает на самый главный вопрос.

Alaric 01.05.20 в 20:51

Незнакомец: Полагаю, лучше всего используемая методика описывается словами "взять числа с потолка". Важно практиковаться в калибровке своих чисел с потолка, когда вы потом узнаёте правильный ответ. Также важно понимать ограничения своих чисел с потолка и не пытаться сотворить невозможное, назначив кучу чисел с потолка сложным взаимосвязанным событиям.

Alaric 01.05.20 в 20:55

Элиезер: Я бы сказал, что получил свою оценку... подумав о задаче на объектном уровне? Применив знания из области моей экспертизы? Я уже размышлял над этой задачей довольно долго, поэтому многие её важные аспекты уже были у меня в голове. Я получил из своей головы некоторое представление о вероятностях, а благодаря своей практике делать ставки я уже немного умею переводить собственное представление о неопределённостях в числа, и таким образом я получил 9:1. Я не очень понимаю, какую вы ещё хотите получить информацию. Если и есть способ получать настоящие, значительно лучшие суждения с помощью какой-то продвинутой техники, то я его не встречал в литературе и пока не практиковал. Если вы мне продемонстрируете, что в 9 случаях из 10 вы сможете назначать правильные 90-процентные доверительные интервалы, и ваши интервалы будут уже моих, и вы этого достигните с помощью какой-то продвинутой техники, я буду рад о ней услышать.

Alaric 01.05.20 в 21:06

Пат: То есть, фактически, ваша вероятность в 10% происходит из недоступной интуиции.

Alaric 01.05.20 в 21:06

Элиезер: В данном случае? Более-менее, да. Пока я не могу вам показать, что я планирую делать в "Методах", я мало что способен объяснить на тему, почему они могут преуспеть.

Alaric 01.05.20 в 21:08

Пат: Если рассуждения у вас в голове корректны, почему их нельзя объяснить мне?

Alaric 01.05.20 в 21:08

Элиезер: Потому что у меня есть недоступная вам информация. Я знаю, какую книгу я пытаюсь создать.

Alaric 01.05.20 в 21:09

Пат: Элиезер, мне кажется, вы игнорируете довольно важную мысль. Вам стоит задуматься о том, что вы считаете, что у вас есть непередаваемые причины верить в успех вашего проекта "Методы рационального мышления". Разве неспособность убедить других людей в будущем успехе не схожа с ощущениями спятивших непризнанных гениев, изобретающих дурацкие физические теории? Они ведь тоже ссылаются на непередаваемую интуицию?

Alaric 01.05.20 в 21:15

Элиезер: Однако ваш метод, который вы называете "предсказанием на основе референтного класса", слишком требователен, чтобы на самом деле определить, сможет кто-то написать фанфик по Гарри Поттеру с наибольшим количеством отзывов. Не важно, речь идёт обо мне или о ком-то ещё. Тот факт, что скромного критика не удаётся убедить, с точки зрения байесианства не позволяет отличить успешный в будущем проект от провального. Это не свидетельство.

Alaric 02.05.20 в 15:00

Пат: Наоборот. Если бы Нонджон сказал мне, что он намерен написать фанфик по Гарри Поттеру, который получит больше всего отзывов, я посчитал бы это обоснованным утверждением. "Чёрная комедия" Нонджона признана одним из лучших фанфиков, Нонджон на хорошем счету у влиятельных обозревателей и раздающих рекомендации сообществ. Вероятно, он не был бы уверен, что он напишет фанфик, у которого точно будет больше всех отзывов, но он имеет полное право считать себя одним из наиболее вероятных претендентов на место автора такого фанфика.

Alaric 02.05.20 в 15:06

Незнакомец: Любопытно, насколько вашу оценку вероятности успеха можно свести к одному числу, которое очень сильно коррелирует с тем, насколько человек уважаем внутри соответствующего сообщества.

Alaric 02.05.20 в 15:07

Пат: Более того, даже если мой метод слишком требователен, это ещё не означает, что в моих рассуждениях какая-то ошибка. Человек, покупающий лотерейный билет, не сможет убедить меня, что у него есть веские причины верить в свой успех. Даже если это будет человек, который выиграет. Это всё равно не означает, что я был неправ, назначая низкую вероятность успеха людям, покупающим лотерейные билеты.

Alaric 02.05.20 в 15:12

Для Нонджона вполне разумно купить лотерейный билет со ставкой 1:10. Нил Гейман может позволить себе 2 из 3. Шансы для вас, как я уже говорил, вероятно ближе к 1:1000, и они настолько высоки, лишь потому что вы уже продемонстрировали способность хорошо писать. Я даже не штрафую вас за то, что вы планируете внедрить ярко выраженных рациональных персонажей во вселенную Гарри Поттера, а это слишком уж непохоже на существующие лучшие фанфики. Возможно, на меня слишком влияет то, что мне понравилось то, что вы писали раньше. Однако я нахожу крайне подозрительным ваше утверждение, что вам достоверно известно, что ваш лотерейный билет лучше в сто раз, но вы не в состоянии объяснить, откуда вам это известно. Не бывает веских свидетельств, которые невозможно передать другому человеку.

Alaric 02.05.20 в 15:19

Незнакомец: "Я пишу книгу по экономической теории, которая, как я полагаю, практически перевернёт всеобщие представления об экономике. Вероятно, не сразу, а в течение ближайших десяти лет. Сейчас вряд ли вы --- или кто-либо другой --- поверят в это. Но я сам не просто надеюсь, что так и будет, я довольно сильно в этом уверен". Так писал Джорджу Бернарду Шоу победитель в лотерее Джон Мейнард Кейнс о своей работе над "Общей теорией занятости, процента и денег".

Alaric 02.05.20 в 16:48

Элиезер: Кстати, Пат, если я в самом деле преуспею в работе над "Методами", вы сами окажетесь в непередаваемом эпистемическом состоянии по отношению к кому-то, кто узнает обо мне позже лишь в связи с этой работой. Этот другой человек, возможно, предположит, что я не просто случайно выиграл в эту лотерею, но у него будет меньше свидетельств на этот счёт, чем у вас. Это довольно интересный и важный эпистемологический вопрос.

Alaric 02.05.20 в 16:52

Пат: Я не согласен. Если у вас есть веские интроспективные свидетельства, расскажите мне о состоянии вашего разума. С моей точки зрения, не должно быть ситуаций, когда вы меняете свои взгляды на основании того, как это свидетельство "ощущается для вас", не так, как на основании того, как это свидетельство "ощущается для других людей". В этом случае вы и эти другие люди просто должны обновить свои взгляды ещё раз.

Alaric 02.05.20 в 16:56

Незнакомец: Нет, в таком сценарии два человека действительно могут оказаться в непередаваемых эпистемических состояниях. Ведь существуют и другие искажения. Вы бы знали, что ситуация "Победа Элиезера" на самом деле была отмечена как отдельный исход заранее, но другой человек отнёсся бы к этому якобы отдельному исходу с учётом послезнания, и поэтому у него были бы веские причины не доверять своему послезнанию, и он не смог бы оказаться в том же состоянии разума, что и вы.

Alaric 02.05.20 в 17:09

Вы правы, Пат: два агента, у которых совершенно нет когнитивных искажений и у которых нет поистине фундаментальных разногласий об априорных вероятностях, в такой ситуации никогда бы не оказались. Однако, насколько я могу судить, у людей такое случается довольно часто. В науке предсказания заранее ценятся вовсе не случайно: из-за искажения знания задним числом сложно в той же степени поверить в предсказание, о котором вы узнали уже после того, как оно сбылось.

Alaric 02.05.20 в 17:12