Готовый перевод Hero Licensing / Лицензия героя: Success factors and belief sharing

Пат: То есть, вы в самом деле считаете, что когда вы назначаете шансы в 9:1 против того, что "Методы" достигнут суперуспеха, описанного Незнакомцем в маске, вы хорошо откалиброваны. Будете ли вы настаивать на том, что я должен расширить собственные доверительные интервалы о том, каких успехов могут достичь "Гарри Поттер и методы рационального мышления", чтобы избежать собственной сверхуверенности?

Элиезер: Нет. С моей точки зрения, это ничем не отличается от заявления, что вы не должны назначать успеху "Методов" вероятность в 0,1%, потому что шансы 1000:1 --- это слишком мало. Так аргументировать нельзя, и я тщательно стараюсь этого не делать. Подобное мышление приводит к статьям вроде работы Орда, Хиллербранда и Сандберга "Как узнать вероятность невероятного", которую я считаю неверной. В общем, если существует 500 тысяч фанфиков и лишь один из них может набрать больше всего отзывов, нельзя случайно взять один из них и заявить, что шансы 500 000:1 --- это слишком мало.

Пат: Рад, что вы с этим согласны. Конечно, я не дурак, я понимаю, что ваши книги лучше средних. 90% фанфиков по Гарри Поттеру --- это полная хрень (в соответствии с законом Старджона), а 90% оставшихся 10% не хватает вдохновения. Таким образом остаётся примерно 5000 фанфиков, с которыми вам придётся соревноваться всерьёз. Я даже признаю, что если вы будете стараться всерьёз, вы окажетесь среди лучших 10% из них. Таким образом шансы, что вы станете лучшим автором фанфика по Гарри Поттеру на fanfiction.net - 1 из 500. Ещё нам надо учесть, что есть и другие сайты с фанфиками по Гарри Поттеру, где работ меньше, но эти работы в среднем лучше. Получается, что ваши шансы написать самый лучший фанфик примерно 1 к 1000, и, по-моему, это довольно щедрая оценка, с учётом того, насколько удивительно несерьёзно вы отнеслись к подготовке... Гм, с вами всё в порядке, Незнакомец в маске?

Незнакомец: Извините, пожалуйста. Я отвлёкся на мысль о мире, где я мог бы зайти на fanfiction.net и обнаружить там 1000 историй, сравнимых с "Гарри Поттером и методами рационального мышления". Я думаю об этом мире и стараюсь не заплакать. Не то, что я не в состоянии вообразить мир, где ваше скромно звучащее вычисление Ферми корректно... Просто мир, который вы описываете, кажется, очень отличается от нашего.

Элиезер: Пат, я понимаю, к чему вы клоните, и я действительно не знаю, что вам ответить, пока у меня не будет возможности показать вам книгу.

Пат: Вы понимаете, что я хочу до вас донести? На вас вообще мои слова действуют? Да, моя оценка довольно приблизительная, но мне кажется, что мой подход к вычислению Ферми вполне разумен. Если вы не согласны с выводом, мне хотелось бы узнать, какие дополнительные факторы приводят к тому, что ваше вычисление Ферми даёт результат в 10%.

Незнакомец: Вы недооцениваете, насколько по-разному вы думаете. Когда Элиезер говорил о своей оценке в 10%, ни один из перечисленных вами факторов ему даже не пришёл в голову.

Элиезер: Вынужден признать, что это правда.

Пат: И какие же, по-вашему, самые важные факторы, влияющие на то, преуспеете вы или нет?

Элиезер: Гм. Хороший вопрос. Я бы назвал... удастся ли мне сохранять мой писательский энтузиазм, смогу ли я писать достаточно быстро, получится ли у меня настолько хорошая история, какую я сейчас представляю, получится ли у меня учиться на ходу и создавать что-то ещё лучшее. Плюс большое количество неуверенности на тему, как люди на самом деле будут реагировать на работу, которая сейчас в моей голове, когда я её напишу.

Пат: Хорошо, у нас есть пять ключевых факторов. Оценим вероятности для каждого из них. Предположим, мы оценим шансы на сохранение энтузиазма в 80%, и в 50% на то, что вы будете писать достаточно быстро, --- хотя в прошлом у вас были с этим проблемы, на "Тройной контакт" у вас ушёл целый год, если я правильно помню. Оценим в 25% вероятность того, что вы сможете успешно записать эту невероятную историю, которую, судя по всему, вы представляете: по-моему, авторы практически всегда на этом спотыкаются, и я почти уверен, что и у вас будут с этим большие проблемы, но пусть будет одна четвёртая --- хотелось бы "застилменить" ваши доводы. Пусть 50% --- вероятность, что вы будете учиться достаточно быстро, чтобы ваш проект не пошёл ко дну из-за уже известных вам проблем. Теперь, даже не упоминая возможную реакцию читателей (вы действительно собираетесь продать когнитивную психологию и формальную эпистемологию фанатам Гарри Поттера?) и несмотря на то, что я был довольно щедр в своих оценках, перемножив все эти вероятности мы получаем оценку в 5%, что меньше полученных вами 10%...

Незнакомец: Неверно.

Пат: ...Неверно? Что вы хотите сказать?

Незнакомец: Давайте рассмотрим факторы, которые могут повлиять на то, что ваше рассуждение верно. Сперва оценим вероятность, что произвольное предложение окажется истинным. Затем нужно рассмотреть вероятность, что некий аргумент, направленный в поддержку некоего вывода, не будет содержать грубейших логических ошибок. Потом вероятность, что некто, утверждающий, что аргумент "неверен", ошибается...

Пат: Элиезер, если вы не согласны с моими выводами, то что не так с моими вероятностями?

Элиезер: Ну. начнём с того, что смогу ли я писать быстро, зависит от того, смогу ли я сохранять свой энтузиазм. Реакция аудитории зависит от того, смогу ли я писать быстро. Смогу ли я чему-то научиться, зависит от того, смогу ли я сохранять мой энтузиазм. С точки зрения теории вероятностей перемножать эти числа бредово.

Пат: Хорошо, чему же будет равна вероятность, что вы сможете писать быстро, при условии, что у вас сохраняется энтузиазм...

Элиезер: Вы считаете, что если бы вы начали с этого вопроса, вы бы пришли к другим результатам? Уверен, что если бы вам пришло бы в голову построить вопрос как "вероятность при условии...", у вас получились бы точно такие же вероятности, потому что именно к этому привёл бы баланс ваших мыслительных сил --- взять какое-нибудь небольшое число, которое звучит разумно или что-нибудь в этом духе. К тому же проблема условной вероятности далеко не единственная причина, по которой я считаю, что приём "оценим эти вероятности, а потом перемножим" лишь риторический трюк.

Пат: Риторический трюк?

Элиезер: Если подобрать для "вывода" нужные факторы, можно легко добиться, чтобы люди давали сколь угодно маленькие "ответы". Например, посмотрите статью ван Бовена и Эпли "Эффект подробностей при оценочных суждениях" (van Boven and Epley’s “The Unpacking Effect in Evaluative Judgments”). Проблема в том, что люди... как бы это покороче объяснить... если людей просить оценить вероятность чего бы то ни было, их оценки будут стремиться к некоторым медианным значениям. Поэтому ими можно довольно сильно манипулировать, подбирая категории, для которых нужно "посчитать" вероятность. Например, если если спрашивать автомеханика о возможных причинах, почему машина может не завестись --- причём опытного автомеханика, который каждый день наблюдает настоящую частоту поломок! --- а затем просить оценить либо вероятность "отказ системы электрооборудования" в целом, либо отдельные вероятности для "умер аккумулятор", "проблемы с генератором" и "проблема с зажиганием", то вероятность для составляющих в сумме окажется гораздо больше, чем вероятность для целого, если не вдаваться в подробности.

Пат: Но возможно, когда я разбираю в подробностях, что может пойти не так, я просто компенсирую ошибку планирования и то, что люди обычно недостаточно пессимистичны...

Элиезер: Прежде всего, проблема в ваших рассуждениях в том, что описанный исход не обязан быть идеальной конъюнкцией упомянутых факторов. Чтобы достичь успеха, не всё в вашем перечне должно сработать одновременно. Вы упустили другие дизъюнктивные пути, ведущие к тому же исходу. В вашей вселенной никто не прикладывает дополнительных усилий и не ищет ошибки, когда что-то пошло не так! Я никогда не видел, чтобы люди назначали якобы маленькую конъюнктивную вероятность чему-то, что на самом деле требовало выполнения всех предпосылок. Именно поэтому я всегда тщательно стараюсь избегать приёма: "Я любезно разобью это утверждение на большую конъюнкцию и попрошу оценить вероятность каждого множителя".

По моему опыту, этот приём можно применять только с одной целью: заставить людей поверить, что они "назначают" вероятности, в то время как вы манипулируете подбором факторов, чтобы получить итоговый результат, который вам нравится. В честном разговоре использовать его не имеет смысла. Я много раз видел, как люди использовали этот приём. Иногда с его помощью поддерживали выводы, с которыми я был согласен, иногда --- выводы, с которыми я был не согласен. Но я никогда не видел, чтобы этот приём помогал найти истину. Я считаю его применение плохой эпистемологией, которая распространена, потому что, пока люди не задумываются достаточно внимательно, он звучит разумно.

Пат: Я рассматривал те факторы, которые вы сами назвали самыми важными. С чем именно в моей оценке вы не согласны?

Незнакомец (в сторону): Кстати, ошибка многих этапов --- это замечательный трюк. Можно попросить людей самих подумать о ключевых факторах и всё равно подтолкнуть их дать ответы, из которых будет следовать маленький итоговый ответ. Ведь чем дольше люди перечисляют факторы и назначают им вероятности, тем меньше будет итоговое произведение. Как только мы понимаем, что при увеличении числа перемножаемых вероятностей произведение становится всё меньше и меньше, нам, чтобы отличать правду от лжи, приходится вводить дополнительные компенсирующие меры.

В итоге вам придётся прийти к выводу, что если успех в каком-то реальном предприятии зависит от четырёх факторов (не говоря уже о десяти), то вы априори не сможете его достигнуть. Да, выписать множество возможных сценариев провала для того, чтобы заранее решить, как с ними справляться, может быть мудрой идеей (известной под названием Мерфиджитсу [В российском сообществе чаще используется название "премортемы"(!Поставить ссылку!). --- Прим.перев.]). Однако когда вы начинаете присваивать "вероятность того, что Х пойдёт не так и это нельзя будет исправить, при условии, что всё предыдущее в списке идёт по плану или может быть успешно исправлено", то, если проект теоретически может достичь успеха --- как, например, "Методы", --- вам стоит взять вероятность близкую к единице. В противном случае вы априори исключаете возможность собственного успеха, а попытка что-то "посчитать" --- это притворство.

Честно говоря, сомневаюсь, что эту методологию вообще стоит чинить. Вряд ли нужно заморачиваться, пытаясь компенсировать вероятности в сторону увеличения. Просто не нужно заниматься подсчётами "конъюнктивного провала" на основе вероятностей успеха критичных факторов, когда у нас этих факторов очень много и вероятности получены очень приблизительно. Не думаю, что в таких условиях вы сможете что-нибудь оценить хорошо, даже если попытаетесь компенсировать упомянутую предсказуемую ошибку.

Элиезер: Да, я перечислил ключевые для меня факторы и я в самом деле сомневаюсь, что они сработают. Если бы я в них был уверен сильнее, я бы назначил вероятность больше, чем 10%. Однако эти факторы связаны дизъюнктивно в той же мере, что и конъюнктивно. Они не обязаны сработать вместе и сразу. Например, возможен такой сценарий: я буду писать "Методы" достаточно хорошо, что у них сложится достаточная аудитория, потом моя скорость написания значительно снизится, но "Методы" всё равно добьются большого успеха в итоге.

Пат: И как же вы скомбинируете эти факторы, чтобы оценить невероятный успех в 10%?

Элиезер: Никак. Я получил свою оценку следующим образом: я обнаружил, что у меня есть две границы --- 20:1 и 4:1 --- и я не готов их двигать, не беспокоясь об излишней сверхуверенности в ту или иную сторону. Примерно таким же образом я строил свои десять доверительных интервалов на тесте калибровки CFAR. Затем я взял логарифмическое среднее.

Пат: То есть вы даже не пытались оценить все эти факторы, а затем перемножить?

Элиезер: Нет.

Пат: Тогда откуда, чёрт возьми, вы взяли эти самые 10%? Ваше заявление, что вы получили два других таинственных числа --- 20:1 и 4:1, --- после чего взяли их геометрическое среднее, не отвечает на самый главный вопрос.

Незнакомец: Полагаю, лучше всего используемая методика описывается словами "взять числа с потолка". Важно практиковаться в калибровке своих чисел с потолка, когда вы потом узнаёте правильный ответ. Также важно понимать ограничения своих чисел с потолка и не пытаться сотворить невозможное, назначив кучу чисел с потолка сложным взаимосвязанным событиям.

Элиезер: Я бы сказал, что получил свою оценку... подумав о задаче на объектном уровне? Применив знания из области моей экспертизы? Я уже размышлял над этой задачей довольно долго, поэтому многие её важные аспекты уже были у меня в голове. Я получил из своей головы некоторое представление о вероятностях, а благодаря своей практике делать ставки я уже немного умею переводить собственное представление о неопределённостях в числа, и таким образом я получил 9:1. Я не очень понимаю, какую вы ещё хотите получить информацию. Если и есть способ получать настоящие, значительно лучшие суждения с помощью какой-то продвинутой техники, то я его не встречал в литературе и пока не практиковал. Если вы мне продемонстрируете, что в 9 случаях из 10 вы сможете назначать правильные 90-процентные доверительные интервалы, и ваши интервалы будут уже моих, и вы этого достигните с помощью какой-то продвинутой техники, я буду рад о ней услышать.

Пат: То есть, фактически, ваша вероятность в 10% происходит из недоступной интуиции.

Элиезер: В данном случае? Более-менее, да. Пока я не могу вам показать, что я планирую делать в "Методах", я мало что способен объяснить на тему, почему они могут преуспеть.

Пат: Если рассуждения у вас в голове корректны, почему их нельзя объяснить мне?

Элиезер: Потому что у меня есть недоступная вам информация. Я знаю, какую книгу я пытаюсь создать.

Пат: Элиезер, мне кажется, вы игнорируете довольно важную мысль. Вам стоит задуматься о том, что вы считаете, что у вас есть непередаваемые причины верить в успех вашего проекта "Методы рационального мышления". Разве неспособность убедить других людей в будущем успехе не схожа с ощущениями спятивших непризнанных гениев, изобретающих дурацкие физические теории? Они ведь тоже ссылаются на непередаваемую интуицию?

Элиезер: Однако ваш метод, который вы называете "предсказанием на основе референтного класса", слишком требователен, чтобы на самом деле определить, сможет кто-то написать фанфик по Гарри Поттеру с наибольшим количеством отзывов. Не важно, речь идёт обо мне или о ком-то ещё. Тот факт, что скромного критика не удаётся убедить, с точки зрения байесианства не позволяет отличить успешный в будущем проект от провального. Это не свидетельство.

Пат: Наоборот. Если бы Нонджон сказал мне, что он намерен написать фанфик по Гарри Поттеру, который получит больше всего отзывов, я посчитал бы это обоснованным утверждением. "Чёрная комедия" Нонджона признана одним из лучших фанфиков, Нонджон на хорошем счету у влиятельных обозревателей и раздающих рекомендации сообществ. Вероятно, он не был бы уверен, что он напишет фанфик, у которого точно будет больше всех отзывов, но он имеет полное право считать себя одним из наиболее вероятных претендентов на место автора такого фанфика.

Незнакомец: Любопытно, насколько вашу оценку вероятности успеха можно свести к одному числу, которое очень сильно коррелирует с тем, насколько человек уважаем внутри соответствующего сообщества.

Пат: Более того, даже если мой метод слишком требователен, это ещё не означает, что в моих рассуждениях какая-то ошибка. Человек, покупающий лотерейный билет, не сможет убедить меня, что у него есть веские причины верить в свой успех. Даже если это будет человек, который выиграет. Это всё равно не означает, что я был неправ, назначая низкую вероятность успеха людям, покупающим лотерейные билеты.

Для Нонджона вполне разумно купить лотерейный билет со ставкой 1:10. Нил Гейман может позволить себе 2 из 3. Шансы для вас, как я уже говорил, вероятно ближе к 1:1000, и они настолько высоки, лишь потому что вы уже продемонстрировали способность хорошо писать. Я даже не штрафую вас за то, что вы планируете внедрить ярко выраженных рациональных персонажей во вселенную Гарри Поттера, а это слишком уж непохоже на существующие лучшие фанфики. Возможно, на меня слишком влияет то, что мне понравилось то, что вы писали раньше. Однако я нахожу крайне подозрительным ваше утверждение, что вам достоверно известно, что ваш лотерейный билет лучше в сто раз, но вы не в состоянии объяснить, откуда вам это известно. Не бывает веских свидетельств, которые невозможно передать другому человеку.

Незнакомец: "Я пишу книгу по экономической теории, которая, как я полагаю, практически перевернёт всеобщие представления об экономике. Вероятно, не сразу, а в течение ближайших десяти лет. Сейчас вряд ли вы --- или кто-либо другой --- поверят в это. Но я сам не просто надеюсь, что так и будет, я довольно сильно в этом уверен". Так писал Джорджу Бернарду Шоу победитель в лотерее Джон Мейнард Кейнс о своей работе над "Общей теорией занятости, процента и денег".

Элиезер: Кстати, Пат, если я в самом деле преуспею в работе над "Методами", вы сами окажетесь в непередаваемом эпистемическом состоянии по отношению к кому-то, кто узнает обо мне позже лишь в связи с этой работой. Этот другой человек, возможно, предположит, что я не просто случайно выиграл в эту лотерею, но у него будет меньше свидетельств на этот счёт, чем у вас. Это довольно интересный и важный эпистемологический вопрос.

Пат: Я не согласен. Если у вас есть веские интроспективные свидетельства, расскажите мне о состоянии вашего разума. С моей точки зрения, не должно быть ситуаций, когда вы меняете свои взгляды на основании того, как это свидетельство "ощущается для вас", не так, как на основании того, как это свидетельство "ощущается для других людей". В этом случае вы и эти другие люди просто должны обновить свои взгляды ещё раз.

Незнакомец: Нет, в таком сценарии два человека действительно могут оказаться в непередаваемых эпистемических состояниях. Ведь существуют и другие искажения. Вы бы знали, что ситуация "Победа Элиезера" на самом деле была отмечена как отдельный исход заранее, но другой человек отнёсся бы к этому якобы отдельному исходу с учётом послезнания, и поэтому у него были бы веские причины не доверять своему послезнанию, и он не смог бы оказаться в том же состоянии разума, что и вы.

Вы правы, Пат: два агента, у которых совершенно нет когнитивных искажений и у которых нет поистине фундаментальных разногласий об априорных вероятностях, в такой ситуации никогда бы не оказались. Однако, насколько я могу судить, у людей такое случается довольно часто. В науке предсказания заранее ценятся вовсе не случайно: из-за искажения знания задним числом сложно в той же степени поверить в предсказание, о котором вы узнали уже после того, как оно сбылось.

Пат: Вы действительно предполагаете, что повсеместная распространённость когнитивных искажений позволяет вам сильнее верить в то, что ваши рассуждения корректны? Моя эпистемология в этих вопросах гораздо прямолинейнее вашей. Применим правило "веские свидетельства всегда можно передать" к описанному случаю. Гипотетический человек, наблюдавший за тем, как Элиезер Юдковский пишет Цепочки на LessWrong'е, слышит, как он присваивает существенную вероятность в успехе собственных "Методов", а затем видит, как этот успех наступает, должен просто понять, что на это скажет внешний наблюдатель. А он скажет вот что: вам просто повезло или не повезло --- как и в случае покупателя лотерейного билета, который заранее заявил, что владеет паранормальными способностями, а потом ему посчастливилось выиграть.

Элиезер: Мне это сильно напоминает сложность, которую я однажды описывал для "метода воображаемого изменения взглядов"[Англ. "“method of imaginary updates"]. Способности людей к логическим выкладкам не идеальны, поэтому мы не можем быть уверены, что мы рассуждали об априорных вероятностях правильно. Я понимаю, почему сейчас с вашей точки зрения успех "Методов" --- это всё равно что выигрыш в лотерею с шансами 1 к 1000. Но если это в самом деле случится, вы не скажете: "Ну надо же, случилось событие с шансами 1 к 1000". Вам придётся задуматься, не было ли ошибки в методе, который вы использовали для определения априорной вероятности. Для лотерейных билетов это неверно, потому что мы слишком хорошо представляем, как в этом случае устроена априорная вероятность. Ну и к тому же, в реальной жизни мы никогда не видели, чтобы кто-то из наших друзей выигрывал в лотерею.

Пат: Я согласен, что если "Методы" окажутся успешны, я пересмотрю свои взгляды, а не буду настаивать, что я был прав в своей оценке шансов. Поскольку я очень-очень уверен, что этого не случится, я счастлив уступить в этом вопросе. Аргументы против вашего успеха в написании фанфика по Гарри Поттеру мне кажутся достаточно сильными --- как и любые другие аргументы с точки зрения взгляда извне.

Незнакомец: Но мы обсуждаем не это.

Пат: Неужели?

Незнакомец: С моей точки зрения, в этом-то и проблема. Если человеку кажется привлекательной эпистемология скромности, он тривиально может изобрести железобетонный аргумент против любого проекта, который включает в себя какое-то важное свершение, небывалое в прошлом. Исключается возможность любого проекта, пытающегося выйти за пределы неадекватности цивилизации.

Пат: Послушайте. Нельзя просто прийти на какое-то поле деятельности и с первой же попытки захватить там лидерство. Именно об этом и говорит эпистемология скромности. Предполагается, что вы неспособны преуспеть с такими шансами против вас, какие я описал. Возможно, при наличии миллиона претендентов, кто-то преуспеет, хотя скромность предсказывает его поражение. Но если мы выиграем спор 999 999 раз из миллиона, по-моему, это довольно неплохо. Если, конечно, Элиезер не заявит, что проект по написанию нового фанфика по Гарри Поттеру настолько важен, что шанс в 0,0001% всё равно стоит того...

Элиезер: Я никогда этого не скажу. Никогда. Если скажу, можете меня пристрелить.

Пат: Тогда почему вы не отвечаете на вполне ясные, вполне обыденные, вполне очевидные аргументы, по которым я думаю, что вы не добьётесь успеха? Нет, серьёзно, что происходит сейчас у вас в голове?

Элиезер: Ощущение беспомощности от неспособности передать свои мысли.

Незнакомец: Мрачная ирония.

Пат: Тогда, уж простите, мистер Элиезер Юдковский, но я думаю, что вы просто иррациональны. И вы даже не слишком стараетесь это скрыть.

Элиезер (вздыхает): Я могу понять, почему, с вашей точки зрения, это выглядит именно так. Какие-то из моих мыслительных приёмов, которые, с моей точки зрения, помогают мне делать хорошие предсказания и вырабатывать полезные привычки, я передавать умею. Но другие вызывают у меня ощущение беспомощности: я их знаю, но не способен о них рассказать. Этот разговор связан с той частью, про которую я знаю, но не знаю, как описать.

Пат: И почему я должен в это поверить?

Элиезер: Например, потому что идеи, про которые я разобрался, как их передать, я передал достаточно впечатляюще. Именно в этом заключалась тайная цель номер 7 написания Цепочек на LessWrong: я хотел дать хороший ключ ко всем техникам, которые я не в состоянии продемонстрировать. Вам я могу лишь сказать, что вы беспокоитесь о вещах, о которых, с моей точки зрения, даже не стоит думать. Весь ваш подход к задаче неверен. Речь не о том, что неверны ваши аргументы. Они просто относятся к неправильному вопросу.

Пат: И какой же вопрос будет правильным?

Элиезер: Именно это мне сложно объяснить. Могу сказать, что вам стоит отказаться от всех ваших мыслей по поводу соревнования с другими. Люди, которые были перед вами, в каком-то смысле "зонды": сигналы эхолота, отражения которых дают вам какое-то представление о сложности задачи. Иногда вы можете проплыть мимо проблем, которые остановили других, и выйти в новую часть океана. И это не обязательно даже приведёт вас к успеху, моя мысль здесь в том, что человек обычно почти ничего не знает о том, что самое сложное в его задаче. Часто совершенно не имеет никакого смысла выяснять, кто именно ваши соперники --- насколько они умны, мотивированы или насколько им хорошо платят. Ведь вы можете посмотреть на их работу и оценить её качество.

Пат: Представим человека, который предсказывает гиперинфляцию, заявляя, что мнение общепризнанных экономистов можно игнорировать, поскольку лишь идиоты могут думать, что если утроить количество денег в экономике, то инфляции не будет.

Элиезер: Я не представляю, что происходит в головах у таких людей. Однако я сомневаюсь, что проблему можно решить, посоветовав им быть скромнее. Сказать человеку заткнуться и уважать экспертов в общем случае неправильный способ аргументации, потому что он не различает общепринятую экономику (у которой относительно высокие академические стандарты) от общепринятой диетологии (у которой относительно низкие академические стандарты). Я не уверен, что в такой ситуации может надёжно помочь хоть что-нибудь, кроме как понять экономику самому. Если бы я столкнулся с таким человеком, мне следовало бы посоветовать ему почитать побольше блогов по экономике и попробовать внимательно следить за аргументами или, что ещё лучше, почитать учебник по экономике. Однако я сомневаюсь, что если люди будут сидеть тихо и тревожно задавать себе вопросы, не слишком ли они дерзко себя ведут, то это поможет решить описанную проблему. Если и решит, то мы получим другую проблему.

Пат: То есть, ваша эпистемология на мета-уровне для меня столь же недоступна, как и ваши оценки на объектном уровне.

Элиезер: Я могу понять ваш скепсис.

Пат: Почему-то я сомневаюсь, что вы пройдёте идеологический тест Тьюринга за мою точку зрения.

Незнакомец (улыбаясь): Ну, я-то точно справлюсь с вашим идеологическим тестом Тьюринга.

Элиезер: Пат, я понимаю, как вы получили ваши оценки. Я не сомневаюсь, что вы даёте советы, желая мне помочь. Однако при этом я воспринимаю ваши советы как проявление тревожности, которая никак не входит в перечень того, о чём мне нужно думать, чтобы создать хорошую книгу. Подобные размышления --- бессмысленная трата сил. Если я преуспею, это точно произойдёт не благодаря таким мыслям. Чтобы сделать "Методы" такими, как я хочу, мне стоит думать не о том, насколько я хорош по сравнению с другими людьми. Поэтому я об этом и не думаю.

Пат: Мне кажется очень странным ваше замечание: "Если я преуспею, это точно произойдёт не благодаря таким мыслям". Оно полезно именно потому, что позволяет не тратить наши усилия на проекты, в которых у нас очень мало шансов преуспеть.

Незнакомец: Звучит очень разумно. Я могу на это ответить лишь посоветовать провести один день так, как я. Откажитесь от всех мыслей, которые не внесут никакого вклада в ваш успех, если он случится. Возможно, полученный опыт чему-нибудь вас научит.

Элиезер: Дело в том, Пат... Даже если я просто начну отвечать на ваши возражения и защищать себя от вашей разнообразной критики, это поспособствует развитию привычки, которую я считаю вредной. Вы непреклонно концентрируетесь на мне и моей психологии, и, если я ввяжусь в этот спор и начну защищаться, мне придётся сосредоточиться на себе, а не на моей книге. Из-за этого я потрачу гораздо меньше внимания на то, что должен сделать профессор Квиррелл на первом уроке Защиты. И что ещё хуже, мне придётся защищать собственные решения, а в этом случае мне будет сложнее изменить их в будущем.

Незнакомец: Подумайте, насколько сложнее Элиезеру будет отказаться от его другого проекта --- "Искусства рациональности" --- в случае его провала после множества подобных разговоров (реальных или внутренних): разговоров, в которых ему приходится защищать все причины, почему для него нормально считать, что он способен написать научно-популярный бестселлер в области рациональности. Именно поэтому важно не бояться попыток использовать неадекватность цивилизации. Важно, чтобы люди могли пробовать амбициозные проекты, не задумываясь, что они обязаны добиться успеха любой ценой или у них отберут лицензию героя.

Элиезер: Верно. И... работа мысли, связанная с беспокойством, что может подумать критик и как от него защититься или в чём ему уступить, отличается от работы мысли, которая нужна, чтобы проявить любопытство по какому-то поводу, попытаться узнать ответ и поставить эксперимент. Она отличается от того, как я думаю, когда работаю над задачей в реальном мире. Я должен думать просто о своей работе.

Пат: Если бы вы просто пытались ради забавы написать неплохой фанфик по Гарри Поттеру, я бы с вами согласился. Но вы говорите, что хотите создать самый лучший фанфик. Это же совершенно другая ситуация...

Элиезер: Нет! Я как раз пытаюсь вам объяснить, что в моей голове пытаться написать хороший фанфик и пытаться написать самый лучший фанфик --- это одно и то же. Есть объектный уровень, и вы его оптимизируете. У вас есть оценка, насколько хорошо вы можете его оптимизировать. Вот и всё.

Переведено на Нотабеноиде
http://notabenoid.org/book/78537/460149

Переводчики: Alaric