Готовый перевод Hero Licensing / Лицензия героя: Outperforming and the outside view

(2010 год. Элиезер-2010 сидит на скамейке, уткнувшись в ноутбук, в несуществующем парке в Редвуд-Сити, Калифорния. К нему подходит человек.)

Человек: Простите, вы случайно не Элиезер Юдковский?

Элиезер-2010: Мне принадлежит эта сомнительная честь.

Человек: Меня зовут Пат. Пат Модесто[Фамилия героя говорящая, и образована от слова "modest" --- скромный. --- Прим.перев.]. Мы не встречались, но я читал вас в интернете. Над чем вы работаете сейчас?

Элиезер-2010: Пытаюсь написать научно-популярную книгу по рациональности. Мои записи в блоге на Overcoming Bias [Название блога, где Юдковский начал писать свои Цепочки. Буквально переводится как "Преодолевая искажения". --- Прим.перев.], в смысле на Less Wrong, довольно длинны, нуждаются в редактуре, и, хотя они как-то повлияли на мир, мне кажется, что книгу по рациональности прочитало бы больше людей и она повлияла бы на мир сильнее.

Пат: Как интересно! Вы не возражаете, если я загляну в ваш экран и...

Элиезер (закрывая экран): Возражаю!

Пат: Простите. Гм... То, что я мельком заметил, как по мне, не слишком похоже на научно-популярную книгу по рациональности.

Элиезер: Ну, да, работа над этой книгой шла очень медленно. Поэтому я решил попробовать в свободные часы писать что-нибудь другое, чтобы разобраться: у меня проблемы со скоростью написания вообще или дело именно в этой конкретной книге.

Пат: Вообще-то, я увидел нечто похожее на фанфик по Гарри Поттеру. По-моему, я заметил слова "Гарри" и "Гермиона" в сочетаниях, не похожих на те, что были у Джоан Роулинг.

Элиезер: Да, и вроде бы у меня получается писать его довольно быстро. К тому же, кажется, у меня на него уходит меньше сил, чем обычно.

(Загадочный незнакомец в маске, наблюдающий за этой сценой, завистливо вздыхает.)

Элиезер: Теперь мне надо разобраться, почему моя основная книга пишется настолько медленнее и требует гораздо больше сил... Я бы мог написать столько книг, если бы всегда писал с такой же скоростью, с какой пишу этот фанфик...

Пат: Простите, если мой вопрос покажется глупым. Не хочу сказать, что фанфики по Гарри Поттеру --- это плохо. Я и сам в своё время их читал. Однако, насколько я понимаю, ваша философия заключается в том, что мир уже горит и с этим нужно что-то делать. Если это правда, почему вы пишете фанфик по Гарри Поттеру, а не занимаетесь чем-то ещё?

Элиезер: Я занимаюсь чем-то ещё. Я пишу научно-популярную книгу по рациональности. Просто сейчас у меня свободное время.

Пат: Понятно. Но меня интересует, почему в свободное время вы занимаетесь именно этим.

Элиезер: Потому что сил мне не хватает гораздо больше, чем времени. Этот фанфик мне обходится довольно дёшево, поэтому его я могу создавать быстро.

Пат: Я пытаюсь понять, почему вы пишете фанфик по Гарри Поттеру, даже при том, что вам это довольно легко даётся. Разве что действительно дело исключительно в том, что вам нужно понаблюдать, как у вас получается писать быстро, чтобы понять, как быстро писать другие вещи. В этом случае я бы спросил, как вы оцениваете вероятность, что вам действительно удастся это понять. Просто я думаю, что вы могли бы использовать свободное время более эффективно.

Элиезер: Я не уверен, что вы правильно понимаете идею "свободного времени". Существуют причины, почему оно необходимо, и эти причины не сводятся к тому, что люди ленивы. Да, Анне Саломон[fn]Одна из основательниц CFAR. С 2016 года --- президент CFAR. --- Прим.перев.[/fn] и Люку Мюльхаузеру[fn]Исполнительный директор MIRI в 2011-2015 годах, в настоящее время работает в Open Philanthropy Project. --- Прим. перев.[/fn] свободное время не нужно, но я не уверен, что их точно можно назвать людьми.

(Загадочный незнакомец в маске вступает в разговор.)

Незнакомец: Прошу прощения.

Элиезер: Вы кто такой?

Незнакомец: Вряд ли это важно.

Пат: И почему вы в маске?

Незнакомец: Ну, я точно не версия Элиезера из 2014 года, тайно вернувшаяся в прошлое, если вы думаете об этом.

Пат: Справедливости ради, об этом я вовсе не думал.

Незнакомец: Пат и Элиезер-2010! По-моему, вы не понимаете друг друга. Разногласие между вами гораздо больше, чем вам кажется.

Пат и Элиезер: Продолжайте.

Незнакомец: Если в феврале 2010 года спросить Элиезера, почему он пишет "Гарри Поттера и методы рационального мышления", он, конечно же, ответит, что, по его предположению, написание "Методов" повлияет к лучшему на его попытки написать "Искусство рациональности" --- его предполагаемое руководство по освоению рациональности. Это вызвано тем, что у нас --- в смысле, у Элиезера --- есть эвристика "планируй главное", которая подразумевает, что любая деятельность оправдана в той мере, в какой она положительно влияет на "нормальный" вариант будущего, а не на маловероятные побочные сценарии.

Элиезер: Конечно.

Пат: Подождите. Разве не вся ваша жизнь...

Элиезер: Нет.

Незнакомец: У Элиезера-2010 также есть эвристика, которую можно сформулировать как: "Деятельность имеет смысл, лишь если ты можешь достичь в ней множества Парето". Другими словами, если Элиезер-2010 ожидает, что работа кого-то другого будет во всех отношениях лучше, чем его работа, ему не придёт в голову тратить на это время. Элиезер-2010 считает, что он способен делать то, что попадёт во множество Парето, поэтому зачем ему вообще заниматься чем-то иным? Поэтому, хоть в свободное время, хоть нет, Элиезер не стал бы писать этот фанфик, если бы не считал, что он будет во всех отношениях лучше, чем любой другой. Или, более того, лучше, чем любая другая книга.

Пат: Гм...

Элиезер: Я бы не стал использовать именно такие слова.

Незнакомец: Да, потому что если бы вы сказали это вслух, люди бы начали многократно повторять слово "самонадеянность", а вы бы не до конца понимали, почему они так себя ведут. Поэтому вы красиво играете словами и пытаетесь уводить разговор от этой темы.

Пат: Это правда?

Элиезер: Мне кажется, будто незнакомец в маске хочет использовать эффект Барнума. В смысле, большинство людей, если их спрашивать поодиночке, признали бы, что это описание подходит и к ним.

Пат: ...... Я совершенно не считаю, что ко мне подходит такое описание.

Элиезер: Я всерьёз удивлюсь, если таких окажется меньше десяти процентов от всего населения.

Незнакомец: Элиезер, за следующие четыре года вы научитесь немного лучше понимать эмоции людей, связанные со статусом. Впрочем, всерьёз их учитывать вы всё равно будете лишь в тех случаях, когда вам нужно будет донести точку зрения, которую невозможно донести никак иначе, то есть, увы, очень часто, поскольку эпистемология скромности слишком быстро распространяется в вашем сообществе. В любом случае, Пат, факт, что Элиезер-2010 тратит очень много времени на "Гарри Поттера и методы рационального мышления" действительно позволяет вам сделать вывод, что Элиезер-2010 считает, что "Методы" могут достичь значительного успеха в каких-то важных для него аспектах. Что они выйдут за границы сделанного кем угодно другим. Хотя, возможно, он в этом и не признается до того, как реально достигнет успеха.

Элиезер: Ну, да, да, так и есть. Меня расстраивает, как в художественной литературе показывают "интеллектуальных" и/или "рациональных" персонажей. И я хочу увидеть правильных "рациональных" персонажей, даже если мне придётся написать про них историю самому. Я чётко представляю, что именно другие писатели делают не так, и как сделать лучше. Если бы я этого не представлял, перспектива написать "Методы" меня бы интересовала гораздо меньше.

Незнакомец (в сторону): Наше мировоззрение настолько заражено неадекватностью цивилизации, что мы почти никогда её не замечаем. По этому поводу даже не стоит переживать, ведь, так уж получилось, мы в самом деле живём в неадекватной цивилизации.

Элиезер (по-прежнему обращаясь к Пату): Однако, я не говорю о том, какими могут получиться "Методы", не только из скромности. Я действительно не уверен, что я смогу сделать "Методы" такими, какими, с моей точки зрения, они могут стать. Я не хочу обещать больше, чем могу сделать. И поскольку нужно планировать главное, я пробую писать "Методы" исключительно, чтобы выяснить, могу ли я писать быстрее.

Незнакомец (в сторону): Задним числом я несколько сомневаюсь, что дело именно в этом, хотя рассуждения вполне разумны.

Пат: Можете рассказать больше о том, почему вы думаете, что в вашей истории о Гарри Поттере получатся чрезвычайно "интеллектуальные" персонажи?

Элиезер: А нужно? В литературе я должен показывать, а не рассказывать. Само собой, мои персонажи не будут учить пятьдесят семь языков, потому что они суперумные. Я считаю, что большинство попыток написать "интеллектуальных персонажей" упираются в их поверхностные качества, вроде количества языков, которые они знают, или сводятся к созданию стереотипных поверхностных черт, которые автор видел у других персонажей-"гениев", например, ощущение чуждости. В кино такие персонажи говорят с британским акцентом. Кажется, подавляющее большинство авторов не в курсе про рассуждение Винджа, почему сложно создать персонажа, который окажется умнее автора. Например, чтобы знать, как в шахматной партии походит прекрасный шахматист, нужно играть в шахматы не хуже него. И по этой же причине тяжело написать персонажа, который окажется гораздо рациональнее автора.

По-моему, понятия "интеллект" и "рациональность" у типичных персонажей не имеет ничего общего с умением делать правильный выбор или делать хорошие предсказания. С моей точки зрения, в литературе просто нет идеи персонажа, который достигает успехов в оптимизации своего мышления, отличающейся от идеи персонажа, который побеждает, просто потому что у него в мозги встроен волшебный меч. Кроме того, по-моему, большинство авторов персонажей-"гениев" не уважают их предполагаемый гений настолько, чтобы всерьёз поставить себя на их место --- всерьёз попытаться почувствовать, на что похожа их внутренняя жизнь, и подумать хотя бы чуть дальше первого пришедшего в голову клише. Автор просто ставит себя выше "гения", наделяет гения каким-то вариантом очевидной глупости, позволяющей автору сохранять эмоциональную дистанцию...

Незнакомец (в сторону): Подавляющее большинство авторов с трудом могут вообразить персонажа, который по-настоящему умнее автора. Подавляющее большинство футуристов с трудом могут представить ИИ, который по-настоящему умнее человека. И действительно, люди часто пренебрегают гипотезой, что чрезвычайно умный человек уж точно примет во внимание факторы, которые они сами считают очевидными. Однако, когда речь идёт о достаточно компетентных личностях, принимающих решения исходя из собственных знаний и компетенций (я здесь не рассматриваю поведение бюрократических комиссий или коллективное поведение в произвольной области), часто стоит задаваться вопросом, не могут ли они оказаться умнее, чем вы думаете, и нет ли у их действий оправданий лучше, чем те, что приходят вам на ум в первую очередь.

Пат: Хорошо, предположим, вы сможете написать книгу, где персонажи будут демонстрировать интеллект по-настоящему. Как именно это поможет спасти мир?

Элиезер: Почему вы делаете акцент на слове "интеллект", а не на слове "рациональность"? Впрочем, отвечая на ваш вопрос: научно-популярная литература передаёт факты, художественная литература передаёт опыт. За два предыдущих года блоггерства["Цепочки" --- серию эссе в блоге lesswrong.com, которая потом превратилась в книгу "Рациональность: от ИИ до Зомби" --- Юдковский писал как раз в 2007 - 2009 годах. --- Прим. перев.] я смог передать людям явно недостаточное количество мыслительных навыков, и это меня тревожит. Я надеюсь, что книга, где описывается внутренний опыт персонажа, пытающегося быть рациональным, сообщит людям то, что я не смогу настолько легко сообщить своими эссе в блоге.

Незнакомец: (смеётся).

Элиезер: В чём дело, Незнакомец в маске?

Незнакомец: Просто... вы чересчур скромны.

Элиезер: Вы это мне?

Незнакомец: Там, где я живу сейчас, это довольно очевидно. Вы так тщательно не говорите о своих надеждах относительно "Гарри Поттера и методов рационального мышления", потому что понимаете, что люди вроде Пата не поверят, что это возможно, и вы не сможете убедить их в обратном.

Пат: Этот парень --- странный.

Элиезер (пожимает плечами): Это не редкость.

Пат: Давайте не обращать на него внимание. Вы сказали, что сейчас тратите много времени...

Элиезер: Но удивительно мало сил.

Незнакомец: Там, откуда я пришёл, мы бы сказали, что вы тратите удивительно мало "ложек"[поставить ссылку на Теорию ложек в Вики].

Пат: ...тем не менее, вы тратите много времени на создание истории о Гарри Поттере с, как вы надеетесь, исключительно рациональными персонажами. Что приведёт к тому, что ваши читатели впитают опыт, как быть рациональными. Что, по-вашему, окажется важным для спасения мира.

Элиезер: М-м, примерно так.

Пат: Как вы думаете, что взгляд извне сказал бы...

Элиезер: О, кстати, я вспомнил, что мне пора бежать. (Начинает закрывать ноутбук.)

Незнакомец: Подождите. Останьтесь, пожалуйста. Вы мне поверите, что это важно?

Элиезер: ...Хорошо. Кажется, мне редко что-нибудь советовали незнакомцы в масках, поэтому в этот раз я попробую послушаться и посмотрю, что получится.

Пат: Что я сказал не так?

Незнакомец: Вы сказали, что этот разговор ни к чему полезному не приведёт.

Элиезер: Я бы не был столь радикален. Впрочем, да, по моему опыту, люди, которые используют словосочетание "взгляд извне", обычно не дают полезных советов, и на разговор с ними уходит много сил --- как вы сказали, "ложек"? Но раз уж я поверил незнакомцу в маске на слово, я попробую продолжить. Что, по-вашему, говорит о проекте "Методы рационального мышления" взгляд извне?

Пат: Ну, я как раз собирался спросить вас, что удаётся передать читателям средней истории с рациональным персонажем.

Элиезер: Так я не пытаюсь написать среднюю историю. Весь смысл в том, что я считаю, что средняя история с "рациональным" персонажем никуда не годится.

Пат: То есть, вы считаете, что ваши персонажи будут рациональны по-настоящему. Однако, возможно, другие авторы тоже думают, что их персонажи рациональны...

Элиезер (шёпотом незнакомцу в маске): Можно я уйду?

Незнакомец: Нет. Серьёзно, это важно.

Элиезер: Ладно. Пат, ваша предпосылка ошибочна. Гипотетических авторов, которые всерьёз стараются создать рациональных персонажей, не существует. Авторы не понимают, что для создания рациональных персонажей, нужно прикладывать усилия, и всего лишь изображают очередного "соломенного вулканца", практически не думая в процессе.

Незнакомец: Я бы это перефразировал так: создание рациональных персонажей --- не та область, в которую наша цивилизация вкладывает достаточные усилия, и поэтому не стоит ожидать там адекватности.

Пат: Послушайте, я не спорю с тем, что наверняка вы напишете персонажей более рациональных, чем удаются этим средним авторам. Я просто считаю, что важно помнить, что всегда неправота изнутри ощущается так же, как правота.

Незнакомец: Элиезер, пожалуйста, объясните Пату, что вы думаете про это замечание.

Элиезер: На самом деле вы далеко не всегда помните, что "неправота изнутри ощущается так же, как правота". Вы вспоминаете об этом в исключительно избирательных случаях, когда вы уже скептично относитесь к чужим доводам. Просто кажется, будто вы вспоминаете об этом в каждом подходящем случае, поскольку, в конце концов, всякий раз, когда вы считаете нужным подумать об этом, вы об этом думаете. Вы просто использовали абсолютно универсальный контраргумент, а такие аргументы с точки зрения байесианства не позволяют различить случаи, когда мы ошибаемся, и случаи, когда мы правы. Фраза "неправота изнутри ощущается так же, как правота" похожа на фразу "но у меня есть вера". Её одинаково легко произнести как в ситуации, когда ваш собеседник прав, так и в ситуации, когда он ошибается.

Незнакомец: На определённой стадии когнитивного развития людям нужно задумываться о том, почему карта --- это не территория. Особенно если им раньше никогда не приходило в голову, как ощущается идея о том, что вселенная в их воображении на самом деле построенная их мозгом реконструкция настоящей вселенной. Просто Элиезер прошёл эту стадию, прочитав примерно в одиннадцать лет книгу С.И.Хаякавы "Язык в мысли и действии"[В оригинале S. I. Hayakawa, "Language in Thought and Action". Первоначально публиковалась под названием "Language in Action" и переводилась на русский под названием "Язык в действии". --- Прим.перев.]. Когда умение различать карту и территорию полностью усвоено, отсылка к их разнице при обсуждении идей, которые вам не нравятся, это (абсолютно универсальный) мотивированный скептицизм.

Пат: Хорошо, однако есть исследование, показывающее полезность метода "предсказание на основании референтного класса"...

Элиезер: Я в курсе.

Пат: И мне интересно, какое можно сделать предсказание на основании референтного класса о ваших попытках принести пользу миру с помощью фанфика по Гарри Поттеру?

Элиезер (незнакомцу в маске): Пожалуйста, можно я всё-таки убегу?

Незнакомец: Нет.

Элиезер (вздыхая): Хорошо, допустим, за данным вопросом кроется нечто большее, чем обычный скепсис. Если вспоминать книги, в которых, с моей точки зрения, хорошо написаны рациональные персонажи, то у них довольно неплохие результаты. Когда я был ребёнком, на меня сильно повлиял "Мир Нуль-А" Альфреда ван Вогта. "Нуль-А" не просто научил меня фразе "карта - не территория". Оттуда я почерпнул идею, что люди, которые применяют рациональные техники, должны быть крутыми, а если они не круты, значит, они делают что-то не так. Уйма учёных и инженеров выросли на одах, в которых Роберт Хайнлайн восхвалял науку и инженерию. Да, я знаю, что Хайнлайн не идеален, но тем не менее.

Незнакомец: Интересно, в каких взрослых вырастут умные дети, читающие в двенадцать лет "Гарри Поттера и методы рационального мышления"?..

Пат: Но ведь книги ван Вогта про Нуль-А --- это исключительный пример книг с персонажами-рационалистами. Мой первый вопрос: почему вы считаете, что вы сможете написать что-то подобное? А второй вопрос: даже если ваш рациональный персонаж будет вдохновлять людей не хуже персонажей Хайнлайна, насколько он повлияет на среднего читателя, и как много людей в лучшем случае, по-вашему, прочтут ваш фанфик по Гарри Поттеру?

Элиезер: Скажу честно, по-моему, вы задаёте неправильные вопросы. В смысле, когда я решил писать "Методы", я ни о чём подобном не думал.

Незнакомец (в сторону): Кстати, это правда. В своё время мне не приходил в голову ни один из этих вопросов. Сейчас я их задаю исключительно потому, что я пишу персонажа Пата Модесто. С моей точки зрения, наличие в голове голоса кого-то вроде Пата Модесто --- непродуктивно, поэтому мне не приходят спонтанные мысли, что бы он сказал.

Элиезер: С моей точки зрения, чтобы создать как можно лучшую книгу, имеет смысл задаться вопросом, что в плане рациональных персонажей делают неправильно другие авторы, и что правильно сделал Альфред ван Вогт. Я не понимаю, зачем мне нервничать, смогу ли я достичь большего, чем ван Вогт, который мог опереться лишь на работу Альфреда Коржибски, написанную за десятилетия до рождения Даниела Канемана[Юдковский здесь несколько преувеличивает. Основная работа Коржибски --- "Наука и здравомыслие"(англ. "Science and Sanity") написана в 1933 году. Даниел Канеман родился в 1934 году. --- Прим. перев.]. Если честно, я всерьёз полагаю, что я уже вышел за пределы так называемого референтного класса, в который вы собираетесь меня запихнуть...

Пат: Что?! Как вообще можно "выйти за пределы" референтного класса?

Элиезер: ...что, в свою очередь не гарантирует мне успеха, потому что оказаться за пределами референтного класса --- не то же самое, что оказаться лучше него. В смысле, я не делаю выводов на основании этого референтного класса о себе. Я просто попробую написать эту книгу и посмотрю, что получится.

Пат: Вы считаете, что вы автоматически лучше любого автора, который когда-либо пытался написать рациональных персонажей?

Элиезер: Нет! Послушайте, моя голова организована так, что я о таких вещах просто не думаю. В моей голове есть лишь книга, и я задаю себе вопрос, смогу ли я воплотить её в реальность. Я строю в голове модель книги, а не модель себя.

Пат: Но если книга в вашей голове подразумевает, что уровень вашего мастерства относительно среднего автора попадает в очень высокий процентиль, то, как по мне, вполне разумно спросить, почему вы уже считаете, что можете на этот процентиль претендовать.

Незнакомец: Давайте я ещё немного вброшу. Элиезер-2010, предположим, я скажу вам, что в начале 2014 года "Методы" достигли примерно следующего уровня. Во-первых, в них примерно полмиллиона слов, но книга пока не закончена...

Элиезер: Чёрт. Это печально. Значит, я серьёзно замедлился и уж точно не научился всегда писать так быстро, как сейчас. Интересно, что пошло не так? Кстати, а почему я продолжаю писать эту книгу вместо того, чтобы сдаться?

Незнакомец: Потому что она вышла в лидеры на fanfiction.net (где опубликованы 500 000 историй) по числу отзывов. У неё есть группы почитателей во многих университетах и колледжах. На сайте, который уже перестал быть основным местом выкладки, у неё больше 15 миллионов просмотров. Поклонники создали проект по созданию аудиоверсии этой книги, при этом вы сами этим проектом не занимались совершенно. "Методы" прекрасно знают в Калтехе и МТИ, у них есть популярный сабреддит с 6 тысячами подписчиков, их часто называют самым известным или самым популярным фанфиком по Гарри Поттеру. Значительная часть читателей утверждает, что это лучшая книга, которую они прочитали в своей жизни, а как минимум одного золотого медалиста международной олимпиады по математике она вдохновила поучаствовать во множестве математических воркшопов MIRI.

Элиезер: Мне нравится этот сценарий. Он странный, а мне нравятся странности. Внедрять такое состояние дел в реальность и вынуждать людей мириться с ним доставило бы мне бесконечное удовольствие.

Незнакомец: Возвращаясь к теме. Какова, по-вашему, вероятность того, что дела будут идти так или лучше?

Элиезер: Гм... надо подумать. Очевидно, что именно такой сценарий невероятен в силу коньюнкции. Однако если поделить исходы в зависимости, будут ли они с точки зрения моей функции полезности лучше или хуже этого, и спросить, какую вероятность я присвою лучшим исходам, то я бы сказал, что примерно 10%. То есть, подобный успех находится примерно на 90-м процентиле моих надежд.

Пат (издаёт нечленораздельные звуки).

Элиезер: Ой. Упс. Я про вас забыл.

Пат: 90-й процентиль?! Вы всерьёз считаете, что такое может случиться с шансами 1 к 10?

Элиезер: Гм-м...

Незнакомец: Да, он всерьёз так считает. Если бы я не поставил вопрос таким образом, он вряд ли бы думал о подобном прогнозе: не потому что этот прогноз чересчур конкретен, а потому что Элиезер Юдковский просто не пытается продумывать такие подробности заранее. Он называет такое занятие "фантазиями о деталях" и считает, что в подобные фантазии обычно лишь утекает эмоциональная энергия. Но если бы такой прогноз сбылся, Элиезер сказал бы, что присвоил бы исходам такого рода или лучше вероятность в 10% от всех возможных исходов. Хотя он беспокоился бы об искажении задним числом.

Пат: По-моему, вероятность такого исхода скорее ближе к 0,1%, и даже эта оценка --- слишком щедра!

Элиезер: Да, "сторонники взгляда извне" часто говорят мне примерно то же самое почти всякий раз, когда я пытаюсь сделать что-нибудь интересное. Впрочем, ваша оценка меня всё же удивила. В смысле, моя базовая гипотеза о том, как работает этот ваш "взгляд извне", заключается в том, что это способ выразить скепсис по любому поводу, подобрав референтный класс, который предрекает неудачу. Затем вокруг этого референтного класса можно построить идеальную эпистемическую ловушку, рассуждая про эффект Даннинга-Крюгера и опасности взгляда изнутри. Однако попытка написать фанфик по Гарри Поттеру, пусть даже очень хороший фанфик по Гарри Поттеру, для большинства людей обычно не выглядит замахом на высокий статус. Я бы ожидал, что люди в основном будут реагировать на фрагмент про золотого медалиста международной олимпиады по математике, хотя априорная вероятность оказаться золотым медалистом международной олимпиады по математике выше, чем априорная вероятность оказаться автором фанфика по Гарри Поттеру с наибольшим количеством отзывов.

Пат: Вы раньше когда-нибудь вообще пытались написать фанфик по Гарри Поттеру? Вы знаете какие-нибудь существующие награды, которые помогают продвигать лучшие фанфики, или сайты, которые рекомендуют фанфики? Вы представляете, что именно хочет значительная часть фэндома по Гарри Поттеру? Например, просто факт публикации на FanFiction.net уже оттолкнёт множество людей. Лучшие работы обычно выкладываются на ArchiveOfOurOwn.Org или на других, ещё более специализированных сайтах.

Элиезер: А, я понял. Вы всерьёз знакомы с существующим фэндомом по Гарри Поттеру. У вас в голове есть модель уже существующей иерархии в этом фэндоме. Поэтому, когда в незнакомец в маске говорит о том, что "Методы" станут самым популярным фанфиком по Гарри Поттеру, вы это воспринимаете как заявку на слишком завышенный статус, и с помощью "взгляда извне" обосновываете, почему это звучит крайне неправдоподобно. Такой трюк можно проделать с любым высказыванием.

Пат: Сомневаюсь, что с помощью взгляда извне или предсказания на основе референтного класса можно продемонстрировать неправдоподобность любого высказывания. По-моему, неправдоподобно выглядят утверждения о событиях, которые вряд ли произойдут. Да, я действительно знаком с сообществом любителей фанфиков по Гарри Поттеру. Как это может обесценить моё мнение? Я разбираюсь в этой области. Я представляю, сколько тысяч авторов --- среди которых есть очень хорошие авторы --- пишут фанфики по Гарри Поттеру. И только один из них может оказаться автором фанфика с максимальным количеством отзывов. И я спрашиваю снова, вы хотя бы пробовали понять, как реально устроено сообщество? Можете ли вы назвать хотя бы одну ежегодную награду, вручаемую в фэндоме?

Элиезер: Гм... Навскидку точно нет.

Пат: Просили ли вы какого-нибудь из авторов лучших существующих фанфиков по Гарри Поттеру оценить ваш предполагаемый сюжет или предполагаемые идеи истории? Например, Нонджона[Nonjon --- Прим.перев.] --- автора "Чёрной комедии"[Англ. "A Black Comedy" --- Прим. перев.]? Или Сару-1281[Sarah1281 --- Прим.перев.], или Джей-Берна[JBern --- Прим.перев.], или любого другого автора, создавшего множество работ, признанных превосходными?

Элиезер: Честно признаюсь, что, хотя я читал этих авторов и мне нравятся их истории, мне ни разу не приходила в голову подобная мысль.

Пат: То есть, вы не консультировались ни с кем, кто разбирается в фэндоме Гарри Поттера лучше вас.

Элиезер: Не-а.

Пат: И раньше вы не писали фанфиков по Гарри Поттеру, даже очень коротких.

Элиезер: Вы правы.

Пат: Вы не предпринимали никаких усилий, чтобы познакомиться с существующим сообществом людей, которые читают или пишут фанфики по Гарри Поттеру, и узнать о том, от чего вообще зависит успех вашей работы.

Элиезер: Я читал некоторые известные фанфики по Гарри Поттеру, потому что мне нравилось их читать. Собственно, именно поэтому у меня в голове появилась идея написать свой фанфик.

Пат: Что бы вы подумали о человеке, который прочитал несколько известных книг по физике и захотел стать величайшим физиком в мире?

Незнакомец (в сторону): По-моему, обычно "взгляд извне" на самом деле касается иерархии статусов и если люди считают, что вы не уважаете существующую иерархию, они реагируют сильнее. И если вы заявляете, что преодолеете некую высокую планку, но людям кажется, что вы делаете это без уважения, то они склонны предрекать вам провал гораздо чаще, чем если бы вы сделали более уважительное по отношению к текущей иерархии заявление. Судя по всему, чокнутый "непризнанный гений" в физике в этом контексте воспринимается как подходящая аналогия не просто потому, что у него неверная "карта". Обычные заблуждения считаются чем-то трагикомическим, они не вызывают презрения. "Непризнанные гении" в физике отличаются тем, что они не уважают физиков --- людей с высоким статусом в важной иерархии. Поэтому они кажутся подходящим референтным классом для понимания других очевидных примеров неуважительных претензий на высокий статус. У людей возникают примерно одинаковые чувства, несмотря на то, что эти явления во многом отличаются.

Элиезер: Чтобы стать великим физиком, нужно открыть настоящие законы физики, которые уже существуют в мире, но вам неизвестны. А этого невозможно достичь, не работая вместе с другими физиками --- вы должны найти экстраординарно уникальный ключ к экстраординарно уникальному замку. Однако очень много возможных книг могут превзойти все уже существующие фанфики по Гарри Поттеру, и, чтобы их написать, не нужно строить ускоритель.

Незнакомец: Элиезер, насколько я понял, когда вы пытаетесь оценить сложность задачи "стать величайшим физиком", вы оцениваете соответствующую задачу с точки зрения познания. Кажется, вы не обращаете внимание на вопросы, связанные со славой.

Пат: Элиезер, по-моему, вы умышленно игнорируете основную мысль: что именно неправильно в попытке прочитать несколько книг по физике и захотеть стать величайшим физиком в мире. Неужели вы не видите, что это ошибка того же рода, что и ваши воздушные замки о фанфике по Гарри Поттеру? Да, конечно, стремящийся стать физиком ошибается гораздо внушительнее. Вы не понимаете, что критик скажет вам то же самое? Да, стать величайшим физиком в мире намного сложнее. Однако вы пытаетесь решить менее сложную задачу в свободное время, потому что считаете, что она простая.

Элиезер: В случае успешного развития событий, которое описал незнакомец в маске, на последние главы я потрачу гораздо больше усилий, потому что их полезность будет уже доказана.

Незнакомец: Кстати, Пат, а вы знаете, что Элиезер не читал четвёртую, пятую и шестую книги Роулинг о Гарри Поттере? И лишь ограничился просмотром фильмов? И даже когда он начал писать свой фанфик, он не потрудился их прочитать.

Пат (издаёт бессвязные звуки).

Элиезер: Ну... я прочитал первые три книги, когда они вышли, а потом попытался прочитать четвёртую. Проблема в том, что к тому времени я уже прочитал много фанфиков и привык, что вселенная Гарри Поттера --- это место для "взрослых" историй. Поэтому, когда я начал читать "Гарри Поттер и кубок огня", мне уже сложно было его воспринимать, мой мозг привык к другому. Но я прочитал достаточно фанфиков по этой вселенной, поэтому я довольно неплохо её знаю. Я могу сказать, как зовут младшую сестру Флёр Делакур. Вообще-то я прочитал целый роман про Габриель Делакур. Я всего лишь не прочитал все исходные книги.

Незнакомец: А в случае необходимости узнать какие-то важные факты из канона Элиезер может заглянуть в Harry Potter Wikia. Поэтому, как вы понимаете, у него есть все знания, которые ему, по его мнению, могут понадобиться.

Пат (издаёт ещё больше бессвязных звуков).

Элиезер: ...Зачем вы рассказываете всё это Пату?

Незнакомец: Потому что, с точки зрения Пата, это чертовски важный факт, указывающий на ваш будущий провал. А для меня это иллюстрация очень важного жизненного урока. Можно прочитать ряд работ из некоторой области и тем самым продемонстрировать уважение к людям, которые их написали или считают их важными. А можно собрать ключевую информацию в этой области, необходимую для собственной работы. Без последнего успех немыслим. Первое же важно лишь до тех пор, пока для вас важны публичные отношения. Однако кажется, что люди, у которых нет слепого пятна в отношении статусов, с трудом видят эту разницу.

Пат: Да, я действительно испытал чувство негодования. Когда вы сказали, что Элиезер не прочитал все книги канона и что он считает, что для работы ему хватит вики, я воспринял это как явное неуважение к Дж.К.Роулинг и авторам лучших фанфиков по Гарри Поттеру на данный момент.

Элиезер: Что ж, я попробую немного компенсировать ущерб, нанесённый публичным отношениям. Если бы я считал, что смогу писать книги для детей, которые станут настолько же популярны, как и книги Роулинг, я бы занялся именно этим. Роулинг стала миллиардером, а ещё она научила мою младшую сестру наслаждаться чтением. Люди, обесценивающие умение "писать детские книжки" наверняка никогда не пытались написать что-нибудь сами, и уж тем более не писали детские книжки. Писать хорошие книги для детей сложно. Именно поэтому "Методы" будут нацелены на взрослых. Хотя ваша модель меня, судя по всему, утверждает обратное, но я хорошо представляю и собственные возможности, и собственные ограничения. И я понимаю, что сейчас я недостаточно хорош как автор, чтобы писать книги для детей.

Пат: Я могу вообразить ситуацию, в которой я решу, что у некоего человека есть прекрасные шансы написать лучший фанфик по Гарри Поттеру в мире, пусть даже он прочитал лишь первые три книги канона. Например, если это попытается сделать Нил Гейман. (Впрочем, я чертовски уверен, что Нил Гейман наверняка прочитал бы все книги канона.) Вы считаете, что можете сравниться с Нилом Гейманом?

Элиезер: Вряд ли я когда-нибудь смогу потратить столько времени на совершенствование писательского мастерства, чтобы сравняться с Нилом Гейманом.

Пат: Я читал ваш "Тройной контакт". По-моему, это ваше лучшее произведение. Я знаю, что о нём положительно отозвался Питер Уоттс, обладатель премии "Хьюго". Но, с моей точки зрения, "Тройной контакт" всё же не дотягивает до, скажем, фанфика "Always and Always Part 1: Backwards With Purpose". Так какие же писательские достижения позволяют вам думать, что с десятипроцентной вероятностью ваш проект станет лучшим фанфиком по Гарри Поттеру по числу отзывов?

Элиезер: То, чем вы сейчас занимаетесь, я обычно называю "предъяви свою лицензию героя". Грубо говоря, я обозначил свои намерения попытаться взять высоту, которая, с вашей точки зрения, превосходит моё текущее социальное положение, а вы хотите, чтобы я доказал, что у меня уже хватает на это действие статуса.

Пат: Вы переходите на личности вместо ответа на мой вопрос. Я не понимаю, каким образом при тех знаниях и тех свидетельствах, которые у вас уже есть, вы позволяете себе назначить в этой ситуации вероятность в 10%. Впрочем, давайте убедимся, что мы разговариваем об одном и том же. Вы предполагаете, что эти "10%" реальная хорошо откалиброванная вероятность?

Элиезер: Да. Когда я задумываюсь о шансах, я считаю, что я согласился бы на пари 20:1 --- в смысле, если бы вы предложили мне 20 долларов против одного за то, что мой фанфик не получит успеха. И мне было бы неуютно заключать пари при ставке 4 доллара против одного. Возьмём примерно геометрическое среднее и получим шансы 9:1.

Пат: А вы считаете себя хорошо откалиброванным? То, чему вы присваиваете вероятность 9:1 должно происходить в 9 случаях из 10?

Элиезер: Да, думаю, я смог бы сформулировать 10 утверждений, которым я присваиваю вероятность 90%, и ошибиться в среднем примерно один раз. Я не проверяю собственную калибровку так часто, как некоторые из рационалистов, однако когда я последний раз проходил калибровочный тест CFAR на 10 вопросов и пытался указать доверительные интервалы в 90%, вне моих интервалов оказался ровно один правильный ответ. Сносная калибровка случается вовсе не так редко, как думают сторонники взгляда извне. Достаточно лишь кое-что выучить и немного попрактиковаться.

Незнакомец (в сторону): Элиезер-2010 не использует PredictionBook так же часто, как Гверн Бранвен, не играет в игры на калибровку так же часто, как Анна Саламон и Карл Шульман. Он не присоединился к исследованию Филиппа Тетлока, посвящённому суперпредсказаниям. Однако я заключал пари при любой возможности --- и до сих пор это делаю. Кроме того, я всегда стараюсь выразить свою неуверенность численно, если я её замечаю и понимаю, что в ближайшем будущем я узнаю правильный ответ.

Недавно я увидел на доске для заметок на холодильнике загадочный набор утверждений о паровом котле вместе с непонятными числами и диаграммами. На пять секунд меня это озадачило, а потом я предположил, что это записки Бриенны, касающиеся её прохождения игры "Myst". Поскольку я чувствовал собственную неуверенность, но мог довольно скоро выяснить правду, я потратил тридцать секунд на оценку вероятности, что эти записки действительно относятся к игре Бриенны. Сперва я назначил этому вероятность 90%. Это показалось мне очень уж сверхуверенным, поэтому я понизил её до 80%, то есть, до 4:1. Затем я подумал о том, какие другие компактные возможные объяснения я не учёл, и понизил шансы до 3:1. Позже я поговорил с Бриенной и выяснил, что записки действительно касались игры "Myst". После чего я потратил тридцать секунд на размышления о том, действительно ли прочие компактные возможные объяснения загадочных записей были настолько вероятны. Возможно, если я быстро придумал разумное объяснение, мне стоило меньше беспокоиться о возможных неучтённых вариантах.

Я потратил на эти размышления не так много времени. Это лишь один пример из моей жизни. Весь смысл таких историй в том, что их случается много, каждая новая немножко дополняет интуицию. Постепенно накапливается опыт. Размышлять об этом настолько долго, как я об этом сейчас пишу, обычно не слишком хорошая идея. (Если вы знакомы с нейронными сетями и дельта-правилом, то должны были догадаться, чего я пытаюсь добиться от своего мозга.) Мне немножко стыдно, что я не занимаюсь ставками более систематично, но учитывая мой ограниченный запас "ложек", вряд ли меня хватило на что-то большее, чем мои нынешние упражнения, которые пусть и случайны, но достаточно регулярны.

Сейчас, когда я редактирую этот текст, могу сказать, что недавно я присвоил шансы 5:1 против того, что два персонажа из "Карточного домика" займутся сексом друг с другом, но это случилось. Это всерьёз подтолкнуло меня делать поправки против сверхуверенности. (Ведь согласно дельта-правилу, это была большая ошибка.)

Пат: Но ведь исследования показывают, что даже если людей предупреждают о сверхуверенности, дают им прочесть исследования о сверхуверенности и немного попрактиковаться, то сверхуверенность уменьшается, но не исчезает полностью. Так?

Элиезер: Если мы усредняем по всем испытуемым, да, сверхуверенность уменьшается, но не исчезает полностью. Это не означает, что сверхуверенность уменьшается, но не исчезает полностью для любого человека.

Пат: Что заставляет вас считать, что вы справляетесь со сверхуверенностью лучше среднего человека?

Незнакомец: ...

Элиезер: То, что я практиковался гораздо больше этих испытуемых. И я не верю, что уровень усилий, прикладываемый средним испытуемым, даже испытуемым, которого предупредили о сверхуверенности и один раз дали попрактиковаться, --- это предел человеческих способностей. И всерьёз меня заставляет верить в собственные успехи то, что я проверял. Вряд ли существует "референтный класс", полный сверхуверенными людьми с галлюцинациями о том, как они занимаются калибровкой и обнаруживают, что их интервалы доверия становятся хорошо откалиброванными.

Незнакомец: Я подкину некоторую информацию, которую я узнал из эссе Сары Константин "Существуют ли рациональные люди?". Станович и Уэст в исследовании 1997 года обнаружили, что 88% участников исследования продемонстрировали систематическую сверхуверенность. Это означает, что для оставшихся 12% они не смогли обнаружить сверхуверенность. И это не слишком удивительно: в своей работе 1998 года они указывают, что во многих тестах обнаруживалось, что около 10% студентов не проявляют то или иное искажение.

Элиезер: Верно. Поэтому вопрос в том, могу ли я при наличии некоторой практики добиться такого же отсутствия сверхуверенности, как лучшие 10% студентов. По-моему, это не какая-то супер-сложная задача. Да, конечно, усилия нужны. Мне приходится осознанно увеличивать доверительные интервалы. Думаю, лучшим студентам-испытуемым тоже приходилось это делать. Проблема не в способностях, нужно по-настоящему прикладывать усилия. Но когда я считаю, что увеличил интервалы достаточно, я останавливаюсь.

Переведено на Нотабеноиде
http://notabenoid.org/book/78537/460147

Переводчики: Alaric