Hero Licensing / Лицензия героя: Outperforming and the outside view

(2010 год. Элиезер-2010 сидит на скамейке, уткнувшись в ноутбук, в несуществующем парке в Редвуд-Сити, Калифорния. К нему подходит человек.)

Alaric 09.01.20 в 21:57

Человек: Простите, вы случайно не Элиезер Юдковский?

Alaric 09.01.20 в 21:58

Элиезер-2010: Мне принадлежит эта сомнительная честь.

Alaric 09.01.20 в 22:02

Человек: Меня зовут Пат. Пат Модесто[Фамилия героя говорящая, и образована от слова "modest" --- скромный. --- Прим.перев.]. Мы не встречались, но я читал вас в интернете. Над чем вы работаете сейчас?

Alaric 09.01.20 в 22:04

Элиезер-2010: Пытаюсь написать научно-популярную книгу по рациональности. Мои записи в блоге на Overcoming Bias [Название блога, где Юдковский начал писать свои Цепочки. Буквально переводится как "Преодолевая искажения". --- Прим.перев.], в смысле на Less Wrong, довольно длинны, нуждаются в редактуре, и, хотя они как-то повлияли на мир, мне кажется, что книгу по рациональности прочитало бы больше людей и она повлияла бы на мир сильнее.

Alaric 09.01.20 в 22:10

Пат: Как интересно! Вы не возражаете, если я загляну в ваш экран и...

Alaric 09.01.20 в 22:10

Элиезер (закрывая экран): Возражаю!

Alaric 09.01.20 в 22:10

Пат: Простите. Гм... То, что я мельком заметил, как по мне, не слишком похоже на научно-популярную книгу по рациональности.

Alaric 10.01.20 в 15:35

Элиезер: Ну, да, работа над этой книгой шла очень медленно. Поэтому я решил попробовать в свободные часы писать что-нибудь другое, чтобы разобраться: у меня проблемы со скоростью написания вообще или дело именно в этой конкретной книге.

Alaric 10.01.20 в 15:37

Пат: Вообще-то, я увидел нечто похожее на фанфик по Гарри Поттеру. По-моему, я заметил слова "Гарри" и "Гермиона" в сочетаниях, не похожих на те, что были у Джоан Роулинг.

Alaric 10.01.20 в 15:39

Элиезер: Да, и вроде бы у меня получается писать его довольно быстро. К тому же, кажется, у меня на него уходит меньше сил, чем обычно.

Alaric 10.01.20 в 15:40

(Загадочный незнакомец в маске, наблюдающий за этой сценой, завистливо вздыхает.)

Alaric 10.01.20 в 15:41

Элиезер: Теперь мне надо разобраться, почему моя основная книга пишется настолько медленнее и требует гораздо больше сил... Я бы мог написать столько книг, если бы всегда писал с такой же скоростью, с какой пишу этот фанфик...

Alaric 10.01.20 в 15:42

Пат: Простите, если мой вопрос покажется глупым. Не хочу сказать, что фанфики по Гарри Поттеру --- это плохо. Я и сам в своё время их читал. Однако, насколько я понимаю, ваша философия заключается в том, что мир уже горит и с этим нужно что-то делать. Если это правда, почему вы пишете фанфик по Гарри Поттеру, а не занимаетесь чем-то ещё?

Alaric 10.01.20 в 15:45

Элиезер: Я занимаюсь чем-то ещё. Я пишу научно-популярную книгу по рациональности. Просто сейчас у меня свободное время.

Alaric 10.01.20 в 15:45

Пат: Понятно. Но меня интересует, почему в свободное время вы занимаетесь именно этим.

Alaric 10.01.20 в 15:46

Элиезер: Потому что сил мне не хватает гораздо больше, чем времени. Этот фанфик мне обходится довольно дёшево, поэтому его я могу создавать быстро.

Alaric 10.01.20 в 15:47

Пат: Я пытаюсь понять, почему вы пишете фанфик по Гарри Поттеру, даже при том, что вам это довольно легко даётся. Разве что действительно дело исключительно в том, что вам нужно понаблюдать, как у вас получается писать быстро, чтобы понять, как быстро писать другие вещи. В этом случае я бы спросил, как вы оцениваете вероятность, что вам действительно удастся это понять. Просто я думаю, что вы могли бы использовать свободное время более эффективно.

Alaric 10.01.20 в 15:51

Элиезер: Я не уверен, что вы правильно понимаете идею "свободного времени". Существуют причины, почему оно необходимо, и эти причины не сводятся к тому, что люди ленивы. Да, Анне Саломон[fn]Одна из основательниц CFAR. С 2016 года --- президент CFAR. --- Прим.перев.[/fn] и Люку Мюльхаузеру[fn]Исполнительный директор MIRI в 2011-2015 годах, в настоящее время работает в Open Philanthropy Project. --- Прим. перев.[/fn] свободное время не нужно, но я не уверен, что их точно можно назвать людьми.

Alaric 10.01.20 в 15:54

(Загадочный незнакомец в маске вступает в разговор.)

Alaric 11.01.20 в 21:22

Незнакомец: Прошу прощения.

Alaric 11.01.20 в 21:23

Элиезер: Вы кто такой?

Alaric 11.01.20 в 21:23

Незнакомец: Вряд ли это важно.

Alaric 11.01.20 в 21:25

Пат: И почему вы в маске?

Alaric 11.01.20 в 21:25

Незнакомец: Ну, я точно не версия Элиезера из 2014 года, тайно вернувшаяся в прошлое, если вы думаете об этом.

Alaric 11.01.20 в 21:26

Пат: Справедливости ради, об этом я вовсе не думал.

Alaric 11.01.20 в 21:26

Незнакомец: Пат и Элиезер-2010! По-моему, вы не понимаете друг друга. Разногласие между вами гораздо больше, чем вам кажется.

Alaric 11.01.20 в 21:27

Пат и Элиезер: Продолжайте.

Alaric 11.01.20 в 21:28

Незнакомец: Если в феврале 2010 года спросить Элиезера, почему он пишет "Гарри Поттера и методы рационального мышления", он, конечно же, ответит, что, по его предположению, написание "Методов" повлияет к лучшему на его попытки написать "Искусство рациональности" --- его предполагаемое руководство по освоению рациональности. Это вызвано тем, что у нас --- в смысле, у Элиезера --- есть эвристика "планируй главное", которая подразумевает, что любая деятельность оправдана в той мере, в какой она положительно влияет на "нормальный" вариант будущего, а не на маловероятные побочные сценарии.

Alaric 11.01.20 в 21:34

Элиезер: Конечно.

Alaric 11.01.20 в 21:35

Пат: Подождите. Разве не вся ваша жизнь...

Alaric 11.01.20 в 21:35

Элиезер: Нет.

Alaric 11.01.20 в 21:35

Незнакомец: У Элиезера-2010 также есть эвристика, которую можно сформулировать как: "Деятельность имеет смысл, лишь если ты можешь достичь в ней множества Парето". Другими словами, если Элиезер-2010 ожидает, что работа кого-то другого будет во всех отношениях лучше, чем его работа, ему не придёт в голову тратить на это время. Элиезер-2010 считает, что он способен делать то, что попадёт во множество Парето, поэтому зачем ему вообще заниматься чем-то иным? Поэтому, хоть в свободное время, хоть нет, Элиезер не стал бы писать этот фанфик, если бы не считал, что он будет во всех отношениях лучше, чем любой другой. Или, более того, лучше, чем любая другая книга.

Alaric 11.01.20 в 21:44

Пат: Гм...

Alaric 11.01.20 в 21:44

Элиезер: Я бы не стал использовать именно такие слова.

Alaric 11.01.20 в 21:45

Незнакомец: Да, потому что если бы вы сказали это вслух, люди бы начали многократно повторять слово "самонадеянность", а вы бы не до конца понимали, почему они так себя ведут. Поэтому вы красиво играете словами и пытаетесь уводить разговор от этой темы.

Alaric 11.01.20 в 21:46

Пат: Это правда?

Alaric 11.01.20 в 21:48

Элиезер: Мне кажется, будто незнакомец в маске хочет использовать эффект Барнума. В смысле, большинство людей, если их спрашивать поодиночке, признали бы, что это описание подходит и к ним.

Alaric 11.01.20 в 21:49

Пат: ...... Я совершенно не считаю, что ко мне подходит такое описание.

Alaric 11.01.20 в 21:50

Элиезер: Я всерьёз удивлюсь, если таких окажется меньше десяти процентов от всего населения.

Alaric 11.01.20 в 21:51

Незнакомец: Элиезер, за следующие четыре года вы научитесь немного лучше понимать эмоции людей, связанные со статусом. Впрочем, всерьёз их учитывать вы всё равно будете лишь в тех случаях, когда вам нужно будет донести точку зрения, которую невозможно донести никак иначе, то есть, увы, очень часто, поскольку эпистемология скромности слишком быстро распространяется в вашем сообществе. В любом случае, Пат, факт, что Элиезер-2010 тратит очень много времени на "Гарри Поттера и методы рационального мышления" действительно позволяет вам сделать вывод, что Элиезер-2010 считает, что "Методы" могут достичь значительного успеха в каких-то важных для него аспектах. Что они выйдут за границы сделанного кем угодно другим. Хотя, возможно, он в этом и не признается до того, как реально достигнет успеха.

Alaric 11.01.20 в 22:01

Элиезер: Ну, да, да, так и есть. Меня расстраивает, как в художественной литературе показывают "интеллектуальных" и/или "рациональных" персонажей. И я хочу увидеть правильных "рациональных" персонажей, даже если мне придётся написать про них историю самому. Я чётко представляю, что именно другие писатели делают не так, и как сделать лучше. Если бы я этого не представлял, перспектива написать "Методы" меня бы интересовала гораздо меньше.

Alaric 12.01.20 в 12:00

Незнакомец (в сторону): Наше мировоззрение настолько заражено неадекватностью цивилизации, что мы почти никогда её не замечаем. По этому поводу даже не стоит переживать, ведь, так уж получилось, мы в самом деле живём в неадекватной цивилизации.

Alaric 12.01.20 в 12:04

Элиезер (по-прежнему обращаясь к Пату): Однако, я не говорю о том, какими могут получиться "Методы", не только из скромности. Я действительно не уверен, что я смогу сделать "Методы" такими, какими, с моей точки зрения, они могут стать. Я не хочу обещать больше, чем могу сделать. И поскольку нужно планировать главное, я пробую писать "Методы" исключительно, чтобы выяснить, могу ли я писать быстрее.

Alaric 12.01.20 в 12:12

Незнакомец (в сторону): Задним числом я несколько сомневаюсь, что дело именно в этом, хотя рассуждения вполне разумны.

Alaric 12.01.20 в 12:15

Пат: Можете рассказать больше о том, почему вы думаете, что в вашей истории о Гарри Поттере получатся чрезвычайно "интеллектуальные" персонажи?

Alaric 12.01.20 в 12:17

Элиезер: А нужно? В литературе я должен показывать, а не рассказывать. Само собой, мои персонажи не будут учить пятьдесят семь языков, потому что они суперумные. Я считаю, что большинство попыток написать "интеллектуальных персонажей" упираются в их поверхностные качества, вроде количества языков, которые они знают, или сводятся к созданию стереотипных поверхностных черт, которые автор видел у других персонажей-"гениев", например, ощущение чуждости. В кино такие персонажи говорят с британским акцентом. Кажется, подавляющее большинство авторов не в курсе про рассуждение Винджа, почему сложно создать персонажа, который окажется умнее автора. Например, чтобы знать, как в шахматной партии походит прекрасный шахматист, нужно играть в шахматы не хуже него. И по этой же причине тяжело написать персонажа, который окажется гораздо рациональнее автора.

Alaric 12.01.20 в 13:54

По-моему, понятия "интеллект" и "рациональность" у типичных персонажей не имеет ничего общего с умением делать правильный выбор или делать хорошие предсказания. С моей точки зрения, в литературе просто нет идеи персонажа, который достигает успехов в оптимизации своего мышления, отличающейся от идеи персонажа, который побеждает, просто потому что у него в мозги встроен волшебный меч. Кроме того, по-моему, большинство авторов персонажей-"гениев" не уважают их предполагаемый гений настолько, чтобы всерьёз поставить себя на их место --- всерьёз попытаться почувствовать, на что похожа их внутренняя жизнь, и подумать хотя бы чуть дальше первого пришедшего в голову клише. Автор просто ставит себя выше "гения", наделяет гения каким-то вариантом очевидной глупости, позволяющей автору сохранять эмоциональную дистанцию...

Alaric 12.01.20 в 14:01

Незнакомец (в сторону): Подавляющее большинство авторов с трудом могут вообразить персонажа, который по-настоящему умнее автора. Подавляющее большинство футуристов с трудом могут представить ИИ, который по-настоящему умнее человека. И действительно, люди часто пренебрегают гипотезой, что чрезвычайно умный человек уж точно примет во внимание факторы, которые они сами считают очевидными. Однако, когда речь идёт о достаточно компетентных личностях, принимающих решения исходя из собственных знаний и компетенций (я здесь не рассматриваю поведение бюрократических комиссий или коллективное поведение в произвольной области), часто стоит задаваться вопросом, не могут ли они оказаться умнее, чем вы думаете, и нет ли у их действий оправданий лучше, чем те, что приходят вам на ум в первую очередь.

Alaric 12.01.20 в 14:09

Пат: Хорошо, предположим, вы сможете написать книгу, где персонажи будут демонстрировать интеллект по-настоящему. Как именно это поможет спасти мир?

Alaric 12.01.20 в 14:09