Hero Licensing / Лицензия героя: Social heuristics and problem importance, tractability, and neglectedness

Пат: Мне в голову только что пришла забавная мысль. Вы ведь пытаетесь работать над теорией дружественного ИИ...

Alaric 12.05.20 в 20:54

Элиезер: Предположу, здесь вы тоже не верите в мой успех.

Alaric 12.05.20 в 20:55

Пат: Ну, конечно же, я не верю, что вы сможете спасти мир! (Смеётся.) Мы живём не в фантастической книге. Однако я в самом деле полагаю, что у вас есть основания надеяться внести важный вклад в теорию дружественного ИИ, которая окажется полезной какой-нибудь группировке, разрабатывающей сильный ИИ. Мне показалось интересным, что этого явно будет достичь проще, чем реализовать описанный Незнакомцем в маске сценарий или похожий на него, вероятность чего вы оценили в 10%.

Alaric 12.05.20 в 21:01

Незнакомец (улыбаясь): Это совершенно-совершенно-совершенно не так.

Alaric 12.05.20 в 21:01

Замечу, кстати, что там, откуда я пришёл, выражение "дружественный" ИИ вышло из моды. Мы стали использовать говорить о "соответствии ИИ целям оператора", в основном потому что "соответствие ИИ" меньше отдаёт антропоморфизмом, чем "дружественность".

Alaric 13.05.20 в 20:18

Элиезер: Соответствие? Хорошо, меня это устраивает. Однако, Пат, ваши слова оказались для меня неожиданностью. Это выходит за пределы моих представлений о вашем идеологическом тесте Тьюринга. Продолжайте, пожалуйста.

Alaric 13.05.20 в 20:19

Пат: Хорошо. Что бы вы там не думали, мои слова не являются универсальным контраргументом, который я применяю к тому, что мне просто интуитивно не нравится. Они основаны на конкретных наблюдаемых доступных сторонним наблюдателям факторам, благодаря которым утверждения можно разделить на правдоподобные и неправдоподобные. Если мы отложим в сторону недоступную интуицию и просто посмотрим на доступные сторонним наблюдателям факторы, то станет совершенно очевидным, что существует огромное сообщество писателей, которые явно пытаются создавать фанфики по Гарри Поттеру. Это сообщество гораздо больше и гораздо активнее --- по любой объективной доступной стороннему наблюдателю метрике, --- чем сообщество, работающее над вопросами, связанными с "соответствием", "дружественностью" или чем-то там ещё. Оказаться лучшим автором в гораздо большем сообществе --- намного неправдоподобнее, чем внести значительный вклад в соответствие ИИ, которым почти никто не занимается.

Alaric 13.05.20 в 20:26

Элиезер: Когда я оцениваю относительную сложность задач "внести ключевой вклад в соответствие ИИ" и "довести 'Методы' до уровня, описанного Незнакомцем в маске", относительный размер существующих сообществ, который вы упомянули, мне представляется не важным. Если бы я заранее не ознакомился с фанфиками по Гарри Поттеру, у которых самая лучшая репутация, мне стоило бы учесть число соревнующихся авторов. Однако если я вижу собственными глазами уровень соревнования, то информация о размере сообщества уже не играет для меня никакой роли.

Alaric 13.05.20 в 20:32

Пат: Но ведь наверняка размер сообщества должен заставить вас хотя бы задуматься, стоит ли доверять вашей интуиции в том, что вы сможете написать что-то значительно лучшее, чем результат работы столь многих авторов.

Alaric 13.05.20 в 20:36

Незнакомец: Видите это мета-рассуждение? С моей точки зрения, когда люди начинают размышляют о мире таким образом, оно портит всё.

Alaric 13.05.20 в 20:39

Элиезер: Если вы увидите девушку, жонглирующую несколькими шариками, вы её будете спрашивать, не стоит ли ей внезапно задуматься, входит ли она в референтный класс людей, которые лишь думают, что они хорошо ловят шарики? Это всё просто... бессмысленная трата сил.

Alaric 13.05.20 в 21:01

Незнакомец: Социальная тревожность и чрезмерная педантичность.

Alaric 13.05.20 в 21:03

Элиезер: Продуктивно работающий мозг сосредоточен на других вещах.

Alaric 13.05.20 в 21:04

Пат: Вы утверждали, что взгляд извне --- это универсальный контраргумент против любого утверждения о том, что некто с низким статусом может сделать что-то важное. Я объясняю вам, почему метод, опирающийся на наблюдаемые метрики, которые может проверить сторонний наблюдатель, утверждает, что, возможно, вы сможете внести важный вклад в соответствие ИИ, которым больше никто не занимается, но вы не напишете фанфик по Гарри Поттеру с самым большим числом отзывов, потому что с вами соревнуются тысячи авторов.

Alaric 13.05.20 в 21:09

(Наблюдающая за дискутирующими женщина неожиданно подходит к ним и вмешивается.)

Alaric 13.05.20 в 21:11

Женщина: Ну, нет. Я больше не могу сдерживаться.

Alaric 13.05.20 в 21:13

Пат: Э? Кто вы?

Alaric 13.05.20 в 21:13

Женщина: Я истинный голос скромности и взгляда извне!

Alaric 13.05.20 в 21:13

Я услышала ваш разговор и хочу сказать: внести важный вклад в проблему соответствия ИИ никак не может быть проще, чем написать популярный фанфик.

Alaric 13.05.20 в 21:14

Элиезер: ...Это, конечно, верно, но кто?..

Alaric 13.05.20 в 21:14

Женщина: Меня зовут Мод Стивенс[В оригинале: Maude Stevens. В этом имени тоже читается слово modesty --- скромность. --- Прим. перев.].

Alaric 13.05.20 в 21:15

Пат: Ну что ж, Мод, приятно познакомиться. Я всегда рад послушать о своих ошибках, даже если о них говорят люди, которые случайно сталкиваются со мной в парке и при этом подозрительно много обо мне знают. Так в чём же я ошибаюсь?

Alaric 13.05.20 в 21:19

Мод: Вы все уверены, будто если человек не говорит о "соответствии" или "дружественности", то его работа не имеет к этим проблемам никакого отношения. Но это просто слова. Если мы учтём специалистов по машинной этике, которые работают над дилеммами вагонетки в реальном мире, экономистов, занимающихся вызванной технологиями безработицей, учёных в области информатики, изучающих вопросы азимовских агентов [Англ. "Asimovian agents". --- Прим.перев.], и им подобных, окажется, что людей, которые пытаются внести вклад в эти вопросы, гораздо-гораздо больше.

Alaric 14.05.20 в 21:09

Пат: Что? Элиезер, это правда?

Alaric 14.05.20 в 21:09

Элиезер: Насколько я знаю, нет, разве что Мод работает в АНБ и хочет рассказать о каких-то очень интересных засекреченных исследованиях. Примеры, которые она перечислила, не связаны с техническими вопросами, которые я называл "дружественностью". Прогресс в упомянутых Мод вопросах не поможет определить предпочтения, которые с достаточной для нас уверенностью приведут к хорошим результатам, даже если речь идёт о системах умнее нас, способных рассматривать гораздо большее пространство стратегий, чем мы можем представить. Также он не поможет спроектировать системы, остающиеся стабильными при самомодификации, чтобы хорошие свойства исходного ИИ сохранялись, когда он становится умнее.

Alaric 14.05.20 в 21:17

Мод: И вы утверждаете, что никто другой в мире не заметил этих проблем?

Alaric 14.05.20 в 21:18

Элиезер: Нет, этого я не утверждаю. Вопросы вроде "как нам задать правильные цели для искусственного интеллекта, сравнимого с человеческим?" и "что случится, когда ИИ станет настолько умён, что сможет автоматизировать исследования ИИ?" задаются уже давно. Однако они просто повисают в воздухе и незаметно, чтобы они смещали приоритеты в исследованиях. Нельзя сказать, что сообщество людей, которые вообще думают про суперинтеллект, --- мало. Конечно же, есть много направлений работы над надёжностью, прозрачностью и безопасностью в каких-то конкретных системах ИИ, которые случайно могут облегчить работу над соответствием ИИ умнее человека. Однако сообщество людей, которые на ежедневной основе работают и принимают решения о том, какими техническими вопросами заняться, именно чтобы решать вопрос сверхинтеллектуального ИИ, --- очень мало.

Alaric 14.05.20 в 21:28

Мод: Я на это скажу, что вы просто забегаете вперёд и пытаетесь решать задачу с конца, хотя область пока просто не готова сосредоточить усилия на этом. Возможно, идущая сейчас работа не направлена на вопросы сверхинтеллекта напрямую, но нам стоит ожидать, что существенного прогресса в соответствии ИИ достигнут последователи тех, кто сейчас работает над вопросами вроде применения дронов в боевых целях или вызванной ими безработицы.

Alaric 14.05.20 в 21:45

Пат (осторожно): Я хочу сказать, что если Элиезер говорит правду --- а я считаю его честным человеком, пусть он по моим стандартам часто и бывает слегка безумен, --- то в 2010 году в этой области почти никого нет. Не так уж много людей работают над вопросами, связанными с ИИ умнее человека, и лишь группа Элиезера и Институт будущего человечества в Оксфорде всерьёз утверждают, что занимаются вопросами соответствия ИИ. Если Элиезер утверждает, что задача, как создать ИИ умнее человека, чтобы он нас всех не убил, не относится к полю деятельности нынешних специалистов по машинной этике, то я посчитаю это достаточно правдоподобным, хотя, конечно, мне хотелось бы узнать и другие точки зрения перед тем, как сделать окончательный вывод.

Alaric 14.05.20 в 21:52

Мод: Но область, в которой соревнуется Элиезер, не ограничивается людьми, пишущими статьи по этике. Любой, занимающийся машинным обучением, да и вообще любой областью информатики может внести свой вклад в проблему соответствия ИИ.

Alaric 14.05.20 в 21:54

Элиезер: Гм, я бы с радостью об этом услышал. Однако победа в данном случае это "задача решена"...

Alaric 14.05.20 в 21:55

Пат: Подождите, Мод. Мне кажется, вы выходите за рамки того, что может объективно проверить сторонний наблюдатель. Это всё равно что сказать, мол, Элиезер должен соревноваться со Стивеном Кингом, потому что в принципе Стивену Кингу может взбрести в голову написать фанфик по Гарри Поттеру. Если все эти прочие люди, занимающиеся ИИ, не работают над конкретными задачами, над которыми работает Элиезер, в то время как множество авторов из фэндома по Гарри Поттеру напрямую соревнуются с Элиезером в написании фанфиков, то любой разумный сторонний наблюдатель должен согласиться, что контраргумент "взгляд извне" очень существенен во втором случае, а в первом случае он довольно слаб (если вообще верен).

Alaric 14.05.20 в 22:02

Мод: Выходит, написать фанфик сложнее, чем спасти мир? Вы серьёзно? Такого не может быть.

Alaric 14.05.20 в 22:03

Элиезер: Пат, я не согласен с аргументами Мод, но у неё преимущество: она рационализирует верный вывод. Соответствие ИИ --- сложнее.

Alaric 14.05.20 в 22:04

Пат: Я не ожидаю, что вы решите весь вопрос целиком. Но внести значительный вклад в довольно специализированной области знания, которой занимаются очень мало людей, должно быть проще, чем оказаться самым успешным человеком в области, в которой работают множество других.

Alaric 14.05.20 в 22:06

Мод: Бред какой-то. Нельзя даже сравнивать писателей фанфиков с экспертами по машинному обучению и профессорами ведущих университетов, которые способны внести гораздо более впечатляющий вклад в исследования сильного ИИ.

Alaric 15.05.20 в 20:19

Элиезер: Гм. Прорыв в исследованиях сильного ИИ может быть впечатляющим, но без соответствия ИИ...

Alaric 15.05.20 в 20:20

Пат: А вы сами пробовали писать фанфики? Попробуйте. Вы поймёте, что это намного сложнее, чем вам кажется. Если вы хороши в математике, это ещё не означает, что вы можете вот так взять и...

Alaric 15.05.20 в 20:21

(Незнакомец в маске поднимает руку и щёлкает пальцами. Время останавливается. Затем Незнакомец в маске выжидающе смотрит на Элиезера-2010.)

Alaric 15.05.20 в 20:22

Элиезер: Гм. Незнакомец в маске... Вы представляете, что тут происходит?

Alaric 15.05.20 в 20:23

Незнакомец: Да.

Alaric 15.05.20 в 20:23

Элиезер: Благодарю за лаконичный и содержательный ответ. Не будете ли вы любезны объяснить, что тут происходит?

Alaric 15.05.20 в 20:24

Незнакомец: Пат прекрасно знаком с иерархией статусов в сложившемся сообществе фэндома по Гарри Поттеру, в котором есть свои ритуалы, призы, политика и так далее. Однако Пату в силу литературной гипотезы не хватает интуции на тему, насколько дерзко пытаться внести вклад в соответствие ИИ. Если мы Пата расспросим, скорее всего выяснится, что он полагает, что соответствие ИИ --- это круто, но не астрономически важно, или что существует множество других экзистенциальных рисков такого же уровня. Если бы Пат, как вы, верил, что долгосрочные последствия для цивилизации в значительной степени зависят от решения проблемы соответствия, скорее всего, он инстинктивно считал бы эту задачу более престижной. Всё, что он знает о задаче на объектном уровне и о том, сколько людей ей занимаются, осталось бы неизменным, но ощущаемый статус задачи возрос бы.

Alaric 15.05.20 в 20:33

Мод, в свою очередь, наоборот незнакома с политическими деталями и динамикой статусов среди поклонников Гарри Поттера, но очень чувствительно относится к важности задачи соответствия. Поэтому для Мод интуитивно очевидно, что для внесения вклада в работу над соответствием ИИ требуется гораздо более впечатляющая лицензия героя, чем для написания лучшего в мире фанфика по Гарри Поттеру. Пат этого не понимает.

Alaric 15.05.20 в 20:37

Элиезер: Но ведь идеи в области соответствия ИИ нужно формализовать, и полученный формализм должен удовлетворять одновременно множеству разных требований, причём довольно точно. Это очень абстрактная задача с огромным количеством ограничений, потому что нужно вписать неформальную задачу в правильную формальную структуру. Да, при написании художественной литературы мне нужно жонглировать такими штуками как сюжет, персонажи, напряжение, юмор, но всё это остаётся когнитивной задачей с гораздо меньшим числом ограничений...

Alaric 15.05.20 в 20:43

Незнакомец: Эти соображения вряд ли приходили в голову Пату или Мод.

Alaric 15.05.20 в 20:44

Элиезер: Важно ли то, что я планирую тратить на исследования гораздо больше усилий, чем на написание художественных книг? Если "Методы" не получатся сразу, я быстро сдамся.

Alaric 16.05.20 в 21:13

Незнакомец: Извините. Позволено вам делать что-нибудь высокостатусное или нет, не может зависеть от того, сколько, по вашим словам, вы на это планируете потратить сил. Ведь "каждый может так сказать". Без этого нельзя было бы осаживать претендентов. Что совершенно ужасно.

Alaric 16.05.20 в 21:15

Элиезер: ... ... Есть ли какой-нибудь организующий принцип, делающий всё это осмысленным?

Alaric 16.05.20 в 21:16

Незнакомец: Полагаю, самые важные понятия, которых вам не хватает: неадекватность цивилизации и поддержание статуса в иерархии.

Alaric 16.05.20 в 21:17