Готовый перевод Hero Licensing / Лицензия героя: Social heuristics and problem importance, tractability, and neglectedness

Пат: Мне в голову только что пришла забавная мысль. Вы ведь пытаетесь работать над теорией дружественного ИИ...

Элиезер: Предположу, здесь вы тоже не верите в мой успех.

Пат: Ну, конечно же, я не верю, что вы сможете спасти мир! (Смеётся.) Мы живём не в фантастической книге. Однако я в самом деле полагаю, что у вас есть основания надеяться внести важный вклад в теорию дружественного ИИ, которая окажется полезной какой-нибудь группировке, разрабатывающей сильный ИИ. Мне показалось интересным, что этого явно будет достичь проще, чем реализовать описанный Незнакомцем в маске сценарий или похожий на него, вероятность чего вы оценили в 10%.

Незнакомец (улыбаясь): Это совершенно-совершенно-совершенно не так.

Замечу, кстати, что там, откуда я пришёл, выражение "дружественный" ИИ вышло из моды. Мы стали использовать говорить о "соответствии ИИ целям оператора", в основном потому что "соответствие ИИ" меньше отдаёт антропоморфизмом, чем "дружественность".

Элиезер: Соответствие? Хорошо, меня это устраивает. Однако, Пат, ваши слова оказались для меня неожиданностью. Это выходит за пределы моих представлений о вашем идеологическом тесте Тьюринга. Продолжайте, пожалуйста.

Пат: Хорошо. Что бы вы там не думали, мои слова не являются универсальным контраргументом, который я применяю к тому, что мне просто интуитивно не нравится. Они основаны на конкретных наблюдаемых доступных сторонним наблюдателям факторам, благодаря которым утверждения можно разделить на правдоподобные и неправдоподобные. Если мы отложим в сторону недоступную интуицию и просто посмотрим на доступные сторонним наблюдателям факторы, то станет совершенно очевидным, что существует огромное сообщество писателей, которые явно пытаются создавать фанфики по Гарри Поттеру. Это сообщество гораздо больше и гораздо активнее --- по любой объективной доступной стороннему наблюдателю метрике, --- чем сообщество, работающее над вопросами, связанными с "соответствием", "дружественностью" или чем-то там ещё. Оказаться лучшим автором в гораздо большем сообществе --- намного неправдоподобнее, чем внести значительный вклад в соответствие ИИ, которым почти никто не занимается.

Элиезер: Когда я оцениваю относительную сложность задач "внести ключевой вклад в соответствие ИИ" и "довести 'Методы' до уровня, описанного Незнакомцем в маске", относительный размер существующих сообществ, который вы упомянули, мне представляется не важным. Если бы я заранее не ознакомился с фанфиками по Гарри Поттеру, у которых самая лучшая репутация, мне стоило бы учесть число соревнующихся авторов. Однако если я вижу собственными глазами уровень соревнования, то информация о размере сообщества уже не играет для меня никакой роли.

Пат: Но ведь наверняка размер сообщества должен заставить вас хотя бы задуматься, стоит ли доверять вашей интуиции в том, что вы сможете написать что-то значительно лучшее, чем результат работы столь многих авторов.

Незнакомец: Видите это мета-рассуждение? С моей точки зрения, когда люди начинают размышляют о мире таким образом, оно портит всё.

Элиезер: Если вы увидите девушку, жонглирующую несколькими шариками, вы её будете спрашивать, не стоит ли ей внезапно задуматься, входит ли она в референтный класс людей, которые лишь думают, что они хорошо ловят шарики? Это всё просто... бессмысленная трата сил.

Незнакомец: Социальная тревожность и чрезмерная педантичность.

Элиезер: Продуктивно работающий мозг сосредоточен на других вещах.

Пат: Вы утверждали, что взгляд извне --- это универсальный контраргумент против любого утверждения о том, что некто с низким статусом может сделать что-то важное. Я объясняю вам, почему метод, опирающийся на наблюдаемые метрики, которые может проверить сторонний наблюдатель, утверждает, что, возможно, вы сможете внести важный вклад в соответствие ИИ, которым больше никто не занимается, но вы не напишете фанфик по Гарри Поттеру с самым большим числом отзывов, потому что с вами соревнуются тысячи авторов.

(Наблюдающая за дискутирующими женщина неожиданно подходит к ним и вмешивается.)

Женщина: Ну, нет. Я больше не могу сдерживаться.

Пат: Э? Кто вы?

Женщина: Я истинный голос скромности и взгляда извне!

Я услышала ваш разговор и хочу сказать: внести важный вклад в проблему соответствия ИИ никак не может быть проще, чем написать популярный фанфик.

Элиезер: ...Это, конечно, верно, но кто?..

Женщина: Меня зовут Мод Стивенс[В оригинале: Maude Stevens. В этом имени тоже читается слово modesty --- скромность. --- Прим. перев.].

Пат: Ну что ж, Мод, приятно познакомиться. Я всегда рад послушать о своих ошибках, даже если о них говорят люди, которые случайно сталкиваются со мной в парке и при этом подозрительно много обо мне знают. Так в чём же я ошибаюсь?

Мод: Вы все уверены, будто если человек не говорит о "соответствии" или "дружественности", то его работа не имеет к этим проблемам никакого отношения. Но это просто слова. Если мы учтём специалистов по машинной этике, которые работают над дилеммами вагонетки в реальном мире, экономистов, занимающихся вызванной технологиями безработицей, учёных в области информатики, изучающих вопросы азимовских агентов [Англ. "Asimovian agents". --- Прим.перев.], и им подобных, окажется, что людей, которые пытаются внести вклад в эти вопросы, гораздо-гораздо больше.

Пат: Что? Элиезер, это правда?

Элиезер: Насколько я знаю, нет, разве что Мод работает в АНБ и хочет рассказать о каких-то очень интересных засекреченных исследованиях. Примеры, которые она перечислила, не связаны с техническими вопросами, которые я называл "дружественностью". Прогресс в упомянутых Мод вопросах не поможет определить предпочтения, которые с достаточной для нас уверенностью приведут к хорошим результатам, даже если речь идёт о системах умнее нас, способных рассматривать гораздо большее пространство стратегий, чем мы можем представить. Также он не поможет спроектировать системы, остающиеся стабильными при самомодификации, чтобы хорошие свойства исходного ИИ сохранялись, когда он становится умнее.

Мод: И вы утверждаете, что никто другой в мире не заметил этих проблем?

Элиезер: Нет, этого я не утверждаю. Вопросы вроде "как нам задать правильные цели для искусственного интеллекта, сравнимого с человеческим?" и "что случится, когда ИИ станет настолько умён, что сможет автоматизировать исследования ИИ?" задаются уже давно. Однако они просто повисают в воздухе и незаметно, чтобы они смещали приоритеты в исследованиях. Нельзя сказать, что сообщество людей, которые вообще думают про суперинтеллект, --- мало. Конечно же, есть много направлений работы над надёжностью, прозрачностью и безопасностью в каких-то конкретных системах ИИ, которые случайно могут облегчить работу над соответствием ИИ умнее человека. Однако сообщество людей, которые на ежедневной основе работают и принимают решения о том, какими техническими вопросами заняться, именно чтобы решать вопрос сверхинтеллектуального ИИ, --- очень мало.

Мод: Я на это скажу, что вы просто забегаете вперёд и пытаетесь решать задачу с конца, хотя область пока просто не готова сосредоточить усилия на этом. Возможно, идущая сейчас работа не направлена на вопросы сверхинтеллекта напрямую, но нам стоит ожидать, что существенного прогресса в соответствии ИИ достигнут последователи тех, кто сейчас работает над вопросами вроде применения дронов в боевых целях или вызванной ими безработицы.

Пат (осторожно): Я хочу сказать, что если Элиезер говорит правду --- а я считаю его честным человеком, пусть он по моим стандартам часто и бывает слегка безумен, --- то в 2010 году в этой области почти никого нет. Не так уж много людей работают над вопросами, связанными с ИИ умнее человека, и лишь группа Элиезера и Институт будущего человечества в Оксфорде всерьёз утверждают, что занимаются вопросами соответствия ИИ. Если Элиезер утверждает, что задача, как создать ИИ умнее человека, чтобы он нас всех не убил, не относится к полю деятельности нынешних специалистов по машинной этике, то я посчитаю это достаточно правдоподобным, хотя, конечно, мне хотелось бы узнать и другие точки зрения перед тем, как сделать окончательный вывод.

Мод: Но область, в которой соревнуется Элиезер, не ограничивается людьми, пишущими статьи по этике. Любой, занимающийся машинным обучением, да и вообще любой областью информатики может внести свой вклад в проблему соответствия ИИ.

Элиезер: Гм, я бы с радостью об этом услышал. Однако победа в данном случае это "задача решена"...

Пат: Подождите, Мод. Мне кажется, вы выходите за рамки того, что может объективно проверить сторонний наблюдатель. Это всё равно что сказать, мол, Элиезер должен соревноваться со Стивеном Кингом, потому что в принципе Стивену Кингу может взбрести в голову написать фанфик по Гарри Поттеру. Если все эти прочие люди, занимающиеся ИИ, не работают над конкретными задачами, над которыми работает Элиезер, в то время как множество авторов из фэндома по Гарри Поттеру напрямую соревнуются с Элиезером в написании фанфиков, то любой разумный сторонний наблюдатель должен согласиться, что контраргумент "взгляд извне" очень существенен во втором случае, а в первом случае он довольно слаб (если вообще верен).

Мод: Выходит, написать фанфик сложнее, чем спасти мир? Вы серьёзно? Такого не может быть.

Элиезер: Пат, я не согласен с аргументами Мод, но у неё преимущество: она рационализирует верный вывод. Соответствие ИИ --- сложнее.

Пат: Я не ожидаю, что вы решите весь вопрос целиком. Но внести значительный вклад в довольно специализированной области знания, которой занимаются очень мало людей, должно быть проще, чем оказаться самым успешным человеком в области, в которой работают множество других.

Мод: Бред какой-то. Нельзя даже сравнивать писателей фанфиков с экспертами по машинному обучению и профессорами ведущих университетов, которые способны внести гораздо более впечатляющий вклад в исследования сильного ИИ.

Элиезер: Гм. Прорыв в исследованиях сильного ИИ может быть впечатляющим, но без соответствия ИИ...

Пат: А вы сами пробовали писать фанфики? Попробуйте. Вы поймёте, что это намного сложнее, чем вам кажется. Если вы хороши в математике, это ещё не означает, что вы можете вот так взять и...

(Незнакомец в маске поднимает руку и щёлкает пальцами. Время останавливается. Затем Незнакомец в маске выжидающе смотрит на Элиезера-2010.)

Элиезер: Гм. Незнакомец в маске... Вы представляете, что тут происходит?

Незнакомец: Да.

Элиезер: Благодарю за лаконичный и содержательный ответ. Не будете ли вы любезны объяснить, что тут происходит?

Незнакомец: Пат прекрасно знаком с иерархией статусов в сложившемся сообществе фэндома по Гарри Поттеру, в котором есть свои ритуалы, призы, политика и так далее. Однако Пату в силу литературной гипотезы не хватает интуции на тему, насколько дерзко пытаться внести вклад в соответствие ИИ. Если мы Пата расспросим, скорее всего выяснится, что он полагает, что соответствие ИИ --- это круто, но не астрономически важно, или что существует множество других экзистенциальных рисков такого же уровня. Если бы Пат, как вы, верил, что долгосрочные последствия для цивилизации в значительной степени зависят от решения проблемы соответствия, скорее всего, он инстинктивно считал бы эту задачу более престижной. Всё, что он знает о задаче на объектном уровне и о том, сколько людей ей занимаются, осталось бы неизменным, но ощущаемый статус задачи возрос бы.

Мод, в свою очередь, наоборот незнакома с политическими деталями и динамикой статусов среди поклонников Гарри Поттера, но очень чувствительно относится к важности задачи соответствия. Поэтому для Мод интуитивно очевидно, что для внесения вклада в работу над соответствием ИИ требуется гораздо более впечатляющая лицензия героя, чем для написания лучшего в мире фанфика по Гарри Поттеру. Пат этого не понимает.

Элиезер: Но ведь идеи в области соответствия ИИ нужно формализовать, и полученный формализм должен удовлетворять одновременно множеству разных требований, причём довольно точно. Это очень абстрактная задача с огромным количеством ограничений, потому что нужно вписать неформальную задачу в правильную формальную структуру. Да, при написании художественной литературы мне нужно жонглировать такими штуками как сюжет, персонажи, напряжение, юмор, но всё это остаётся когнитивной задачей с гораздо меньшим числом ограничений...

Незнакомец: Эти соображения вряд ли приходили в голову Пату или Мод.

Элиезер: Важно ли то, что я планирую тратить на исследования гораздо больше усилий, чем на написание художественных книг? Если "Методы" не получатся сразу, я быстро сдамся.

Незнакомец: Извините. Позволено вам делать что-нибудь высокостатусное или нет, не может зависеть от того, сколько, по вашим словам, вы на это планируете потратить сил. Ведь "каждый может так сказать". Без этого нельзя было бы осаживать претендентов. Что совершенно ужасно.

Элиезер: ... ... Есть ли какой-нибудь организующий принцип, делающий всё это осмысленным?

Незнакомец: Полагаю, самые важные понятия, которых вам не хватает: неадекватность цивилизации и поддержание статуса в иерархии.

Элиезер: Просветите меня.

Незнакомец: Вы понимаете, как Пат пришёл к оценкам, что должно быть тысяча фанфиков по Гарри Поттеру, сравнимых с "Методами"? И понимаете, почему я прослезился, вообразив такой мир? Представьте, что Мод совершает ту же самую ошибку. Представьте мир, в котором всякий необразованный невежа вроде вас не в состоянии достоверно оценить шансы на то, чтобы внести серьёзный вклад в соответствие ИИ, не говоря уже о том, чтобы чего-то достичь, потому что люди пытаются заниматься серьёзной технической работой с 1960-х. В этом мире люди довольно много думали над этой задачей, вкладывали всю свою смекалку, считали результат довольно важным и потому старались убедиться, что они работают над правильной задачей и используют надёжные технологии. Функциональная теория принятия решений изобретена в 1971 году, через два года после публикации Роберта Нозика "Задача Ньюкома и два принципа выбора". Все полагают, что у человеческих ценностей высокая колмогоровская сложность. Все понимают почему, если вы программируете максимизатор ожидаемой полезности с функцией полезности U, а на самом деле вы под ней подразумевали V, то у U-максимизатора появятся инструментальные стимулы убедить вас в том, что он V-максимизатор. Никто не предполагает, что можно "просто выдернуть вилку из розетки" у чего-то гораздо умнее его. И все прочие мировые крупномасштабные активности и институты изменились соответственным образом.

Мы можем назвать такой мир "адекватным миром" и противопоставить его ныне существующему. У "адекватного мира" есть свойство, которое можно назвать "неиспользуемость" --- или "неиспользуемость Элиезером". Можно провести аналогию. Вы не можете предсказать изменение стоимости акций Микрософт на 5% в ближайшие шесть месяцев. Возьмём это свойство акций из S&P 500 и отмасштабируем на всю планету: вы не можете превзойти экспертов, вы не можете найти познаваемую ошибку. В "адекватном мире" эксперты всё равно совершают ошибки, они не идеальны. Но на групповом уровне они умнее и точнее, чем Элиезер Юдковский, поэтому вы не в состоянии понять, что является эпистемической или моральной ошибкой, точно так же, как вы не в состоянии понять, отклонилась ли цена на акции Микрософт от рыночной вверх или вниз.

Элиезер: Ладно... Я могу понять, почему рассуждения Мод были бы разумны в "адекватном мире". Но как она согласовывает аргументы, приводящие к её выводам, с миром, в котором мы живём и который значительно отличается от "адекватного"? Не похоже, что Мод в состоянии сказать: "Смотри, очевидно, проблема уже решается", потому что проблема, очевидно, не решается.

Незнакомец: Предположим, вы инстинктивно регулируете претензии на статус, стараясь добиться того, чтобы никто не получил статус выше, чем заслуживает.

Элиезер: Ладно...

Незнакомец: Это поощряет поведение, которые вы назвали "лицензия героя". Ваша текущая модель считает, что люди прочли слишком много книг, где протагонист родился под знаком сверхновой, у него есть легендарный меч, и они не понимают, что реальность устроена не так. Или, например, люди связывают достижения Эйнштейна с его нынешним престижем, не осознавая, что до 1905 года Эйнштейну никто не предсказывал величайшую судьбу.

Элиезер: Верно.

Незнакомец: Неверно. Ваша модель статуса героя заключается в том, что за героическую службу племени должна быть награда. Вы считаете, что, хотя, конечно же, нельзя разрешать людям претендовать на статус героя, если они пока ещё не послужили племени, но ни у кого не должно быть интуитивных возражений против того, что кто-то попробует племени послужить. Да, при условии, что желающий тщательно подчеркнёт, что пока он ещё ничего не добился и не считает, что ему уже положен высокий статус.

Элиезер: ...и это неверно?

Незнакомец: Для "нечутких к статусу" людей, вроде вас, эта модель прекрасно работает. Но обычно эмоции в отношении статуса работают не так. Если коротко, для того, чтобы претендовать на какой-то высокий статус, вы уже должны получить какой-то статус. И у большинства людей это довольно базовое ощущение, нельзя сказать, что кто-то этому учит.

Элиезер: Но до 1905 года Эйнштейн работал в патентном бюро. У него даже не было учёной степени. В смысле, Эйнштейн был нетипичным работником патентного бюро, и, без сомнения, он это понимал, но сторонний наблюдатель, посмотрев на его резюме...

Незнакомец: Мы сейчас говорим не об эпистемических предсказаниях. Это просто факт о том, как работают человеческие эмоции, когда дело касается статусов. В глазах Пата наличие определённой вероятности написать самый популярный фанфик по Гарри Поттеру идёт вместе с определённым статусом. В глаза Мод наличие определённой вероятности внести важный вклад в проблему соответствия ИИ идёт вместе с определённым статусом. Поскольку ваш текущий статус в соответствующей иерархии они оценивают гораздо ниже, вы не имеете права заявлять о соответствующих оценках вероятностей или вести себя так, как будто считаете, что они верны. Вам нельзя просто попробовать и посмотреть, что получится, потому что это подразумевает, что какая-то вероятность успеха у вас есть. Сама претензия на то, что вы можете взять и попробовать, --- уже претензия на статус и потому вас нужно осадить. Если этого не сделать, любой сможет претендовать на слишком высокий статус, и это будет ужасно.

Элиезер: Хорошо. Но как отсюда происходит переход к заблуждениям об адекватности цивилизации?

Незнакомец: Благодаря обратной цепи рационализаций, возможно, с примесью веры в справедливый мир и искажения "статус-кво". Если сказать экономисту, что можно каждый год удваивать свои вложения, продавая и покупая акции Микрософт, пользуясь каким-то простым алгоритмом, он очень удивится. После этого экономист начнёт прикидывать, почему этот самый алгоритм не сработает, какой в нём есть незаметный риск --- ему захочется сохранить идею о неиспользуемости рынка ценных бумаг, и это вполне естественно.

Пат пытается сохранить идею о том, что "рынок фанфиков" "неиспользуем Элиезером" --- поскольку интуитивно ему кажется, что у вас слишком низкий статус, чтобы добиться успеха на этом рынке. Это приводит его к мысли, что существует ещё тысяча людей, которые пишут фанфики по Гарри Поттеру не хуже, чем вы. В результате Пат воображает мир, который адекватен в соответствующем отношении. В этом мире усилия авторов дёшево конвертируются в популярные истории, поэтому простой смертный не способен предсказать, что он напишет более популярную историю. А адекватность мира в прочих отношениях гарантирует, что любой посторонний, который на самом деле способен переиграть этот рынок --- например, Нил Гейман, --- уже богат, почитаем и так далее.

И это распространённое явление. Если некто верит, что у вас недостаточно высокий статус, чтобы делать предсказания лучше, чем Европейский Центральный Банк, он будет считать, что Европейский Центральный Банк справляется со своей работой довольно хорошо. Экономист не скажет, что Европейский Центральный Банк обязательно хорошо справится со своей работой: он порекомендует обратить внимание на стимулы, на то, что лица, принимающие решения, не получат гигантские бонусы за то, что экономика Европы улучшится. Однако невозможно, чтобы Элиезер был умнее Европейского Центрального Банка, ведь в этом случае нарушится иерархия статусов. Чтобы мировую иерархию статусов нельзя было оспорить, она должна быть правильной и мудрой, чтобы она была правильной и мудрой, она должна быть неиспользуемой. Интуитивное понимание неадекватности цивилизации очень сильно помогает рассеивать миражи вроде лицензии героя или эпистемологии скромности. Ведь когда эпистемология скромности своей цепью рационализаций объясняет, почему некто не в состоянии совершить что-то значимое, она приводит к необходимости заявить об адекватности цивилизации.

Элиезер: Но цивилизация в некоторых областях может быть неиспользуемой, даже если она не является адекватной. А вы, кажется, утверждаете, что Пат и Мод в основном заботит неиспользуемость.

Незнакомец: Можно воображать мир, где ни у кого нет стимулов заниматься проблемой соответствия ИИ и потому её почти никто не занимается, более того, люди, которые знают о проблеме и хотели бы её решать, всё равно не занимаются ей, потому что конкуренция приводит к тому, что они лишаются каких-то ценных ресурсов. Можно воображать мир, который неиспользуем для вас, но используем для многих других. Однако заявление об адекватности цивилизации подтверждает текущую иерархию статусов гораздо сильнее и гораздо надёжнее. Идея адекватного мира более точно соответствует интуитивному представлению, что самые уважаемые и самые авторитетные люди мира заслуженно занимают своё место: они слишком хорошо организованы, слишком хорошо информированы, действуют в самых лучших намерениях и потому человек с улицы не в состоянии распознать творение Молоха вне зависимости от того, способен он с ним что-то сделать или нет. Кроме того, чтобы разговаривать о неиспользуемой неадекватности, нужно лучше знать микроэкономику, о том, как люди пытаются использовать рынки и какие проблемы они при этом пытаются решать. Заявить об адекватности цивилизации гораздо легче.

Неадекватности цивилизации --- это основная причина, почему мир в целом нельзя назвать неиспользуемым в той же мере, как краткосрочный рынок ценных бумаг. А эпистемология скромности, грубо говоря, утверждает, что вы не можете прогнозировать неиспользуемость мира, потому что не можете быть уверены, что ориентируетесь в чём бы то ни было лучше экспертов.

Элиезер: Это... я, кажется, понял... Но я всё ещё не понимаю, как на самом деле думает Мод.

Незнакомец: Что ж, смотрите.

(Незнакомец в маске поднимает руку и снова щёлкает пальцами. Время запускается снова.)

Пат: ...стать лучшим в литературе, потому что какие-то там фанфикописатели тупые.

Мод: Мой дорогой друг, пожалуйста, задумайтесь о ваших собственных словах. Если проблема соответствия ИИ действительно настолько важна, как уверяет Элиезер, оказался ли бы он одним из немногих людей, которые над ней работают?

Пат: Ну, всё выглядит так, будто так и есть.

Мод: Значит, проблема не может быть такой важной, как он уверяет. Иначе бы получилось, что какой-то странный одиночка обнаружил важную проблему, над которой работает лишь он и ещё парочка человек. А это означало бы, что все остальные, занимающиеся этой областью, идиоты. Кто такой Элиезер, чтобы игнорировать академический консенсус о том, что проблема соответствия ИИ не слишком интересна, чтобы над ней работать?

Пат: Я вполне могу представить некоторые препятствия, с которым, возможно, сталкивается типичный учёный, который хочет работать над соответствием ИИ. Например, быть может, на такую работу сложно получить грант.

Мод: Если на неё тяжело получить грант, значит, люди, распределяющие гранты, справедливо рассудили, что эта проблема не является приоритетной.

Пат: Вы хотите сказать, что в финансировании науки уже всё настолько хорошо, что все стоящие направления исследований уже кем-то разрабатываются?

Незнакомец: Кто конкретно из людей, распределяющих гранты, будет получать меньше в мире, где соответствие ИИ --- важная проблема, но на неё не выделяются гранты? Если никто не лишается своих премий или ещё чего-нибудь ценного, то вот вам и ответ. Никакой загадки здесь нет.

Мод: Все свидетельства прекрасно согласуются с гипотезой, что гранты не выделяются, потому что грантодатели приняли продуманное и информированное решение: соответствие ИИ --- не проблема вовсе.

Элиезер: Пат, спасибо вам за защиту, но, думаю, я здесь объясню лучше. Как я уже упоминал, вопросы вроде взрыва интеллекта и мысль о том, что при построении системы целеполагания ИИ это надо как-то учесть, придумал не я. Это довольно широко известные идеи, и люди любого уровня важности зачастую охотно соглашаются обсудить их с глазу на глаз. Хотя, конечно, есть разногласия относительно величины риска и относительно того, какие именно усилия будут более всего полезны, чтобы его снизить. Вы можете найти обсуждение этого вопроса в популярнейшем вузовском учебнике по ИИ: "Искусственный интеллект: современный подход". Поэтому нельзя утверждать, что среди исследователей есть консенсус о том, что эта проблема не важна.

Мод: Значит, грантодатели скорее всего тщательно оценили эту проблему и решили, что процветание человечества в долгосрочной перспективе лучше всего обеспечить путём прогресса в области ИИ каким-то ещё способом, а над соответствием работать, лишь когда мы достигнем некоего порога возможностей. По всей вероятности фонды ждут именно этого, чтобы запустить широкомасштабное исследование в области соответствия ИИ.

Элиезер: И как именно грантодатели могли прийти к подобному решению, не изучив задачу каким-нибудь заметным образом? Если всё сообщество, выделяющее гранты, способно прийти к консенсусу такого уровня, то где статьи и анализы, которыми они воспользовались, чтобы прийти к своему решению? Каковы аргументы сторон? Ваши слова звучат так, будто вы говорите о тайном заговоре компетентных грантодателей из сотни различных организаций, которые каким-то образом получили доступ к литературе о стратегических и технических исследованиях --- или даже провели их сами, --- о которых не слышал ни Ник Бостром, ни я. Благодаря этим исследованиям эти грантодатели установили, что задачи, которые решаются сейчас, которые кажутся важными и поддающимися исследованию, вряд ли к чему-то приведут, однако в будущем всё будет развиваться в каком-то конкретном известном направлении с известной скоростью, что подготовит почву для позднейшего скоординированного вмешательства.

Вы утверждаете, что хотя все исследователи привычно на кофе-брейках обсуждают самоулучшающийся ИИ и законы Азимова, существуют какие-то тайные веские причины того, почему изучать эту задачу --- плохая идея? И все грантодатели пришли вместе к этой мысли, не оставив никакого следа о том, как именно они приняли это решение? Я просто... В том, как устроено распределение грантов и в функционировании научного сообщества существует столько прекрасно известных и абсолютно естественных ошибок, что соответствие ИИ вполне может оставаться критично важной проблемой, которую тем не менее учёные вовсе не рвутся решать. Однако вы постулируете огромный мировой заговор из никому не известных компетентных людей, которые руководствуются тайными анализами и обсуждениями. Как вы вообще до этого дошли?

Мод: Потому что иначе...

(Незнакомец снова щёлкает пальцами.)

Незнакомец: Ну что же, Элиезер-2010, ответьте на свой вопрос. Как Мод до этого дошла?

Элиезер: С точки зрения Мод... Чтобы всякие не слишком значимые или неавторитетные личности не решали важные задачи, не должно быть низко висящих плодов, про которые можно понять, что это низко висящий плод. Если существуют важные задачи, не затронутые системой грантов и прочих вознаграждений в научной среде, то кто-нибудь вроде меня может понять, что над ними стоит работать. Если есть какие-то проблемы, связанные с грантодателями или стимулами в научной среде, и кто-нибудь вроде меня может опознать эти проблемы, то становится вероятно, что кто-то не важный вроде меня узнает, что есть важная задача, над которой никто не работает. Декларируемое Мод состояние научной системы да и всего мира в целом --- это цепочка рассуждений, вызванная необходимостью не допустить существование низко висящих плодов.

Сперва Мод пыталась утверждать, что задача о соответствии ИИ уже активно исследуется, как это и было бы в адекватном мире, который вы описали. Когда эту позицию стало сложно защищать, она переключилась на утверждение, что авторитетные аналитики изучили задачу и дружно решили, что она не важна. Когда и эту позицию стало сложно защищать, она переключилась на утверждение, что авторитетные аналитики изучили задачу и дружно изобрели какую-то лучшую стратегию, которая включает временную приостановку работ над этой задачей.

Незнакомец: И у этих очень разных гипотез есть общее свойство: они утверждают, что в особо ценных исследованиях существует что-то похожее на эффективный рынок: люди и коллективы с достаточно высоким статусом в научной системе не могут ошибиться так, чтобы это стало заметно.

Возможно, дальше бы Мод предположила, что лучшие исследователи уже определили, что это лёгкая задача. Или что есть тайный консенсус, что сильный ИИ не появится ещё несколько веков. По моему опыту воображение у людей вроде Мод иногда не знает границ. Всегда найдётся какой-то ещё вариант.

Элиезер: Но почему люди всё это придумывают? Никакой экономист не сказал бы, что тут можно обнаружить эффективный рынок.

Незнакомец: Мод скажет, конечно, система не идеальна. Однако продолжит, что мы тоже не идеальны. Все, кто распределяют гранты и научные должности, ничуть не хуже нас и делают всё, что в их силах, чтобы исправить те искажения в системе, которые в состоянии заметить.

Элиезер: Но ведь это явно противоречит и наблюдениям, и экономической теории стимулов.

Незнакомец: Да. Однако это принимается за истину. Ведь если эксперты могут ошибаться, значит мы тоже можем ошибаться, верно? Может быть, это у нас систематически неправильные стимулы и лишь краткосрочные вознаграждения.

Элиезер: Но ведь находиться внутри системы с плохо спроектированными стимулами, это не то же самое, что быть неспособным определить истину в... о, я понял.

Это было очень познавательно, Незнакомец в маске. Спасибо.

Незнакомец: Спасибо за что, Элизер? Указать человеку на проблему --- не слишком большая услуга, если он ничего не может с ней сделать. Вы не получите никакого преимущества по сравнению с основной временной линией.

Элиезер: Всё равно лучше хоть немного понимать, что именно происходит.

Незнакомец: Это тоже ловушка, и мы оба это понимаем. Если вам нужна сложная теория, чтобы подтвердить, что вы видите очевидное, то со временем эта теория будет лишь усложняться и отвлекать вас. Вам придётся всё старательней перепроверять себя. Гораздо лучше просто принимать вещи такими, какие они есть, и не придумывать для этого огромных аргументов. Если вам нужно проигнорировать чей-то совет, лучше не сочинять много сложных обоснований, почему вы имеете на это право: так вам будет легче впоследствии передумать и всё же принять этот совет, если случится так, что вам он станет нравиться больше.

Элиезер: Верно. Тогда зачем вы мне всё это рассказываете?

Незнакомец: А всё это время я обращался не к вам. Последний мой урок заключается в том, что я никогда не рассказываю такие штуки себе.

(Незнакомец трижды поворачивается вокруг своей оси. Его никогда тут не было.)

Переведено на Нотабеноиде
http://notabenoid.org/book/78537/460150

Переводчики: Alaric