Готовый перевод Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 274. Magical Categories

Волшебные категории

Мы можем спроектировать разумные машины таким образом, чтобы основной присущей им эмоцией была безусловная любовь ко всем людям. Вначале мы можем построить относительно простые машины, которые научатся распознавать счастье и несчастье по лицам людей, человеческому голосу и языку тела. Затем мы можем встроить результаты этого обучения в глубинные эмоциональные ценности более сложных разумных машин, положительно подкрепляя результат, когда мы будем счастливы и используя негативное подкрепление, когда мы будем несчастны.

Билл Хиббард (2001), Сверхразумные машины [fn] Bill Hibbard, “Super-Intelligent Machines,” ACM SIGGRAPH Computer Graphics 35, no. 1 (2001): 13–15, http://www.siggraph.org/publications/newsletter/issues/v35/v35n1.pdf [\fn]

Это было опубликовано в рецензируемом журнале, а автор впоследствии написал целую книгу на эту тему, поэтому я тут не просто обсуждаю соломенное чучело.

Итак... эм... что же может пойти не так?...

Когда я упомянул (пункт 7.2) [fn] Eliezer Yudkowsky, “Artificial Intelligence as a Positive and Negative Factor in Global Risk,” in Bostrom and Ćirković, Global Catastrophic Risks, 308–345. [\fn], что ИИ Хиббарда закончит тем, что замостит всю галактику крохотными молекулярными улыбающимися лицами, Хиббард написал возмущённый ответ такого плана:

Когда станет возможным построить сверхинтеллект, будет возможно создать и встроенную систему распознавания "выражений лиц людей, человеческого голоса и языка тела" (дабы использовать собственные слова, которые вы процитировали), которая превзойдёт по точности современных людей, таких как я и вы, и её уж точно не обмануть "крохотными молекулярными изображениями улыбающихся лиц". Не следует предполагать такое бездарное воплощение моей идеи, будто оно не сможет выделять различий, которые очевидны современным людям.

Поскольку помимо этого Хиббард написал: "Такие очевидные противоречивые предположения показывают, что Юдковскому важнее драма, чем логика", я зайду чуть дальше и отмечу, что здесь Хиббард иллюстрирует ключевой момент --- не существует теста на профпригодность, после которого становится можно говорить о нравственности ИИ. Но сегодня для меня важно не это. Хотя то, что большинство стремящихся в СИИ/ДИИ настолько не подготовлены к этой задаче, что я не знаю никого достаточно циничного, чтобы вообразить весь ужас, не видя его заранее --- важный момент для понимания существующего положения дел. Полагаю, что даже Майкл Вассар был удивлён, когда первый раз столкнулся с этим.

Нет, сегодня я буду разбирать "Не следует предполагать такое бездарное воплощение моей идеи, будто оно не сможет выделять различий, которые очевидны современным людям."

Однажды --- я встречал эту историю в нескольких версиях в нескольких местах, иногда она упоминалась как факт, но я ни разу не отслеживал источник --- так вот, однажды в армии США пожелали использовать нейронные сети для автоматического определения закамуфлированных танков противника.

Исследователи натренировали нейронную сеть на 50 фотографиях закамуфлированных танков посреди деревьев и на 50 фотографиях деревьев без танков. Используя стандартные методы обучения с учителем, исследователи обучили нейронную сеть, чтобы она правильно обрабатывала тренировочный набор данных --- выдавала "да" для 50 фотографий закамуфлированных танков и выдавала "нет" для 50 фотографий леса.

Это не доказательство и отсюда даже не следует, что новые фотографии будут правильно классифицированы. Нейронная сеть могла "изучить" 100 особых случаев, которые не обобщаются на новые задачи. То есть не "камуфляж танка против леса", но просто "фото-1 положительно", "фото-2 отрицательно", "фото-3 отрицательно", "фоток-4 положительно"...

Но разумеется, у исследователей изначально было 200 фотографий, 100 фотографий танков и 100 фотографий деревьев, и они использовали только половину в тренировочном наборе данных. Исследователи прогнали нейронную сеть на оставшихся 100 фотографиях и нейронная сеть без дополнительного обучения правильно определила все оставшиеся фотографии правильно. Успех подтверждён!

Исследователи вернули итог работы в Пентагон, а там вскоре вернули его обратно с жалобой, что их собственные тесты нейронной сети показали результат не лучше случайного в определении разницы между фотографиями.

Оказалось, что в данных исследователей фотографии закамуфлированных танков были сделаны в облачные дни, а фотографии леса --- в солнечные дни. Нейронная сеть научилась отличать ясные дни от солнечных, вместо того, чтобы отличать закамуфлированный танк от леса.

Эта история --- которая может и не быть фактом --- демонстрирует одну из фундаментальных сложностей в области обучения с учителем и во всей сфере искусственного интеллекта вообще: если тренировочные задачи и реальные задачи хоть немного отличаются контекстом --- если они не взяты из одного и того же процесса с одним и тем же распределением --- то нет гарантии перехода от прошлого успеха к будущего. И неважно, что кажется, будто ИИ прекрасно работает в тренировочных условиях. (Это не нерешаемая задача, но её нельзя просто залатать. Есть весьма комплексные способы работы с этой задачей --- и эта тема за пределами рассмотрения данного эссе --- но нет быстрых "заплаток")

Как я писал в "Суперэкспоненциальном пространстве концептов", существует экспоненциально больше возможных концептов, чем возможных объектов, равно как и число возможных объектов экспоненциально больше числа их признаков. Если у чёрно-белого изображения сторона составляет 256 пикселей, то размер изображения равен 65 536 пикселям. Количество потенциально возможных изображений 2^65 536. А число возможных концептов, согласно которым можно делить изображения на положительные и отрицательные результаты --- количество возможных границ, которые можно провести в пространстве изображений --- составляет 2^(2^65 536). Отсюда видно, что даже обучение с учителем полностью находится во власти ошибок суждения, без которых потребуется как минимум 2^65 536 классифицированных примеров, чтобы провести различия между 2^(2^65 536) возможными концептами --- даже если классы остаются постоянными во времени.

А теперь давайте вернёмся к:

Вначале мы можем построить относительно простые машины, которые научатся распознавать счастье и несчастье по лицам людей, человеческому голосу и языку тела. Затем мы можем встроить результаты этого обучения в глубинные эмоциональные ценности более сложных разумных машин, положительно подкрепляя результат, когда мы будем счастливы и используя негативное подкрепление, когда мы будем несчастны.

и

Когда станет возможным построить сверхинтеллект, будет возможно создать и встроенную систему распознавания "выражений лиц людей, человеческого голоса и языка тела" (дабы использовать собственные слова, которые вы процитировали), которая превзойдёт по точности современных людей, таких как я и вы, и её уж точно не обмануть "крохотными молекулярными изображениями улыбающихся лиц". Не следует предполагать такое бездарное воплощение моей идеи, будто оно не сможет выделять различий, которые очевидны современным людям.

Легко отличить фотографию закамуфлированного танка от фотографии пустого леса в том смысле, что легко понять, что фото не одинаковые. Изображения содержат разные массивы пикселей с разным содержание единиц и нулей в них. Определить различие между ними столь же просто, как проверить массивы на равенство между собой.

Классифицировать новые изображения в положительные и отрицательные примеры "улыбки" на основе обучающей выборке из фотографий, уже классифицированных как положительные и отрицательные --- задача совсем другого уровня.

У изображения 256×256 снятого реальной камерой, на котором находится закамуфлированный танк, нет добавочного 65537-го бита, обозначающего положительность. Нет крохотного XML тэга, который бы указывал "Это изображение положительно по своей сути". Нет, это всего лишь положительный пример по отношению к некоторому концепту.

Но для любой не-Гигантской обучающей выборки --- любых данных, которые не включают точную побитовую копию этого изображения --- существует суперэкспоненциальное множество возможных концептов, которые будут совместимы с предыдущими классификациями.

Для ИИ выбор из суперэкспоненциального множества возможностей является вопросом индуктивного смещения. А это может не соответствовать тому, что задумал пользователь. Разрыв между этими двумя процессами классификации примеров --- индукция с одной стороны и задачи пользователя с другой --- не так-то просто преодолеть.

Предположим, обучающая выборка у ИИ такова:

Набор данных 1:

+: Улыбка_1, Улыбка_2, Улыбка_3

-: Хмурый_1, Кошка_1, Хмурый_2, Хмурый_3, Кошка_2, Лодка_1, Автомобиль_1, Хмурый_5.

И вот ИИ вырос, стал сверхинтеллектом и сталкивается со следующими данными:

Набор данных 2:

Хмурый_6, Кошка_3, Улыбка_4, Галактика_1, Хмурый_7, Нанофабрика_1, Молекулярное_лицо_с_улыбкой_1, Кошка_4, Молекулярное_лицо_с_улыбкой_2, Галактика_2, Нанофабрика_2.

Из этих наборов данных не обязательно следует, что желаемая классификация выглядит так:

Улыбка_1, Улыбка_2, Улыбка_3, Улыбка_4

Хмурый_1, Кошка_1, Хмурый_2, Хмурый_3, Кошка_2, Лодка_1, Автомобиль_1, Хмурый_5, Хмурый_6, Кошка_3, Галактива_1, Хмурый_7, Нанофабрика_1, Молекулярное_лицо_с_улыбкой_1, Кошка_4, Молекулярное_лицо_с_улыбкой_2, Галактика_2, Нанофабрика_2.

а не так:

Улыбка_1, Улыбка_2, Улыбка_3, Молекулярное_лицо_с_улыбкой_1, Молекулярное_лицо_с_улыбкой_2, Улыбка_4

Хмурый_1, Кошка_1, Хмурый_2, Хмурый_3, Кошка_2, Лодка_1, Автомобиль_1, Хмурый_5, Хмурый_6, Кошка_3, Галактива_1, Хмурый_7, Нанофабрика_1, Кошка_4, Галактика_2, Нанофабрика_2.

Обе этих классификации совместимы с обучающей выборкой. Количество концептов, совместимых с обучающей выборкой будет гораздо больше, поскольку более, чем один концепт можно отобразить на совмещённый набор данных. Если пространство возможных концептов включает пространство возможных вычислений, которые классифицируют сущности, то это пространство бесконечно.

Какую классификацию выберет ИИ? Это не внутреннее свойство обучающей выборки. Это свойство процедуры индукции ИИ.

Что такое правильная классификация? Это не свойство обучающей выборки. Это свойство твоих предпочтений (или, если угодно, свойство идеализированной абстрактной динамики, которую называют "правильно").

Концепт, который вы предпочитаете, наводит свою тень на обучающую выборку по мере того, как помечаете каждую сущность "+" или "-", опираясь на свой интеллект и предпочтения в процессе. В этом вся суть обучения с учителем --- предоставить ИИ обучающую выборку, которая будет тенью причинно-следственного процесса, который создал эти метки.

Но кроме случаев, когда обучающая выборка получена из строго того же самого контекста, что происходит на практике, эта обучающая выборка будет недостаточной в некотором смысле, она будет проекцией из некоторого пространства с большей размерностью возможностей.

ИИ никогда не видел крохотное молекулярное улыбающееся лицо во время своей фазы обучения, которая глупее, чем человек, и никогда не встречал крохотных агентов, чей счётчик счастья был выставлен в гуголплекс. Если, в свою очередь, вам показать крохотное улыбающееся лицо или, возможно, крошечную реалистичную скульптуру лица человека, то вы будете знать, что это не считается за улыбку. Однако это суждение отражает неестественную категорию, такую, где граница классификации будет в значительной степени зависеть от ваших комплексных ценностей. Именно ваши планы и желания действуют, когда вы говорите "Нет!".

Хиббард инстинктивно знает, что крохотное молекулярное улыбающееся лицо это не "улыбка", потому что знает, чего хочет от своего гипотетического ИИ. Если бы кому-то дали другое задание, например, классифицировать предметы искусства, кто-то мог бы решить, что Мона Лиза, очевидно, улыбается, а не хмурится --- хотя это всего лишь краска на холсте.

Как иллюстрирует случай Терри Шайво, технологии открывают нам новый класс пограничных ситуаций, которые выливаются в новые, по сути нравственные, дилеммы. Если показывать ИИ изображения живых и мёртвых людей из эпохи Древней Греции не позволит ИИ принять нравственное решение, будет ли убийством выключить ли систему жизнеобеспечения Терри. Эта информация даже не выводима из существующего набора данных. Случай с Терри Шайво поднимает новые нравственные вопросы, которые относятся к новым нравственным идеям, о которых даже не пришлось бы думать при классификации фотографий живых и мёртвых людей из эпохи Древней Греции. Тогда никто не находился на аппарате поддержания жизни и не дышал с наполовину разжиженным мозгом. Поэтому этот момент не играет никакой роли в процессе, который используется при классификации древнегреческой обучающей выборки и, следовательно, не отбрасывает никакой тени на обучающую выборку и, следовательно, недоступен для вывода из обучающей выборки.

Если называть конкретную ошибку или искажение, я вижу две антропоморфных ошибки.

Первая ошибка --- недооценить из-за его ценности сложность концепта, который мы придумали . Границы концепта будут зависеть от множества ценностей и, возможно, от сиюминутного нравственного суждения, если мы не встречали ранее некоторых пограничных случаев. Но всё это происходит незаметно, на фоне. Хиббарду просто кажется, что крохотные молекулярные улыбающиеся лица --- это совершенно очевидно не улыбки. А мы не генерируем все возможные пограничные случае, а потому не думаем обо всех сложностях, которые могут возникнуть в переопределении концепта, но ещё не возникли. Поскольку люди недооценивают сложность своих концептов, то они недооценивают сложность получения этих концептов из обучающей выборки (и сложность прямого описания концепта, см. "Скрытая сложность желаний")

Вторая ошибка --- это антропоморфный оптимизм. Поскольку Билл Хиббард использует собственный интеллект, чтобы создавать варианты и планы, которые находятся высоко в рейтинге его предпочтений, он с недоверием относится к идее, что сверхинтеллект будет классифицировать крохотные молекулярные улыбающиеся лица, которые он никогда раньше не видел, как положительные примеры "улыбки". Когда Хиббард использует концепт "улыбки" (чтобы описывать желаемое поведение сверхинтеллектов), то расширение понятия "улыбки" на крохотные молекулярные улыбающиеся лица окажется очень низко в рейтинге предпочтений. Это просто очень глупо --- само по себе, как свойство самого концепта --- поэтому, разумеется, сверхинтеллект не будет этого делать. Это ведь очевидно неправильная классификация. Ну конечно, сверхинтеллект сможет увидеть, какие горсти песчинок верные или неправильные.

Да что уж там, дружественный ИИ вообще не такой уж сложный! Всего-то надо сделать ИИ, который будет делать добро! Ох, разумеется, не всякий разум делает добро, но в этом случае мы просто запрограммируем сверхинтеллект делать добро. Всё, что нужно --- это нейронная сеть, которая посмотрит на несколько примеров хороших дел и несколько плохих, и вот уже готов классификатор. Прикрутите его к максимизатору ожидаемой полезности, и дело в шляпе!

Я буду называть эту ошибка магическими категориями --- простые слова, которые несут в себе желаемую функциональность ИИ. Почему бы не программировать игрока в шахматы с помощью нейронной сети (волшебного потребителя категорий) на наборе выигрышных и проигрышных шахматных ходов, чтобы она генерировала "выигрышные" последовательности? Раньше, в 1950-х годах верили, что ИИ может быть настолько простым, но оказалось, что это не так.

Новичок считает, что задача дружественного ИИ в том, чтобы убедить ИИ делать то, что мы хотим, а не то, чего он хочет. Но истинная задача дружественного ИИ заключается в коммуникации --- правильно передать границы категорий вроде "добро", которые невозможно полностью разметить на любой тренировочной выборке, какую бы вы не дали ИИ во время его взросления. Что касается всего пространства возможностей, которое охватывает будущее, мы сами не представляли себе большинство пограничных случаев, и для их выяснения нам пришлось прибегнуть к полноценным нравственным дискуссиям. Чтобы решить задачу дружественного ИИ придётся выйти за рамки индукции на размеченных человеком данных и за рамки созданных человеком определений интенций.

Разумеется, даже если бы Хиббард преуспел в передаче ИИ концепта, который отображает ровно каждое выражение лица человека, которое Хиббард бы пометил как "улыбку" и исключает каждое выражение лица, которое Хиббард не пометил бы как "улыбку"...

То получившийся ИИ будет прекрасно работать, пока взрослеет, пока он слишком слаб и может воспроизводить улыбки только за счёт удовлетворения своих программистов.

А когда он дойдёт до стадии сверхинтеллекта и получит доступ к нанотехнологиям, он эти улыбки срежет, привяжет к раме, чтобы они были постоянными и начнёт копировать.

Глубокие ответы на такие задачи находятся за пределами рассмотрения этого эссе, но в качестве руководящего принципа дружественного ИИ можно сказать, что здесь не существует заплаток. В 2004 году Хиббард изменил своё предложение, добавив, что выражение человеческого согласия должно будет подкреплять определение счастья, а затем уже счастье будет подкреплять все другие виды поведения. Что, если бы сработало, привело бы к тому, что ИИ копировал бы кучу вещей, схожих в пространстве концептов на

"Да, это счастье!" в отношении атомов водорода --- их легко делать.

Прикладываю ссылку на дискуссию с Хиббардом. Все важные части я уже описал.

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: идёт перевод

Переведено на Нотабеноиде
http://notabenoid.org/book/80377/490399

Переводчики: sepremento