Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 274. Magical Categories

Волшебные категории

sepremento 05.11.20 в 04:39

Мы можем спроектировать разумные машины таким образом, чтобы основной присущей им эмоцией была безусловная любовь ко всем людям. Вначале мы можем построить относительно простые машины, которые научатся распознавать счастье и несчастье по лицам людей, человеческому голосу и языку тела. Затем мы можем встроить результаты этого обучения в глубинные эмоциональные ценности более сложных разумных машин, положительно подкрепляя результат, когда мы будем счастливы и используя негативное подкрепление, когда мы будем несчастны.

sepremento 05.11.20 в 04:42

Билл Хиббард (2001), Сверхразумные машины [fn] Bill Hibbard, “Super-Intelligent Machines,” ACM SIGGRAPH Computer Graphics 35, no. 1 (2001): 13–15, http://www.siggraph.org/publications/newsletter/issues/v35/v35n1.pdf [\fn]

sepremento 05.11.20 в 04:42

Это было опубликовано в рецензируемом журнале, а автор впоследствии написал целую книгу на эту тему, поэтому я тут не просто обсуждаю соломенное чучело.

sepremento 05.11.20 в 04:46

Итак... эм... что же может пойти не так?...

sepremento 05.11.20 в 04:46

Когда я упомянул (пункт 7.2) [fn] Eliezer Yudkowsky, “Artificial Intelligence as a Positive and Negative Factor in Global Risk,” in Bostrom and Ćirković, Global Catastrophic Risks, 308–345. [\fn], что ИИ Хиббарда закончит тем, что замостит всю галактику крохотными молекулярными улыбающимися лицами, Хиббард написал возмущённый ответ такого плана:

sepremento 05.11.20 в 04:48

Когда станет возможным построить сверхинтеллект, будет возможно создать и встроенную систему распознавания "выражений лиц людей, человеческого голоса и языка тела" (дабы использовать собственные слова, которые вы процитировали), которая превзойдёт по точности современных людей, таких как я и вы, и её уж точно не обмануть "крохотными молекулярными изображениями улыбающихся лиц". Не следует предполагать такое бездарное воплощение моей идеи, будто оно не сможет выделять различий, которые очевидны современным людям.

sepremento 05.11.20 в 04:52

Поскольку помимо этого Хиббард написал: "Такие очевидные противоречивые предположения показывают, что Юдковскому важнее драма, чем логика", я зайду чуть дальше и отмечу, что здесь Хиббард иллюстрирует ключевой момент --- не существует теста на профпригодность, после которого становится можно говорить о нравственности ИИ. Но сегодня для меня важно не это. Хотя то, что большинство стремящихся в СИИ/ДИИ настолько не подготовлены к этой задаче, что я не знаю никого достаточно циничного, чтобы вообразить весь ужас, не видя его заранее --- важный момент для понимания существующего положения дел. Полагаю, что даже Майкл Вассар был удивлён, когда первый раз столкнулся с этим.

sepremento 06.11.20 в 05:25

Нет, сегодня я буду разбирать "Не следует предполагать такое бездарное воплощение моей идеи, будто оно не сможет выделять различий, которые очевидны современным людям."

sepremento 06.11.20 в 05:26

Однажды --- я встречал эту историю в нескольких версиях в нескольких местах, иногда она упоминалась как факт, но я ни разу не отслеживал источник --- так вот, однажды в армии США пожелали использовать нейронные сети для автоматического определения закамуфлированных танков противника.

sepremento 06.11.20 в 05:27

Исследователи натренировали нейронную сеть на 50 фотографиях закамуфлированных танков посреди деревьев и на 50 фотографиях деревьев без танков. Используя стандартные методы обучения с учителем, исследователи обучили нейронную сеть, чтобы она правильно обрабатывала тренировочный набор данных --- выдавала "да" для 50 фотографий закамуфлированных танков и выдавала "нет" для 50 фотографий леса.

sepremento 06.11.20 в 05:30

Это не доказательство и отсюда даже не следует, что новые фотографии будут правильно классифицированы. Нейронная сеть могла "изучить" 100 особых случаев, которые не обобщаются на новые задачи. То есть не "камуфляж танка против леса", но просто "фото-1 положительно", "фото-2 отрицательно", "фото-3 отрицательно", "фоток-4 положительно"...

sepremento 06.11.20 в 05:32

Но разумеется, у исследователей изначально было 200 фотографий, 100 фотографий танков и 100 фотографий деревьев, и они использовали только половину в тренировочном наборе данных. Исследователи прогнали нейронную сеть на оставшихся 100 фотографиях и нейронная сеть без дополнительного обучения правильно определила все оставшиеся фотографии правильно. Успех подтверждён!

sepremento 06.11.20 в 05:34

Исследователи вернули итог работы в Пентагон, а там вскоре вернули его обратно с жалобой, что их собственные тесты нейронной сети показали результат не лучше случайного в определении разницы между фотографиями.

sepremento 06.11.20 в 05:35

Оказалось, что в данных исследователей фотографии закамуфлированных танков были сделаны в облачные дни, а фотографии леса --- в солнечные дни. Нейронная сеть научилась отличать ясные дни от солнечных, вместо того, чтобы отличать закамуфлированный танк от леса.

sepremento 06.11.20 в 05:36

Эта история --- которая может и не быть фактом --- демонстрирует одну из фундаментальных сложностей в области обучения с учителем и во всей сфере искусственного интеллекта вообще: если тренировочные задачи и реальные задачи хоть немного отличаются контекстом --- если они не взяты из одного и того же процесса с одним и тем же распределением --- то нет гарантии перехода от прошлого успеха к будущего. И неважно, что кажется, будто ИИ прекрасно работает в тренировочных условиях. (Это не нерешаемая задача, но её нельзя просто залатать. Есть весьма комплексные способы работы с этой задачей --- и эта тема за пределами рассмотрения данного эссе --- но нет быстрых "заплаток")

sepremento 06.11.20 в 05:41

Как я писал в "Суперэкспоненциальном пространстве концептов", существует экспоненциально больше возможных концептов, чем возможных объектов, равно как и число возможных объектов экспоненциально больше числа их признаков. Если у чёрно-белого изображения сторона составляет 256 пикселей, то размер изображения равен 65 536 пикселям. Количество потенциально возможных изображений 2^65 536. А число возможных концептов, согласно которым можно делить изображения на положительные и отрицательные результаты --- количество возможных границ, которые можно провести в пространстве изображений --- составляет 2^(2^65 536). Отсюда видно, что даже обучение с учителем полностью находится во власти ошибок суждения, без которых потребуется как минимум 2^65 536 классифицированных примеров, чтобы провести различия между 2^(2^65 536) возможными концептами --- даже если классы остаются постоянными во времени.

sepremento 07.11.20 в 05:38

А теперь давайте вернёмся к:

sepremento 07.11.20 в 05:38

Вначале мы можем построить относительно простые машины, которые научатся распознавать счастье и несчастье по лицам людей, человеческому голосу и языку тела. Затем мы можем встроить результаты этого обучения в глубинные эмоциональные ценности более сложных разумных машин, положительно подкрепляя результат, когда мы будем счастливы и используя негативное подкрепление, когда мы будем несчастны.

sepremento 07.11.20 в 05:39

и

sepremento 07.11.20 в 05:39

Когда станет возможным построить сверхинтеллект, будет возможно создать и встроенную систему распознавания "выражений лиц людей, человеческого голоса и языка тела" (дабы использовать собственные слова, которые вы процитировали), которая превзойдёт по точности современных людей, таких как я и вы, и её уж точно не обмануть "крохотными молекулярными изображениями улыбающихся лиц". Не следует предполагать такое бездарное воплощение моей идеи, будто оно не сможет выделять различий, которые очевидны современным людям.

sepremento 07.11.20 в 05:39

Легко отличить фотографию закамуфлированного танка от фотографии пустого леса в том смысле, что легко понять, что фото не одинаковые. Изображения содержат разные массивы пикселей с разным содержание единиц и нулей в них. Определить различие между ними столь же просто, как проверить массивы на равенство между собой.

sepremento 07.11.20 в 05:41

Классифицировать новые изображения в положительные и отрицательные примеры "улыбки" на основе обучающей выборке из фотографий, уже классифицированных как положительные и отрицательные --- задача совсем другого уровня.

sepremento 07.11.20 в 05:43

У изображения 256×256 снятого реальной камерой, на котором находится закамуфлированный танк, нет добавочного 65537-го бита, обозначающего положительность. Нет крохотного XML тэга, который бы указывал "Это изображение положительно по своей сути". Нет, это всего лишь положительный пример по отношению к некоторому концепту.

sepremento 07.11.20 в 05:45

Но для любой не-Гигантской обучающей выборки --- любых данных, которые не включают точную побитовую копию этого изображения --- существует суперэкспоненциальное множество возможных концептов, которые будут совместимы с предыдущими классификациями.

sepremento 07.11.20 в 05:47

Для ИИ выбор из суперэкспоненциального множества возможностей является вопросом индуктивного смещения. А это может не соответствовать тому, что задумал пользователь. Разрыв между этими двумя процессами классификации примеров --- индукция с одной стороны и задачи пользователя с другой --- не так-то просто преодолеть.

sepremento 07.11.20 в 05:51

Предположим, обучающая выборка у ИИ такова:

sepremento 07.11.20 в 05:52

Набор данных 1:

sepremento 07.11.20 в 05:52

+: Улыбка_1, Улыбка_2, Улыбка_3

sepremento 07.11.20 в 05:52

-: Хмурый_1, Кошка_1, Хмурый_2, Хмурый_3, Кошка_2, Лодка_1, Автомобиль_1, Хмурый_5.

sepremento 07.11.20 в 05:53

И вот ИИ вырос, стал сверхинтеллектом и сталкивается со следующими данными:

sepremento 07.11.20 в 05:53

Набор данных 2:

sepremento 07.11.20 в 05:53

Хмурый_6, Кошка_3, Улыбка_4, Галактика_1, Хмурый_7, Нанофабрика_1, Молекулярное_лицо_с_улыбкой_1, Кошка_4, Молекулярное_лицо_с_улыбкой_2, Галактика_2, Нанофабрика_2.

sepremento 07.11.20 в 05:54

Из этих наборов данных не обязательно следует, что желаемая классификация выглядит так:

sepremento 09.11.20 в 05:08

Улыбка_1, Улыбка_2, Улыбка_3, Улыбка_4

sepremento 09.11.20 в 05:09

Хмурый_1, Кошка_1, Хмурый_2, Хмурый_3, Кошка_2, Лодка_1, Автомобиль_1, Хмурый_5, Хмурый_6, Кошка_3, Галактива_1, Хмурый_7, Нанофабрика_1, Молекулярное_лицо_с_улыбкой_1, Кошка_4, Молекулярное_лицо_с_улыбкой_2, Галактика_2, Нанофабрика_2.

sepremento 09.11.20 в 05:10

а не так:

sepremento 09.11.20 в 05:10

Улыбка_1, Улыбка_2, Улыбка_3, Молекулярное_лицо_с_улыбкой_1, Молекулярное_лицо_с_улыбкой_2, Улыбка_4

sepremento 09.11.20 в 05:11

Хмурый_1, Кошка_1, Хмурый_2, Хмурый_3, Кошка_2, Лодка_1, Автомобиль_1, Хмурый_5, Хмурый_6, Кошка_3, Галактива_1, Хмурый_7, Нанофабрика_1, Кошка_4, Галактика_2, Нанофабрика_2.

sepremento 09.11.20 в 05:11

Обе этих классификации совместимы с обучающей выборкой. Количество концептов, совместимых с обучающей выборкой будет гораздо больше, поскольку более, чем один концепт можно отобразить на совмещённый набор данных. Если пространство возможных концептов включает пространство возможных вычислений, которые классифицируют сущности, то это пространство бесконечно.

sepremento 09.11.20 в 05:14

Какую классификацию выберет ИИ? Это не внутреннее свойство обучающей выборки. Это свойство процедуры индукции ИИ.

sepremento 09.11.20 в 05:15

Что такое правильная классификация? Это не свойство обучающей выборки. Это свойство твоих предпочтений (или, если угодно, свойство идеализированной абстрактной динамики, которую называют "правильно").

sepremento 09.11.20 в 05:16

Концепт, который вы предпочитаете, наводит свою тень на обучающую выборку по мере того, как помечаете каждую сущность "+" или "-", опираясь на свой интеллект и предпочтения в процессе. В этом вся суть обучения с учителем --- предоставить ИИ обучающую выборку, которая будет тенью причинно-следственного процесса, который создал эти метки.

sepremento 09.11.20 в 05:18

Но кроме случаев, когда обучающая выборка получена из строго того же самого контекста, что происходит на практике, эта обучающая выборка будет недостаточной в некотором смысле, она будет проекцией из некоторого пространства с большей размерностью возможностей.

sepremento 10.11.20 в 04:52

ИИ никогда не видел крохотное молекулярное улыбающееся лицо во время своей фазы обучения, которая глупее, чем человек, и никогда не встречал крохотных агентов, чей счётчик счастья был выставлен в гуголплекс. Если, в свою очередь, вам показать крохотное улыбающееся лицо или, возможно, крошечную реалистичную скульптуру лица человека, то вы будете знать, что это не считается за улыбку. Однако это суждение отражает неестественную категорию, такую, где граница классификации будет в значительной степени зависеть от ваших комплексных ценностей. Именно ваши планы и желания действуют, когда вы говорите "Нет!".

sepremento 10.11.20 в 04:56

Хиббард инстинктивно знает, что крохотное молекулярное улыбающееся лицо это не "улыбка", потому что знает, чего хочет от своего гипотетического ИИ. Если бы кому-то дали другое задание, например, классифицировать предметы искусства, кто-то мог бы решить, что Мона Лиза, очевидно, улыбается, а не хмурится --- хотя это всего лишь краска на холсте.

sepremento 10.11.20 в 04:58

Как иллюстрирует случай Терри Шайво, технологии открывают нам новый класс пограничных ситуаций, которые выливаются в новые, по сути нравственные, дилеммы. Если показывать ИИ изображения живых и мёртвых людей из эпохи Древней Греции не позволит ИИ принять нравственное решение, будет ли убийством выключить ли систему жизнеобеспечения Терри. Эта информация даже не выводима из существующего набора данных. Случай с Терри Шайво поднимает новые нравственные вопросы, которые относятся к новым нравственным идеям, о которых даже не пришлось бы думать при классификации фотографий живых и мёртвых людей из эпохи Древней Греции. Тогда никто не находился на аппарате поддержания жизни и не дышал с наполовину разжиженным мозгом. Поэтому этот момент не играет никакой роли в процессе, который используется при классификации древнегреческой обучающей выборки и, следовательно, не отбрасывает никакой тени на обучающую выборку и, следовательно, недоступен для вывода из обучающей выборки.

sepremento 10.11.20 в 05:07

Если называть конкретную ошибку или искажение, я вижу две антропоморфных ошибки.

sepremento 10.11.20 в 05:08

Первая ошибка --- недооценить из-за его ценности сложность концепта, который мы придумали . Границы концепта будут зависеть от множества ценностей и, возможно, от сиюминутного нравственного суждения, если мы не встречали ранее некоторых пограничных случаев. Но всё это происходит незаметно, на фоне. Хиббарду просто кажется, что крохотные молекулярные улыбающиеся лица --- это совершенно очевидно не улыбки. А мы не генерируем все возможные пограничные случае, а потому не думаем обо всех сложностях, которые могут возникнуть в переопределении концепта, но ещё не возникли. Поскольку люди недооценивают сложность своих концептов, то они недооценивают сложность получения этих концептов из обучающей выборки (и сложность прямого описания концепта, см. "Скрытая сложность желаний")

sepremento 11.11.20 в 05:30

Вторая ошибка --- это антропоморфный оптимизм. Поскольку Билл Хиббард использует собственный интеллект, чтобы создавать варианты и планы, которые находятся высоко в рейтинге его предпочтений, он с недоверием относится к идее, что сверхинтеллект будет классифицировать крохотные молекулярные улыбающиеся лица, которые он никогда раньше не видел, как положительные примеры "улыбки". Когда Хиббард использует концепт "улыбки" (чтобы описывать желаемое поведение сверхинтеллектов), то расширение понятия "улыбки" на крохотные молекулярные улыбающиеся лица окажется очень низко в рейтинге предпочтений. Это просто очень глупо --- само по себе, как свойство самого концепта --- поэтому, разумеется, сверхинтеллект не будет этого делать. Это ведь очевидно неправильная классификация. Ну конечно, сверхинтеллект сможет увидеть, какие горсти песчинок верные или неправильные.

sepremento 11.11.20 в 05:35