Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: Detached Lever Fallacy

Ошибка отделённого рычага

sepremento 03.10.20 в 03:44

Это ошибка получила своё название из древней научно-фантастической телевизионной передачи, о которой мне рассказал надёжный источник (какой-то парень на конвенте, посвященном научной фантастике), но которую я сам никогда не видел. Если вы знаете точную отсылку, оставьте комментарий.

sepremento 29.09.20 в 03:33

Там хорошие ребята сражаются со злыми пришельцами. В какой-то момент хорошим ребятам надо пролететь через пояс астероидов. Насколько известно, пояс астероидов хуже парковки в Нью-Йорке и кораблю приходится аккуратно лавировать между астероидами. Злые пришельцы же могут пройти весь пояс насквозь, поскольку у них есть потрясающая технология, которая дематериализует их корабли, что позволяет им двигаться через астероиды.

sepremento 29.09.20 в 03:36

В конце концов хорошие ребята захватывают корабль злых пришельцев и заходят внутрь его исследовать. Капитан хороших ребят находит мостик пришельцев, а на мостике находится рычаг. "Ага, --- говорит капитан, --- это должно быть тот рычаг, которые заставляет корабль дематериализоваться!". После этого он берёт этот управляющий рычаг, несёт его на свой корабль и последний получает возможность дематериализоваться.

sepremento 29.09.20 в 03:39

Похожим образом, до сего дня довольно распространены попытки запрограммировать ИИ "семантическими сетями", которые выглядят примерно так:

sepremento 29.09.20 в 03:39

(яблоко это фрукт)

sepremento 29.09.20 в 03:40

(фрукт это еда)

sepremento 29.09.20 в 03:40

(фрукт это растение)

sepremento 29.09.20 в 03:40

Вы видели яблоки, трогали яблоки, брали их в руки и держали, покупали их за деньги, резали их на дольки, ели эти дольки и ощущали их вкус. И хотя мы знаем довольно много о первых этапах обработки изображений, но когда я узнавал в прошлый раз, не было точно известно, как височная доля коры головного мозга хранит и составляет обобщённое изображение яблока, чтобы можно было отличить новое яблоко с другого угла или с большим количеством небольших различий в форме или цвете и текстуре. Двигательная кора и мозжечок хранят программы использования яблока.

sepremento 29.09.20 в 03:44

Вы можете дернуть за рычаги похожей версии этого сложного механизма у другого человека, если напишете "яблоко", шесть символов Юникода на веб-странице.

sepremento 29.09.20 в 03:45

Однако, если этого механизма нет --- если вы пишете "яблоко" внутри так называемой базы знаний так называемого ИИ --- тогда текст это всего лишь рычаг.

sepremento 29.09.20 в 03:46

Я не говорю, что машины из кремния не смогут обладать внутренней организацией подобной человеческой и управляться с яблоками и тысячами других концепций. Если структура из углерода может это делать, то я достаточно уверен, что структура из кремния также будет способна на это. Если пришельцы могут дематериализовывать свои корабли, то вы знаете, что это возможно физически. Можно отправиться на их брошенный корабль и изучить механизмы и, возможно, однажды понять их. Но не надо просто выдёргивать управляющий рычаг из мостика.

sepremento 30.09.20 в 03:33

(см. также: "Поистине часть тебя", "Слова как мысленные кисти", "Искусственный интеллект сталкивается с естественной глупостью" Дрю МакДермота)

sepremento 30.09.20 в 03:37

Основной причиной ошибки отсоединённого рычага является то, что рычаг видно, а внутренние механизмы --- нет. Хуже того, рычаг это переменная, а механизм это подлежащая константа.

sepremento 30.09.20 в 03:38

Все могут слышать, как звучит слово "яблоко" (и позволю себе отметить, что распознавание речи это совсем даже не простая задача, но да ладно...) и можно увидеть текст, написанный на бумаге.

sepremento 30.09.20 в 03:40

С другой стороны, возможно, большинство людей не представляют, что у них есть височная доля. И, насколько мне известно, никто не знает её нейронного кода.

sepremento 30.09.20 в 03:40

Вы слышите слово "яблоко" только в определённых ситуациях, но не в других. Оно то появляется, то исчезает, становится выпуклым. В большой степени восприятие это восприятие разницы. Механизм, который распознаёт яблоки в голове не выключается внезапно, чтобы потом включиться позже --- если бы он так делал, мы бы с большей вероятностью распознали его как фактор, как необходимость.

sepremento 30.09.20 в 03:59

Я всё это пишу, чтобы объяснить, почему нельзя создать добрый Искусственный Интеллект, дав ему хороших родителей и доброе (но иногда строгое) воспитание, как это работает с детьми. Я часто слышал такие предложения.

sepremento 30.09.20 в 04:00

В эволюционной биологии известно, что обусловленные реакции требуют большей генетической сложности, чем безусловные реакции. Чтобы создать меховую шкуру как ответ на холодную погоду требуется больше генетической сложности, чем чтобы создать меховую шкуру независимо от погоды, поскольку в первом случае потребуется также создать сенсоры холодной погоды и прикрутить их к меховой шкуре.

sepremento 30.09.20 в 04:03

Но это может привести к заблуждениям Ламарка: глядите, я поместил организм в холодное окружение и бум, оно создало себе тёплую шубку! Гены? Какие гены? Это всё холод сделал, очевидно.

sepremento 30.09.20 в 04:04

И в самом деле, были такие перебранки в истории эволюционной биологии --- случаи, когда кто-то говорил об ускорении реакции организма или даже пропуске звеньев эволюции, не понимая, что обусловленная реакция была сложной адаптацией более высокого порядка, чем реакция сама по себе. (создание меховой шкуры в ответ на холодную погоду это строго более сложная процедура, чем итоговая реакция, просто создание меховой шкуры)

sepremento 30.09.20 в 04:07

А затем по ходу развития эволюционной психологии перебранки в академии повторились: в этот раз прояснялось, что даже в то время как культура человека содержит огромное количество сложности, она всё равно создана как обусловленный генетический ответ. Попытайтесь взрастить рыбу как мормона или отправить ящерицу в колледж и вы вскоре разберётесь, сколько встроенной генетической сложности требуется, чтобы "впитать культуру из среды".

sepremento 30.09.20 в 04:10

Это особенно важно в эволюционной психологии, из-за идеи, что культура не накладывается на чистую бумагу сознания --- существует управляемая генами условная реакция, которая не всегда выглядит как "мимикрируй под входящий сигнал". Классическим примером являются креольские языки: если дети растут в среде, где вокруг них говорят на смеси псевдоязыков, то дети научаются говорить на грамматически и синтаксически правильном языке. Развивающийся человеческий мозг запрограммирован изучать синтаксический язык, даже когда синтаксиса нет в исходном языке. Условная реакция на слова в окружении оказывается синтаксическим языком с этими словами. Марксисты с сожалением открыли для себя, что никакое количество хмурых лиц на плакатах и вбивания доктрин детям не позволит вырастить идеальных Советских рабочих и бюрократов. Невозможно вырастить людей без чувства "Я" --- не существует такой генетически запрограммированной условной реакции на какой-либо вариант детства.

sepremento 30.09.20 в 04:10

Если вам известна теория игр и логика стратегии "Око за око", то становится ясно, почему у людей может быть условная реакция отвечать ненавистью на ненависть и добром на добро. Однако, нужно учитывать, что добро не должно выглядеть как чересчур безусловное --- всё-таки такие явления, как испорченные дети, существуют. На самом деле существует объяснение шаловливости из эволюционной психологии, основанное на принципе тестирования ограничений. А также следует отметить, что хоть дети, подвергавшиеся насилию, имеют больше шансов начать подвергать насилию своих детей, когда вырастут, всё-таки многие из них разрушают порочный круг и становятся приличными людьми.

sepremento 01.10.20 в 03:51

Культура даже близко не столь сильна, как слишком многие Марксистские академики любили думать раньше. Если хотите узнать об этом больше, я отправляю вас к статье Туби и Космидеса "Психологические основания культуры" и книге Стивена Пинкера "Чистый лист"

sepremento 01.10.20 в 03:55

Но вывод из всего этого такой, что если есть у вас маленький ИИ, который взращивается любящими и заботливыми (но иногда строгими) родителями, то вы дергаете за рычаги, которые у человека активировали бы генетические механизмы, выстроенные за миллионы лет естественного отбора, что привело бы, возможно, к хорошо воспитанному маленькому ребёнку. Впрочем личность тоже играет роль, как выяснили миллиарды родителей каждый в своё время. Мы впитываем свои культуры лишь потому, что мы люди и впитываем человеческие культуры --- если бы человека воспитывали в культуре пришельцев, то он оказался бы гораздо больше похож на человека, чем его воспитатели. Что и выяснили Советы, в некоторой степени.

sepremento 01.10.20 в 04:01

Теперь задумайтесь ещё раз, имеет ли смысл полагаться на воспитание маленького ИИ со случайным исходным кодом добрыми, но строгими родителями как на основную стратегию развития дружественного ИИ.

sepremento 02.10.20 в 03:29

Нет, у ИИ не будет внутренних механизмов условных реакций точь-в-точь, как у человека, "потому что так запрограммируют программисты". С чего бы мне даже начать. Человеческая версия этих механизмов неряшливая, зашумлённая и до некоторой степени вообще работает только из-за миллионов лет проб и ошибок при тестировании в определённых условиях. Будет очень глупо и опасно намеренно создавать "шаловливый ИИ", которые тестирует действием свои социальные границы и требует шлепка. Просто сделайте, чтобы ИИ спрашивал разрешения!

sepremento 02.10.20 в 03:33

Действительно ли программисты будут сидеть и писать код, строка за строкой, посредством которого, если ИИ обнаружит, что у него низкий социальный статус или что он был лишён чего-либо, чего, по его мнению, он достоин, то ИИ затаит постоянную обиду против своих программистов и будет готовить план мести? Эта эмоция --- генетически запрограммированная условная реакция, которую проявляют люди в результате миллионов лет естественного отбора и жизни в человеческих племенах. Но у ИИ такой отклик должен быть запрограммирован. Действительно ли вы собираетесь воссоздавать, строка за строкой --- как это было у людей, ген за геном --- условную реакцию, которая приведёт к ИИ в виде угрюмого подростка?

sepremento 02.10.20 в 03:37

Гораздо проще запрограммировать безусловную любезность, чем любезность при условии, что ИИ был взращён добрыми, но строгими родителями. Если вы не знаете, как это сделать, то вы точно не знаете, как создать ИИ, у которого условной реакцией на окружающую среду с любящими родителями станет взросление в добрый сверхинтеллект. Если у вас есть нечто, что лишь максимизирует количество скрепок в своём световом конусе, а вы даёте его на воспитание любящим родителям, то он всё равно в конечном итоге будет максимизировать скрепки. Внутри него нет ничего такого, что ответило бы условной реакцией ребёнка. Доброта не появляется в ИИ от волшебного чиха его программиста. Даже если бы вам захотелось создать условную реакцию, эта обусловленность потребует осознанного выбора при создании.

sepremento 02.10.20 в 03:45

Да, есть определённая информация, которую нужно получить из среды, но это не заражение, не импринтинг, не впитывание. Создание структуры для такой условной реакции на окружающую среду, чтобы ИИ оказался в конечном итоге в нужном нам состоянии --- само по себе сложная задача. Слово "обучение" значительно приуменьшает её сложность --- оно звучит как будто некое волшебство находится в окружающей среде, а сложность заключается в том, чтобы впихнуть это волшебство внутрь ИИ. Настоящая магия заключается вот в этом структурированной условной реакции, которую мы сводим к "обучению". Вот почему создать ИИ не так просто, как взять компьютер, приделать ему тело маленького ребёнка и попытаться вырастить в человеческой семье. Может показаться, что компьютер, будучи невежественным, окажется готовым к обучению. Но "чистый лист" это химера.

sepremento 02.10.20 в 03:52

В целом, мир гораздо глубже, чем кажется. Равно как существует множество уровней физики, также существует множество уровней когнитивистики. Каждое печатное слово, которое вы видите и всё, чему вы учите детей --- это лишь рычаги на поверхности, которые контролируют гигантские подлежащие механизмы сознания. Только эти рычаги и подлежат повседневному обсуждению, лишь они изменчивы, а потому кажется, будто только они и существуют. Восприятие --- это восприятие различий.

sepremento 03.10.20 в 03:40

А потому те, кто ходит вокруг Подземелья ИИ, обычно сосредотачиваются на создании искусственных имитаций рычагов и совершенно забывают о подлежащих механизмах. Люди создают целые программы ИИ целиком из имитационных рычагов, а потом удивляются, почему ничего не получается. Это лишь одна из многих причин мгновенных отказов ИИ.

sepremento 03.10.20 в 03:42

Поэтому в следующий раз, когда кто-нибудь при вас заговорит о воспитании ИИ в любящей семье или в среде, переполненной либеральными демократическими ценностями, вспомните про управляющий рычаг, выдернутый с капитанского мостика.

sepremento 03.10.20 в 03:43