Готовый перевод Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 276. Sympathetic Minds

Сострадательный разум

"Зеркальные нейроны" это такие нейроны, которые активируются как во время действия, так и во время просмотра действия --- например, один и тот же нейрон активируется, когда вы вытягиваете палец или когда кто-то другой вытягивает палец. Такие нейроны были напрямую записаны у приматов и результаты исследований в МРТ дают свидетельства их наличия у людей.

Вы можете помнить из моих прошлых записей на тему "эмпатического суждения" идею, что мозги настолько сложны, что единственный способ стимулировать их --- это заставить похожий мозг вести себя похожим образом. Мозг настолько сложен, что если бы человек пытался понять мозг тем же способом, каким мы понимаем, например, гравитацию или автомобиль --- наблюдаем целое, наблюдаем части, выстраиваем теорию из самых основ --- тог мы бы не смогли придумать хороших гипотез за время наших смертных жизней. Единственный доступный способ понять систему столь сложную, как Иной Разум, заключается в том, чтобы взять что-то исключительно похожее на этот Иной Разум --- а именно свой мозг --- и заставить его вести себя похожим образом и использовать в качестве гипотезы, на основе которой делать прогнозы.

Это я буду называть "эмпатией".

А "сострадание" это уже нечто надстроенное поверх этого механизма --- улыбка, если кто-то улыбается, страдание, если кто-то другой страдает. Дело выходит за рамки предсказаний в область подкреплений.

Можно спросить: "Почему бессердечный естественный отбор стал бы создавать что-то столь милое?"

Всё могло начаться, возможно, с материнской любви к своим детям или с братской любви к родственнику. Можно желать им жизни, можно желать им быть сытыми, разумеется. Но если ты улыбаешься и вздрагиваешь вместе с ними, то такой простой механизм позволяет тебе помогать им в широком смысле, во всех областях жизни. И пока вы находитесь в окружающей среде наших предков, желания наших родственников, вероятно, имеют отношение к репродуктивному успеху наших родственников --- это объяснение для давления естественного отбора, а не осознаваемое убеждение.

Можно спросить: "Почему бы тогда не развить более абстрактное стремление видеть, как конкретные люди, помеченные как 'родственники', получают желаемое и не чувствовать то же самое, что и они?". А я пожму плечами и отвечу: "Потому что потребовалось бы целое определение 'желания' и всего прочего. Эволюция не выбирает сложный правильный оптимальный путь, она лишь ниспадает по ландшафту приспособленности, подобно воде в водопаде. Архитектура отзеркаливания уже была, нужен был лишь короткий шаг от эмпатии до сострадания и он решал нужную задачу."

От родных --- к взаимному обмену с союзниками в племени, с партнёрами по обмену услугами. Око за око, так появился эволюционный механизм учёта социальной репутации.

Кто самый грозный среди людей? Самый сильный? Самый умный? Чаще чем любой из этих людей, самым грозным окажется тот, кто сможет позвать больше друзей.

И как же завести много друзей?

Можно было бы обладать особым стремлением приносить союзникам пищу, подобно летучим мышам-вампирам --- у них есть целая система взаимного донорства крови в колониях. Но гораздо более обобщённым стремлением, которое заставит организм помнить об услугах, станет улыбка, когда кто-то, обозначенный как "друг", улыбается.

А какой вид организма будет избегать обобщённой ситуации, когда он сердит своих друзей? Тот, который вздрагивает, когда они вздрагивают.

Разумеется, также нужно суметь убить Врага без колебаний --- мы тут о людях говорим.

Но... я не уверен в этом, но мне кажется, что сострадание по умолчанию в людях находится в состоянии "включено". Есть культуры, которые помогают незнакомцам... и есть культуры, которые едят незнакомцев. Вопрос в том, что из этого требует явного императива, а что является человеческим поведением по умолчанию. Не думаю, что поведу себя как чокнутый дурак-идеалист, если скажу, что на основе моих ограниченных знаний антропологии, кажется, будто сострадание включено по умолчанию.

Так или иначе... больно стоять в стороне и смотреть на войну двух сторон, когда сострадание у тебя не выключено ни для одной из них, поэтому ты вздрагиваешь от вида мёртвого ребёнка и неважно, какая подпись на фото. И тем не менее, у каждой из этих сторон нет сочувствия друг к другу, и они продолжают убивать.

Такова человеческая идиома сострадания --- странная, сложная, глубокая реализация взаимопомощи. Через неё разум связывается с другими, но не посредством некоего слагаемого в функции полезности, которое учитывает "желание" другого разума, но через более простой механизм зеркальных нейронов с гораздо большими последствиями --- мы чувствуем то, что чувствует другой разум и ищем похожих состояний. Даже если это и происходит пока только через наблюдения и выводы, а не через прямую передачу информации с нейронов.

Эмпатия это человеческий способ предсказывать другой разум. И это не единственный возможный способ.

Мозг человека нельзя мгновенно перепаять. Если оказаться в тёмной комнате, то нельзя переделать зрительную часть коры головного мозга в слуховую кору, чтобы лучше обрабатывать звуки, пока мы внутри, а потом переделать обратно в нейроны зрительной коры.

ИИ, по крайней мере тот, что будет запущен на чём-то похожем на современные архитектуры, сможет с лёгкостью перемещать вычислительные ресурсы с одного потока на другой. Поместили в темноту? Выключить зрение и передать эти ресурсы на звук. Переместить старую программу на диск, чтобы освободить оперативную память, а затем вернуть обратно, когда свет включится.

Поэтому зачем ИИ заставлять свой разум входить в состояние, похожее на то, что он хочет предсказать? Просто создай отдельный экземпляр класса разум, с другими алгоритмами, возможно, чтобы лучше симулировать этих столь непохожих на него людей. Не нужно пытаться смешивать этих данные с состоянием своего разума. Не нужно использовать зеркальные нейроны. Подумать только, какой это риск и какая путаница может возникнуть!

Максимизатор ожидаемой полезности --- особенно тот, который понимает интеллект на абстрактном уровне --- обладает другими возможностями, помимо эмпатии, когда вопрос касается понимания другого разума. Такому агенту не нужно помещать себя на чьё-либо место, он может напрямую моделировать другой разум. Гипотеза, такая же, как и любая другая, просто чуть больше. Вам не нужно становиться обувью, чтобы понять обувь.

А сострадание? Ну, представим, что мы имеем дело с максимизатором скрепок, но он ещё недостаточно силён, чтобы делать всё так, как он захочет --- вначале ему нужно разобраться с людьми, чтобы перейти к скрепкам. А потому агент скрепок... моделирует людей как важные части окружающей среды, моделирует их вероятные реакции на разные раздражители и затем делает те вещи, которые заставят людей вести себя благоприятно по отношению к его желаемому будущему.

Для максимизатора скрепок, люди это просто механизмы, у которых можно нажимать на кнопки. Нет нужды чувствовать то, что чувствуют другие, даже если бы это было возможно с учётом огромного разрыва во внутренней архитектуре. Как максимизатор скрепок мог бы "почувствовать себя счастливым" при виде улыбки человека? "Счастье" это идиома для политики обучения с подкреплением, а не максимизации ожидаемой полезности. Максимизатор скрепок не чувствует себя счастливым, когда делает скрепки, он просто выбирает те действия, которые ведут к наибольшему ожидаемому количеству скрепок. Впрочем, такой агент мог бы посчитать удобным изображать улыбку при создании скрепки --- чтобы манипулировать людьми, которые обозначили его как друга.

Возможно сложно представить себе такой алгоритм --- поместить себя на место чего-то, что действует не так, как вы и даже не так, как любой режим работы мозга, в который вы могли бы заставить свой мозг перейти.

Можно заставить свой мозг работать в режиме ненависти к врагу, но это тоже неправильное сравнение. Чтобы представить, как разум поистине лишённый сострадания видит человека, представьте полезный механизм со множеством переключателей. Только не механизм в форме человека, у нас для такого есть инстинкты. Просто пилораму или что-то в этом духе. Некоторые рычажки на машине заставляют её выплёвывать монетки, другие могут заставить её пальнуть из оружия. У машины есть устойчивое внутреннее состояние и нужно дёрнуть рычажки в правильной последовательности. Несмотря ни на что, это всего лишь сложная система с причинно-следственными связями --- ничего в ней внутренне разумного нет.

(Чтобы понять оптимизационный процесс, лишённый сочувствия, я бы предложил поизучать естественный отбор, который не стал добавлять анестезию смертельно раненым или умирающим существам, даже когда эта боль не служит более никаким воспроизводственным целям, потому что сама анестезия также не служила бы репродуктивным целям.)

Вот почему я ставлю "сострадание" даже перед "скукой" в своём списке вещей, которые обязательны для пришельцев, которые, уж простите, сострадательны. Нет ничего невозможного в том, что сострадание существует среди значительно доли всех развитых разумных видов пришельцев. Зеркальные нейроны кажутся такой штукой, которая, единожды возникнув, может возникнуть вновь.

Пришельцы, лишённые сострадания, могут быть торговыми партнёрами, а могут и не быть --- звёзды и подобные им ресурсы примерно одинаковы по всей Вселенной. Мы можем заключать с ними договоры, а они могут их соблюдать из рассчитанного страха возмездия. Мы даже могли бы сотрудничать в дилемме заключённого. Но нам никогда не стать с ними друзьями. Они никогда не станут воспринимать нас иначе, чем средства для достижения целей. Они не прольют по нам слёз и не улыбнутся нашим радостям. А другим представителям их вида даже не придёт в голову делать иначе или допустить, что они могут упускать нечто важное.

Такие пришельцы будут варелез, а не раман [fn]Отсылка ко вселенной книг Орсона Скотта Карда: "«раман» — человекоподобное существо, но представитель другого вида. Четвертое: «варелез» — обозначает подлинного чужака, в том числе и всех животных, ибо общение между нами и ними невозможно", "Голос тех, кого нет", глава 2 [/fn] --- тот вид пришельцев, с которыми мы никак не сможем породниться и даже нет смысла пытаться.

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: идёт перевод

Переведено на Нотабеноиде
http://notabenoid.org/book/80377/490400

Переводчики: sepremento