Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Leaky Generalizations

Съедобны ли яблоки? Обычно да, но некоторые яблоки гнилые.

sepremento 16.09.19 в 07:45

Сколько у людей пальцев? Обычно десять, но некоторые люди теряют пальцы и не перестают при этом быть людьми.

sepremento 16.09.19 в 07:46

Любое обобщение будет неточным, разве что вы будете пользоваться уровнями описания гораздо ниже макроскопических объектов -- ниже сообществ, людей, пальцев, тканей, клеток -- на уровне частиц и полей, где законы и правда универсальны.

sepremento 16.09.19 в 07:49

(Впрочем, возможно, есть некоторые исключения...)

sepremento 16.09.19 в 07:49

Чаще всего способом обработки неточных обобщений является их учёт. Если вы идёте за печеньем на рынок, который почти всегда закрывается в 10 вечера, кроме дня благодарения, когда он закрывается в 6 вечера, а сегодня внезапно как раз день геноцида коренных американцев, то лучше бы дойти до рынка до шести вечера, иначе не будет вам печенья.

sepremento 16.09.19 в 07:52

Нашей способности обращаться с дырявыми обобщениями противостоит стремление к завершенности, нам хочется сказать раз и навсегда, что у всех людей десять пальцев, а потом приходить в замешательство в спорных ситуациях.

sepremento 16.09.19 в 07:55

Когда ставки растут, наше стремление к завершенности может расти следом, что приводит к потере желания разбираться в сложном вопросе при максимальной необходимости такого желания.

sepremento 16.09.19 в 07:59

Жизнь была бы сложна, даже если бы наши желания были просты (а это не так). Дырявость дырявых обобщений о том, что надлежит делать дальше будет проистекать из дырявой структуры реального мира. Или, говоря иначе:

sepremento 16.09.19 в 08:02

У инструментальных ценностей часто нет компактного локального описания.

sepremento 16.09.19 в 08:03

Представим ящик с миллионом долларов. Ящик закрыт, но не обычным кодовым замком, а с помощью механизма, управляемого дюжиной клавиш. Если вы понимаете, как работает механизм, то вы сможете подобрать последовательность клавиш и открыть ящик. Причём ящик открывается не единственной последовательностью, а неверная последовательность сожжёт деньги. Если вы ничего не знаете о механизме, то простые правила вроде "нажатие любой кнопки три раза откроет ящик" или "нажатие пяти разных кнопок без повторений сожжёт деньги" вам не помогут.

sepremento 16.09.19 в 08:09

Существует компактное нелокальное описание последовательности клавиш: нажать те клавиши, которые откроют ящик. Написать компактную программу, которая определит правильные и неправильные последовательности, можно, но эта программа должна описывать механизм, а не сами клавиши.

sepremento 16.09.19 в 08:10

Аналогично, существует локальное, но не компактное описание последовательности клавиш: колоссальная таблица с результатами для каждого возможного сочетания клавиш. Это очень большая компьютерная программа и в ней не упоминается ничего, кроме клавиш.

sepremento 17.09.19 в 06:14

При этом невозможности просто и только упоминая клавиши описать, какие последовательности будут хорошими, плохими или нейтральными.

sepremento 17.09.19 в 06:15

Хуже того, могут существовать заманчивые обобщения, которые в конце концов окажутся дырявыми. Возможно троекратное нажатие большинства клавиш подряд откроет ящик, но одна клавиша сожжёт деньги, если нажать её лишь один раз. Можно решить, что идеальное обобщение найдено -- описанный локально класс последовательностей, который всегда открывает ящик -- а окажется, что возникла ошибка в описании возможных способов работы машины или в оценке побочных эффектов.

sepremento 17.09.19 в 06:18

Механизм в данном примере это метафора для сложности реального мира. Открытый ящик (что хорошо) и огнемёт (что плохо) представляют собой осколки желаний, из которых состоят наши терминальные ценности. Клавиши олицетворяют собой доступные нам действия, стратегии и политики.

sepremento 17.09.19 в 06:20

Если задуматься, сколько существует способов оценить исходы и насколько сложны пути, ведущие к ним, удивительно, что вообще существует какие-либо этические рекомендации. (Из которых наиболее странной, но при этом полезной является "цель не оправдывает средства")

sepremento 17.09.19 в 06:22

И наоборот, сложность действий не обязательно свидетельствует о сложности цели. Часто встречаются люди, которые мудро улыбаются и приговаривают "ну, мораль сложная штука, знаете ли, женское обрезание может быть правильным в одной культуре и неправильным в другой, да и вообще, пытать людей не всегда плохо. Какая наивность, какое глупое стремление к обобщениям считать, что могут существовать простые правила."

sepremento 17.09.19 в 06:25

Любое убийство имеет отрицательную полезность, можно заявить это прямо и безусловно. Да, даже убийство Гитлера. Это не означает, что не стоит убивать Гитлера. Это означает, что общая полезность убийства Гитлера складывается из огромной отрицательной полезности его смерти и ещё значительно большей доли положительной полезности всех спасенных жизней.

sepremento 18.09.19 в 09:35

Многие люди совершают ошибку, о которой я предупреждал в эссе "Терминальные ценности и инструментальные ценности": они думают, что если результирующая ожидаемая полезность последствий смерти Гитлера оказывается положительной, то мгновенная локальная терминальная полезность его смерти также является положительной. А это, в свою очередь, означает, что принцип "смерть это всегда плохо" является дырявым обобщением. Ошибка здесь заключается в двойном подсчёте, причем полезности, а не вероятности. Создается резонанс между полезностью и ожидаемой полезностью, вместо одностороннего потока от полезности к ожидаемой полезности.

sepremento 18.09.19 в 09:41

Может быть всё дело в желании найти политику (в смысле курса действий) без недостатков.

sepremento 18.09.19 в 09:43

В рамках моей моральной философии локальная полезность смерти Гитлера постоянна и отрицательна, независимо от внешних последствий и, соответственно, ожидаемой полезности.

sepremento 18.09.19 в 09:44

Разумеется, можно составить моральный аргумент, будто наказывать злых людей есть добро, в том числе применять смертную казнь для достаточно злых людей. Этот аргумент не получится подкрепить указанием на спасение других людей как следствие убийства человека, держащего оружие. Ведь это апелляция к ценности жизни, а не ценности смерти. Даже если ожидаемые полезности запутанные и дырявые, из этого не следует с необходимостью, что локальные полезности также являются дырявыми и запутанными. Они могут быть таковыми! Но это уже другой разговор.

sepremento 18.09.19 в 09:50