Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: V. Value Theory. 277. High Challenge

Большой вызов.

sepremento 22.11.20 в 04:43

Существуют предсказания такого вида: "В будущем машины будут делать всю работу. Всё будет автоматизировано. Даже тот труд, который мы сейчас считаем «интеллектуальным», вроде инженерного дела, будут выполнять машины. А мы будем только владеть капиталом и нам никогда не потребуется впредь даже пальцем шевелить."

sepremento 18.11.20 в 04:18

Но разве тогда люди не заскучают?

sepremento 18.11.20 в 04:18

Нет. Они смогут играть в компьютерные игры --- не такие, как сейчас, разумеется, гораздо более совершенные и увлекательные.

sepremento 18.11.20 в 04:19

Но подождите! Когда покупаешь современную компьютерную игру, то обнаруживаешь, что некоторые задачи в ней, за неимением лучшего выражения, требуют усилий. (Я бы даже сказал "сложные", с учётом, что мы говорим о задаче на 10 минут, а не на 10 лет.)

sepremento 18.11.20 в 04:21

Так что в будущем у нас будут программы, которые помогут играть в игры --- перехватывая управление, если ты застрял или заскучал. Или такие, чтобы можно было играть в игры, которые в противном случае были бы слишком сложны.

sepremento 18.11.20 в 04:23

Но разве это не пустая трата усилий? Зачем одному программисту работать, чтобы сделать игру сложнее, а другому программисту работать, чтобы сделать игру проще? Почему бы не сделать игру простой изначально? И раз уж мы играем в игру ради золотых очков опыта, то более простая игра позволит получать больше золота в единицу времени: игра станет более весёлой.

sepremento 18.11.20 в 04:25

И вот вам предельный случай пророчества технологического прогресса --- бесконечно пялиться в экран с надписью "Вы победили".

sepremento 18.11.20 в 04:26

И, возможно, мы сделаем робота и для этого.

sepremento 18.11.20 в 04:26

А затем что?

sepremento 18.11.20 в 04:26

Мир, в котором машины делают всю работу... ну, я не хочу говорить, что он "аналогичен христианскому Раю", потому что он не будет сверхъестественным и в принципе его можно реализовать. Религиозные аналогии слишком легко представить как обвинения... Но без уточнения любых других сравнений, я всё-таки скажу, что он аналогичен в том смысле, что вечная лень "звучит как хороший план" нынешнему я, которому всё ещё нужно работать.

sepremento 18.11.20 в 04:31

А что до игр, как до заместителей деятельности --- что такое компьютерная игра помимо искусственной работы? Разве здесь не присутствует лишний этап? (И компьютерные игры, в своей современной форме, если их рассмотреть как работу, имеют различные аспекты, которые снижают стресс и увеличивают вовлечение, но также несут в себе и плату в виде искусственности и изоляции.)

sepremento 18.11.20 в 04:34

Иногда мне кажется, что футуристические идеалы в виде "избавиться от работы" нужно переформулировать как "избавиться от работы низкого качества, чтобы оставить больше места для работы высокого качества".

sepremento 18.11.20 в 04:35

Существует широкий класс целей, которые не подходят на роль долгосрочного смысла жизни, потому что их и правда можно достичь, а потом станет нечего делать.

sepremento 18.11.20 в 04:36

Если взглянуть под другим углом, то если мы ищем подходящий долгосрочный смысл жизни, то нам нужны цели, которые легко преследовать и не так легко достичь.

sepremento 18.11.20 в 04:37

Или, если сформулировать это в менее парадоксальной форме: следует искать оценки 4D состояний, а не 3D состояний. Важные запущенные процессы, а не "заставить вселенную обладать свойством P и закончить на этом."

sepremento 18.11.20 в 04:40

Здесь уместно процитировать Тимоти Ферриса: "Чтобы найти счастье, не нужно задаваться вопросами «Чего я хочу?» и «Каковы мои цели?», но вопросом «Что приносит мне эмоции?»"

sepremento 21.11.20 в 05:42

Можно сказать, что для долгосрочного смысла жизни нужны игры, в которые весело ещё и играть, а не только побеждать.

sepremento 21.11.20 в 05:43

Учтите, иногда всё-таки хочется победить. Существуют вполне себе цели, где всё сводится к победе. Если речь идёт о, скажем, исцелении рака, то страдание, которое испытывает даже один пациент с раком превосходит любое веселье, которое можно ощутить во время решения его проблемы. Если вы работали над лекарством от рака в течение двадцати лет, приложили множество усилий, получили новые знания и навыки, завели друзей и союзников, а затем какой-то инопланетный сверхразум предлагает лекарство от рака на блюдечке с голубой каёмочкой за тридцать баксов --- надо заткнуться и принять его.

sepremento 21.11.20 в 05:46

Но "лекарство от рака" это задача типа 3D: хочется, чтобы предикат нет-рака перешёл из состояния False в настоящем в состояние True в будущем. Важность этой точки назначения значительно перевешивает путешествие. Не хочется просто идти туда, хочется там быть. Есть множество целей такого рода, но они не подходят в качестве долгосрочного веселья. "Исцелить рак!" это достойная деятельность, чтобы ею заниматься здесь и сейчас, но не подходящая будущая цель для галактической цивилизации.

sepremento 21.11.20 в 05:49

Почему этот "ценный продолжающийся процесс" должен быть процессом, в котором мы активно пробуем новое, почему не процесс пассивного переживания, вроде Буддийского рая?

sepremento 21.11.20 в 05:51

Признаюсь, я не до конца уверен, как выстроить разум, который "пассивно воспринимает". Мозг человека спроектирован так, чтобы выполнять внутреннюю работу разного рода, которая складывается в активный интеллект. Даже если вы лежите на кровати и не делаете никаких усилий для размышлений, то мысли, которые приходят на ум --- это активность в зонах мозга, которая направлена на, знаете, решение задач.

sepremento 21.11.20 в 05:53

Какую часть мозга человека можно удалить, исключая центры наслаждения и сохранить субъективный опыт удовольствия?

sepremento 21.11.20 в 05:54

Я не буду это трогать. Я буду придерживаться гораздо более простого ответа: "Я бы предпочел не становиться пассивным восприятием." Если бы я хотел достичь Нирваны, я мог бы попытаться выяснить, как её достичь. Но после того, как мы уберём слова Будды, что Нирвана это предел существования, Нирвана превращается в нечто "звучит хорошо, когда слышишь в первый раз" и "идеологическая вера в желаемое", чем, знаете ли, что-то, чего мне реально бы захотелось.

sepremento 21.11.20 в 05:57

Причина, по которой у меня вообще есть разум, в том, что естественный отбор создал его для делания дел и решения определённого рода задач.

sepremento 21.11.20 в 05:58

"Потому что это в природе человека" --- это не оправдание чего-либо. Есть природа человека в виде того, чем мы являемся. И есть природа человека в виде того, чего мы хотим, будучи людьми.

sepremento 21.11.20 в 05:59

Но я не хочу менять свою природу и становиться более пассивным объектом --- а это оправдание. Счастливый слизень это не то, во что я, будучи человеком, хочу превратиться.

sepremento 21.11.20 в 06:00

Раньше я выдвигал аргументы, что многие ценности требуют как субъективного счастья, так и внешних объектов этого счастья. Что можно иметь функцию полезности, которая звучит так: "Для меня важно, является ли личность, которую я люблю, настоящим человеком или попросту реалистичным неразумным чатботом, даже если я не знаю этого, поскольку я ценю не просто состояние своего разума, а внешнюю реальность." А потому необходимо как переживание любви, так и настоящий человек, которого вы любите.

sepremento 21.11.20 в 06:03

Аналогично, можно делать что-то важное для вас, что потребует серьёзных усилий и вовлечения в настоящее состязание.

sepremento 22.11.20 в 04:33

Когда вы соревнуетесь в беге, то важно, являются ли другие бегуны реальными и есть ли у вас настоящий шанс выиграть или проиграть. (Мы говорим сейчас не о физическом детерминизме, но о том, выбрал ли вас победителем соревнования какой-то внешний оптимизационный процесс.)

sepremento 22.11.20 в 04:36

И ещё важно, что вы используете в соревновании свои навыки бега и собственную силу воли, а не просто нажимаете кнопку с надписью "Победить." (Впрочем, поскольку не вы проектировали свои мышцы ног, то бежите вы с использованием не своей силы. Гонка между роботами-автомобилями это гораздо более чистый пример состязания между их создателями. Много чего можно улучшить в человеке.)

sepremento 22.11.20 в 04:37

И ещё важно, чтобы вы, разумное создание, переживали этот опыт. (Вместо того, чтобы какой-то неразумный процесс реализовывал скелетную имитацию гонки триллион раз в секунду.)

sepremento 22.11.20 в 04:42

Необходимы настоящее усилие, настоящая победа и настоящее переживание --- путешествие, точка назначения и путник.

sepremento 22.11.20 в 04:42