Готовый перевод Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: Ends: An Introduction

Теория ценности это наука о том, что важно для человека. Это наука о наших целях, наших вкусах, наших боли и удовольствии, наших страхах и амбициях.

Сюда же можно отнести традиционную нравственность. Теория ценности включает в себя явления, о которых мы хотели бы заботиться или те явления, о которых мы бы заботились, если бы были мудрее и лучше --- а не только те явления, которые уже нас заботят.

Теория ценности также включает в себя скучные повседневные ценности: искусство, еда, секс, дружба и всё остальное, что даёт жизни аффективную связность. Пойти в кино с другом может быть чем-то ценным даже несмотря на то, что это не нравственная ценность.

Мы находим размышления и споры о ценностях полезными, поскольку то, как действуем, не всегда соответствует тому, как мы хотели бы действовать. Наши предпочтения могут конфликтовать друг с другом. Мы можем желать иного набора желаний. Нам может не хватать воли, внимания или понимания, чтобы поступать так, как нам бы хотелось.

Людей заботят последствия их действий, но они недостаточно последовательны в этой своей заботе, чтобы их можно было формально охарактеризовать как агентов с функциями полезности. Когда люди не ведут себя так, как им хотелось бы, мы называем это "люди не обладают инструментальной рациональностью".

Теория и практика.

Чтобы добавить сложности, существует разница между тем, как мы хотим поступать по собственным представлениям и тем, как мы на самом деле хотим поступать.

Философы сильно расходятся во мнениях о том, чего мы хотим --- как и психологи, и политики --- и тем, чего нам до́лжно хотеть. Они расходятся во мнениях даже о том, что означает "до́лжно хотеть чего-либо". История теории нравственности и история усилий человечества в координации укрыта телами павших Руководящих Принципов к Высшему Нет-Сейчас-И-Впрямь-Последний-Раз Долженствованию.

Если вы пытаетесь придумать надёжные и прагматичные описания своих целей и не просто для победы в философских дебатах, а (например) чтобы создать безопасный независимый адаптивный ИИ, или для постройки действующих институтов и организаций, или чтобы легче было решать, какому благотворительному фонду жертвовать деньги, или чтобы определить, какие добродетели вам следует культивировать --- то послужной список человека в плане теории ценности не сулит вам ничего хорошего.

"Просто доброта" содержит в себе три цепочки постов о ценностях человека: "Фальшивые предпочтения" (о неудачных попытках теории ценности), "Теория ценности" (о препятствиях к разработке новой теории и некоторых желаемых характеристиках такой теории) и "Численный гуманизм" (о каверзном вопросе, как именно следует применять такие теории к нашим повседневным нравственным суждениям).

Последняя из этих тем наиболее важна. Цена нормативной теории определяется тем, насколько хорошо её можно перенести на практику. Приобретение более глубокого и полного понимания своих ценностей должно сделать вас лучше в их реализации. Как минимум ваша теория не должна препятствовать практике. Чего хорошего иначе в том, чтобы знать, что хорошо?

Согласование искусства прикладной этики (и прикладной эстетики, и прикладной экономики, и прикладной психологии) и лучших данных, которые нам доступны, приводит к сведению теорий до вопроса: "Когда нам следует доверять своим мгновенным суждениям, а когда их надлежит отвергнуть?"

Во многих случаях наши модели ценностей настолько ненадежны или непрактичны, что лучше довериться своим первым порывам. Во многих других случаях, мы можем поступить лучше, применив более информированный и систематический подход. Нет ответа на все случаи жизни. Придётся тщательно изучать примеры и пытаться заметить разницу в сигналах "здесь не сработают сложные теории" и "здесь не сработают наивные эмоции".

Путешествие и пункт назначения.

Повторяющимися вопросами на следующих страницах будут: "Куда нам надлежит двигаться? Какие исходы по-настоящему ценны?"

Чтобы ответить на них, Юдковский предлагает термин "теория веселья". Теория веселья --- попытка определить образ идеального будущего. Не просто систему управления или нравственного кода, согласно которой мы, в идеале, хотели бы жить, но те приключения, в которых мы хотели бы принять участия, вид музыки, который мы хотели бы сочинять и всё остальное, чего нам в конечном итоге хочется от жизни.

Будучи направленными в будущее, вопросы теории веселья перекликаются с вопросами трансгуманизма, точкой зрения, что можно в значительной степени улучшить положение человека, если возникнет достаточно большой научный и социальный прогресс.[fn][\fn] Трансгуманизм привел к некоторым дебатам в нравственной философии, таким как, должны ли наилучшие долгосрочные исходы для разумной жизни базироваться на гедонизме (стремлении к наслаждению) или на более сложных понятиях эвдемонии (общему благополучию). Другие футуристические идеи, которые обсуждаются в разных местах книги "Рациональность: от ИИ до Зомби" включают в себя крионику (сохранение своего тела в замороженном состоянии после смерти на случай, если медицинские технологии будущего будут способны вас оживить), загрузку разума (реализацию человеческого разума в синтетическом оборудовании) и колонизацию космоса больших масштабов.

Возможно это удивит, но теория веселья одно из самых пренебрегаемых приложений теории ценности. Планирование утопий стало дурным тоном, частично потому, что от них несёт наивностью, а частично потому, что, как показывает опыт, мы очень плохо превращаем утопии в реальность. Даже слово утопия отражает этот цинизм --- оно происходит от греческого "не-место".

И всё же, если мы оставим попытки к созданию истинной, достижимой утопии (или в иной записи eutopia, "хорошее место"), то не так очевидно, приведут ли наши устремления к достижению краткосрочных целей к будущему, которое мы сочтём благоприятным в долгосрочной перспективе. Ценность это не неизбежная особенность мира. Её создание требует работы. И её сохранение требует работы.

Это приводит к следующему вопросу: "Как этого достичь? Какие отношения существуют между хорошими целями и хорошими средствами?"

Когда мы играем в игру, мы хотим наслаждаться процессом. Обычно нам не хочется просто промотать до конца, чтобы нас объявили победителями. Иногда путешествие значит больше, чем точка назначения. Иногда путешествие это всё, что имеет значение.

И тем не менее, бывают другие случаи, когда верно обратное. Иногда конечное состояние попросту слишком важно, чтобы вообще принимать во внимание "путешествие" при принятии решений. Если вы пытаетесь спасти жизнь члену семьи, может быть и неплохо получить какое-то удовольствие от процесса, но можно значительно улучшить шансы на успех, если выбрать менее приятную стратегию...

Во многих случаях наши ценности сосредоточены в исходах наших действий и нашем будущем. Нас заботит, как будет выглядеть мир в конечном итоге, особенно те части мира, которые могут любить, хотеть и страдать.

Как отрешённые абстрактные теории можно сопоставить с яркими, эмоционально-окрашенными чувствами в этих случаях? Или, если говорить более общо: каковы нравственные связи между действиями и их последствиями?

Это сложные вопросы, но возможно получится сделать хоть какие-то подвижки в понимании их значения. Что мы встраиваем в термин "ценный" в самом начале наших рассуждений?

Вот один из примеров трансгуманистического тезиса: "В течение ближайших десятилетий или столетий мы, возможно, сможем победить старение и болезни. Это по сути остановит смерти по естественным причинам и поместит нас в положение организмов с пренебрежимо малым старением --- лобстеров, гигантских черепах Альдабра и так далее. Следовательно следует инвестировать в предотвращение болезней и технологий обращения старения." Эта идея считается трансгуманистической, поскольку искоренение главных причин травм и смерти в значительной мере изменит жизнь человечества.

Бостром и Савулеску делают обзор аргументов за и против радикального улучшения человека, среди них, например, возражение Сандела, что слишком сильное вмешательство в биологию человека приведёт к тому, что факт жизни будет ощущаться меньшим "подарком". Бостром, "История трансгуманистической мысли" даёт контекст этому спору.

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: идёт перевод

Переведено на Нотабеноиде
http://notabenoid.org/book/80377/489048

Переводчики: sepremento