Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: Ends: An Introduction

Теория ценности это наука о том, что важно для человека. Это наука о наших целях, наших вкусах, наших боли и удовольствии, наших страхах и амбициях.

sepremento 11.10.20 в 04:11

Сюда же можно отнести традиционную нравственность. Теория ценности включает в себя явления, о которых мы хотели бы заботиться или те явления, о которых мы бы заботились, если бы были мудрее и лучше --- а не только те явления, которые уже нас заботят.

sepremento 11.10.20 в 04:13

Теория ценности также включает в себя скучные повседневные ценности: искусство, еда, секс, дружба и всё остальное, что даёт жизни аффективную связность. Пойти в кино с другом может быть чем-то ценным даже несмотря на то, что это не нравственная ценность.

sepremento 11.10.20 в 04:15

Мы находим размышления и споры о ценностях полезными, поскольку то, как действуем, не всегда соответствует тому, как мы хотели бы действовать. Наши предпочтения могут конфликтовать друг с другом. Мы можем желать иного набора желаний. Нам может не хватать воли, внимания или понимания, чтобы поступать так, как нам бы хотелось.

sepremento 11.10.20 в 04:16

Людей заботят последствия их действий, но они недостаточно последовательны в этой своей заботе, чтобы их можно было формально охарактеризовать как агентов с функциями полезности. Когда люди не ведут себя так, как им хотелось бы, мы называем это "люди не обладают инструментальной рациональностью".

sepremento 11.10.20 в 04:18

Теория и практика.

sepremento 11.10.20 в 04:19

Чтобы добавить сложности, существует разница между тем, как мы хотим поступать по собственным представлениям и тем, как мы на самом деле хотим поступать.

sepremento 11.10.20 в 04:20

Философы сильно расходятся во мнениях о том, чего мы хотим --- как и психологи, и политики --- и тем, чего нам до́лжно хотеть. Они расходятся во мнениях даже о том, что означает "до́лжно хотеть чего-либо". История теории нравственности и история усилий человечества в координации укрыта телами павших Руководящих Принципов к Высшему Нет-Сейчас-И-Впрямь-Последний-Раз Долженствованию.

sepremento 11.10.20 в 04:24

Если вы пытаетесь придумать надёжные и прагматичные описания своих целей и не просто для победы в философских дебатах, а (например) чтобы создать безопасный независимый адаптивный ИИ, или для постройки действующих институтов и организаций, или чтобы легче было решать, какому благотворительному фонду жертвовать деньги, или чтобы определить, какие добродетели вам следует культивировать --- то послужной список человека в плане теории ценности не сулит вам ничего хорошего.

sepremento 11.10.20 в 04:28

"Просто доброта" содержит в себе три цепочки постов о ценностях человека: "Фальшивые предпочтения" (о неудачных попытках теории ценности), "Теория ценности" (о препятствиях к разработке новой теории и некоторых желаемых характеристиках такой теории) и "Численный гуманизм" (о каверзном вопросе, как именно следует применять такие теории к нашим повседневным нравственным суждениям).

sepremento 11.10.20 в 04:31

Последняя из этих тем наиболее важна. Цена нормативной теории определяется тем, насколько хорошо её можно перенести на практику. Приобретение более глубокого и полного понимания своих ценностей должно сделать вас лучше в их реализации. Как минимум ваша теория не должна препятствовать практике. Чего хорошего иначе в том, чтобы знать, что хорошо?

sepremento 11.10.20 в 04:33

Согласование искусства прикладной этики (и прикладной эстетики, и прикладной экономики, и прикладной психологии) и лучших данных, которые нам доступны, приводит к сведению теорий до вопроса: "Когда нам следует доверять своим мгновенным суждениям, а когда их надлежит отвергнуть?"

sepremento 11.10.20 в 04:36

Во многих случаях наши модели ценностей настолько ненадежны или непрактичны, что лучше довериться своим первым порывам. Во многих других случаях, мы можем поступить лучше, применив более информированный и систематический подход. Нет ответа на все случаи жизни. Придётся тщательно изучать примеры и пытаться заметить разницу в сигналах "здесь не сработают сложные теории" и "здесь не сработают наивные эмоции".

sepremento 12.10.20 в 04:51

Путешествие и пункт назначения.

sepremento 12.10.20 в 04:52

Повторяющимися вопросами на следующих страницах будут: "Куда нам надлежит двигаться? Какие исходы по-настоящему ценны?"

sepremento 12.10.20 в 04:52

Чтобы ответить на них, Юдковский предлагает термин "теория веселья". Теория веселья --- попытка определить образ идеального будущего. Не просто систему управления или нравственного кода, согласно которой мы, в идеале, хотели бы жить, но те приключения, в которых мы хотели бы принять участия, вид музыки, который мы хотели бы сочинять и всё остальное, чего нам в конечном итоге хочется от жизни.

sepremento 12.10.20 в 04:56

Будучи направленными в будущее, вопросы теории веселья перекликаются с вопросами трансгуманизма, точкой зрения, что можно в значительной степени улучшить положение человека, если возникнет достаточно большой научный и социальный прогресс.[fn][\fn] Трансгуманизм привел к некоторым дебатам в нравственной философии, таким как, должны ли наилучшие долгосрочные исходы для разумной жизни базироваться на гедонизме (стремлении к наслаждению) или на более сложных понятиях эвдемонии (общему благополучию). Другие футуристические идеи, которые обсуждаются в разных местах книги "Рациональность: от ИИ до Зомби" включают в себя крионику (сохранение своего тела в замороженном состоянии после смерти на случай, если медицинские технологии будущего будут способны вас оживить), загрузку разума (реализацию человеческого разума в синтетическом оборудовании) и колонизацию космоса больших масштабов.

sepremento 12.10.20 в 05:04

Возможно это удивит, но теория веселья одно из самых пренебрегаемых приложений теории ценности. Планирование утопий стало дурным тоном, частично потому, что от них несёт наивностью, а частично потому, что, как показывает опыт, мы очень плохо превращаем утопии в реальность. Даже слово утопия отражает этот цинизм --- оно происходит от греческого "не-место".

sepremento 12.10.20 в 05:07

И всё же, если мы оставим попытки к созданию истинной, достижимой утопии (или в иной записи eutopia, "хорошее место"), то не так очевидно, приведут ли наши устремления к достижению краткосрочных целей к будущему, которое мы сочтём благоприятным в долгосрочной перспективе. Ценность это не неизбежная особенность мира. Её создание требует работы. И её сохранение требует работы.

sepremento 12.10.20 в 05:11

Это приводит к следующему вопросу: "Как этого достичь? Какие отношения существуют между хорошими целями и хорошими средствами?"

sepremento 12.10.20 в 05:11

Когда мы играем в игру, мы хотим наслаждаться процессом. Обычно нам не хочется просто промотать до конца, чтобы нас объявили победителями. Иногда путешествие значит больше, чем точка назначения. Иногда путешествие это всё, что имеет значение.

sepremento 12.10.20 в 05:12

И тем не менее, бывают другие случаи, когда верно обратное. Иногда конечное состояние попросту слишком важно, чтобы вообще принимать во внимание "путешествие" при принятии решений. Если вы пытаетесь спасти жизнь члену семьи, может быть и неплохо получить какое-то удовольствие от процесса, но можно значительно улучшить шансы на успех, если выбрать менее приятную стратегию...

sepremento 12.10.20 в 05:25

Во многих случаях наши ценности сосредоточены в исходах наших действий и нашем будущем. Нас заботит, как будет выглядеть мир в конечном итоге, особенно те части мира, которые могут любить, хотеть и страдать.

sepremento 13.10.20 в 05:44

Как отрешённые абстрактные теории можно сопоставить с яркими, эмоционально-окрашенными чувствами в этих случаях? Или, если говорить более общо: каковы нравственные связи между действиями и их последствиями?

sepremento 13.10.20 в 05:46

Это сложные вопросы, но возможно получится сделать хоть какие-то подвижки в понимании их значения. Что мы встраиваем в термин "ценный" в самом начале наших рассуждений?

sepremento 13.10.20 в 05:48

Вот один из примеров трансгуманистического тезиса: "В течение ближайших десятилетий или столетий мы, возможно, сможем победить старение и болезни. Это по сути остановит смерти по естественным причинам и поместит нас в положение организмов с пренебрежимо малым старением --- лобстеров, гигантских черепах Альдабра и так далее. Следовательно следует инвестировать в предотвращение болезней и технологий обращения старения." Эта идея считается трансгуманистической, поскольку искоренение главных причин травм и смерти в значительной мере изменит жизнь человечества.

sepremento 13.10.20 в 05:52

Бостром и Савулеску делают обзор аргументов за и против радикального улучшения человека, среди них, например, возражение Сандела, что слишком сильное вмешательство в биологию человека приведёт к тому, что факт жизни будет ощущаться меньшим "подарком". Бостром, "История трансгуманистической мысли" даёт контекст этому спору.

sepremento 13.10.20 в 05:56