Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Minds: An Introduction

Вы есть разум, и это приводит к затруднительному положению.

Alaric 10.02.20 в 10:33

Мало что становится разумом. Вы --- тот странный кусочек Вселенной, который может делать предсказания и строить планы, взвешивать и пересматривать убеждения, страдать, мечтать, замечать божьих коровок или внезапно для себя сильно хотеть манго. Вы можете даже нарисовать внутри своего разума картину его же самого. Вы можете рассуждать о собственном процессе рассуждений и стараться, чтобы он лучше соответствовал вашим целям.

Alaric 12.01.20 в 19:16

Вы есть разум, реализованный на базе человеческого мозга. И так уж получилось, что мозг человека, несмотря на всю его чудесную гибкость, подчиняется законам природы. В нём заложены закономерности и шаблоны. Ваш мозг может действовать по шаблону всю жизнь, даже не замечая этого. И эти шаблоны могут приводить к серьёзным последствиям.

Alaric 12.01.20 в 19:23

Когда мыслительный шаблон помогает нам, мы зовём его "рациональностью".

Alaric 12.01.20 в 19:23

Поскольку некоторые из таких воспроизводимых различий влияли на само воспроизводство --- мы называем это явление "отбором" --- эволюция привела к существованию организмов, приспособленных к воспроизводству в средах, в которых жили их предки. Всё, что составляет вас, создано из отголосков борьбы и побед ваших предков.

Alaric 12.01.20 в 19:27

И вот вы здесь: разум, взращённый из более слабых разумов. Вы хотите понять собственное устройство, ведь его можно улучшить --- улучшить, чтобы оно соответствовало вашим целям, а не целям эволюции, которая вас создала. Если мы это понимаем, какие мы можем сделать выводы? Что мы будем делать дальше?

Alaric 12.01.20 в 19:31

Призраки и машины

Если посмотреть на наш мозг вблизи, изучить, как он работает на "низком уровне", то кажется, что он не слишком отличается от множества других механических систем. Однако же обычно мы рассуждаем о своём разуме не так, как мы рассуждаем о других окружающих нас объектах или органах нашего тела. Основные понятия, которые описывают то, что происходит у нас в голове --- убеждение, решение, слово, идея, чувство и так далее --- вроде бы довольно сильно отличаются от понятий, используемых для описания физических объектов.

Alaric 18.01.20 в 16:46

Философы прошлого давно обратили на это внимание. И, опираясь на это наблюдение, они доказывали, что разум и мозг --- это фундаментально разные явления. Философ Гилберт Райл назвал такой взгляд "догмой о призраке в машине"[Часто также встречается перевод "дух в машине". --- Прим.перев.] Современные учёные и философы отказались от этого дуализма, однако с созданием модели, предсказывающей работу разума лучше, возникли сложности. С точки зрения практических рассуждений, наши цели и желания по-прежнему представляются этакими бесплотными духами, отдельным магистериумом, не связанным с другими научными знаниями. Мы можем рассуждать о "рациональности", "искажениях", о том, "как менять своё мнение", однако эти идеи неточны, их не ограничивает какая-то всеобъемлющая теория. Наукообразные слова не защитят нас от тех же ошибок, какие совершают люди, рассуждающие о духах и сущностях.

Alaric 18.01.20 в 17:00

Занимательно, что окружающие разум тайны и загадки мешают нам понять не только человека. Они также цепляются ко всему, что кажется разумным или имеющим цель, и не важно, рассуждаем мы об эволюционной биологии или об искусственном интеллекте. Возможно, если мы не в состоянии разобраться в себе, глядя только на себя, мы сможем что-нибудь понять, используя в качестве зеркала очевидно нечеловечные процессы.

Alaric 18.01.20 в 17:26

И для этого мы можем изучать множество призраков --- прошлого, настоящего и грядущего. Иллюзии эти являются реально существующими когнитивными событиями, явлениями, которые можно изучить и объяснить. Если нечто выглядит, как призрак в машине, то это результат невидимой нам работы машины.

Alaric 18.01.20 в 17:30

Цель первой цепочки тома "Машины в призраке" --- "Простая математика эволюции" --- описать несоответствия и различия между историей нашего происхождения, нашей современной биологией и нашими устремлениями. Обычные рассказы об эволюции для не-биологов сводятся к поверхностному описанию свойств естественного отбора. Здесь же мы пойдём несколько глубже.

Alaric 18.01.20 в 17:36

В третьей цепочке --- "Как люди понимают слова" --- обсуждаются основные связи между познанием и формированием понятий. А после неё идёт длинное эссе, знакомящее читателей с идеей байесовского вывода.

Alaric 18.01.20 в 17:39

Связывает эти темы цепочка "Хрупкие цели", где автор абстрагируется от человеческого познания и эволюции и рассуждает о идее разума и целеориентированных системах в целом. Также эти эссе объясняют авторский подход к философии и науке рациональности, на который повлияла его работа в области ИИ.

Alaric 18.01.20 в 17:43

Воссоздание интеллекта

Юдковский --- математик, занимающийся теориями принятия решений. Он работает над фундаментальными задачами в области сильного искусственного интеллекта --- над теоретическими основаниями систем принятия решений широкого профиля. Как он отметил в своём первом эссе на Overcoming Bias под названием "Рациональность как боевое искусство", именно работа в этой области подтолкнула его изучать психологию рационального поведения человека.

Alaric 22.01.20 в 20:05

Я стал лучше понимать рациональность благодаря своим попыткам решать задачи, связанные с сильным искусственным интеллектом (чтобы по-настоящему построить работающего рационалиста из подручных материалов придётся самому овладеть рациональностью на достаточно высоком уровне). Зачастую задачи, связанные с ИИ, требуют намного большего, чем искусство личной рациональности, но иногда этого может хватить. Чтобы овладеть боевым искусством для разума нам нужно научиться в нужное время нажимать на нужные рычаги в гигантской уже существующей думающей машине, внутренности которой мы не в состоянии изменить. Часть этой машины оптимизирована в результате эволюционного отбора для достижения целей, которые противоречат нашим собственным. Мы объявляем, что нас интересует только правда, но в наши мозги зашит механизм рационализации лжи.[...]

Alaric 08.02.20 в 15:13

Попытка создать искусство личной рациональности, опираясь на науку о рациональности, может показаться глупой. Кто-нибудь скажет, что это всё равно что пытаться изобрести боевое искусство на основе теоретической физики, теории игр и анатомии человека. Однако люди способны к рефлексии. У нас есть природная склонность к интроспекции. Мы в состоянии заглянуть внутрь себя, пусть даже наше внутреннее зрение склонно к систематическим искажениям. Таким образом, нам нужно разобраться, что говорит наука по поводу нашей интуиции, с помощью абстрактных знаний исправить ход наших мыслей и улучшить наши метакогнитивные навыки. Мы не пишем компьютерную программу, чтобы заставить марионетку показывать приёмы боевых искусств. Мы должны заставить двигаться «конечности» нашего собственного мозга. Для этого нам нужно связать теорию с практикой. Нужно выяснить, как использовать науку для нас самих, для повседневной работы нашего разума.

Alaric 08.02.20 в 15:13

Насколько я представляю, с точки зрения Юдковского, говорить о рациональность человека, не упоминая ИИ, столь же сложно, как говорить об ИИ, не упоминая рациональность.

Alaric 08.02.20 в 15:15

Юдковский предсказывает, что в долгосрочной перспективе произойдёт "взрыв интеллекта" --- так называется сценарий, при котором самомодифицирующийся ИИ будет улучшать свои способности улучшать себя и за счёт этого быстро обгонит человека. Вместо "взрыва интеллекта" иногда говорят "технологическая сингулярность". До января 2013 года MIRI назывался "Институтом сингулярности искусственного интеллекта[Англ. "the Singularity Institute for Artificial Intelligence". --- Прим. перев.] и проводил ежегодные саммиты сингулярности. С тех пор Юдковский стал предпочитать более старый --- предложенный И.Дж.Гудом --- термин "взрыв интеллекта", чтобы отделять свои взгляды от предсказаний других футуристов, например, от идеи Рея Курцвейла об экспоненциальном технологическом прогрессе.

Alaric 08.02.20 в 15:23

Хорошо это или нет, но технологии вроде ИИ умнее человека, скорее всего, приведут к значительным социальным потрясениям. Чтобы описать область исследований вопроса, как привести предпочтения ИИ в соответствии с предпочтениями человека, Юдковский придумал термин "теория дружественного ИИ". В настоящее время мы плохо представляем, когда будет создан сильный ИИ и какие подходы решат задачу безопасности. Уже сейчас довольно нелегко решать задачу, как проверить правильность работы существующих ИИ. А большинство современных техник вряд ли удастся обобщить на более разумные и лучше приспосабливающиеся к окружению системы. Таким образом, создание "дружественного ИИ" скорее похоже на решение совокупности математических и философских задач, чем на строгое техническое задание программиста.

Alaric 08.02.20 в 15:31

По состоянию на 2015 год футуристы и исследователи ИИ (как теоретики, так и практики) по-прежнему оспаривают взгляды Юдковского на будущее искусственного интеллекта. На эту тему нет всеобщего консенсуса. Большой обзор моральных и стратегических вопросов, которые поднимает создание ИИ умнее человека, представлен в книге Ника Бострома "Искусственный интеллект".

Alaric 08.02.20 в 15:38

Наиболее известный учебник, подходящий, чтобы познакомиться с темой искусственного интеллекта --- это "Искусственный интеллект. Современный подход" Стюарта Рассела и Питера Норвига. В главе, посвящённой философским и этическим вопросам, связанным с ИИ, авторы отмечают, насколько технически сложно обеспечить хорошее поведение сильного адаптивного ИИ.

Alaric 08.02.20 в 20:03

[Юдковский] утверждает, что дружелюбие (нежелание вредить людям) должно быть заложено с самого начала. Но создатели должны понимать, что их творения могут содержать ошибки и что робот будет учиться и развиваться. Отсюда следует, что самое сложное --- это создать для развивающейся машины систему сдержек и противовесов, и обеспечить, чтобы при любом развитии сценария функция полезности оставалась дружественной. Статичную функцию полезности запрограммировать нельзя, поскольку обстоятельства и наша реакция на эти обстоятельства с течением времени будут меняться.

Alaric 08.02.20 в 20:07

Развитие ИИ, нанотехнологий, биотехнологий и других областей знаний может повлечь за собой угрозы для человеческой цивилизации. Обеспокоенные этими угрозами Бостром и Чиркович составили первую научную антологию на эту тему --- "Риски глобальных катастроф". Самые серьёзные из них --- это экзистенциальные риски --- риски, которые могут повлечь вечную стагнацию или вымирание человечества.

Alaric 08.02.20 в 20:12

Люди (и эксперты в том числе) чрезвычайно плохо предсказывают значительные изменения, которые произойдут в будущем (в том числе новые технологии). Юдковский обсуждает рациональность ещё и для того, чтобы выяснить, какие искажения мешают предсказывать крупные потрясения в будущем и подготовиться к ним. Главы в книге "Риски глобальных катастроф" -- "Когнитивные искажения, влияющие на оценку глобальных рисков" и "Искусственный интеллект как положительный и отрицательный фактор глобального риска" объединяют его исследования в областях когнитивных наук и ИИ. Темы, вызывающие беспокойство как в краткосрочной, так и в долгосрочной перспективе обсуждаются Юдковским и Бостромом в главе "Этика искусственного интеллекта" книги "Кэмбриджское руководство по искусственному интеллекту".

Alaric 08.02.20 в 20:21

И хотя "Рациональность: от ИИ до Зомби" посвящена рациональности человека, тема ИИ помогает проиллюстрировать различные аспекты человеческого мышления. К тому же, долгосрочное технологическое прогнозирование --- одна из важнейших областей применения байесианской рациональности, позволяющей формировать корректные суждения даже там, где данных недостаточно или они неоднозначны.

Alaric 08.02.20 в 20:23

Знание устройства может многое сказать о его создателе, а знание создателя может многое сказать о созданном им устройстве.

Alaric 08.02.20 в 20:24

Поэтому мы начнём с вопроса: "Что наш создатель может сказать нам о нас самих?"

Alaric 08.02.20 в 20:24

Как пример возможного экзистенциального риска можно привести сценарий "серой слизи" --- молекулярные роботы, сконструированные, чтобы эффективно самовоспроизводится, справляются со своей задачей слишком хорошо, поглощают всё доступное вещество Земли, уничтожая тем самым все живые организмы.

Alaric 08.02.20 в 20:27