Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Optimization and the Intelligence Explosion

Среди тем, в которые я здесь не погружался, есть упоминание оптимизационного процесса. Грубо говоря, это идея о способности поражать небольшие цели в большой области поиска как о силе разума, будь то область возможных вариантов будущего (планирование) или область возможных вариантов дизайна (изобретения).

sepremento 10.09.19 в 02:35

Допустим, у вас есть машина и допустим, мы знаем, что путешествия входят в ваши предпочтения. Теперь возьмем все детали автомобиля или все составляющие его атомы и перемешаем. Крайне маловероятно, что в итоге получится средство передвижения, не говоря о повозке на колесах и уж точно не средство передвижения, которое окажется столь же высоко по шкале предпочтений, как и исходный автомобиль. Таким образом, согласно вашему порядку предпочтений, автомобиль довольно невероятный артефакт. Сила оптимизационного процесса способности создать такой вид невероятного.

sepremento 10.09.19 в 02:38

Можно рассматривать интеллект и естественный отбор как особые случаи оптимизации: процессы, которые поражают очень маленькие цели, определенные неявными предпочтениями, в очень большой области поиска. Естественный отбор предпочитает более эффективных воспроизводителей. У человеческого интеллекта более сложные предпочтения. Ни у эволюции, ни у людей нет последовательных функций полезности, поэтому понимание их как "оптимизационных процессов" является аппроксимацией. Важно понимание типа выполняемый работы, а не заявление, что человек или эволюция выполняют её идеально.

sepremento 10.09.19 в 02:43

Именно так я вижу историю жизни и разума - как историю невероятно хорошего дизайна, созданного оптимизационными процессами. Термин "невероятный" используется здесь как невероятный с точки зрения случайного выбора из области возможных вариантов дизайна, а не в абсолютном смысле - если в наличии есть оптимизационный процесс, то "невероятно" хороший дизайн становится вероятным.

sepremento 11.09.19 в 06:04

Глядя на историю оптимизации на Земле вплоть до нынешнего момента, первым делом нужно концептуально разделить мета-уровень от уровня объекта - разделить структуру оптимизации от того, что оптимизируется.

sepremento 11.09.19 в 06:05

Если рассмотреть биологию в отсутствии гоминидов, то на объектном уровне мы получим таких существ как динозавры, бабочки и кошечки. На мета-уровне у нас будут такие явления как половая рекомбинация и естественный отбор асексуальных популяций. Можно видеть, что объектный уровень гораздо более сложен, чем мета-уровень. Естественный отбор непрост и для его описания требуется математика. Но если мы посмотрим на анатомию целой кошки, то у неё будет гораздо более сложная структура, чем "мутировать, рекомбинировать, воспроизвести".

sepremento 11.09.19 в 06:08

И это неудивительно. Естественный отбор --- это случайно возникший оптимизационный процесс, который по сути однажды запустился где-то в первичном бульоне. А кошка --- это результат миллионов и миллиардов лет эволюции.

sepremento 11.09.19 в 06:10

У кошек есть мозг, конечно, который учится на протяжении жизни; но по завершении жизни кошки эта информация удаляется, а потому не накапливается. Из-за этого общее влияние кошачьих мозгов на этот мир в качестве оптимизаторов довольно мало.

sepremento 11.09.19 в 06:12

Или взять к примеру мозг пчелы или мозг бобра. Пчела строит улья, бобр строит плотины, но они не разбираются с нуля, как их строить. Бобр не разберётся, как построить улей, а пчела не сможет понять, как построить плотину.

sepremento 11.09.19 в 06:13

И потому мозги животных - до недавних пор - не были важными игроками на оптимизационной сцене; они были фигурами, а не игроками. В сравнении с эволюцией, мозгам недоставало повсеместности в применении силы оптимизации (они не могли, как эволюция создавать потрясающее разнообразие артефактов) и кумулятивной силы оптимизации как таковой (их творения не накапливали сложность с течением времени). Больше на эту тему читайте в эссе "Белки с подкреплением и консеквенциализм ДНК".

sepremento 11.09.19 в 06:17

Совсем недавно мозг некоторых животных приобрел универсальность в плане оптимизации (начал создавать широкий спектр артефактов за достаточно короткое время, чтобы естественный отбор играл какую-то роль) и способность к накоплению эффектов оптимизации (то есть артефакты увеличивали сложность за счёт языка и письма).

sepremento 12.09.19 в 01:40

Чтобы создать что-либо сложное, естественному отбору требуются сотни поколений и миллионы лет. Программисты же могут за утро создать сложный механизм с сотней взаимозависимых элементов. И неудивительно, ведь естественный отбор это случайно возникший оптимизационный процесс, а человек это оптимизированный оптимизатор, сформировавшийся за миллионы лет естественного отбора.

sepremento 12.09.19 в 01:43

Чудо эволюции не в качестве работы, а в том, что она работает без оптимизации.Оптимизация вообще появилась во вселенной из крайне неэффективного случайного оптимизационного процесса.Заметьте, я говорю не о первых репликаторах, а о первичном процессе естественного отбора. Не путайте объектный и мета- уровни!

sepremento 12.09.19 в 01:48

Кое-какая структурная общность присуща естественному отбору и человеческому разуму со времени появления оптимизации во вселенной...

sepremento 12.09.19 в 01:50

Естественный отбор выбирает гены, но впоследствии они, в свою очередь, не оптимизируют естественный отбор. Исключением является изобретение половой рекомбинации, а также клеток и ДНК. Важность и редкость подобных событий можно оценить через факт, что эволюционные биологи выстраивают историю жизни на Земле целиком вокруг них.

sepremento 12.09.19 в 01:56

Если посмотреть на естественный отбор с человеческой точки зрения, особенно с точки зрения программиста, то он вовсе не сложен. Вы бы попытались соединять гены в группы? Вы бы попытались разделить хранилище информации и движущиеся механизмы? Попытались бы случайно сочетать группы генов? Это те здравые идеи, которые придут в голову любому толковому хакеру за первые десять минут размышлений о системной архитектуре.

sepremento 12.09.19 в 02:00

Небольшое количество маленьких улучшений на мета-уровне, подкрепляемых самими воспроизводящимися механизмами, даже отдаленно не столь сложными, как кошки, оказались ключевыми вехами эволюции жизни на Земле именно потому, что естественный отбор был столь неэффективен вначале (полностью случайным процессом).

sepremento 12.09.19 в 02:06

Но в конечном итоге естественный отбор слеп, генофонд может всё-таки отмереть, несмотря на половое размножение и наличие клеток.

sepremento 13.09.19 в 05:56

Естественный отбор подпитывает сам себя в том смысле, что каждая адаптация открывает возможности для последующих адаптаций, но это реализуется на уровне объектов. Генофонд подпитывается собственной сложностью только благодаря запущенному в фоновом режиме защищенному интерпретатору естественного отбора, который сам по себе остаётся неизменным в процессе эволюции видов.

sepremento 13.09.19 в 06:00

Похожим образом, люди развивают науки и технологии, но пока ещё не приступили к изменению структуры своего мозга. У нас, как и у изобретателей сельского хозяйства, есть префронтальная кора головного мозга, височные доли и мозжечок. Мы не занимаемся модификацией своих генов. На объектном уровне наука подпитывает науку, а каждое открытие даёт дорогу новым открытиям, но всё работает через запущенный в фоновом режиме защищенный интерпретатор человеческого мозга.

sepremento 13.09.19 в 06:05

Существуют изобретения мета-уровня, вроде научного метода, через которые люди пытаются научиться думать. Но человек, создавший теорему Байеса не стал Байесианцем, не смог переписать свой софт из-за нехватки знаний и возможностей. Инновации в искусстве мышления вроде письма и научного метода достаточно значительны, чтобы определять ход истории человечества, но тем не менее, они не идут в сравнение с мозгом в плане сложности, а их влияние на него относительно невелико.

sepremento 13.09.19 в 06:08

В нынешнем состоянии уровень качества тренировок в искусстве рациональности недостаточен, чтобы превратить произвольно взятого смертного в Альберта Эйнштейна, что показывает, насколько больше влияние нескольких небольших генетических вариаций в структуре мозга в сравнении со всеми книгами по самопомощи, написанными в двадцатом веке.

sepremento 13.09.19 в 06:11

Люди склонны принимать мозг как должное, потому что он тихонько работает себе в фоновом режиме, и думать, что простые руководства вроде "проверяйте идеи при помощи экспериментов" или правила об уровне значимости p < 0.05 по важности сопоставимы с мозгом человека. Ну попробуйте посоветовать шимпанзе проверять гипотезами экспериментами, посмотрим, что у вас получится.

sepremento 13.09.19 в 06:16

Но... кое-кто из нас хочет построить интеллект, который будет способен разумно изменять себя прямо на уровне машинного кода.

sepremento 13.09.19 в 06:17

Вначале машинный код, а затем законы физики будут своего рода защищенным уровнем. Но такие "защищенные уровни" не будут реализовывать оптимизацию, не будут определять структуру выполненной работы. Мозг человека занимается оптимизацией и совершает ошибки, как бы вы его не учили в школе. А наш новый рекурсивный оптимизатор вообще не будет иметь защищенных уровней, вся его оптимизационная структура будет подлежать оптимизации.

sepremento 13.09.19 в 06:23

Это колоссальный перелом в метафоре о защищенном мета-уровне, перечеркивающий всю историю со времен первого репликатора.

sepremento 14.09.19 в 06:08

Исторя Земли до настоящего момента - это история оптимизаторов, создающих постоянное оптимизационное давление. Но они созидают свои творения не с постоянной скоростью, а с ускорением, из-за создания каждым новшеством на объектном уровне возможностей для последующих инноваций на объектном уровне. А ускорение происходит на защищенном мета-уровне, ответственным за сам процесс оптимизации. Похоже на поиск перебором, когда происходит переход с кластера на кластер в области поиска, а хорошие кластеры часто соприкасаются с ещё более подходящими кластерами, но алгоритм перебора слеп и не меняется. Время от времени происходит несколько небольших изменений на мета-уровне, вроде полов или науки, возникает новая эпоха в истории оптимизации и всё ускоряется.

sepremento 14.09.19 в 06:16

Представьте экономику без инвестиций, или университет без языка, или, в общем случае, технологию без инструментов для созданию инструментов. Раз в сто миллионов лет или раз в пару столетий, кто-нибудь да изобретёт молоток.

sepremento 14.09.19 в 06:18

Именно так выглядела оптимизация на Земле до настоящего времени.

sepremento 14.09.19 в 06:18

Когда я думаю об истории Земли, я воспринимаю её как историю черного ящика, в который на вход подаётся оптимизационная сила, а на выходе получаются оптимизированные продукты. По сей день было возможно делить историю оптимизации на эпохи из-за наличия почти полностью защищенных мета-уровней, можно было видеть накопленную с течением времени оптимизацию на уровне объектов внутри каждой эпохи, ведь защищенный уровень исполнялся в фоновом режиме и не менялся сам по себе на протяжении эпохи.

sepremento 14.09.19 в 06:22

Что же произойдёт, когда мы создадим рекурсивно улучшающий себя ИИ? Тогда можно будет взять график работы черного ящика "оптимизация на входе, оптимизированное на выходе" и сложить его сам в себя. Образно говоря.

sepremento 14.09.19 в 06:23

Если ИИ слаб, он ничего не делает, поскольку он недостаточно силен, чтобы значительно улучшить себя. С тем же успехом можно приказать шимпанзе переписать свой мозг.

sepremento 14.09.19 в 06:24

Если же ИИ достаточно силён, чтобы переписать себя и увеличить свою возможность создавать дальнейшие улучшения, а также если он способен полностью понять свой исходный код и своё устройство как оптимизатора... тогда даже если граф "оптимизация на входе" и "оптимизированное на выходе" будет прежним, график оптимизации от времени будет выглядеть совершенно иначе, нежели сейчас.

sepremento 14.09.19 в 06:28

Мне часто возражают фразой "но что если для создания улучшений, возрастающих линейно, потребуется количество работы по самомодификации, возрастающее экспоненциально?". Очевидным ответом будет "естественный отбор оказывал примерно постоянное оптимизационное воздействие на ветку гоминидов в процессе создания человека и не похоже, чтобы ему требовалось экспоненциально больше времени на каждое линейное приращение в качестве".

sepremento 14.09.19 в 06:32

Но это всего лишь суждение по аналогии. Полноценный ИИ, обдумывающий природу оптимизации, проводящий собственные исследования и пишущий собственный код будет не просто историей Земли свернутой в себя, а совершенно иным феноменом. Аналогии в лучшем случае подходят для качественных прогнозов, но даже в этом случае, у меня ещё есть множество иных неразъяснённых убеждений, влияющих на выбор аналогий.

sepremento 15.09.19 в 07:14

Мои причины нежелания проецировать графики биологического и экономического роста в будущее за горизонт создания мыслящего со скоростью транзисторов ИИ, который изобретает самовоспроизводящиеся молекулярные нанофабрики и улучшает собственный код в следующем: вы строите неправильный график развития оптимизированного продукта с течением времени, а нужно строить граф "оптимизационная сила на входе" и "оптимизированный продукт на выходе"

sepremento 15.09.19 в 07:19