Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: The Design Space of Minds-in-General

Пространство проектов сознания.

sepremento 09.10.20 в 05:16

Люди спрашивают меня "Какими будут искусственные интеллекты? Что они будут делать? Расскажи нам удивительную историю будущего!"

sepremento 06.10.20 в 04:02

И вот я им отвечаю: "Вы задали мне каверзный вопрос."

sepremento 08.10.20 в 03:58

АТФ синтаза это молекулярный механизм, один из трёх известных на сегодняшний день случаев, когда эволюция придумала свободно вращающееся колесно --- и он одинаков в митохондриях животных, в хлоропластах растений и в бактериях. АТФ синтаза не изменилась в значительной степени с момента появления эукариот два миллиарда лет назад. Это то, что у нас у всех есть общего --- благодаря способу, которым эволюция строго сохраняет определённые гены. Как только множество других генов становятся зависимы от одного конкретного гена, мутации придётся разрушать все зависимости.

sepremento 08.10.20 в 04:07

Два разных проекта ИИ могут быть менее похожи друг на друга, чем вы на петунию. Спрашивать, что будут делать "искусственные интеллекты" это вопрос с подвохом, поскольку неявно подразумевается, что все ИИ формируют один класс. Люди формируют один естественный класс, потому что у нас всех одна и та же архитектура мозга. Но когда вы произносите "искусственный интеллект", вы обращаетесь к гораздо большему пространству вариантов, чем когда вы произносите "человек". Когда люди говорят об "ИИ", то разговор идёт о разуме в целом, об оптимизационных процессах в общем случае. Наличие слова для "ИИ" это всё равно, что наличие слова для всего, что не утка.

sepremento 08.10.20 в 04:11

Давай представим пространство проектов устройства сознания... это одна из моих стандартных диаграмм...

sepremento 08.10.20 в 04:13

диаграмма: пространство проектов устройства сознания в целом.

sepremento 08.10.20 в 04:13

Все люди, естественно, умещаются на маленькой точке --- как представители вида с половым способом размножения мы не можем слишком сильно отличаться друг от друга.

sepremento 08.10.20 в 04:14

Эта крохотная точка находится внутри более широкого эллипса, пространства проектов трансгуманистического устройства сознания --- это предметы, которые могут быть умнее нас или гораздо умнее нас, но которые в некотором смысле все ещё являются людьми, как мы их представляем.

sepremento 08.10.20 в 04:16

Этот трансгуманистический эллипс находится внутри ещё большего объёма, пространства постгуманистического сознания, который содержит в себе всё, во что может вырасти трансчеловек.

sepremento 08.10.20 в 04:16

А остальная часть сферы это пространство разумов в целом, включая все возможные искусственные интеллекты настолько необычные, что они даже не постгуманистические.

sepremento 08.10.20 в 04:18

Погодите, естественный отбор создаёт сложные структуры и делает отбор комплексных стратегий. Где на этой карте он находится?

sepremento 08.10.20 в 04:18

Вся эта карта находится внутри ещё большего пространства, пространства оптимизационных процессов. Внизу этого гигантского пространства, ещё ниже людей, находится естественный отбор, каким он начался в первобытном бульоне --- мутировать, воспроизвестись, иногда умереть, никакого полового размножения.

sepremento 08.10.20 в 04:20

Существуют ли какие-то мощные оптимизационные процессы, по силе сравнимые с человеческой цивилизацией или даже с улучшающимся самостоятельно ИИ, которые мы не смогли распознать как разумы? Возможно, AIXI Маркуса Хаттера принадлежит этой категории: для разума с бесконечной мощью, оно поразительно глупо --- бедняжка даже не может узнать себя в зеркале. Но это тема для другого раза.

sepremento 08.10.20 в 04:23

Мой главный вывод здесь --- необходимо сопротивляться обобщениям по пространству проектов сознания.

sepremento 09.10.20 в 04:50

Если мы сосредоточимся на ограниченном подпространстве проектов сознания, которое содержит все виды разума, чей состав может быть записан в виде триллиона бит или меньше, то каждое универсальное обобщение имеет шансы два в степени триллион на фальсификацию.

sepremento 09.10.20 в 04:52

Аналогично, любое обобщение вида "существует хотя бы один разум, который X" обладает шансами два в триллионной степени оказаться истинным.

sepremento 09.10.20 в 04:53

Поэтому хочется сопротивляться искушению говорить, что либо каждый разум делает что-то, либо что ни один разум не делает чего-то.

sepremento 09.10.20 в 04:54

Главная причина, по которой можно начать думать, что вы знаете, как поступит (или не поступит) полноценный разум --- это поставить себя на его место, представить, что вы бы сделали, будь вы им. Это даст в общем случае неправильный антропоморфный ответ. (Хотя правильный как минимум в одном случае, поскольку вы сами по себе являетесь примером.) Или если представить, что разум делает что-то, а затем представить причины, почему бы вы так делать не стали, то есть представить, что разум такого типа существовать не может, что призрак в машине возьмёт соответствующий исходный код и вернёт его обратно.

sepremento 09.10.20 в 05:09

Где-то в пространстве проектов сознания находится по меньшей мере один разум с почти любым логически последовательным свойством, которое можно представить.

sepremento 09.10.20 в 05:10

А это важно постольку, поскольку выделяется значимость дискуссии о том, что происходит и почему, ... где-то в пространстве проектов сознания существует разум, который делает это иначе.

sepremento 09.10.20 в 05:14

Конечно, всегда можно сказать, что если что-то делает что-то не так, как вы, то это "по определению" не разум. В конце концов, это ведь было бы очевидно глупо. Я видел и такие примеры.

sepremento 09.10.20 в 05:15