Готовый перевод Rationality: From AI to Zombies, Book 5 / Рациональность: От ИИ до Зомби, Том 5: The Design Space of Minds-in-General

Пространство проектов сознания.

Люди спрашивают меня "Какими будут искусственные интеллекты? Что они будут делать? Расскажи нам удивительную историю будущего!"

И вот я им отвечаю: "Вы задали мне каверзный вопрос."

АТФ синтаза это молекулярный механизм, один из трёх известных на сегодняшний день случаев, когда эволюция придумала свободно вращающееся колесно --- и он одинаков в митохондриях животных, в хлоропластах растений и в бактериях. АТФ синтаза не изменилась в значительной степени с момента появления эукариот два миллиарда лет назад. Это то, что у нас у всех есть общего --- благодаря способу, которым эволюция строго сохраняет определённые гены. Как только множество других генов становятся зависимы от одного конкретного гена, мутации придётся разрушать все зависимости.

Два разных проекта ИИ могут быть менее похожи друг на друга, чем вы на петунию. Спрашивать, что будут делать "искусственные интеллекты" это вопрос с подвохом, поскольку неявно подразумевается, что все ИИ формируют один класс. Люди формируют один естественный класс, потому что у нас всех одна и та же архитектура мозга. Но когда вы произносите "искусственный интеллект", вы обращаетесь к гораздо большему пространству вариантов, чем когда вы произносите "человек". Когда люди говорят об "ИИ", то разговор идёт о разуме в целом, об оптимизационных процессах в общем случае. Наличие слова для "ИИ" это всё равно, что наличие слова для всего, что не утка.

Давай представим пространство проектов устройства сознания... это одна из моих стандартных диаграмм...

диаграмма: пространство проектов устройства сознания в целом.

Все люди, естественно, умещаются на маленькой точке --- как представители вида с половым способом размножения мы не можем слишком сильно отличаться друг от друга.

Эта крохотная точка находится внутри более широкого эллипса, пространства проектов трансгуманистического устройства сознания --- это предметы, которые могут быть умнее нас или гораздо умнее нас, но которые в некотором смысле все ещё являются людьми, как мы их представляем.

Этот трансгуманистический эллипс находится внутри ещё большего объёма, пространства постгуманистического сознания, который содержит в себе всё, во что может вырасти трансчеловек.

А остальная часть сферы это пространство разумов в целом, включая все возможные искусственные интеллекты настолько необычные, что они даже не постгуманистические.

Погодите, естественный отбор создаёт сложные структуры и делает отбор комплексных стратегий. Где на этой карте он находится?

Вся эта карта находится внутри ещё большего пространства, пространства оптимизационных процессов. Внизу этого гигантского пространства, ещё ниже людей, находится естественный отбор, каким он начался в первобытном бульоне --- мутировать, воспроизвестись, иногда умереть, никакого полового размножения.

Существуют ли какие-то мощные оптимизационные процессы, по силе сравнимые с человеческой цивилизацией или даже с улучшающимся самостоятельно ИИ, которые мы не смогли распознать как разумы? Возможно, AIXI Маркуса Хаттера принадлежит этой категории: для разума с бесконечной мощью, оно поразительно глупо --- бедняжка даже не может узнать себя в зеркале. Но это тема для другого раза.

Мой главный вывод здесь --- необходимо сопротивляться обобщениям по пространству проектов сознания.

Если мы сосредоточимся на ограниченном подпространстве проектов сознания, которое содержит все виды разума, чей состав может быть записан в виде триллиона бит или меньше, то каждое универсальное обобщение имеет шансы два в степени триллион на фальсификацию.

Аналогично, любое обобщение вида "существует хотя бы один разум, который X" обладает шансами два в триллионной степени оказаться истинным.

Поэтому хочется сопротивляться искушению говорить, что либо каждый разум делает что-то, либо что ни один разум не делает чего-то.

Главная причина, по которой можно начать думать, что вы знаете, как поступит (или не поступит) полноценный разум --- это поставить себя на его место, представить, что вы бы сделали, будь вы им. Это даст в общем случае неправильный антропоморфный ответ. (Хотя правильный как минимум в одном случае, поскольку вы сами по себе являетесь примером.) Или если представить, что разум делает что-то, а затем представить причины, почему бы вы так делать не стали, то есть представить, что разум такого типа существовать не может, что призрак в машине возьмёт соответствующий исходный код и вернёт его обратно.

Где-то в пространстве проектов сознания находится по меньшей мере один разум с почти любым логически последовательным свойством, которое можно представить.

А это важно постольку, поскольку выделяется значимость дискуссии о том, что происходит и почему, ... где-то в пространстве проектов сознания существует разум, который делает это иначе.

Конечно, всегда можно сказать, что если что-то делает что-то не так, как вы, то это "по определению" не разум. В конце концов, это ведь было бы очевидно глупо. Я видел и такие примеры.

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: идёт перевод

Переведено на Нотабеноиде
http://notabenoid.org/book/80377/488556

Переводчики: sepremento