Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Superexponential Conceptspace, and Simple Words

Вы, наверное, уже задумывались о том, что пространство вещей довольно велико. Оно гораздо больше, чем реальность, которая содержит только то, что на самом деле существует. Пространство вещей содержит всё, что могло бы существовать.

Alaric 01.10.19 в 19:18

В действительности, поскольку я "определил" пространство вещей так, что в нём есть размерности для всех возможных свойств --- включая связанные друг с другом свойства, например, плотность, объём и массу --- для пространства вещей крайне сложно определить что-то, что можно назвать размером. Однако, важно уметь представлять пространство вещей хоть как-нибудь. Уверен, никто не в состоянии понять стаю воробьёв, если он видит лишь облако машущих крыльями чирикающих существ вместо кластера точек в пространстве вещей.

Alaric 01.10.19 в 19:18

Но пространство вещей всё равно не сравнится с пространством концептов.

Alaric 01.10.19 в 19:18

В машинном обучении концепт --- это правило, согласно которому включаются или исключаются примеры. Если вы видите данные ;{2:+, 3:-, 14:+, 23:-, 8:+, 9:-}, возможно, вы предположите, что концепт --- это "чётные числа". Существует довольно много литературы (что неудивительно) о том, как по данным получать концепты. Учитывая случайные примеры, учитывая выбранные примеры. Учитывая возможные ошибки классификации. И что самое важное, учитывая различные пространства возможных правил.

Alaric 01.10.19 в 19:18

Например, предположим, что мы хотим получить концепт "хороший день для игры в теннис". Возможные свойства дня:

Alaric 01.10.19 в 19:18

Облачность: {Ясно, Пасмурно, Дождевые облака}

Температура воздуха: {Тепло, Холодно}

Влажность: {Нормальная, Высокая}

Ветер: {Сильный, Слабый}

Теперь предположим, что у нас есть следующие данные, где "+" означает, что набор удовлетворяет правилу, а "-" --- что не удовлетворяет.

Alaric 01.10.19 в 19:19

+ Облачность: Ясно; Температура воздуха: Тепло; Влажность: Высокая; Ветер: Сильный.

- Облачность: Дождевые облака; Температура воздуха: Холодно; Влажность: Высокая; Ветер: Сильный.

+ Облачность: Ясно; Температура воздуха: Тепло; Влажность: Высокая; Ветер: Слабый.

Какой вывод должен сделать алгоритм из этих данных?

Alaric 01.10.19 в 19:20

Обучающаяся машина может сформировать свой концепт описания данных следующим образом:

sepremento 04.10.19 в 13:28

{Облачность: ?; Температура воздуха: Тепло; Влажность: Высокая; Ветер: ?}.

Alaric 01.10.19 в 19:21

Чтобы определить подходит ли какой-то пример данных или нет, мы сравниваем последовательно все элементы. "?" означает, что подходит любое значение, но если какое-то конкретное значение задано, то подходит только оно.

Alaric 01.10.19 в 19:21

То есть концепт выше примет только дни, в которых Температура воздуха = Тепло и Влажность = Высокая. Переменные Облачность и Ветер могут принимать любые значения. Пока это согласуется со всеми данными, которые у нас есть. Хотя это далеко не единственный концепт, который подошёл бы нам .

Alaric 01.10.19 в 19:21

Мы можем упростить запись концепта выше следующим образом:

Alaric 01.10.19 в 19:22

{?, Тепло, Высокая, ?}

Alaric 01.10.19 в 19:22

Не вдаваясь в детали, классический алгоритм выглядит следующим образом:

sepremento 04.10.19 в 13:28

Поддерживать набор наиболее общих гипотез, объясняющих данные -- из тех, что истинно положительно классифицируют как можно больше исходов и при этом не противоречат фактам.
Поддерживать другой набор как можно более конкретных гипотез, объясняющих данные -- из тех, что истинно отрицательно классифицируют как можно больше исходов и при этом не противоречат фактам.
Каждый раз, когда мы наблюдаем отрицательный исход, мы увеличиваем веса всех наиболее общих гипотез на как можно меньшую величину таким образом, чтобы новый набор гипотез вновь был как можно более общим и при этом не противоречил фактам.
Каждый раз, когда мы наблюдаем положительный исход, мы уменьшаем веса всех наиболее конкретных гипотез на как можно меньшую величину таким образом, чтобы новый набор гипотез вновь был как можно более конкретным и при этом не противоречил фактам.
Продолжаем до тех пор, пока не останется одна гипотеза. Она окажется правильным решением, если изначально входила в пространство рассматриваемых гипотез. В нашем примере, набор наиболее общих гипотез выглядит так:

sepremento 04.10.19 в 13:37

{{?, Тепло, ?, ?}, {Ясно, ?, ?, ?}},

sepremento 04.10.19 в 13:37

при этом множество наиболее конкретных гипотез содержит единственный вариант {Ясно, Тепло, Высокая, ?}.

sepremento 04.10.19 в 13:38

Любой другой концепт, который описывает данные, будет строго более конкретным, чем самая общая гипотеза, и строго более общим, чем самая конкретная гипотеза.

sepremento 04.10.19 в 13:39

(Больше на эту тему можно прочитать в книге "Машинное обучение" Тома Митчелла, из которой был взят и адаптирован приведённый пример)

sepremento 04.10.19 в 13:41

Можно обратить внимание, что изложенный формат не представляет все возможные концепты, как, например, "играть в теннис, когда ясно или тепло". Такой концепт объясняет данные, но в вышеизложенном отображении концепта не существует набора из четырёх значений, который опишет такое правило.

sepremento 04.10.19 в 13:45

Очевидно, наша обучающаяся машина не может охватить всю полноту концептов. Почему бы не позволить ей отображать все возможные концепты, чтобы она смогла обучаться с максимально возможной гибкостью?

sepremento 04.10.19 в 13:46

Каждый день описывается четырьмя переменными, у одной из них три возможных значения и у трёх из них два возможных значения. Итак, мы имеем 3 × 2 × 2 × 2 = 24 возможных варианта дня.

sepremento 04.10.19 в 13:47

Формат для отображения концептов требует чтобы мы указывали одно из значений переменной или оставляли её под вопросом. Таким образом, в этом отображении мы имеем 4 × 3 × 3 × 3 = 108 концептов. Чтобы работал алгоритм "наиболее-общий/наиболее-конкретный", необходимо начать с максимально конкретной гипотезы "ни один исход никогда не окажется положительным". С учетом этого, имеем 109 концептов.

sepremento 04.10.19 в 13:50

Подозрительно ли, что возможных концептов больше, чем возможных дней? Абсолютно нет. В конечном итоге, концепт может рассматриваться как совокупность дней. Концепт может быть рассмотрен как набор дней, классифицированных положительно или, что то же самое, как набор дней, классифицированных отрицательно.

sepremento 04.10.19 в 13:52

Таким образом, пространство всех возможных концептов классификации дней содержит в себе множество всех возможных множеств дней и его размер 2^24 = 16 777 216

sepremento 06.10.19 в 07:21

Указанное пространство включает в себя все концепты, которые мы обсуждали до сих пор. Но помимо того, оно содержит такие концепты как "положительно классифицировать только случаи {Ясно, Тепло, Высокая, Сильный} {Ясно, Тепло, Высокая, Слабый} и отвергать всё остальное" или "отрицательно классифицировать только случаи {Дождевые облака, Холодно, Высокая, Сильный} и принимать всё остальное". Также в это пространство входят концепты без компактного описания, то есть списки допустимых и недопустимых случаев.

sepremento 06.10.19 в 07:25

В этом проблема создания сильной обучающейся машины: она не может изучить концепт, пока не рассмотрит каждый доступный случай пространства случаев.

sepremento 06.10.19 в 07:28

Если мы добавим больше свойств Дня, например, "Температура воды" или "Прогноз погоды на завтра", то число возможных вариантов дней экспоненциально возрастёт с увеличением числа свойств. Но это не проблема в нашем случае с ограниченным пространством концептов, поскольку можно сокращать большой набор вариантов при помощи логарифмического числа примеров.

sepremento 06.10.19 в 07:32

Допустим мы добавим свойство Вода: {Теплая, Холодная} и таким образом увеличим число возможных вариантов Дня на 48 и число возможных концептов на 325. Допустим, что из множества подходящих для описания в данный момент концептов половина классифицирует каждый наблюдаемый День как положительный, а половина - как отрицательный. В таком случае, когда мы получаем реальный статус Дня, мы сократим пространство подходящих концептов наполовину. Таким образом, нам достаточно 9 примеров (2^9 = 512), чтобы свести 325 концептов к одному.

sepremento 06.10.19 в 07:38

Даже если у Дня будет сорок бинарных свойств, всё равно получится свести все возможные концепты к одному при помощи относительно небольшого набора данных. А именно, шестьдесят четыре примера, если каждый из них будет сокращать количество возможных концептов вдвое. И конечно, необходимо, чтобы искомое правило входило в множество концептов изначально!

sepremento 06.10.19 в 07:42

А если нужно будет рассмотреть все возможные варианты концептов, то нам не поздоровится. Пространство допустимых концептов растёт суперэкспоненциально с ростом числа свойств.

sepremento 06.10.19 в 07:44

Для сорока бинарных свойств системы количество возможных примеров превзойдёт триллион, а количество возможных концептов - два в триллионной степени. Чтобы сузить такое суперэкспоненциальное пространство концептов и понять, что было на входе и что на выходе, потребовалось бы рассмотреть триллион случаев. По сути, каждый возможный случай.

sepremento 11.10.19 в 13:45

И это, напоминаю, сорок двоичных свойств. Сорок бит или пять байт с вариантами "Да" или "Нет". Сорок бит это 2^40 возможных случаев и 2^(2^40) возможных концептов, согласно которым можно классифицировать каждый случай как положительный или отрицательный.

sepremento 11.10.19 в 13:46

В повседневной жизни объекты требуют больше пяти байт на описание и не существует триллиона примеров для обучения, плюс в данных присутствует шум. Сложно даже подумать о строгих концептах. Человеческий разум -- да даже вся наблюдаемая Вселенная -- недостаточно велики для рассмотрения всех гипотез.

sepremento 11.10.19 в 13:49

С этих позиций, обучение не просто опирается на ошибку вывода, оно по сути целиком и полностью состоит из ошибки вывода. Сравните количество концептов, отброшенных априори и количество концептов, отброшенных на основании наличия свидетельств.

sepremento 11.10.19 в 13:52

"Но какое это имеет отношение к использованию слов?", --- спросите вы.

sepremento 11.10.19 в 13:53

Связь в том, что у слов есть как выражения, так и намерения.

sepremento 11.10.19 в 13:54

В прошлом эссе я подвел следующий итог:

sepremento 11.10.19 в 13:54

Разрезать реальность по месту естественного соединения частей — проводить границы вокруг необычно плотно сконцентрированных вероятностей.

sepremento 11.10.19 в 13:56

Я специально отбросил ключевую часть в этом утверждении, поскольку не мог объяснить до настоящего момента. Лучшей версией того же утверждения было бы:

sepremento 11.10.19 в 13:57

Разрезать реальность по месту естественного соединения частей --- проводить простые границы вокруг необычайно плотно сконцентрированных вероятностей в пространстве вещей.

sepremento 11.10.19 в 13:59

Иначе можно нарезать пространство вещей произвольно. Можно создать очень причудливые границы среди наблюдаемых примеров, выбрав такие группы, которые невозможно описать короче, чем перечислением и сказать: "Вот это я видел раньше и это ожидаю увидеть в будущем."

sepremento 11.10.19 в 14:01

В реальности ничего выше уровня молекул не повторяется дважды. Сократ очень похож на всех уязвимых к болиголову людей, но не идентичен им. Поэтому, предположение, что Сократ -- "человек" основано на простых границах вокруг кластера людей в пространстве вещей. Мы не используем утверждения вида: "Вещи четко оформленные как [описание формы 1 на 5 мегабайт] с [описание множества характеристик] или четко оформленные как [описание формы 2 на 5 мегабайт] с [описание множества других характеристик] ... -- являются людьми"

sepremento 11.10.19 в 14:06

Невозможно составлять суждения из опыта, если не провести внутри простых границ. Именно поэтому "искусство" описывают содержательными определениями вроде "нечто, созданное с намерением вызывать любой вид сложной эмоции, ради самого акта переживания эмоции" вместо указания на длинный перечень предметов, являющихся и не являющихся искусством.

sepremento 11.10.19 в 14:09

По сути, утверждение о разрезании реальности по месту естественного соединения частей немного походит на проблему курицы и яйца. Невозможно определить плотность наших наблюдений, пока не проведены хоть какие-то границы. Распределение вероятностей опирается на проведенные границы, а не наоборот -- ведь если бы у вас было распределение вероятностей, вы имели бы всё необходимое для формирования суждения, так зачем тогда проводить границы?

sepremento 12.10.19 в 07:41

А из этого вытекает ещё одна -- да, ещё одна -- причина с недоверием относиться к утверждению "можно определить слово как угодно". Если принять во внимание суперэкспоненциальные размеры пространства концептов, очевидно, что выделение любого отдельного концепта и отбрасывание всех остальных это акт немалой наглости. И не только для нас, но и для любого разума с ограниченными вычислительными способностями.

sepremento 12.10.19 в 07:44

Определение слова "виггин" как "черноволосого зеленоглазого человека" без каких-либо оснований для выделения этого концепта в зону нашего внимание подобно поведению детектива, который сказал бы: "Итак, у меня нет никаких оснований делать какие-либо выводы о личности убийцы сирот... ни одной догадки... Давайте возьмём в качестве подозреваемого Джона К. Уиффлхайма, живущего по адресу Норкл роуд, 1234?"

sepremento 12.10.19 в 07:49