Lesswrong papers / Статьи с Лессронга: То, что является вашей частью

Классическая статья Дрю Макдэрмотта "Artificial Intelligence Meets Natural Stupidity" критикует ИИ программы, которые пытаются представлять понятия наподобие счастья используя семантические сети:

Remlin 23.10.14 в 15:04

СОСТОЯНИЕ-РАЗУМА

Remlin 23.10.14 в 12:05

^

Remlin 23.10.14 в 12:05

| ЭТО

Remlin 23.10.14 в 12:05

|

Remlin 23.10.14 в 12:05

СЧАСТЬЕ

Remlin 23.10.14 в 12:05

И разумеется внутри узла "СЧАСТЬЕ" ничего нет; это просто голая переменная с таким названием.

Remlin 23.10.14 в 12:06

Так что Макдэрмотт говорит "Хорошим тестом для дисциплинированного программиста является попытка использовать замены в ключевых местах и смотреть, хороша ли все еще его программа. Например, если СОСТОЯНИЕ-РАЗУМА переименовать в G1073..." тогда это было бы ЭТО(СЧАСТЬЕ, G1073), "что выглядит куда подозрительнее."

Remlin 23.10.14 в 15:02

Или, как я слегка перефразирую идею, если вы замените случайными символами все понятные названия, вы были бы совершенно не в состоянии понять, что значит G1071(G1072, 1073). ИИ программа имеет в виду гамбургеры? Яблоки? Счастье? Кто знает? Если вы удалите понятные названия, они не восстановятся обратно.

Remlin 23.10.14 в 15:06

Предположим, что физик говорит вам "Свет - это волны", и вы верите ему на слово. Теперь в вашей голове есть маленькая сеть, которая говорит ЭТО(СВЕТ, ВОЛНЫ). Если кто-то спросит вас "Из чего сделан свет?" вы сможете ответить "Волны!"

Remlin 23.10.14 в 12:08

Как говорит Макдэрмотт, "Вся проблема в том, чтобы слушатель замечал то, что говорится. Не "понимал", а "замечал". Предположим, что физик скажет вам "Свет сделан из маленьких кривых штучек." (к слову: это неправда). Заметили бы вы какое-то отличие от ожидаемого опыта?

Remlin 23.10.14 в 15:08

Как вы можете понять, что не должны верить вашим кажущимся знаниям, что "свет - это волны"? Одним из тестов является спросить себя "Смог бы я воссоздать это знание, если бы оно каким-либо образом исчезло из моего разума?"

Remlin 23.10.14 в 15:10

Это родственно тому, чтобы запутывать имена понятно названных понятий в лиспе в вашей ИИ программе и смотреть, сможет ли кто-то еще понять, что они обозначают. Также это похоже на наблюдение того, как Искусственный Арифметик может воспроизводить и отматывать СЛОЖЕНИЕ(СЕМЬ, ШЕСТЬ) = ТРИНАДЦАТЬ, он не сможет восстановить знание, если вы удалите это из его памяти, пока кто-то еще не введет это заново в базу данных. Точно так же если вы забудете, что "свет это волны", вы не сможете вернуть это знание другим путем, кроме того, каким получили его изначально - спросив физика. Вы не можете восстановить знание самостоятельно, как это первоначально сделали физики.

Remlin 24.10.14 в 08:23

Тот же опыт, что приводит нас к формулировке убеждений, соединяет убеждение с остальными знаниями, сенсорным входом и моторным выходом. Если вы видите бобра, жующего бревно, тогда вы знаете на что эта штука-пережевывающая-бревна похожа и способны в будущем распознать похоже ли это на то, что называют "бобром" или нет. Но если вы получаете ваши убеждения о бобрах от кого-то еще, кто рассказывает вам факты о бобрах, вы не сумеете распознать бобра, когда увидите его.

Remlin 24.10.14 в 08:26

Ужасно опасно пытаться рассказывать Искусственному Интеллекту факты, которые он не мог бы выучить сам. Также опасно пытаться рассказывать кому-то нечто о физике, что они не могли бы проверить сами. Что для физиков "волна" это не "маленькие кривые штуки", а чисто математическая концепция.

Remlin 24.10.14 в 08:29

Согласно наблюдениям Дэвидсона, если вы верите, что "бобры" живут в пустынях, имеют белую окраску и весят 300 фунтов взрослыми, тогда у вас нет каких-либо убеждений о бобрах, истинных или ложны. Ваше убеждение о "бобрах" неправильно в такой степени, что его даже нельзя назвать неверным. Если у вас нет достаточно опыта, чтобы восстановить убеждения, если они пропадут, тогда достаточно ли у вас опыта, чтобы соединить это убеждение вообще с чем-либо? Витгенштейн: "Колесо, которое вращается, когда его ничего не движет, не является частью механизма."

Remlin 24.10.14 в 08:33

Почти сразу же после того как я начала читать про ИИ - даже до того, как прочел Макдэрмотта - я понял, что было бы по-настоящему хорошей идее всегда спрашивать себя "Как бы я восстановил это знание, если бы оно исчезло из моего сознания?"

Remlin 23.10.14 в 14:58

Чем глубже удаление, тем строже проверка. Если все доказательства теоремы Пифагора исчезнут из моего разума, смогу ли я заново доказать ее? Думаю да. А если все знания об этой теореме исчезнут, смогу ли я заметить достаточно, чтобы вывести ее заново? Этим труднее хвастаться, не пройдя тест; но если вы дадите мне нужный треугольник со сторонами 3 и 4 и скажете, что длину гипотенузы можно вычислить, думаю что смог бы найти ее, если бы остальные знания по математике были со мной.

Remlin 23.10.14 в 12:17

А как насчет записи математического доказательства? Если бы никто не сказал мне, был бы я способен воссоздать основание остальных убеждений, которые у меня есть? Было время, когда у человечества не было такой концепции. Кто-то должен был изобрести ее. Что было тем, что он заметил? Заметил бы это я если бы увидел нечто точно так же новое и точно так же важное? Был бы способен мыслить настолько нестандартно?

Remlin 23.10.14 в 12:19

Как много из ваших знаний вы можете восстановить? Насколько глубоко может зайти удаление? Это не просто тест на забраковку недостаточно эффективно соединенных убеждений. Это путь поглощения фонтана знаний, а не просто единичного факта.

Remlin 19.10.14 в 11:19

Пастух строит систему подсчета, которая работает при помощи бросания камешка в ведро, когда овца уходит с загона и доставания его, когда овца возвращается. Если вы, подмастерье, не понимаете эту систему - если это магия которая работает без видимых причин - тогда вы не будете знать что вам делать, если вы случайно бросили лишний камень в ведро. Это то, что вы не можете сделать сами, вы не можете переделать это, когда ситуация нуждается в этом. Вы не можете вернуться к источнику, подправить параметр и воссоздать конечный продукт, без источника. Если "Два плюс четыре равно шесть" является для вас грубым фактом, и один из элементов меняется на "пять", как вы узнаете, что "два плюс пять равно семь", если вам просто сказали, что "два плюс четыре равно шесть"?

Remlin 19.10.14 в 11:24

Если вы видите растение, которое роняет семена всякий раз, когда рядом проходит птица, не будет такого, чтобы вы смогли использовать это растение чтобы частично автоматизировать счетчик овец. Хотя вы и выучили нечто, что настоящий создатель системы мог бы использовать для ее улучшения, вы не смогли вернуться к источнику и воссоздать ее.

Remlin 23.10.14 в 12:14

Когда источник мысли - вас, эта мысль может изменяться вместе с вами, по мере того, как вы получаете новые знания и умения. Когда источник мысли - вас, он по-настоящему становится вашей частью и растет вместе с вами.

Remlin 23.10.14 в 12:12

Старайтесь заставлять себя находить источник каждой мысли, стоящей обдумывания. Если мысль изначально пришла откуда-то извне, убедитесь, что точно так же ее можно вывести изнутри. Непрерывно спрашивайте себя "Как бы я мог восстановить эту мысль, если бы она исчезла?" Когда вы найдете ответ, представьте что и это знание исчезло точно так же. И когда доберетесь до источника, посмотрите что еще оттуда можно получить.

Remlin 23.10.14 в 12:11