Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Science Isn’t Strict Enough

Было время, когда у молодого Элиезера была глупая теория. Элиезер-18 чётко следовал рекомендациям Традиционной Рациональности, которым его учили. Он удостоверился, что у глупой теории были последствия в эксперименте. Элиезер-18 заявлял, в соответствии с добродетелями учёного, о которых ему говорили, что он желает протестировать свою глупую теорию.

sepremento 02.05.20 в 08:42

И, как учили Элиезера-18 в области добродетелей науки, это всё, что было нужно, дабы быть добродетельным.

sepremento 02.05.20 в 08:44

И этих усилий даже близко было недостаточно, чтобы получить правильный ответ.

sepremento 02.05.20 в 08:45

Привычные идеалы Науки слишком легко раздают золотые звёздочки. Отрицательные результаты эксперимента --- это тоже знания, поэтому все, кто играют в эти игры, тоже получают награды. И если ты придумал эксперимент, поставил эксперимент и принял результаты --- ты сыграл в игру по правилам. Ты хороший исследователь.

sepremento 02.05.20 в 08:47

Не факт, конечно, что ты во всём разобрался, но ты наукопослушный гражданин.

sepremento 02.05.20 в 08:47

(Отмечу сейчас, что я говорю о Науке, а не об общественном процессе науки, как он обычно протекает на практике, по двум причинам. Во-первых, я отошёл от попыток следовать идеалам Науки --- и дело не в том, что меня отверг злобный редактор журнала и не в том, что я пытался имитировать недостатки академической науки. А во-вторых, если я указываю на проблему с идеалом в том виде, в каком его преподают, учёные не обязаны также сходить с пути!"

sepremento 02.05.20 в 08:52

Наука возникла как восстание против великих философских схем и рассуждений в кресле. А потому Наука не включает в себя правила, какие именно виды гипотез дозволено и не дозволено тестировать --- это дело каждого конкретного исследователя. Попытки угадать априори будут требовать некой великой философской схемы и суждения без свидетельств. Будучи общественным идеалом, Наука не осудит тебя за предложение еретической гипотезы. Честный эксперимент и принятие результатов --- это добродетели исследователя.

sepremento 02.05.20 в 08:57

По мере того как большинство учёных способны принять чёткие, недвусмысленные, неопровержимые свидетельства в эксперименте, наука может двигаться вперёд. Движение может происходить слишком медленно --- может потребоваться больше времени, чем должно --- возможно, придётся ждать, когда вымрет поколение старейшин --- но в конечном итоге, маховик знаний прокрутится ещё раз. Год за годом, десятилетие за десятилетием, колесо катится вперёд. И этого достаточно, чтобы поддерживать цивилизацию.

sepremento 02.05.20 в 09:00

Это всё, что Наука требует от вас --- способность принять реальность, когда она сваливается вам на голову. Это немного, но достаточно, чтобы поддерживать научную культуру.

sepremento 03.05.20 в 07:50

Сравните с концепцией точного количественного рационального суждения из теории вероятности. Если у 1% женщин, которые проходят скрининг, есть рак груди, у 80% женщин с раком груди --- положительная маммограмма и у 10% без рака груди --- ложноположительный результат, то какова вероятность, что у женщины с положительным результатом теста на скрининге действительно есть рак груди? Вероятность равна 7,5%. И нельзя сказать: "я верю, что у неё нет рака груди, потому что эксперимент недостаточно определён".

sepremento 03.05.20 в 07:55

Нельзя сказать и: "Я верю, что у неё рак груди, потому что так показал единственный на данный момент эксперимент, а пессимистичным быть мудро". Семь целых и пять десятых процента --- это рациональная оценка с нынешними свидетельствами, не 7,4% и не 7,6%. Законы теории вероятности --- законы.

sepremento 03.05.20 в 07:57

В Двенадцати Добродетелях сказано о третьей добродетели, лёгкости:

sepremento 03.05.20 в 07:58

Если вы относитесь к свидетельствам, как к ограничениям и ищите способ освободиться, вы сковываете себя цепями своих причуд. Нельзя сделать истинную карту города, если сидеть в спальне с закрытыми глазами и импульсивно рисовать линии на бумаге. Нужно пройти сквозь город и рисовать линии в соответствии с тем, что видно. А если вы видите город смутно и думаете, будто можете сдвинуть линию чуть-чуть влево или чуть-чуть вправо в соответствии с вашими пожеланиями, вы совершаете ту же самую ошибку.

sepremento 03.05.20 в 08:01

Когда приходит время решать, какие гипотезы тестировать, этика Науки даёт свободу выбирать убеждения до той степени, пока они не отвергнуты экспериментом и до тех пор, пока есть стремление проверить свою гипотезу. Наука не станет выносить официальный вердикт относительно наилучшей гипотезы, которую стоило бы протестировать, до эксперимента. Это остаётся уделом каждого исследователя.

sepremento 03.05.20 в 08:04

Там, где существуют чёткие экспериментальные свидетельства, Наука приказывает вам склонить упрямую голову и принять их. В ином случае, Наука оставляет выбор за вами. Наука оставляет пространство для прихоти среди границ экспериментальных свидетельств.

sepremento 03.05.20 в 08:06

А это не так просто примирить с концепцией байесианства о чёткой оценке вероятности, которая существует до и после эксперимента, без какой-либо гибкости или пространства для прихоти. Байесианство плохо соотносится с древней причиной для Науки --- недоверию к большим схемам, предположению, что люди недостаточно рациональны, чтобы сразу во всём разобраться без чётких и неоспоримых свидетельств из эксперимента. Если бы мы все были идеальными байесианцами, то нам не потребовался бы общественный процесс науки.

sepremento 03.05.20 в 08:09

Тем не менее, к тому времени, как я осознал свою большую ошибку, я уже изучал Канемана и Тверски, а также Джейнса. Я изучал новый Путь, более строгий, чем Наука. Путь, который мог бы осудить меня за ошибки таким образом, каким Наука никогда бы не смогла. Путь, который мог бы мне сказать то, чего Наука не сказала бы загодя: "Ты выбрал неправильную гипотезу для проверки, дурилка."

sepremento 03.05.20 в 08:11

Но следовать Пути Байеса гораздо сложнее, чем использовать Науку. Наука требует лишь заметить наковальню, которая свалилась вам на голову; Путь же чрезвычайно требователен к способности различить мельчайшую фальшь.

sepremento 03.05.20 в 08:13

Наука позволяет совершить одну-две ошибки, тогда следующий эксперимент придёт и всё поправит. В худшем случае, пропадёт пара десятилетий.

sepremento 04.05.20 в 07:44

Но если попытаться использовать правило Байеса даже в его качественном виде --- если попытаться сделать то, чего Наука вам делать не доверяет, и рационально мыслить в отсутствие вала свидетельств --- то, как и в математике, единственная ошибка в сотне шагов вычислений может привести вас куда угодно. Байес требует легкости, баланса, точности и перфекционизма.

sepremento 04.05.20 в 07:47

Есть веская причина, почему Наука не доверяет учёным заниматься такими вещами и требует доказательств в эксперименте даже после заявлений, что они получили правильный ответ через логику и зацепки.

sepremento 04.05.20 в 07:48

Но если вы предпочитаете не тратить десять в лет в попытках доказать неверную теорию, то потребуется подойти к гораздо более сложной задаче --- прислушаться к свидетельствам, которые не бросаются в глаза.

sepremento 04.05.20 в 07:50

Даже если невозможно найти априорные данные для задачи в справочниках по физике и химии, даже если не существует Авторитетного Источника, который сказал бы, какие априорные данные использовать, то это не означает, что вам дозволено сделать свободный выбор априорных данных по собственной прихоти. Это означает, что появилась новая задача, которую нужно решить как можно лучше.

sepremento 04.05.20 в 07:53

Если бы когнитивная машина разума могла выдавать правильные оценки на основе произвольно подобранных априорных данных, то можно было бы не смотреть на вещи и познавать их, изменять их без касания. Но разум это не магия. У рациональных оценок вероятностей нет пространства для прихотливых манёвров, даже если кажется, будто априори ничего не известно.

sepremento 04.05.20 в 07:57

Похожим образом, если ответ по Байесу сложно вычислить, то из этого не следует, что правило Байеса неприменимо. Это лишь значит, что вы не знаете, каков будет ответ по Байесу. Байесианская теория вероятности это не ящик со статистическими инструментами, это закон, который управляет работой всех инструментов, которые вы используете, независимо от того, знаете вы об этом или нет, можете ли вы сделать расчёт или нет.

sepremento 04.05.20 в 08:00

Что касается применения Байесианских методов на огромных, крайне обобщённых пространствах гипотез --- вроде "вот данные со всех физических экспериментов, а теперь скажи мне, какой будет Теория Всего?" --- если бы вы знали, как сделать это на практике, то вы бы были не статистиком, а программистом сильного искусственного интеллекта. Но это не означает, что люди, когда моделируют Вселенную с помощью своего интеллекта, нарушают законы физики или байесианства, производя правильные ответы без свидетельств.

sepremento 04.05.20 в 08:04

Ник Тарлетон комментирует:

sepremento 04.05.20 в 08:04

Проблема в том, что поощряется столь слабый личный эпистемический стандарт, как общественный.

sepremento 04.05.20 в 08:06

и это выделяет проблему, которую я пытался описать, гораздо лучше, чем я.

sepremento 04.05.20 в 08:06