Готовый перевод Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: No Safe Defense, Not Even Science

Мне недостаёт интереса к обществу, чтобы расспрашивать друзей об их детстве, а потому я не знаю, насколько нижеследующее является трендом:

Среди знакомых мне людей, которые стремятся стать лучше, как рационалисты и кто добровольно раскрывает информацию о своём детстве, я наблюдаю удивительную тенденцию говорить такие вещи, как: "моя семья вступила в культ и мне нужно было вырваться" или "один из моих родителей сошёл с ума и мне приходилось отделять реальность от его сумасшествия".

Мой личный опыт --- взросление в семье ортодоксальных евреев --- меркнет по сравнению с этими историями... но привёл к тем же результатам: разрушил глубокую эмоциональную веру в благоразумность людей вокруг меня.

Пока эта глубокая эмоциональная вера не разрушена, ты не растёшь как рационалист. Мне сложно облечь в слова, почему это так. Возможно потому, что те необычные навыки, которые ты приобретаешь --- любые навыки, которые делают тебя необычно рациональным --- требуют говорить "Б", когда всех вокруг говорят "А". А возможно, становится страшно, если мир вокруг тебя до сих пор кажется благоразумным местом.

А возможно, что не возникает стремления прикладывать большие усилия и в качестве бонуса получить чуть больше благоразумия, если существующая нормальность не пугает тебя до чертиков.

Я знаю, что многие из тех, кто стремится стать рационалистом, сталкиваются с препятствием в виде таких вещей, как крионика или многомировая интерпретация квантовой механики. И дело не в том, что они не видят логику, дело в том, что они видят логику и недоумевают: "Да разве может это быть правдой, когда это так очевидно сейчас, но никто вокруг не верит?"

Да. Добро пожаловать на Землю, где этанол делают из кукурузы, а защитники окружающей среды выступают против ядерной энергии. Мне очень жаль.

(См. также: Культовая контркультовость. Если окажется, что ты нервно ищешь поддержки и подтверждения, то это всегда плохо --- даже если это оттого, что ты собираешься поверить в нечто логичное, но что заставит окружающих странно на тебя смотреть.)

Кажется, люди, которые отбросили свою веру в благоразумность других людей, могут оценивать странные идеи по их достоинствам, без переживаний о самой странности этих идей. Клей, который удерживал их на месте, растворился и теперь они могут двигаться в каком-нибудь направлении, хочется надеяться, что вперёд.

Я называл это "одиноким инакомыслием". Настоящее инакомыслие не ощущается как будто ты пошёл в школу весь в чёрном. Оно ощущается, как будто ты пошёл в школу в клоунском наряде.

Вот что значит быть единственным, кто говорит: "Если ты и правда считаешь, будто знаешь, кто победит на выборах, то почему бы тебе не забрать халявные деньги на рынке предсказаний?", когда все вокруг думают: "Хорошо быть личностью и самому формировать своё мнение, так мне говорили в рекламе обуви."

Может быть в каком-то другом мире, в какой-то альтернативной ветви Эверетта с более разумным населением, дела обстоят иначе... но в этом мире я никогда не наблюдал, чтобы кто-то начал расти как рационалист до того, как он сломает глубокую эмоциональную связь с мудростью своей стаи.

Может быть в ином мире дела шли бы по-другому. А может быть и нет. Я не уверен, что люди действительно могут доверять и думать одновременно.

Были времена, когда я доверял кое-чему.

Элиезер-18 доверял Науке.

Элиезер-18 покорно признавал, что в общественном процессе науки были ошибки. Элиезер-18 покорно признавал, что в академии дела идут медленно, ресурсы распределяются плохо, существуют любимчики и плохо относятся к драгоценным еретикам.

Удобно признавать недостатки в людях, которые не смогли соответствовать идеалу. Не приходится задавать вопросы самому идеалу.

Да и кто мог бы быть достаточно глуп, чтобы придираться к утверждению: "Экспериментальный метод будет определять, чья гипотеза победит"?

Частью того одураченного Элиезера-18 было общее стремление избегать идей, которые напоминали то, что обычно говорили идиоты. Элиезер-18 видел многих людей, критиковавших идеалы Науки, и все без исключения они пришли с Тёмной Стороны. Все, кто критиковал идеал Науки, неизменно желали либо продать тебе змеиное масло, либо уберечь какую-то любимую форму тупости от критики, либо пытались замаскировать свой отказ от Науки при помощи Великомудрого приняти тщетности.

Если бы существовал какой-то другой идеал возрастом в пару столетий, то молодой Элиезер посмотрел бы на него и сказал: "интересно, действительно ли так и должно быть или есть способ сделать лучше?". Но такого не было с идеалом Науки. Наука была основной идеей, идеей, которая позволяет тебе менять идеи. Можно было придираться к ней, но впоследствии её должно было принять, а не говорить: "Так, стоп! Это неверно!"

И потому, когда однажды я придумал свою глупую идею, я подумал, что будет добродетельно убедиться в наличии у моей идеи Нового Предсказания и всем говорил, что мечтаю проверить свою идею экспериментально. Мне казалось, что я сделал всё, что должен был.

А потому мне казалось, что я в безопасности --- безопасности не от какой-то внешней угрозы, но в безопасности на некотором глубинном уровне, подобно ребёнку, который доверяет своим родителям и подчиняется всем их правилам.

Уже давно я потерял доверие благоразумию моей семьи или школьных учителей. А другие дети были недостаточно умны, чтобы соревноваться в уровне дискуссии с книгами. Но видите ли, я доверял книгам. Я верил, что если буду делать так, как сказал Ричард Фейнман, то окажусь в безопасности. Вслух я этого никогда не говорил, но я так чувствовал.

Когда до Элиезера23 дошло, насколько глупой была его глупая теория --- и Традиционная Рациональность не спасла его от неё --- и Науке было бы всё равно, что он потратил десять лет на проверку своей глупой идеи, если в итоге он признал бы, что неправ...

... не хочу сказать, что это было ужасное эмоциональное потрясение. Не хочу делать из этого драму. Просто стало очевидно, что я был глуп.

Вот какое доверие я хочу поломать у вас. Вы не в безопасности. Никогда.

Даже Наука вас не спасёт. Идеалы Науки были созданы столетия назад, в те времена, когда никто не знал ни о теории вероятности, ни о когнитивных искажениях. Наука требует от вас слишком малого, она слишком легко поощряет благие намерения, она недостаточно строга, она выдаёт только такие предписания, которым способен следовать средний научный работник, она принимает медлительность, как факт жизни.

А потому не думайте, что если вы будете следовать правилам Науки, то ваше суждение будет неуязвимым.

Не существует известной процедуры, которой можно следовать и мышление будет неуязвимым.

Нет такого набора предписаний, которым можно соответствовать и знать, что ты не дурак.

Не существует известной морали суждения, которой можно изо всех сил стараться соответствовать и знать, что ты теперь защищён от критики.

Даже если вы обратитесь к ремеслу Байеса. Его гораздо сложнее использовать и никогда нельзя быть уверенным, что ты делаешь его верно.

Дисциплина Байесианства гораздо моложе, чем дисциплина Науки. Здесь не найти учебников, старших товарищей, нет историй успеха и поражения, нет методик на скорую руку. Придётся изучать когнитивные искажения, теорию вероятностей, эволюционную психологию и социальную психологию, другие когнитивные науки, а ещё искусственный интеллект --- и самостоятельно продумывать, как применить это знание, чтобы поправить самого себя, поскольку про это ещё не написаны учебники.

Вы не знаете, чем на самом деле занимается разум. Каждую неделю находят новые когнитивные искажения и никогда нельзя быть уверенным, достаточно ли ты скорректировал своё мышление или чересчур.

Формальную математику применить невозможно. Её не столь просто разложить на части, как кажется на первый взгляд и никогда нельзя быть уверенным, откуда что берётся. Неизвестно, почему Вселенная достаточно проста, чтобы её понять или почему какие-то априорные знания работают хорошо. Даже не понимаешь своих собственных априорных знаний, не говоря уже об оценке их качества.

Одна из проблем Науки в том, что она слишком расплывчата, чтобы всерьёз напугать. "Идеи нужно тестировать экспериментом." Что может пойти не так?

С другой стороны, если перед вами какие-то выкладки теории вероятности и, хуже того, вы знаете, что их невозможно напрямую использовать, тогда становится понятно, что вы пытаетесь сделать нечто сложное и, возможно, уже делаете неправильно.

А потому доверять нельзя.

Всего, что я сказал, будет недостаточно, чтобы поломать ваше доверие. Этого не произойдёт до тех пор, пока вы не попадёте в свою первую настоящую катастрофу именно потому, что следовали Правилам, а не нарушали их.

У Элиезера-18 уже было понимание, что позволено критиковать Науку. В конце концов, научный метод сам по себе не имеет иммунитета к вопросам! Разве мы не славные рационалисты? Разве нам не следует задавать вопросы ко всему?

А вот в то, что можно следовать законам Науки и позорно провалиться, Элиезер-18 всерьёз эмоционально не верил.

Ох, разумеется, вслух он признавал, что это возможно. Элиезер-18 покорно признавал возможность ошибки, приговаривая: "Я могу быть неправ, но..."

Но он не думал, что провал может произойти, ну знаете ли, в реальной жизни. Вам надлежит искать недостатки, а не находить их.

И это эмоциональное различие ужасно сложно описать словами и боюсь, что я не смогу всерьёз предупредить вас.

Ваше доверие не сломится до тех пор, пока вы не примените всё, что изучили здесь и в других книгах, не зайдёте так далеко, как сможете, и не осознаете, что всё это знание подвело вас. Что вы были дураком, а вас никто не предупредил. Что в том руководстве к действию, которое вы получили, были пропущены самые главные детали. Что некоторые из наиболее стойких идеалов, которым вы следовали, вели вас в неверном направлении.

И если у вас ещё есть что защищать, а следовательно, нужно продолжать двигаться, и нельзя отречься и мудро признать ограничения рациональности ---

--- только тогда вы будете готовы начать своё путешествие как рационалист. Взять на себя всю ответственность, жить без надёжных защит и практиковать гораздо более тонкое Искусство, чем то, которому вас однажды научили.

Никто не начинает воистину искать Путь, пока родители не подвели его, его боги не умерли, а инструменты не развалились в его руках.

P.S. Когда я просматривал это эссе, обнаружил непростительную ошибку в суждениях, которая в значительной степени влияет на выводы. Я её оставлю. Просто на случай, если вы думали, что можно безопасно следовать моим советам. Или на тот случай, если вы считаете, будто нужно искать недостатки, но не находить их.

И разумеется, если вы изо всех сил будете искать ошибку, найдёте ненастоящую ошибку и вцепитесь в неё ради того, чтобы убедить себя, какой вы критичный, то ситуация станет лишь хуже...

Именно жить с неопределённостью, знать на интуитивном уровне, что существуют ошибки, что они серьёзные и что вы их ещё не нашли --- вот что сложно.

Внимание! Этот перевод, возможно, ещё не готов.
Его статус: идёт перевод

Переведено на Нотабеноиде
http://notabenoid.org/book/77383/473221

Переводчики: sepremento