Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: No Safe Defense, Not Even Science

Мне недостаёт интереса к обществу, чтобы расспрашивать друзей об их детстве, а потому я не знаю, насколько нижеследующее является трендом:

sepremento 11.05.20 в 06:46

Среди знакомых мне людей, которые стремятся стать лучше, как рационалисты и кто добровольно раскрывает информацию о своём детстве, я наблюдаю удивительную тенденцию говорить такие вещи, как: "моя семья вступила в культ и мне нужно было вырваться" или "один из моих родителей сошёл с ума и мне приходилось отделять реальность от его сумасшествия".

sepremento 11.05.20 в 06:48

Мой личный опыт --- взросление в семье ортодоксальных евреев --- меркнет по сравнению с этими историями... но привёл к тем же результатам: разрушил глубокую эмоциональную веру в благоразумность людей вокруг меня.

sepremento 11.05.20 в 06:50

Пока эта глубокая эмоциональная вера не разрушена, ты не растёшь как рационалист. Мне сложно облечь в слова, почему это так. Возможно потому, что те необычные навыки, которые ты приобретаешь --- любые навыки, которые делают тебя необычно рациональным --- требуют говорить "Б", когда всех вокруг говорят "А". А возможно, становится страшно, если мир вокруг тебя до сих пор кажется благоразумным местом.

sepremento 11.05.20 в 06:53

А возможно, что не возникает стремления прикладывать большие усилия и в качестве бонуса получить чуть больше благоразумия, если существующая нормальность не пугает тебя до чертиков.

sepremento 11.05.20 в 06:54

Я знаю, что многие из тех, кто стремится стать рационалистом, сталкиваются с препятствием в виде таких вещей, как крионика или многомировая интерпретация квантовой механики. И дело не в том, что они не видят логику, дело в том, что они видят логику и недоумевают: "Да разве может это быть правдой, когда это так очевидно сейчас, но никто вокруг не верит?"

sepremento 11.05.20 в 06:56

Да. Добро пожаловать на Землю, где этанол делают из кукурузы, а защитники окружающей среды выступают против ядерной энергии. Мне очень жаль.

sepremento 11.05.20 в 06:57

(См. также: Культовая контркультовость. Если окажется, что ты нервно ищешь поддержки и подтверждения, то это всегда плохо --- даже если это оттого, что ты собираешься поверить в нечто логичное, но что заставит окружающих странно на тебя смотреть.)

sepremento 11.05.20 в 06:59

Кажется, люди, которые отбросили свою веру в благоразумность других людей, могут оценивать странные идеи по их достоинствам, без переживаний о самой странности этих идей. Клей, который удерживал их на месте, растворился и теперь они могут двигаться в каком-нибудь направлении, хочется надеяться, что вперёд.

sepremento 11.05.20 в 07:02

Я называл это "одиноким инакомыслием". Настоящее инакомыслие не ощущается как будто ты пошёл в школу весь в чёрном. Оно ощущается, как будто ты пошёл в школу в клоунском наряде.

sepremento 11.05.20 в 07:03

Вот что значит быть единственным, кто говорит: "Если ты и правда считаешь, будто знаешь, кто победит на выборах, то почему бы тебе не забрать халявные деньги на рынке предсказаний?", когда все вокруг думают: "Хорошо быть личностью и самому формировать своё мнение, так мне говорили в рекламе обуви."

sepremento 11.05.20 в 07:06

Может быть в каком-то другом мире, в какой-то альтернативной ветви Эверетта с более разумным населением, дела обстоят иначе... но в этом мире я никогда не наблюдал, чтобы кто-то начал расти как рационалист до того, как он сломает глубокую эмоциональную связь с мудростью своей стаи.

sepremento 11.05.20 в 07:08

Может быть в ином мире дела шли бы по-другому. А может быть и нет. Я не уверен, что люди действительно могут доверять и думать одновременно.

sepremento 11.05.20 в 07:09

Были времена, когда я доверял кое-чему.

sepremento 12.05.20 в 07:28

Элиезер-18 доверял Науке.

sepremento 12.05.20 в 07:28

Элиезер-18 покорно признавал, что в общественном процессе науки были ошибки. Элиезер-18 покорно признавал, что в академии дела идут медленно, ресурсы распределяются плохо, существуют любимчики и плохо относятся к драгоценным еретикам.

sepremento 12.05.20 в 07:30

Удобно признавать недостатки в людях, которые не смогли соответствовать идеалу. Не приходится задавать вопросы самому идеалу.

sepremento 12.05.20 в 07:31

Да и кто мог бы быть достаточно глуп, чтобы придираться к утверждению: "Экспериментальный метод будет определять, чья гипотеза победит"?

sepremento 12.05.20 в 07:32

Частью того одураченного Элиезера-18 было общее стремление избегать идей, которые напоминали то, что обычно говорили идиоты. Элиезер-18 видел многих людей, критиковавших идеалы Науки, и все без исключения они пришли с Тёмной Стороны. Все, кто критиковал идеал Науки, неизменно желали либо продать тебе змеиное масло, либо уберечь какую-то любимую форму тупости от критики, либо пытались замаскировать свой отказ от Науки при помощи Великомудрого приняти тщетности.

sepremento 12.05.20 в 07:37

Если бы существовал какой-то другой идеал возрастом в пару столетий, то молодой Элиезер посмотрел бы на него и сказал: "интересно, действительно ли так и должно быть или есть способ сделать лучше?". Но такого не было с идеалом Науки. Наука была основной идеей, идеей, которая позволяет тебе менять идеи. Можно было придираться к ней, но впоследствии её должно было принять, а не говорить: "Так, стоп! Это неверно!"

sepremento 12.05.20 в 07:40

И потому, когда однажды я придумал свою глупую идею, я подумал, что будет добродетельно убедиться в наличии у моей идеи Нового Предсказания и всем говорил, что мечтаю проверить свою идею экспериментально. Мне казалось, что я сделал всё, что должен был.

sepremento 12.05.20 в 07:41

А потому мне казалось, что я в безопасности --- безопасности не от какой-то внешней угрозы, но в безопасности на некотором глубинном уровне, подобно ребёнку, который доверяет своим родителям и подчиняется всем их правилам.

sepremento 12.05.20 в 07:43

Уже давно я потерял доверие благоразумию моей семьи или школьных учителей. А другие дети были недостаточно умны, чтобы соревноваться в уровне дискуссии с книгами. Но видите ли, я доверял книгам. Я верил, что если буду делать так, как сказал Ричард Фейнман, то окажусь в безопасности. Вслух я этого никогда не говорил, но я так чувствовал.

sepremento 12.05.20 в 07:45

Когда до Элиезера23 дошло, насколько глупой была его глупая теория --- и Традиционная Рациональность не спасла его от неё --- и Науке было бы всё равно, что он потратил десять лет на проверку своей глупой идеи, если в итоге он признал бы, что неправ...

sepremento 12.05.20 в 07:47

... не хочу сказать, что это было ужасное эмоциональное потрясение. Не хочу делать из этого драму. Просто стало очевидно, что я был глуп.

sepremento 12.05.20 в 07:48

Вот какое доверие я хочу поломать у вас. Вы не в безопасности. Никогда.

sepremento 12.05.20 в 07:48

Даже Наука вас не спасёт. Идеалы Науки были созданы столетия назад, в те времена, когда никто не знал ни о теории вероятности, ни о когнитивных искажениях. Наука требует от вас слишком малого, она слишком легко поощряет благие намерения, она недостаточно строга, она выдаёт только такие предписания, которым способен следовать средний научный работник, она принимает медлительность, как факт жизни.

sepremento 12.05.20 в 07:51

А потому не думайте, что если вы будете следовать правилам Науки, то ваше суждение будет неуязвимым.

sepremento 12.05.20 в 07:51

Не существует известной процедуры, которой можно следовать и мышление будет неуязвимым.

sepremento 12.05.20 в 07:52

Нет такого набора предписаний, которым можно соответствовать и знать, что ты не дурак.

sepremento 12.05.20 в 07:52

Не существует известной морали суждения, которой можно изо всех сил стараться соответствовать и знать, что ты теперь защищён от критики.

sepremento 12.05.20 в 07:53

Даже если вы обратитесь к ремеслу Байеса. Его гораздо сложнее использовать и никогда нельзя быть уверенным, что ты делаешь его верно.

sepremento 12.05.20 в 07:54

Дисциплина Байесианства гораздо моложе, чем дисциплина Науки. Здесь не найти учебников, старших товарищей, нет историй успеха и поражения, нет методик на скорую руку. Придётся изучать когнитивные искажения, теорию вероятностей, эволюционную психологию и социальную психологию, другие когнитивные науки, а ещё искусственный интеллект --- и самостоятельно продумывать, как применить это знание, чтобы поправить самого себя, поскольку про это ещё не написаны учебники.

sepremento 13.05.20 в 06:34

Вы не знаете, чем на самом деле занимается разум. Каждую неделю находят новые когнитивные искажения и никогда нельзя быть уверенным, достаточно ли ты скорректировал своё мышление или чересчур.

sepremento 13.05.20 в 06:35

Формальную математику применить невозможно. Её не столь просто разложить на части, как кажется на первый взгляд и никогда нельзя быть уверенным, откуда что берётся. Неизвестно, почему Вселенная достаточно проста, чтобы её понять или почему какие-то априорные знания работают хорошо. Даже не понимаешь своих собственных априорных знаний, не говоря уже об оценке их качества.

sepremento 13.05.20 в 06:37

Одна из проблем Науки в том, что она слишком расплывчата, чтобы всерьёз напугать. "Идеи нужно тестировать экспериментом." Что может пойти не так?

sepremento 13.05.20 в 06:40

С другой стороны, если перед вами какие-то выкладки теории вероятности и, хуже того, вы знаете, что их невозможно напрямую использовать, тогда становится понятно, что вы пытаетесь сделать нечто сложное и, возможно, уже делаете неправильно.

sepremento 13.05.20 в 06:41

А потому доверять нельзя.

sepremento 13.05.20 в 06:42

Всего, что я сказал, будет недостаточно, чтобы поломать ваше доверие. Этого не произойдёт до тех пор, пока вы не попадёте в свою первую настоящую катастрофу именно потому, что следовали Правилам, а не нарушали их.

sepremento 13.05.20 в 06:43

У Элиезера-18 уже было понимание, что позволено критиковать Науку. В конце концов, научный метод сам по себе не имеет иммунитета к вопросам! Разве мы не славные рационалисты? Разве нам не следует задавать вопросы ко всему?

sepremento 13.05.20 в 06:44

А вот в то, что можно следовать законам Науки и позорно провалиться, Элиезер-18 всерьёз эмоционально не верил.

sepremento 13.05.20 в 06:45

Ох, разумеется, вслух он признавал, что это возможно. Элиезер-18 покорно признавал возможность ошибки, приговаривая: "Я могу быть неправ, но..."

sepremento 13.05.20 в 06:46

Но он не думал, что провал может произойти, ну знаете ли, в реальной жизни. Вам надлежит искать недостатки, а не находить их.

sepremento 13.05.20 в 06:47

И это эмоциональное различие ужасно сложно описать словами и боюсь, что я не смогу всерьёз предупредить вас.

sepremento 13.05.20 в 06:48

Ваше доверие не сломится до тех пор, пока вы не примените всё, что изучили здесь и в других книгах, не зайдёте так далеко, как сможете, и не осознаете, что всё это знание подвело вас. Что вы были дураком, а вас никто не предупредил. Что в том руководстве к действию, которое вы получили, были пропущены самые главные детали. Что некоторые из наиболее стойких идеалов, которым вы следовали, вели вас в неверном направлении.

sepremento 13.05.20 в 06:51

И если у вас ещё есть что защищать, а следовательно, нужно продолжать двигаться, и нельзя отречься и мудро признать ограничения рациональности ---

sepremento 13.05.20 в 06:52

--- только тогда вы будете готовы начать своё путешествие как рационалист. Взять на себя всю ответственность, жить без надёжных защит и практиковать гораздо более тонкое Искусство, чем то, которому вас однажды научили.

sepremento 13.05.20 в 06:54

Никто не начинает воистину искать Путь, пока родители не подвели его, его боги не умерли, а инструменты не развалились в его руках.

sepremento 13.05.20 в 06:55

P.S. Когда я просматривал это эссе, обнаружил непростительную ошибку в суждениях, которая в значительной степени влияет на выводы. Я её оставлю. Просто на случай, если вы думали, что можно безопасно следовать моим советам. Или на тот случай, если вы считаете, будто нужно искать недостатки, но не находить их.

sepremento 14.05.20 в 07:12

И разумеется, если вы изо всех сил будете искать ошибку, найдёте ненастоящую ошибку и вцепитесь в неё ради того, чтобы убедить себя, какой вы критичный, то ситуация станет лишь хуже...

sepremento 14.05.20 в 07:13