Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: Do Scientists Already Know This Stuff?

poke возражает:

sepremento 04.05.20 в 08:07

Способность создавать гипотезы --- это важный навык, на развитие которого учёные тратят много времени. Может быть это и не часть традиционного описания науки, но это не значит, что такая область не входит в социальный институт, производящий реальные научные знания в нашем мире. Ошибка не в науке, а в вашем описании.

sepremento 04.05.20 в 08:10

Знаю, что называл себя в молодости "глупым", но это всего лишь фигура речи. Более точным определением было бы "неумелое обращение с высоким интеллектом". Елиезер-18 не имел привычки делать очевидные ошибки, просто его "очевидное" не равно моему "очевидному" сейчас.

sepremento 05.05.20 в 07:47

Я не проходил традиционного обучения, но когда оглядываюсь назад и вижу, где Элиезер-18 был неправ, то вижу, что многие современные учёные делают те же самые ошибки. И не вижу каких-либо признаков, что их предупредили лучше, чем меня.

sepremento 05.05.20 в 07:48

Сэр Роджер Пенроуз, физик с мировым именем, всё ещё считает, что сознание вызвано квантовой гравитацией. Я ожидаю узнать, что его никто не предупреждал не давать таинственные ответы на таинственные вопросы, его лишь научили делать фальсифицируемые гипотезы, у которых будут эмпирические последствия. Ровно как и Элиезера-18.

sepremento 05.05.20 в 07:51

У высказывания "сознание вызвано квантовой гравитацией" есть проверяемые последствия. Из него следует, что возможно рассмотреть нейрон и увидеть когерентную квантовую суперпозицию, коллапс которой является частью обработки информации, а также то, что невозможно будет воспроизвести работу ввода-вывода нейрона с использованием вычислимых микроанатомических симуляций...

sepremento 05.05.20 в 07:54

... но даже после того, как вы произнесёте "сознание вызвано квантовой гравитацией", у вас не появится новых ожиданий относительно того, как мозг производит мысль "я мыслю, следовательно, существую" или о тайнственной красноте красного цвета, даже несмотря на то, что кажется, будто вам известна причина. Сейчас я понимаю , что это громкий сигнал тревоги, но меня о нём не предупреждали и сомневаюсь, что и Пенроузу об этом говорил его научный руководитель. Если уж на то пошло, то я сомневаюсь, что Нильса Бора предупреждали об этом, когда пришло время сформулировать Копенгагенскую интерпретацию квантовой механики.

sepremento 05.05.20 в 07:59

И насколько мне известно, ни Элиезера-18, ни Роджера Пенроуза, ни Нильса Бора не предупредили об этом потому, что не существует стандартного предупреждения.

sepremento 05.05.20 в 08:01

Я не обобщал концепцию "таинственных ответов на таинственные вопросы" столь многословно до тех пор, пока не начал писать байесианский анализ различий между техническим, не-техническим и полутехническим научными объяснениями. Теперь, итог этого анализа можно не-технически сформулировать в терминах четырёх сигналов об опасности:

sepremento 05.05.20 в 08:04

Во-первых, объяснение работает как затычка для любопытства, а не контролёр ожиданий.

sepremento 05.05.20 в 08:05

Во-вторых, у гипотезы нет подвижных частей --- ответом оказывается не конкретный сложный механизм, но простая цельная субстанция или сила.

sepremento 05.05.20 в 08:06

В-третьих, те, кто исповедуют такое объяснение, лелеют своё невежество. Они гордо говорят о том, как феномен поражает обычную науки или как он сильно отличается от обычных феноменов.

sepremento 05.05.20 в 08:07

В-четвертых, даже после того, как ответ получили, феномен всё равно остаётся таинственным и обладает тем же самым качеством чудесной необъяснимости, что и в начале.

sepremento 05.05.20 в 08:09

В принципе, всё это можно было сформулировать сразу после развенчания витализма. Аналогично, Архимед мог придумать элементарную теорию вероятности, а древние греки --- концепцию естественного отбора. Но по факту меня никто не предупреждал об этих четырех опасностях, ближе всего оказалось предупреждение, что гипотезы должны обладать проверяемыми последствиями. А я не оформлял эти опасности в явной форме до тех пор, пока не попытался думать обо всей ситуации в целом в терминах вероятностных распределений --- нужно было зайти слегка слишком далеко.

sepremento 05.05.20 в 08:09

У меня нет оснований полагать, что такие предупреждения передаются от мастера к ученику в научных кругах, это точно не широко распространенная практика. Среди прочих применений, эти советы помогают справиться с проблемами замешательства и отчаяния, с научным хаосом. Когда среднему научному работнику или среднему научному руководителю выдастся возможность воспользоваться такой техникой?

sepremento 06.05.20 в 07:30

Мы только что обсудили фиаско концепции одного мира в физике. Очевидно, что никто никому не рассказывал о формальном определении Бритвы Оккама, ни шёпотом во время подготовки, ни после.

sepremento 06.05.20 в 07:33

Существует известный эффект, когда у великих учёных оказывается множество великих учеников. Это может быть связано с тем, что научные руководители передают навыки, которые они не могут описать. Но не думаю, что это можно считать частью стандартной науки. А если великие научные руководители не смогли выразить свои наставления словами и представить широкой публике, то это показывает, как мало понимания в этой области.

sepremento 06.05.20 в 07:37

Судить в отсутствие конкретных свидетельств и не сделать мгновенно больших ошибок очень и очень сложно. Когда ты учишься в школе, то можешь пропустить какой-то момент, но потом тебя научат пятидесяти другим вещам, которые будут верны. Когда ты выводишь новое знание в отсутствие изобильных свидетельств, то можно пропустить один момент и очнуться непонятно где через пятьдесят шагов.

sepremento 06.05.20 в 07:40

Я достаточно сильно убеждён, что учёные, которые выключают свои мозги и расслабляются верой в уютную ерунду, как только покидают границы своей специальности, не осознают, что разум это механизм и что за любым благонадёжным убеждением находится история с причинно-следственными связями. Не думаю, также, что им когда-либо говорили, что каждому набору свидетельств соответствует чёткая рациональная вероятность и нет пространств для прихотей. Даже если нет возможности вычислить ответ и даже если нет авторитетного указания, во что верить.

sepremento 06.05.20 в 07:43

Сомневаюсь, что учёные, которых средства массовой информации просили представить будущее и которые рисовали изумительно детальные картины жизни в 2050-м году, когда-либо слышали об ошибке конъюнкции. Или как эвристика репрезентативности может заставить более подробные истории выглядеть более правдоподобными, несмотря на то, что каждая деталь снижает вероятность всего сценария. Концепция, что каждой детали нужна своя опора --- о невозможности придумывать большие и детальные истории, которые звучали бы так же, как и подробные истории, что нам рассказывали на уроках истории --- жизненно необходима для точного мышления в отсутствие чётких свидетельств. Но как такая концепция может попасть в стандартную научную подготовку? Когнитивные искажения были открыты лишь несколько десятилетий назад, а популярными стали лишь совсем недавно.

sepremento 07.05.20 в 07:54

А ещё есть аффективные смертельные спирали вокруг концепций вроде "эмержентность" или "сложность", которые достаточно нечётко определены, что о них можно сказать множество замечательных вещей. Существуют целые научные области, выстроенные вокруг того рода ошибок, которые делал Элиезер-18! (Хотя я не купился на эту штуку с "эмержентностью")

sepremento 07.05.20 в 07:56

Я иногда говорю, что целью науки является набрать такую гору свидетельств, которую даже учёные не смогли бы проигнорировать. И это отличительная черта учёных --- остальные проигнорируют всё равно.

sepremento 07.05.20 в 07:58

Если существует некоторое столь большое количество свидетельств, что ты в конце концов впадаешь в отчаяние, прекращаешь выдумывать отговорки и попросту сдаёшься --- бросаешь свою старую теорию и никогда о ней больше не вспоминаешь --- то этого достаточно, чтобы маховик Науки провернулся ещё раз и чтобы построить технологическую цивилизацию. Сравните это с религией.

sepremento 07.05.20 в 08:00

Книги Карла Сагана, Мартина Гарднера и других светил Традиционной Рациональнсти предназначены, чтобы создать эту разницу: превратить кого-то из обычного человека в потенциального учёного и уберечь их от экспериментально опровергнутого сумасшествия.

sepremento 07.05.20 в 08:01

Какое обучение учёный проходит в дальнейшем? Несколько занятий фреквентистской статистики о том, как рассчитать статистическую значимость. Обучение стандартным техникам, которые позволят марать бумагу внутри твёрдо установленной парадигмы.

sepremento 07.05.20 в 08:03

Если бы Наука требовала сверх этого от среднего учёного, то не думаю, что было бы возможно продвинуть Науку. У нас достаточно проблем с людьми, которые пробираются в неё даже без этих основных квалификаций.

sepremento 07.05.20 в 08:05

Ник Тарлетон очень хорошо обобщил проблему, лучше по сути, чем я: если вам в голову приходит гипотеза, которая кажется чудной, не противоречит свидетельствам и вы пытаетесь проверить её в опыте, то Наука не назовёт вас плохим человеком. Наука не доверяет своим старейшинам решать, какие гипотезы "недостойны проверки". Но это очень слабый общественный стандарт и если попытаться перенести его в стандарт личной эпистемической рациональности, то вам будет позволено верить во слишком многое. Если вернуться к аналогии с либертарианством, которое прагматично и основано на недоверии людям, то мы видим разницу между "нельзя законодательно запрещать сигареты" и "сходи покури Мальборо".

sepremento 07.05.20 в 08:11

Вы помните, чтобы вас когда-нибудь предупреждали об этой ошибке столь многословно? Тогда почему бы людям её не делать? Сколько людей смогут пойти достаточно далеко и быть ещё строже с собой? Некоторые, но немногие.

sepremento 07.05.20 в 08:12

Многие учёные будут верить во всякие нелепицы вне своей лаборатории, пока они могут убедить себя, что их не опровергли наверняка или пока они могут не задавать вопросов. Существует ли стандартная лекция, которую слушают студенты ВУЗов, из которой была бы очевидна подобная людская оплошность и можно было бы спрашивать: "Они что, в тот день прогуливали?". Насколько я знаю, нет.

sepremento 07.05.20 в 08:16

Возможно, если очень повезёт встретить научного руководителя-знаменитость, они расскажут личные секреты вроде "спроси себя, какие есть важные задачи в твоей области исследования и работай с ними, а не над чем-то простым и тривиальным" или "будь осторожен с требованиями редакторов научных журналов, ищи новые способы огородить свой эксперимент от ожиданий, даже если они нестандартны".

sepremento 08.05.20 в 06:42

Но я не думаю, что существует какая-то большая и секретная традиция стандартов рационального мышления при скудных свидетельствах. Половина учёных верит, что верит в Бога! Более сложные навыки не входят в стандарт!

sepremento 08.05.20 в 06:44