Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: An Intuitive Explanation of Bayes’s Theorem

[Примечание редактора: это сокращенная честь исходного эссе, содержавшего множество интерактивных элементов.]

sepremento 13.01.20 в 08:08

Друзья и коллеги обсуждают что-то с названием "Теорема Байеса" или "Правило Байеса", или даже о "байесианском мышлении". Эта штука им действительно нравится, а потому Вы тоже лезете в гугл, находите страницу про "Теорему Байеса" и...

sepremento 03.01.20 в 17:42

Оказывается, это уравнение. И все. Всего лишь уравнение. Страница, которую Вы нашли, дает математические определения, но не объясняет, что это такое по существу, как это использовать и почему это так нравится Вашим друзьям. Всего лишь формула из теории вероятности.

sepremento 03.01.20 в 17:42

Как получилось, что математическая идея вызывает столь удивительный энтузиазм у людей, которые её изучают? Почему так называемая Байесианская Революция проходит катком по наукам и объявляет своим частным случаем даже экспериментальный метод? Какой секрет известен приверженцам Байеса? Какой свет узрели они?

sepremento 03.01.20 в 17:46

Скоро Вы узнаете. Скоро Вы станете одним из нас.

sepremento 03.01.20 в 17:46

В сети существует несколько объяснений Теоремы Байеса, однако мой опыт попыток познакомить людей с байесианским мышлением показает, что нынешние объяснения слишком абстрактны. Байесианское мышление весьма контринтуитивно. Люди не могут "чувствовать его нутром", им сложно его изучить и легко забыть после завершения обучения. Эти утверждения справедливы как для новичков, так и для профессионалов этой сферы. Похоже, что байесианское мышление --- одна из тех вещей, которые, подобно квантовой механике или селективному тесту Вейсона, по самой своей природе трудно ухватываются нашими встроенными мыслительными способностями.

sepremento 03.01.20 в 17:51

Или так считается. Здесь Вы найдете попытку провести наглядное разъяснение байесианского мышления - беспощадно щадящее знакомство, которое задействует все возможные пути для понимания чисел, от частот до пространственных визуализаций. Я намерен передать Вам не абстрактные правила манипуляции числами, но значение этих чисел, и почему правила именно таковы (и не могут быть иными). Когда Вы закончите читать эту страницу, Вам будут сниться байесианские задачи.

sepremento 03.01.20 в 17:53

Давайте же начнём.

sepremento 03.01.20 в 17:53

Вот ситуация, с которой часто сталкиваются врачи:

sepremento 03.01.20 в 17:54

1% женщин в возрасте 40 лет, участвовавших в регулярных обследованиях, имеют рак груди. 80% женщин с раком груди имеют положительный результат маммографии. 9.6% здоровых женщин также получают положительный результат (маммография, как любые измерения, не дает 100% результатов). Женщина-пациент из этой возрастной группы получила положительный результат на регулярном обследовании. Какова вероятность того, что она действительно больна раком груди?

sepremento 03.01.20 в 17:54

Каков по-Вашему ответ? Если Вы раньше не сталкивались с такого рода задачами, пожалуйста, сформулируйте свой собственный вариант ответа, прежде чем читать дальше.

sepremento 03.01.20 в 17:55

Теперь предположим, что я скажу Вам: большинство докторов дают неверный ответ - обычно лишь около 15% врачей способны решить задачу правильно. ("В самом деле? 15%? Это реальные данные, или городская легенда, основанная на опросах в Интернете?" Да, это реальные данные. См. Casscells, Schoenberger, and Grayboys 1978; Eddy 1982; Gigerenzer and Hoffrage 1995; и многие другие статьи. Это удивительный результат, который однако легко воспроизводится, и потому воспроизводится в широких масштабах.)

sepremento 03.01.20 в 17:55

В случаях с приведенной выше задачей большинство врачей оценивают вероятность между 70% и 80%, что совершенно неправильно.

sepremento 03.01.20 в 17:55

Вот другая версия той же задачи, с которой врачи справляются несколько лучше:

sepremento 03.01.20 в 17:56

10 из 1000 женщин в возрасте 40 лет, участвовавших в регулярных обследованиях, имеют рак груди. 800 из 1000 женщин с раком груди имеют положительный результат маммографии. 96 из 1000 здоровых женщин также имеют положительный результат маммографии. Если 1000 женщин данного возраста пройдут регулярное обследование, какая часть из получивших положительный результат маммографии будет реально больна раком груди?

sepremento 03.01.20 в 17:56

И наконец, вот задача, с которой врачи справляются лучше всего, в 46% - почти половине! - случаев давая правильный ответ:

sepremento 03.01.20 в 17:56

100 из 10,000 женщин в возрасте 40 лет, участвующих в регулярных обследованиях, имеют рак груди. 80 из каждых 100 женщин с раком груди получают положительный результат маммографии. 950 из оставщихся 9,900 здоровых женщин также получают положительный результат маммографии. Если 10,000 женщин этого возраста пройдут обследование, какая часть из получивших положительный результат будет реально больна раком груди?

sepremento 03.01.20 в 17:57

Правильный ответ - 7,8%, и получается он так: Из 10 000 женщин, 100 больны раком груди; 80 из этих 100 имеет положительные маммограммы. Из тех же 10 000 женщинn, 9 900 не имеют рака груди, и из этих 9 900 женщин 950 тоже получат положительные маммограммы. Таким образом, общее число женщин с положительными маммограммами 950+80 то есть 1 030. Из этих 1 030 женщин с положительными маммограммами, 80 реально больны раком. Вычисляя, пропорцию, мы получаем 80/1 030, или 0,07767, то есть 7,8%.

sepremento 03.01.20 в 17:57

Иначе говоря, перед маммографическим обследованием, 10 000 женщин можно разделить на две группы:

sepremento 03.01.20 в 17:57

Группа 1: 100 женщин, больных раком груди.
Группа 2: 9 900 женщин, не больных раком груди.
В сумме эти группы составляют 10 000 пациенток. Мы никого не потеряли при подсчетах. После маммографии женщин можно разделить уже на четыре группы:

sepremento 03.01.20 в 17:58

Группа A: 80 женщин, больных раком груди, и с положительной маммограммой.
Группа B: 20 женщин, больных раком груди, и с отрицательной маммограммой.
Группа C: 950 женщин, не больных раком груди, и с положительной маммограммой.
Группа D: 8 950 женщин, не больных раком груди, и с отрицательной маммограммой.
Сумма групп A и B, групп больных раком груди, соответствует группе 1. Сумма групп C и D, групп здоровых женщин, соответствует группе 2. Если Вы примените маммографию к 10 000 пациенток, Вы получите 1030 положительных результатов, лишь 80 из которых будут принадлежать пациенткам, реально больным раком. Это правильный ответ, ответ, который врачи должны давать пациенткам с положительными маммограммами, когда они спрашивают о своих шансах на наличие рака груди; если тринадцать пациенток задают этот вопрос, приблизительно 1 из этих 13 будет больна раком.

sepremento 03.01.20 в 17:59

Ошибкой, которая постоянно совершается в этой задаче, является игнорирование наличия двух групп - действительно больных раком и здоровых, получающих ложноположительные результаты теста, - и фокусирование только на группе больных и получивших положительные результаты. Например, абсолютное большинство врачей в уже упоминавшихся исследованиях полагают, что если около 80% женщин с раком груди имеют положительные маммограммы, то и вероятность для женщины с положительной маммограммой быть больной раком тоже около 80%.

sepremento 03.01.20 в 18:00

Правильное вычисление окончательного ответа требует всех трех условий задачи - процента женщин с раком груди, процента здоровых женщин с ложноположительными результатами теста, и процента женщин с раком груди, получивших истинно положительные маммограммы.

sepremento 03.01.20 в 18:00

Исходная доля пациенток с раком груди называется априорной вероятностью. Шанс, что пациентка с раком груди получит положительную маммограмму, и шанс, что пациентка без рака получит положительную маммограмму, называются условными вероятностями. В совокупности, вся исходная информация называется априорной. Результат - ожидаемая вероятность, что пациентка больна раком груди, если ее маммограмма положительна, - называется уточненной вероятностью или апостериорной вероятностью. Только что мы видели, что апостериорная вероятность зависит отчасти от априорной вероятности.

sepremento 03.01.20 в 18:03

Понять, что окончательный ответ всегда зависит от исходной доли женщин с раком груди, можно на примере альтернативной вселенной, где только одна женщина на миллион больна этим раком. Если маммография и в этом мире выявляет рак груди в 8 случаях из 10, давая одновременно ложноположительный результат только в 1 случае из 10, это будет означать сотни тысяч ложноположительных результатов на каждый реально диагностированный рак. Первоначальная вероятность, что женщина больна раком груди, настолько мала, что хотя положительный результат маммографии и увеличивает ожидаемую вероятность, эта вероятность не увеличивается до уверенности или хотя бы до "заметного шанса". Вероятность растет лишь с 1:1 000 000 до 1:100 000.

sepremento 03.01.20 в 18:05

Два этих полярных примера помогают понять, что результаты маммографии не заменяют вашу прежнюю информацию о шансах пациента быть больным раком; маммография лишь сдвигает ожидаемую вероятность в направлении своего результата. Положительный результат сдвигает первоначальную вероятность вверх, отрицательный - вниз. Например, в нашей первой задаче, где 1% женщин болеют раком, 80% больных раком получают положительные результаты маммографии, и 9.6% здоровых женщин получают ложноположительные результаты, положительный результат маммографии сдвигает 1% шанс до 7.8% шанса.

sepremento 03.01.20 в 18:05

Большинство людей, сталкивающихся с задачами подобного типа, первоначально "воплощают в жизнь ментальную ориентацию" of замещать исходную 1% вероятность на 80% вероятность для больных раком получить положительную маммограмму. Это может показаться неплохой идеей, но не работает. "Вероятность женщине с положительной маммограммой иметь рак груди" не то же самое, что и "вероятность женщине с раком груди получить положительный результат маммографии"; они разные, как яблоки и сыр.

sepremento 04.01.20 в 05:19

Почему байесианец перешёл дорогу?

sepremento 04.01.20 в 05:19

Нужно больше информации, чтобы ответить на такой вопрос.

sepremento 04.01.20 в 05:20

Предположим, что в бочке находится множество маленьких пластиковых капсул. Некоторые капсулы окрашены в красный цвет, некоторые - в синий. У 40% от всех капсул внутри жемчужина, 60% пусты. В синий цвет окрашены 30% капсул, содержащих жемчужины, и 10% пустых капсул. Какова вероятность, что синяя капсула содержит жемчужину? В этом примере числа достаточно просты, чтобы найти решение в уме, и я предлагаю Вам попробовать это сделать.

sepremento 04.01.20 в 05:21

Более компактная формулировка той же задачи:

sepremento 04.01.20 в 05:21

p(жемчуг) = 40%
p(синий|жемчуг) = 30%
p(синий|¬жемчуг) = 10%
p(жемчуг|синий) = ?
"¬" здесь сокращение для "нет", так что ¬жемчуг читается как "нет жемчуга".

sepremento 04.01.20 в 05:22

p(синий|жемчуг) - сокращение для "вероятность синего, если жемчужина", или "вероятность, что капсула окажется синего цвета, при условии что она содержит жемчужину". Предмет в правой части такого выражения это то, что Вы уже знаете, или исходное условие, а предмет в левой части вывод или заключение. Если Вы имеете p(синий|жемчуг) = 30%, и Вы точно знаете, что некоторая капсула содержит жемчужину, Вы можете заключить, что есть 30% шанс у этой капсулы оказаться синей. Точно так же решение, которое мы ищем - "шанс, что синяя капсула содержит жемчужину", или "вероятность, что капсула содержит жемчужину, если мы знаем, что эта капсула синяя" - "жемчужина если синий" - записывается как p(жемчужина|синий).

sepremento 04.01.20 в 05:25

Теперь вернемся к задаче. Мы знаем, что 40% капсул содержат жемчужины, а 60% капсул совершенно пусты. 30% капсул, содержащих жемчужины, синего цвета, то есть 12% капсул от общего числа содержат жемчужины и синие. 10% от пустых капсул синего цвета, то есть от общего количества 6% капсул пустые и синие. Всего у нас получается 18% синих капсул, и 12% синих и содержащих жемчужины капсул, так что шанс для синей капсулы содержать жемчужину равен 12/18 = 2/3 = примерно 67%.

sepremento 04.01.20 в 05:26

Как и ранее, мы можем убедиться в необходимости всех трех составляющих априорной информации, рассмотрев предельные случаи. В очень большой бочке, где только одна капсула на тысячу содержит жемчужину, знание о том, что капсула синяя, увеличивает наши шансы с 0.1% до 0.3% (вместо исходного увеличения с 40% до 67%). Аналогично, если 999 из 1000 капсул содержат жемчужины, знание что капсула синяя увеличивает шансы с 99.9% до 99.966%; вероятность, что капсула не содержит жемчужины, меняется с 1/1000 до примерно 1/3000.

sepremento 04.01.20 в 05:27

В задаче с капсулами и жемчужинами большинство опрашиваемых, не знакомых с байесианским мышлением, ответили бы, что вероятность для синей капсулы содержать жемчужину будет 30%, или возможно 20% (30% шансов на истинно-положительный результат минус 10% шансов на ложно-положительный). Даже если эта мысленная операция представляется хорошей идеей, она не имеет смысла в контексте предложенной задачи. Это все равно как если бы Вы спросили у первоклассника: "Если восемнадцать человек сели в автобус, а потом еще семь человек сели в автобус, сколько лет водителю?" Многие дети ответят: "Двадцать пять". Они понимают, что получили возможность использовать специальную процедуру (сложение), но не вполне осознают связь этой процедуры с реальностью. Точно так же для нахождения вероятности, что пациентка с положительной маммограммой больна раком груди, абсолютно бессмысленно заменять исходную вероятность заболевания на вероятность, что женщина с раком груди получит положительную маммограмму. Столь же бессмысленно вычитать вероятность ложноположительного результата из вероятности истинно-положительного. Эти операции здесь настолько же неуместны, как подсчет пассажиров в автобусе для определения возраста водителя.

sepremento 04.01.20 в 05:30

Исследование [Gigerenzer, Hoffrage, 1995] показывает, что некоторые способы формулировки задач более способствуют пробуждению байесианского мышления. Наименее пробуждающие формулировки используют вероятности. Чуть более пробуждающим является использование частот вместо вероятностей; задачи остаются теми же, но вместо высказывания, что 1% женщин имеет рак груди, мы можем сказать, что 1 из 100 женщин больна раком, что 80 из 100 женщин с раком груди получают положительные маммограммы, и так далее. Почему большее число испытуемых "включает" байесианское мышление при таких формулировках? Возможно потому, что слова "одна из ста женщин" побуждают Вас конкретно визуализировать X женщин с раком груди, подготавливая Вас к визуализации X женщин с раком груди и положительной маммограммой, и так далее.

sepremento 04.01.20 в 05:31

Самым же эффективным из найденных способов являются целочисленные частоты - формулировки, что 40 из 100 капсул содержат жемчужины, что 12 из этих 40 капсул содержат жемчужины и окрашены в синий цвет, и что 6 из остальных 60 капсул ничего не содержат и окрашены в синий. Представление через целочисленные частоты единственное, в котором информация об априорной вероятности событий включена в описание условных вероятностей. Если Вы захотите узнать условные вероятности из натурного эксперимента, Вы получите - в случае вскрытия ста капсул - что около 40 из них содержат жемчужины, и 12 из таких капсул синего цвета, а 60 капсул пусты, и синих из них только 6. В процессе изучения условных вероятностей, Вы будете видеть случаи синих капсул с жемчужинами примерно вдове чаще, чем случаи синих капсул без жемчужин.

sepremento 04.01.20 в 05:32

К сожалению, хотя целочисленные частоты и являются шагом в правильном направлении, их все же недостаточно. Когда задачи представлены в виде целочисленных частот, доля людей, начинающих использовать байесианскую логику, увеличивается примерно до половины. Большое улучшение, но недостаточно большое, когда речь идет о реальных врачах и реальных пациентах.

sepremento 04.01.20 в 05:32

Откуда берутся априорные вероятности для задач?

sepremento 04.01.20 в 05:34

Многие априорные вероятности можно найти в справочниках по химии и физике.

sepremento 04.01.20 в 05:35

Откуда берутся априорные вероятности?

sepremento 04.01.20 в 05:35

Никогда не задавайте этот вопрос.

sepremento 04.01.20 в 05:35

Ага. Тогда откуда учёные берут априорные вероятности?

sepremento 04.01.20 в 05:35

Априорные вероятности для научных задач устанавливаются ежегодным голосованием в AAAS. В последние годы голосование стало непокорным и спорным, широко распространились желчность, внутренняя поляризация, были совершены политические убийства. Возможно, это фронт внутреннего конфликта Совета Байеса, а может быть у спорщиков слишком много свободного времени. Уверенности нет ни у кого.

sepremento 04.01.20 в 05:40

Понятно. А где все остальные берут априорные вероятности?

sepremento 04.01.20 в 05:40

Загружают свои априорные вероятности из Kazaa.

sepremento 04.01.20 в 05:41

Но что если нужные мне априорные вероятности недоступны на Kazaa?

sepremento 04.01.20 в 05:42

На задворках китайского квартала Сан-Франциско есть небольшой магазин антиквариата, где всегда бардак. Не спрашивайте о бронзовой крысе.

sepremento 05.01.20 в 04:46

Вообще-то, априорные вероятности могут быть истинными и ложными, точно также, как и конечное решение --- они являются отражением реальности и судить о них можно через сравнение с реальностью. Например, если вы думаете, что 920 из 10000 женщин в выборке больны раком груди, а настоящее количество 100 из 10000, то ваша априорная вероятность неверна. Для нашей задачи априорные вероятности могли быть установлены тремя исследованиями --- исследование историй женщин с раком груди, дабы увидеть, сколько из них получили положительный результат маммографии; исследование женщин без рака груди, чтобы узнать, сколько из них получил положительный результат маммографии; эпидемиологическое исследование распространённости рака груди в некотором демографическом срезе.

sepremento 05.01.20 в 04:52