Rationality: From AI to Zombies / Рациональность: от ИИ до Зомби: A Technical Explanation of Technical Explanation

Как подчеркивает Джейнс, теоремы Байесианской вероятности являются неизбежным следствием Байесианских аксиом. Можно наивно полагать, что споров о математических теоремах быть не может. Но когда теоремы применимы? Как их использовать в повседневных задачах? Интуитивное объяснение пытается избежать споров, но Техническое объяснение с готовностью шагает на вращающиеся вертолётные лопасти. Грубо говоря, последовательность рассуждений в Техническом объяснении не отражает единогласного консенсуса планетарного сообщества Байесианских исследователей. По крайней мере, на данный момент.

sepremento 10.08.20 в 03:02

Там, где Интуитивное объяснение сосредотачивается на чётком объяснении основ Байесианства, Техническое объяснение Технического объяснения настраивается на эти основы, тезисы о рациональности человека и философию науки. Техническое объяснение Технического объяснения называется именно так, потому что начинается с вопроса:

sepremento 10.08.20 в 03:04

"Какова разница между техническим пониманием и вербальным пониманием?"

sepremento 10.08.20 в 03:05

Ребёнком я читал научно-популярные книги о физике и считал, что много знаю. Я думал, что знаю, что звук это волны плотности воздуха, свет это волны электромагнитного поля, а материя это волны комплексных амплитуд вероятностей. Когда я подрос, я прочитал Фейнмановские лекции по физике и потратил время, чтобы понять "волновое уравнение". И в тот момент я осознал, что даже близко не понимал и не верил в утверждение "звук это волны" в том смысле, в каком физик понимает и верит в это утверждение.

sepremento 10.08.20 в 03:08

Такова разница между техническим пониманием и вербальным пониманием.

sepremento 10.08.20 в 03:08

Вы в это верите? Если да, то нужно было применить свои знания и сказать: "Но почему ты сейчас дал вербальное объяснение, а не техническое?"

sepremento 10.08.20 в 03:10

Представьте себе вероятностную плотность или вероятностную массу в виде куска глины, которую необходимо разместить по нескольким возможным исходам.

sepremento 10.08.20 в 03:11

Пусть существует маленькая лампочка, которая может светиться красным, синим или зелёным всякий раз, как нажимаешь на кнопку. Лампочка светится одним и только одним цветом при каждом нажатии на кнопку, события взаимно исключают друг друга. Вы пытаетесь предсказать цвет при следующем нажатии. На каждой попытке у вас есть некая масса глины, вероятностной массы, которую необходимо распределить по возможным цветам --- красному, зеленому или синему. Можно разложить четверть глины на зелёную возможность, четверть глины на синюю возможность и половину глины на красную возможность --- подобно назначению вероятностей 25% на зелёное, 25% на синее и 50% на красное. Метафора в том, что количество вероятности сохраняется, а потому надо раскладывать с умом. Если вы решите, что синий более вероятен в следующем эксперименте, то можно назначить ему большую вероятность, но потребуется забрать вероятность с других гипотез --- возможно, украсть немного глины с красного и добавить к синему. Больше глины получить негде. Вероятности не могут составлять больше чем 1.0 (100%). Нельзя предсказать 75% вероятность увидеть красный цвет и одновременно 80% вероятность увидеть синий.

sepremento 10.08.20 в 03:18

Почему нужно быть аккуратным с вероятностной массой и размещать с умом? Почему не бахнуть всё в одно место? Давайте изменим метафору и вместо глины будут деньги. Можно поставить вплоть до доллара на каждое нажатие кнопки. Рядом стоит исследователь и выплачивает вам настоящие деньги соответственно тому, сколько игровых денег вы поставили на огонёк, который действительно загорелся. Неважно, как именно вы разместили остальные деньги по проигрышным цветам. Единственное, что важно --- сколько вы поставили на цвет, который победил.

sepremento 10.08.20 в 03:21

Однако нужно тщательно обдумать правила подсчёта результатов выплат победителям, если мы хотим, чтобы игроки были внимательны при выборе ставок. Предположим, что экспериментатор выплачивает каждому игроку в реальных деньгах столько же, сколько тот поставил на выигравший цвет. И если при этом правиле подсчёта вы обнаружите, что красный появляется в шести случаях из десяти, наилучшей стратегией будет ставить не по 60 центов на красное, но весь доллар и не думать о частотах синего и зелёного. Почему? Предположим, что зелёный и синий появляются по два раза из десяти. Допустим, вы поставите 60 центов на красное, 20 центов на синее и 20 центов на зелёное. В этом случае, шесть раз из десяти вы выиграете 60 центов, а четыре раза из десяти --- 20 центов, в среднем получится 44 центра. С учётом указанного правила подсчёта гораздо разумнее поставить весь доллар на красное и выиграть целый доллар шесть раз из десяти. Четыре раза из десяти вы не выиграете ничего, а в среднем вы будете получать 60 центов за ставку.

sepremento 11.08.20 в 02:46

Если записать функцию выплат, то она будет выглядеть так: Выплата = P(победитель), где P(победитель) --- это количество игровых денег, которые вы поставили на победивший в этом раунде цвет. Если записать функцию ожидаемых выплат с учётом правила выплат, то она будет выглядеть так:

sepremento 11.08.20 в 02:48

Ожидание(Выплата) = Σцвет P(цвет) × F(цвет) .

sepremento 11.08.20 в 02:49

P(цвет) это количество денег, которое вы ставите на конкретный цвет, а F(цвет) это частота, с которой этот цвет побеждает.

sepremento 11.08.20 в 02:49

Предположим, истинные частоты цветов 30% синий, 20% зелёный и 50% красный. И предположим, что в каждом раунде я ставлю 40% на синее, 50% на зелёное и 10% на красное. Я получу 40 центов 30% раз, 50 центов 20% раз и 10 центов 50% раз, а средняя выплата будет $0.12 + $0.10 + $0.05 или $0.27. Как именно?

sepremento 11.08.20 в 02:52

P(цвет) - игровые деньги, которые я поставил на этот цвет
F(цвет) - частота, с которой этот цвет выигрывает
Выплата = P(победитель) - количество денег, которое дают за выигравший цвет

sepremento 11.08.20 в 02:53

Реальные частоты побед:

sepremento 11.08.20 в 02:53

F(синий) = 30%
F(зелёный) = 20%
F(красный) = 50%
В долгосрочной перспективе, красное выигрывает 50% случаев, зелёное --- в 20% случаев, а синее --- в 30% случаев. Поэтому наша ожидаемая выплата на каждом раунде равна 50% от выплаты, если выигрывает красное плюс 20% от выплаты, если выигрывает зелёное и плюс 30% от выплаты, если выигрывает синее.

sepremento 11.08.20 в 02:55

Выплата это функция от выигравшего цвета и схемы ставок. Мы хотим вычислить среднюю выплату, если нам дана схема ставок и частоты, с которыми каждый цвет побеждает. Есть математический термин для такого рода вычислений, когда берут функцию от каждого события и взвешивают её вместе с частотой этого события --- математическое ожидание. Таким образом, чтобы вычислить ожидаемую выплату, сделаем расчёт:

sepremento 11.08.20 в 02:57

Ожидание(Выплата) = Σцвет P(цвет) × F(цвет)
= P(синий) × F(синий)
+ P(зелёный) × F(зелёный)
+ P(красный) × F(красный)
= $0.40 × 30% + $0.50 × 20% + $0.10 × 50%
= $0.12 + $0.10 + $0.05
= $0.27 .
С такой схемой ставок средний выигрыш составит 27 центов за раунд.

sepremento 11.08.20 в 02:58

Я разместил свои игровые деньги нелепо произвольным способом и возникает вопрос: могу ли я увеличить своё математическое ожидание, если размещу игровые деньги более разумно?

sepremento 11.08.20 в 02:59

С учётом указанного правила подсчёта, можно максимизировать выплаты, если поставить весь доллар на красное. Несмотря на ожидаемую выплату в 50 центом за раунд, лампочка может загореться зелёным, синим, синим, зелёным и зелёным, а я получу в награду ноль. Однако, шанс того, что лампочка загорится не красным цветом пять раундов подряд, составляет приблизительно 3%. Сравните это с карточной игрой красное/синее в Законопослушной Неопределённости.

sepremento 11.08.20 в 03:06

Правильным правилом для подсчёта выигрышей будет такое правило, при котором максимизировать ожидаемые выплаты можно поставив деньги в пропорциях, равных вероятности каждого цвета. Мы хотим такое правило подсчёта, что если настоящие частоты цветов --- 30% синее, 20% зелёное и 50% красное, то достичь максимума ожидаемых выплат можно только если поставить 30 центов на синее, 20 центов на зелёное и 50 центов на красное. Правильно правило подсчёта будет таким, которое заставляет отражать ваши оценки вероятностей через оптимальную схему ставок (Это ещё называют строгим правилом оценки). Как мы уже увидели, не все правила оценки обладают этим свойством, и если вы придумаете правдоподобное правило случайно, то у него, вероятно, не будет такого свойства.

sepremento 13.08.20 в 03:27

Одним из правил с таким свойством будет ставка в один доллар минус квадрат ошибки ставки, а не сама исходная ставка --- если вы ставите 30 центов на выигравший цвет ваша ошибка будет 70 центов, квадрат ошибки 49 центов (0.7^2 = 0.49), а доллар минус квадрат ошибки даст 51 цент. (Предположительно, игровые деньги исчисляются в квадратных корнях от центов, чтобы квадрат ошибки был денежной суммой.)

sepremento 13.08.20 в 03:32

Мы не станем использовать правило квадрата ошибки. Это обычные учёные-статистики вычисляют квадрат ошибки для всего подряд, а не Байесианские.

sepremento 13.08.20 в 03:33

Мы добавим новое требование: мы потребуем не просто правила оценки, но такое правило, которое даст нам один и тот же ответ, если мы применим его к разным раундам по отдельности или к их комбинации. Вот что делают Байесианцы вместо вычисления квадратов ошибок, мы требуем инварианты.

sepremento 13.08.20 в 03:36

Предположим я нажму кнопку два раза подряд. Возможны девять исходов: зелёный-зелёный, зелёный-синий, зелёный-красный, синий-зелёный, синий-синий, синий-красный, красный-зелёный, красный-синий и красный-красный. Предположим, что вначале цвет-победитель зелёный, а затем синий. Экспериментатор назначит первую оценку на основе наших вероятностей для P(зелёный1), а вторую оценку --- на основе P(синий2|зелёный1). Мы сделаем два прогноза и получим две оценки. Наше первое предсказание --- вероятность, которую мы назначили цвету, который победил в первом раунде, зелёный. Наше второе предсказание ---вероятность, что синий выиграет во втором раунде при условии, что в первом раунде победил зелёный. Почему мы используем P(синий2|зелёный1) вместо простого P(синий2)? Потому что у вас может возникнуть гипотеза о лампочке вида "синий никогда не следует за зелёным" или "синий всегда следует за зелёным" или "синий следует за зелёным с вероятностью 70%". Если это так, то после того, как вы увидели зелёный в первом раунде, вам захочется пересмотреть свой прогноз --- поменять свои ставки для следующего раунда. Вы всегда можете пересмотреть свои прогнозы, используя каждый клочок иформации, вплоть до момента, когда экспериментатор нажмёт на кнопку. Однако после вспышки света менять предсказания будет уже поздно.

sepremento 13.08.20 в 03:44

Предположим, реализовался следующий исход: "зелёный1, а затем синий2". Мы требуем следующую инвариантность --- необходимо получить одну и ту же оценку, независимо от:

sepremento 14.08.20 в 05:15

Я получил выплату дважды, вначале за прогноз P(зелёный1), а затем за прогноз P(синий2|зелёный1).

sepremento 14.08.20 в 05:16

Я получил выплату один раз за составной прогноз P(зелёный1 и синий2).

sepremento 14.08.20 в 05:16

Предположим, я назначил 60% вероятности событию зелёный1 и затем загорелась зелёная лампочка. Теперь мне нужно назначить вероятности цветам на втором раунде. Я оцениваю вероятность события синий2 и назначаю 25% от общей вероятностной массы. Во втором раунде лампочка горит синим. Получается, что в первом раунде моя ставка на выигрышное событие была 60%, а во втором раунде моя ставка на выигрышное событие была 25%. Но я также могу в начале эксперимента и после назначения P(зелёный1) вообразить, что первая вспышка была зелёного цвета, вообразить, что я обновляю свои теории на основе этой информации и затем заявить о своей уверенности в синем цвете на следующем раунде, если предыдущий был зелёным. Таким образом, я генерирую вероятности P(зелёный1) и P(синий2|зелёный1). Умножив эти вероятности друг на друга, я получаю составную вероятность P(зелёный1 и синий2) = 15%

sepremento 14.08.20 в 05:25

У двойного эксперимента будет девять возможных исходов. Если я назначу девять вероятностей P(зелёный1, зелёный2), P(зелёный1, синий2), ..., P(красный1, синий2), P(красный1, красный2), их сумма должна оказаться не более единицы, ведь я делаю прогнозы девяти взаимоисключающим возможностям "двойного эксперимента".

sepremento 14.08.20 в 05:27

Нам необходимо такое правило оценки (пусть даже оно не будет похоже на что-либо, что будет использовать обычный человек), чтобы оценка не зависела от решения предсказать результат в виде двух событий или одного составного. Я могу оценить последовательность двух результатов как единственный эксперимент "нажми на кнопку дважды" и получить оценку для предсказания P(синий2, зелёный1) = 15%. Или я могу получить оценку для первого прогноза P(зелёный1) = 60%, а затем для второго прогноза P(синий2|зелёный1) = 25%. Требуется, чтобы общий результат был одинаков в обоих случаях, чтобы не было разницы, как разбивать эксперименты и предсказания --- общий счёт остаётся неизменным.

sepremento 14.08.20 в 05:32

Таким образом, мы требуем:

sepremento 14.08.20 в 05:32

Счёт[P(зелёный1, синий2)] = Счёт[P(зелёный1)] + Счёт[P(синий2|зелёный1)].

sepremento 14.08.20 в 05:33

Но мы уже знаем, что:

sepremento 14.08.20 в 05:33

P(зелёный1, синий2) = P(зелёный1) × P(синий2|зелёный1) .

sepremento 14.08.20 в 05:33

Единственное возможное правило оценки таково:

sepremento 14.08.20 в 05:34

Счёт(P) = log(P).

sepremento 14.08.20 в 05:34

Новое правило оценки звучит так: вашая оценка равна логарифму вероятности, которую вы назначили победителю.

sepremento 14.08.20 в 05:34

Основание логарифма может быть любым --- неважно, используем ли мы логарифм по основанию десять или по основанию два, правило оценки будет обладать нужной нам инвариантностью. Но какое-то основание выбрать нужно. Математик выбрал бы основание e. Инженер выбрал бы основание десять, а специалист в вычислительных науках предпочёл бы основание два. Если использовать основание десять, то можно преобразовывать значения в децибелы, как было в Интуитивном Объяснении, однако битами иногда легче манипулировать.

sepremento 14.08.20 в 05:37

Правило логарифмической оценки точно (proper) --- максимум его ожидания достигается, когда мы говорим наши точные предположения. Он награждает справедливо. Если нам кажется, что вероятность синего цвета составляет 60% и посчитаем ожидаемую выплату для разных схем ставок, то мы обнаружим, что максимизация ожидаемой выплаты достигается, когда мы говорим экспериментатору "60%". (Читатели, владеющие математическим анализом, могут это проверить.) Правило оценки также даёт нам инвариантную сумму, независимо от того, что считается "одним экспериментом", а что считается "двумя экспериментами". Однако теперь у нас все выплаты отрицательные, поскольку мы берём логарифм вероятности, а вероятность находится в диапазоне от нуля до единицы. Логарифм по основанию 10 от 0.1 равен -1, логарифм по основанию 10 от 0.01 равен -2. Это нормально. Мы уже договорились, что правило может выглядеть иначе, чем что-то, что можно использовать. Можно представлять, что у экспериментатора есть куча денег и в конце опыта он награждает вас некоторым количеством минус ваш отрицательный счёт. (Эм, в смысле, плюс ваш отрицательный счёт). То есть, например, у экспериментатора было сто долларов, а после сотни раундов у вас накопился счёт -58, поэтому вы получите 52 доллара.

sepremento 14.08.20 в 05:43

Счёт -48 по какому основанию? Мы можем устранить эту неясность, точно определив единицы измерения. Децибелы соответствуют множителю десять; -10 децибел соответствуют множителю 1/10. Если назначить вероятность 0.01 исходу, который выиграл, даст счёт -20 децибел. Вероятность 0.03 даст -15 децибел. Иногда можно использовать биты: 1 бит соответствует множителю 2, -1 соответствует множителю 1/2. Вероятность в 0.25 приведёт к оценке -2 бита, вероятность в 0.03 приведёт к оценке -5 бит.

sepremento 15.08.20 в 03:08

Если вы сформулировали некоторое распределение вероятностей для каждого цвета P(красный), P(синий), P(зелёный), то ваш ожидаемый счёт будет выглядеть так:

sepremento 15.08.20 в 03:09

Счёт(P) = log(P)

sepremento 15.08.20 в 03:09

Ожидание(Счёт) = Σцвет P(цвет) × log(P(цвет))

sepremento 15.08.20 в 03:10

Предположим, что вы назначили вероятности 25% на красное, 50% на синее и 25% на зелёное. Давайте делать вычисления по основанию 2, так будет проще. Ожидаемый результат таков:

sepremento 15.08.20 в 03:11

Счёт(красный) = -2 бита, горит в 25% случаев,

sepremento 15.08.20 в 03:12

Счёт(синий) = -1 бит, горит в 50% случаев,

sepremento 15.08.20 в 03:12

Счёт(зелёный) = -2 бита, горит в 25% случаев,

sepremento 15.08.20 в 03:12

Ожидание(Счёт) = -1.5 бита.

sepremento 15.08.20 в 03:13