Thursday, December 10, 2009

Нужна помощь математика/статистика

Спонсор месяца - Нас проверило время. Наши партнеры - довольны нами.

Сайт дня (как попасть) - domik.net

Я продолжаю личную переписку со старым клиентом, который пытался убедить меня "проверить и попробовать самому". И тут выясняется, что человек (почему это случается с эзотериками?) СОВЕРШЕННО не понимает простейших статистических концепций. Речь зашла о поверке Джеймсом Рэнди даузеров, которые при помощи лозы, рамок и так далее определяли, в какой из 10 труб идет вода. Шанс, сами понимаете, 10%. Человеку давали от 5 до 10 подходов и общая статистика такая 111 подходов, 15 корректных результатов или 13.5%. Хотя я и спал на лекциях по статистике, даже мне и без калькуляций видно, что это случайный результат. Но у эзотериков своя математика - если вероятность 10%, а результат 13.5%, то это на 35% выше случайного - значит неслучайно. Я попытался на словах объяснить человеку, но будет проще, если кто-то, кто помнит лекции рассчитает мне для интервала в 95% и 99%, какой результат надо показать (сверху, нижняя планка не интересна), чтобы результат был статистически значимый.

И еще одна трудная для эзотериков концепция это то, что если у вас вероятность в 50% (монетка), то бросить 100 монетку и получить результат 50 орлов и 50 решек намного СЛОЖНЕЕ (реже), чем любую другую комбинацию, что, тем не менее, будет укладываться в нормальную дистрибуцию для вероятности в 50%. Эзотерики почему-то даже малейшее отклонение тут же интерпретируют как "да это маленький, но результат".

Поэтому другую калькуляцию, которую я вас прошу сделать, это какова вероятность получить ИМЕННО 10 попаданий при 100 подходах и 10% вероятности (или 11 попаданий при 111 подходах и 10% вероятности), чтобы человеку было понятно, насколько неразумно ожидать именно 10%-й реальный результат при 10%-ой вероятности.

Заранее спасибо, я знаю, что вы меня не бросите в беде.

Это вам не старый "Запор"

Интервью С Дмитрием Орловым - 3

Что ждет российскую науку?

Наука трясти сиськами

Необычные люди

Спонсор месяца - Нас проверило время. Наши партнеры - довольны нами.

23 Comments:

Blogger Галайко Константин said...

http://cultinfo.ru/fulltext/1/001/008/004/245.htm

Пример. Производится 4 выстрела по цели с вероятностью попадания 0,2 при отдельном выстреле. Попадания в цель при различных выстрелах предполагаются независимыми событиями. Какова вероятность попадания в цель ровно три раза?
...
И далее

4:25 AM  
Blogger UncommonBusiness said...

Мне пример не надо, мне нужны вычисления. Я помню, что это делается очень просто, в Америке был специальный софт, туда подставляешь значения, и он тебе дает ответ.

4:27 AM  
Anonymous Anonymous said...

http://yandex.ru/yandsearch?text=%D0%B2%D0%B5%D1%80%D0%BE%D1%8F%D1%82%D0%BD%D0%BE%D1%81%D1%82%D1%8C+%D0%BD%D0%B0%D1%81%D1%82%D1%83%D0%BF%D0%BB%D0%B5%D0%BD%D0%B8%D1%8F+%D0%BC%D0%B0%D1%82%D0%B5%D0%BC%D0%B0%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%BA%D0%BE%D0%B3%D0%BE+%D0%BE%D0%B6%D0%B8%D0%B4%D0%B0%D0%BD%D0%B8%D1%8F+%D0%BF%D1%80%D0%B8+%D0%BD%D0%BE%D1%80%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D0%BE%D0%BC+%D1%80%D0%B0%D1%81%D0%BF%D1%80%D0%B5%D0%B4%D0%B5%D0%BB%D0%B5%D0%BD%D0%B8%D0%B8&clid=13999&lr=225

Вот, например.
http://www.intuit.ru/department/network/cnat/5/18_15sm.jpg
Т.е. в приведенном примере вероятность 40%. Но, вообще, для каждого эксперимента свой собственный расчет. По твоим словам его не сделать.

4:43 AM  
Blogger Галайко Константин said...

Прям на блюдечке. Ладно:
Pn (m) = Cnmpm (1 - p) n-m;
P=C(10,100) * 0.1^10 * 0.9^90
Итого P~~0.131865

4:43 AM  
Blogger Галайко Константин said...

http://www.wolframalpha.com/input/?i=0.1^x+0.9^%28100+-+10%29+Binomial[100%2C+10]

Это, к слову сказать "на поиграться". Много разных формул

4:58 AM  
Blogger UncommonBusiness said...

То, есть только в 13% шансов будет именно 10, а в 87%, будет отличен от 10, но в рамках стандартной девиации, верно я понял смысл формулы?

Как по поводу статистически значимых цифирь для интервала в 95% или 99%, сколько должно быть из 111 минимум корректных ответов, чтобы быть уверенным в статистической значимости результата?

5:01 AM  
Anonymous Anonymous said...

Вторая калькуляция:

10 попаданий из 100 подходов , одно попадание 1 /10 вероятность.
Ответ вероятность такого события 0.1318653468, или по обывательски 13,19%.

5:06 AM  
Anonymous Anonymous said...

Вторая калькуляция:

10 попаданий из 100 подходов , одно попадание 1 /10 вероятность.
Ответ вероятность такого события 0.1318653468, или по обывательски 13,19%.
То есть лозоискатели показали практически случайные показатели :)

5:09 AM  
Blogger Галайко Константин said...

А на закуску скажу, что в городе, где живёт моя мать горводоканал этим способом ищет трубы. Сам видал, когда у матери воду прорвало, а где краник зарыт (это частный сектор) - никто не пометил. И, кстати, не угадали.

5:18 AM  
Blogger UncommonBusiness said...

Ага, я тоже с этим лично столкнулся. У нас септик и набирается быстрее, чем мы тратим воду. Поэтому мы решили, что соседи врезались туда до покупки дома. Откачивает у нас чел из водоканала. Прошелся с двумя палочками - "нашел" трубу. Раскопали нахуй все - нет трубы. Fail. А дед в Водоканале работает лет 20, полностью уверен в методе.

5:22 AM  
Anonymous Anonymous said...

Если ожидается 11 событий, то согласно работе Feldman,Cousins Phys.Rev.D 57,3873,1998 по Пуассону исход будет с вероятностью 68% лежать в интервале: 7.81 - 14.82 и с вероятностью 95% в интервале 5.14 - 19.29.

То есть 5% людей получат либо меньше 6 либо больше 19 удачных попаданий.

Вероятность именно 11 исходов приблизительно дается распределением Пуассона
m^n exp(-m)/n!, причем m=11 и n=11, то есть 11^11*exp(-11)/11! = 0.12, то есть примерно 12%
(расчет верен, так как 10% можно считать редким исходом, иначе нужно использовать биномиальное распределение, как сделал Галайко Константин)

7:40 AM  
Blogger Unknown said...

Только сегодня по дискавери в "Разрушителях легенд" они проводили очередной эксперимент с футбольными мячами надутыми гелием и воздухом сделали по 30 выстрелов из машины мячами надутыми воздухом и по 30 гелием, то есть получилось 60 выстрелов, после чего обратились к статисту с полученными результатами, так статист сказал, что 60 - это ничто, для статистики нужно не менее 1000 результатов. Так что возможно надо было просто продолжать эксперимент :)

10:08 AM  
Blogger Unknown said...

Лучше картинку нарисовать, так нагляднее. Сразу видно, что у них широкий диапазон для маневра.

12:01 PM  
Blogger Unknown said...

Пара комментариев к графику: с вероятностью 95% количество угадываний попадает в интервал от 6 до 17, с вероятностью 99% - в интервал от 4 до 20: чем больше доверительная вероятность, тем шире интервал. Говорить о статистической значимости можно, если провести 100 серий хотя бы по 10 измерений и график экспериментальной плотности распределения количества правильных ответов будет отличаться от теоретического, либо в одной серии из 100 измерений количество совпадений будет более 22. А еще интереснее, когда вода может течь в любом количестве труб (от 0 до 10).

11:09 PM  
Anonymous Anonymous said...

> И еще одна трудная для эзотериков концепция это то, что если у вас вероятность в 50% (монетка), то бросить 100 монетку и получить результат 50 орлов и 50 решек намного СЛОЖНЕЕ (реже), чем любую другую комбинацию

с хуя ли? все исходы равновероятны, в частности, описанный тобою.

12:12 AM  
Blogger UncommonBusiness said...

Не с хуя, а с математики. Вот смотрите, шанс получить РОВНО 10 - 13%. Шанс получить НЕ ДЕСЯТЬ - 87%, то есть в разы выше. Половина будет меньше 10, половина больше 10.
Шанс получить НЕ ДЕСЯТЬ и БОЛЬШЕ 10 - 43.5%. Другими словами в ТРИ РАЗА ЧАЩЕ ты будешь получать БОЛЬШЕ 10, чем ИМЕННО 10. Это называется не с хуя, а с математики.

1:03 AM  
Anonymous Anonymous said...

Дима, ты серъёзно? Если да, то второй вопрос: Эзотерики в школу ходят? И третий вопрос, как ты можешь общаться с человеком, который говорит что 13,5% больше 10% на 35% ??? (13,5 - 10 = 3,5). Объясни ему как тупому, это НА 3.5% больше.

Почему не 10%? Потому что чем больше численность выборки, тем меньше средняя ошибка выборки. А 100 с хуем, нихуя не большая выборка. Для тупого эзотерика переведи: чем больше народу будет тестироваться, тем ближе к статистическим данным будут результаты.

3:30 AM  
Anonymous Anonymous said...

>который говорит что 13,5% больше 10% на 35% ??? (13,5 - 10 = 3,5). Объясни ему как тупому, это НА 3.5% больше.

Я громко с этого смеялся ^_^

3:40 AM  
Blogger UncommonBusiness said...

Нет, 3.5% это неверные вычисление. Ожидается 11, получается 15, и действительно выглядит, что на 35% больше. Только так считать нельзя - как и делить на ноль, к примеру.

Шанс получить ровно 10% результат - 13%. Шанс НЕ ПОЛУЧИТЬ 10% - 87%
43% СЛУЧАЙНЫХ результатов будет выше 10%, 43% ниже. И эзотерики не понимают, что получить результат ВЫШЕ ожидаемого (как и НИЖЕ) ВСЕГДА в разы больше, чем ТОЧНО статистически ожидаемый результат.
Это действительно так, хотя и кажется "неправильным".

Тут человек посчитал, что для статистической значимости на 95% интервале (шанс случайности 1 из 20) надо показать 22+.

3:46 AM  
Blogger Unknown said...

С процентами всегда интересны манипуляции. Если ожидаемое число = 1, а фактическое = 2, всегда можно сказать, что получили вдвое больше чем ожидали, и с математической т.з. это абсолютно правильно. Кстати, если уж говорить про математику, то 13,5% больше 10% на 26%, а не на 35%: 100%*(13,5%-10%)/13,5%, так что не стоит уж так прикалываться над другими. Считать так можно, это не сродни делению на ноль, которое приводит к неразрешимой неопределенности, но проблема в том, что здесь на уровне восприятия одни проценты замещаются другими и складывается ложное впечатление, что приводит к неправильным выводам. Это как трюк, когда тебе дают что-то проверить тщательно, например, мобильник или валюту, а потом подменяют)

Эзотерики могут в принципе и знать математику, но пользоваться ей, чтобы произвести впечатление на людей, которые про теорвер если и слышали, то все давно забыли. Если продавщица в магазине даст сдачи больше положенного, умение считать ведь не обязывает возвращать ей лишнее. Именно поэтому и хорошо быть скептиком - ты не "ведешься" на внушаемый вариант, а думаешь своей головой.

5:17 AM  
Anonymous Pavel said...

Да, Дим, ты не скептик, а банальный сказочный долбаеб. А какова вероятность обнаружения руин в восьми случаях из одиннадцати, да еще с точностью в 3 см.? Ах да, эти же данные не от псевдоскептиковского мегагуру, не способного даже грамотно эксперимент поставить. А виноваты в неправильной постановке эксперимента, разумеется, те, кто знает, что не все так просто, а не те, кто его ставил.
Продолжай дрочить свое воспаленное самолюбие, блогерский лоховод.

9:23 AM  
Anonymous Anonymous said...

>Нет, 3.5% это неверные >вычисление. Ожидается 11, >получается 15, и действительно >выглядит, что на 35% больше. >Только так считать нельзя - как и >делить на ноль, к примеру.

Ещё раз. Нам известно 100% (это 111 человек). Поэтому отклонение - 3.5%.

>Но у эзотериков своя математика - >если вероятность 10%, а результат >13.5%, то это на 35% выше >случайного - значит неслучайно.

То что ты говоришь, переводиться как - "результат больше на 35% ОТ всей выборки". А надо "результат больше на 35% ОТ ожидаемого".
Вот это самое "ОТ" и показывает, ОТ чего мы считаем - ОТ 111 человек (100%) и получаем неправильное решение (0.35 * 1 = 0.35 = 35%) или же мы считаем ОТ ОЖИДАЕМОГО (10%) и тогда да, больше на 35%. (0.35 * 0.1 = 0.035 = 3.5%)

9:27 AM  
Blogger Unknown said...

А кто сказал, что ожидается угадываение в 100% случаев? В условиях задачи этого не было. Мы оцениваем отклонение фактического результата от мат. ожидания.

Кстати, думается мне, что именно из-за некорректных постановок задач, упрощенных интерпретаций результатов и завышенных ожиданий статистику и называли лженаукой.

7:26 AM  

Post a Comment

<< Home