Высокие статистические технологии

Не надо серчать. Может я и ламер, но непонятки-то серьезные.

ОК. Приведу еще более полную цитату:

"Мы описали критерий Уилкоксона для проверки гипотезы об однородности двух выборок в условиях, когда функции распределений данных непрерывны и, тем самым, в выборках не должно быть совпадающих наблюдений. Однако на практике совпадающие наблюдения - не редкость. Чаще всего это происходит не потому, что нарушается условие непрерывности, а из-за ограниченной точности записи результатов измерений (например, рост человека обычно измеряется с точностью до 1 см). Применение критерия Уилкоксона к таким данным приводит к приближенным выводам, точность которых тем ниже, чем больше совпадающих значений." с. 123-124

Совершенно верно.
А точнее, реальность описывается более сложными моделями, чем исходная модель с непрерывными функциями распределения.
Одна из этих более сложных моделей - модель статистики интервальных данных (см. гл.4 "Нечисловой статистики" на сайте). Там рассмотрен критерий Смирнова для проверки однородности двух выборок.
Есть и другие модели. Например, А.М. Никифоров предлагал к совпадающим значениям прибавлять малые погрешности, чтобы сделать их различными. При этом значение критерия Вилкоксона размывается - от и до (Труды Королевского статистического общества, начало 90-х).

Это все конечно хорошо, только вот для критерия Вилкоксона модель Никифорова явно пытается использовать недопустимое преобразование шкалы и, собственно, ничем не отличается от других "уловок", а критерий Смирнова сильно отличается от рассматриваемого критерия.

Проблема в том, что критерий Вилкоксона - это лишь попытка математиков подменить решение задачи другой задачей, более простой для решения. В их время компьютеров не было. Вилкоксон не зря редуцировал шкалу к ранговой и "запретил" совпадения. В этом случае функция распределения получается достаточно гладкой и красивой, что очень удобно математикам, только вот для реального применения в указанном выше случае это не подойдет, потому что шкала слишком узкая и наблюдаемое распределение чрезвычайно сильно будет отличаться от табличного, а формулы для корректировок не будут точными. Там вообще будут сплошные совпадения. Неспроста сейчас идет возврат к критериям рандомизации или точному вычислению статистики критерия Вилкоксона, что в принципе одно и то же. Для таких случаев даже сводят задачу к таблице сопряженности, что явно упрощает подсчеты, только будет проблема факториалов.

Кстати, тот же Холлендер в предисловии называет Питмана, как одного из основателей непараметрической статистики.

PS.
Спасибо программисту за ссылку. Очень полезно.

Максиму.
Спасибо за перечень источников в закрытой профессором теме. Многие для меня оказались новыми. Нашел, некоторые загрузил. Сейчас читаю. Честно говоря, не знал, что исследования по перестановочным критериям [за рубежом] идут так широко. Интенсивное использование компьютеров открыло перед перестановочными алгоритмами новые перспективы. Но вот со скоростью не все вопросы решены. Для пользователя на реальных выборках (от единиц до тысяч) вычисления должны выполняться мгновенно. Утверждаю это, как программист. Даже 10-11 секунд - это много. Нужны радикально новые идеи. Прямой перебор бесперспективен. Если эта проблема будет решена, можно будет забыть о прочих параметрических и непараметрических методах - они останутся лишь историческим курьезом. Кстати, Вам известны точные формулы вычисления критических значений статистик критериев Вилкоксона и критерия Манна-Уитни?

Профессору.
Да, в статистике я не силен. И что с того? Но я и не утверждаю обратного. Считаю по готовым формулам и пытаюсь понять чуть больше, чем указано в задании босса. Я же не обвиняю в невежестве лиц, не умеющих чинить компьютеры, штукатурить стены или строить сараи. Другие профессора не смогут простейший алгоритм запрограммировать, но глобально рассуждают на тему бесполезности компьютеров. И их не называю невеждами. Просьба воздержаться от грубости. Если это невозможно, удалите мой аккаунт, и я не буду больше заходить на Ваш сайт.

Как назвать деятельность лица. которое является на форум, посвященный мало ему знакомсой области науки, начинает вещать, чем надо заниматься (причем не может разъяснить, о чем говорит), ругает за то, что за 30 лет ничего не сделано?

Там будет простое биномиальное распределение В той же книжке Тюрина это написано на 122 странице с примером расчета. Это если идеально точно соблюдаются все условия применимости. В реале же такого кайфа не получится. И дальше начинаются попытки гладкими графиками нормальных или других аппроксимаций заменить распределение с практически непредсказуемой последовательностью больших и малых ступенек.
По поводу сложности расчетов. Я, конечно, понимаю все трудности, но открою небольшой секрет - у меня есть одна маленькая формула, которая позволяет вычислять биномиальные коэффициенты с очень большой эффективностью без использования факториалов. Причем вычислять даже взвешенные (делить на степени десяти придется, т.к. тип данных Double позволяет считать треугольник Паскаля только до 1023 ряда). Применив некоторые программистские уловки, можно считать значительно дальше. Практически для всех реально использующихся размеров выборок. Для нечисловых шкал (порядковая и ниже) проблем, думаю не будет, т.к. там все можно свести к таблицам сопряженности. Для социологов, маркетологов, педагогов - это основная часть данных. А вот с другими шкалами придется повозиться. Основная засада - отсутствие информации по теме.

Приношу извинения за беспокойство. Надеюсь, Вы найдете немало более приятных собеседников.

Максиму.
Спасибо. Это последнее мое сообщение.

У меня предложение к профессору.
Чтобы попусту не спорить по пустякам, давайте сделаем простую вещь. У меня есть небольшая (11 страниц) статья в электронном виде двух немецких профессоров на английском. Там дано очень неплохое и понятное изложение упоминаемого мной подхода и дан интересный алгоритм для вычисления распределений многих критериев, в том числе и Вилкоксона. Я ее полгода назад скачивал из интернета (в открытом доступе), только забыл откуда.
Переведите ее на досуге и опубликуйте на сайте и в своем журнале со своей рецензией. Заодно и хорошо поймете о чем я говорю, а то я может быть что-то не так объяснил. А если сможете перевести алгоритм на Ваш любимый VBA, то программисты Вас не забудут. Вы же как один из ведущих специалистов должны быть заинтересованы в продвижении исследований в области "Высоких статистических технологий". Заодно и наши местные кулибины Вам спасибо скажут.
Если Вам это интересно, то вышлю статью на емайл.

Вот Вам кстати простое определение из википедии http://en.wikipedia.org/wiki/Resampling_(statistics)

A permutation test (also called a randomization test, re-randomization test, or an exact test) is a type of statistical significance test in which a reference distribution is obtained by calculating all possible values of the test statistic under rearrangements the labels on the observed data points. In other words, the method by which treatments are allocated to subjects in an experimental design is mirrored in the analysis of that design. If the labels are exchangeable under the null hypothesis, then the resulting tests yield exact significance levels. Confidence intervals can then be derived from the tests. The theory has evolved from the works of R.A. Fisher and E.J.G. Pitman in the 1930s.

Наивный Вы человек. Максим...
Что мне, делать больше нечего?
Вот если Вы переведете эту статью на русский, обещаю ее просмотреть.

Дык мне-то, в принципе, правильность подхода и так понятна.
Я думал Вам интересно будет...

Есть более актуальные проблемы - см.:
Некоторые нерешенные вопросы в области математических методов исследования
http://orlovs.pp.ru/stat.php#s2p5

Ладно, извините за беспокойство.
Не буду больше отвлекать.

Привет Всем!
Извините, а вы не подскажите, как по формуле рассчитать критические значения статистики Уилкоксона, когда значения выходят за границы значений таблицы? По какой формуле производится расчет? Заранее СПАСИБО БОЛЬШОЕ!!!

О критерии Вилкоксона - учебник "Эконометрика" http://orlovs.pp.ru/
глава 4, раздел 4.5

УБРАНО в знак несогласия

Надо нчинать с формулировки вероятностно-статистической модели.
Критерий Вилкоксона - состоятельный (в том смысле, который вкладывается в этот термин в математической статистике) для проверки гипотезы
P{X<Y} = 1/2,
где распределение Х - как в первой выборке, У - во второй.
Эта гипотеза - промежуточная между однородностью характеристик и гипотезой абсолютной однородности (совпадения функций распределения).
Много глупостей понаписано про критерий Вилкоксона, в том числе в распространенных опусах (ссылки на ошибки см. в упомянутом выше учебнике).
Для проверки абсолютной однородности следует применять состоятельные критерии - Смирнова, типа омега-квадрат.
А критерий Вилкоксона пора выкидывать из преподавания. Зря я его вставил в учебники. Была под руками готовая статья - вот ее и вставил.
Думаю, что тогда, когда из-за недостатка ресурсов (времени или знаний) применяют критерий Вилкоксона, то вполне достаточно критические значения определять на основе асимптотической нормальности. А если объемы выборок меньше 10 - обоснованные выводы вообще невозможны.
Сформулированное только что утверждение было бы хорошо проверить численно - сравнить свойства точного и "асимптотического" правил принятия решений.