Высокие статистические технологии

Товарищ профессор, не могли бы Вы посоветовать литературу на русском языке по перестановочным тестам (permutation/randomization tests). Этот подход был начат еще Фишером и Питманом в 30-х годах. Сейчас это направление непараметрической статистики для малых выборок развивается на западе в связи с ростом мощности компьютеров. У нас же создается впечатление, что полная тишина. Хотелось бы какой-нибудь учебник поглядеть, а то кроме Руниона с критериями рандомизации и описания точного теста Фишера в других учебниках мне найти пока ничего не удалось. А ведь уже разработаны точные тесты почти для всех прикладных задач...

Не вполне ясно, о чем речь.
"Ранговые критерии образуют подсемейство семейства критериев, основанных на перестановках" (Гаек Я., Шидак З. Теория ранговых критериев. М.: Наука, 1971, с.13).
Ранговые критерии - это, в частности, критерии типа Колмогорова, Смирнова, типа омега-квадрат, Вилкоксона, Ван-дер-Вардена и др.
Им уделено много внимания в литературе на русском языке, в справочнике Большева- Смирнова, в "Непараметрических методах статистики" Холлендера и Вулфа, в моих книгах и др.
Кстати, у Руниона есть ошибки - критерий Колмогорова к сгруппированным данным применять нельзя.
Рандомизированные критерии не имеют практического смысла, кроме частных постановок, вроде многократно повторяющегося статистического контроля. Они приводят к рекомендациям вроде: "Подбросим монету. Если орел, будем строить завод, если цифра - то не будем" (с обложки журнала "Крокодил"). Современный подход состоит в расчете достигаемого уровня значимости.
См. также: Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал «Заводская лаборатория». 1986. Т.52. No.12. С.55-57.
Точные распределения для ранговых критериев можно подсчитать, перебрав все возможные перестановки (все возможные элементарные исходы). Так делал, например, Д.С. Шмерлинг. С помощью современных ЭВМ это сделать легче, чем раньше. Впрочем, число перестановок с ростом числа объектов растет настолько быстро, что далеко пройти не удается.
Как член редколлегии ж-ла "Заводская лаборатория" считаю, что нам был бы весьма полезен обзор на рассматриваемую тему для раздела "Математические методы исследования".

В том-то и дело, что мне интересны неранговые критерии. Ранговые критерии неизбежно ведут к потере информации для количественных шкал. Просто для ранговых критериев относительно легко найти асимптотические аппроксимации. Тут критической проблемой является вычислимость. Тот же критерий рандомизации - это аналог критерия Вилкоксона, только он работает с абсолютными значениями, а не с рангами и для него нет таблиц.
Для решения проблемы вычислимости Dwass (1957) предложил использовать ограниченный случайный перебор, но этот подход мне не очень нравится, хотя я и не исключаю его полезность. Меня интересуют алгоритмы, основанные на полном переборе вариантов, например шифт-алгоритм Штрайтберга и Рёмеля. Такие тесты как раз имеют ясный статистический смысл и не уступают по мощности традиционным параметрическим тестам (Hoeffding, 1952). В буржуйстве даже детей уже обучают статистике по перестановочным тестам например тут Phillip Good, "Introduction to statistics through resampling methods and Microsoft Office Excel", если интересно, то могу дать почитать. Софта уже много написано по точным тестам, например www.cytel.com
В общем у нас в России IMHO провал какой-то в этой теме Хотя для малых выборок этот подход самый нужный.

Странные утверждения.
1.
Как же этим критерием пользоваться?
2.
В асимптотике это неверно. При больших объемах выборок критерий Ван-дер-Вардена столь же эффективен, как и критерий Стьюдента, если проверяется гипотеза. для которой разработан критерий Стьюдента.
А критерий Вилкоксона - асимпотически наилучший при проверке гипотезы сдвига, если наблюдения имеют логистическое распределение. И т.д.
См. "Теоретическую статистику" Кокса и Хинкли, монографию Я.Ю. Никитина и др.
3.
мощность определяется альтернативной гипотезой. Разные гипотезы - разные мощности.
4.
У меня другие заботы. А если Вы разобрались - напишите сами. Я уже предложил:

Для начала советую сформулировать, что Вы называете перестановочными критериями. И чем они отличаются от ранговых.
И основное - чем "перестановочные критерии" лучше прежних.

>>Как же этим критерием пользоваться?

Вот тут простой пример http://davidmlane.com/hyperstat/B163479.html

>>При больших объемах выборок критерий Ван-дер-Вардена столь же эффективен…

Вот именно. При больших. И асимптотика является всегда лишь приближением. Вот тут Вам, думаю, могут точнее объяснить http://www.jiscmail.ac.uk/lists/exact-stats.html

По поводу статьи – я никогда не писал статей в научные журналы, и, честно говоря, пока не представляю для себя в этом смысла.

>> …чем они отличаются от ранговых…

В общем, они отличаются тем, что для количественных шкал не происходит редукции до ранговой шкалы и вместо асимптотики считается точное значение достигаемого уровня значимости.

>> И основное - чем "перестановочные критерии" лучше прежних.

Тем, что в случае малых и смещенных выборок асимптотическое приближение может сильно врать, а редукция шкалы резко снижает мощность.
Посмотрите про преимущества точных критериев тут http://www.spss.ru/products/exact_tests ... ests12.pdf

Чувствуется, что у Вас нет навыков в написании научных текстов. Много путаницы.
Для ранговых критериев давно известны точные распределения.
Асимптотические методы - один из способов изучения свойств статистических процедур.
Понятия не определяете. Остается неизвестным, чо такое "перестановочные критерии", "смещенная выборка" и др.
Статей и книг по статистическим методам - порядка миллиона.
Советую Вам вначале познакомиться с учебниками, в том числе с "Прикладной статистикой", выставленной на сайте. Тогда Вы не будете отсылать меня к английской статье по поводу темы, исчерпывающе изложенной в этом учебнике.

Я знаю, что для ранговых критериев известны точные распределения и зачем применяется асимптотика. Книжку Вашу читал, она полезная, но не по теме, которая меня интересует. Я смотрю гораздо Уже. Термины "перестановочные тесты" и "критерии рандомизации" введены не мной. Они конечно же являются подмножеством "Непараметрических тестов", но необязательно являются "ранговыми". Я наверное действительно непонятно объясняю.
Попробую сформулировать вопрос на примере:
Вот поглядите тут (там по ссылкам можно еще литературы найти)
http://www.amazon.com/Permutation-Tests ... 038798898X
http://www.amazon.com/exec/obidos/ASIN/ ... /acmorg-20
В литературе на русском языке есть подобные учебники или монографии?

Странный Вы человек.
Не хотите объяснить, что надо, и предлагаете рекламные объявления о книгах.
Разве Вам не известно, что разные авторы одним и тем же терминам придают разные смыслы?

Есть и обратное. Разными словами называют одно и то же. Например, в ссылках, что Вы пиводите, мелькает термин resampling, т.е размножение выборок, бутстреп-методы. О них также сказано в моих учебниках, даны дальнейшие ссылки.

Мне тоже не нравится путаница с терминологией. И еще больше не нравится, что разные авторы дают разные рекомендации по применению статистических методов. Причем совсем разные.
У меня стойкое ощущение, что математики сами не могут разобраться, что, как и для чего применять. Умников разных много, а практикам-то что с этим бардаком делать? Из-за этой проблемы я и стал искать другие подходы.
Меня интересуют точные непараметрические тесты, причем в случае шкалы отношений и интервалов - неранговые, в случае ранговой шкалы - формулы точных распределений (причем применимые всегда, например независимо от количества "совпадений" для критерия Вилкоксона), в случае качественных признаков - критерии, основанные на полном переборе всех возможных вариантов типа Точного теста Фишера, биномиального критерия и т.п.
То есть я в поиске "идеальных тестов" не зависящих от распределения, дающих наиболее точные и мощные результаты, не использующие разных аппроксимаций (асимптотических или Монте-Карло), упрощений и допущений типа нормальности и т.п.
В идеале - нужна таблица с перечислением самых лучших методов для решения разных статистических задач. Чтобы лучше этих методов ничего уже не было при неизвестном распределении. Причем меня на даном этапе не волнует проблема вычислимости. То есть даже если сложность вычислений растет факториально, то для меня этот метод все равно интересен. Предположим, что я имею компьютер с бесконечной скоростью вычислений или маленькие выборки. Короче, нужна эдакая "серебряная пуля".
Я понимаю всю сложность задачи, может даже неыполнимость, но авторы этих книжек, на мой взгляд, хотя бы пытаются что-то сделать. А в нашей литературе я подобного что-то не встречал. Есть куча учебников по параметрическим методам, есть по ранговым, но все, что я видел - меня не удовлетворяет. Или слишком много неинтересной мне теории параметрических методов, или чересчур практическая направленность с кучей приближений.

Поставленная задача неразрешима.
Аналоги - поиски "философского камня" и "элексира бессмертия".
Уже писал, что мощность - не число, а функция от альтернативной гипотезы. А потому для выбора наилучшего критерия надо знать альтернативную гипотезу.
Если знаете - ответ дает лемма Неймана-Пирсона.
Но в реальных ситуациях альтернативную гипотезу не знаете.
См. также приложение 3 к "Эконометрике".

Хорошо, а если мы сконцентрируемся только на точности? Мощность не можем оценить - и ладно. Давайте выберем хотя бы наиболее точные критерии.

Что Вы называете "точностью"?

Вероятность ошибки первого рода. Ну уровень значимости наконец.

Боюсь придеретесь. Точнее будет по Вашей терминологии "Достигаемый уроень значимости".

Кстати достигаемый или наблюдаемый уровень значимости должен быть разумеется точно рассчитан, без использования любых приближений (exact p-values, в буржуйской терминологии). Я понимаю, что он будет дискретный, возможно с большими скачками, но это меня ни капли не пугает.
Еще очень хотелось бы, чтобы критерии вообще не использовали никаких предположений о распределении и соответственно, не использовали никаких оценок параметров распределения (среднее, дисперсия и т.п.).

Вас интересуют ситуации, когда известны распределения статистик при справедливости нулевой гипотезы.
Многие такие ситуации собраны в книгах Большева-Смирнова, Холлендера-Вулфа, упомянутых выше, и иных.
Поскольку таблицы не могут быть бесконечными, то рано или поздно надо переходить к асимптотическим формулам. Проблемы такого перехода описаны в моих книгах. Если читали - знаете, в каких главах. Если нет - скажите, сообщу.
Типовые предположения непараметрической статистики - непрерывность функций распределения.

Это я уже читал. Но в том-то и дело, что таблицы могут быть только для ранговых методов при отсутствии совпадений, и то не всегда.
Меня интересуют в целом тесты, основанные на "permutation principle". Они основаны на перечислении всех возможных исходов. Если не редуцировать шкалу к рангам, то для них не существует таблиц.
Они не уступают по эффективности параметрическим тестам (при условии правильного применения последних). Они конечно трудно вычислимы, но зато чрезвычайно эффективны. Permutation approach "produced stunningly efficient tests which were dismally impractical" (Bradley, 1968)

Помнится, у Руниона критерии рандомизации (перестановочные, в Вашей терминологии), считаются (и рекомендуются) для очень малых выборок. За разумное время с использованием современного персонального компьютера (типа P-4) реально сделать расчет для численности выборок до 25. Можно ли больше? Можно. Но задачу придется оставлять на ночь. К утру посчитается. А нужно ли? Если результат Вы получите тот же, что и при использовании критерия Вилкоксона (не при его точном вычислении, а в асимптотике).
Из книг, вроде, не упомянули Хеттманспергер Т. Статистические выводы, основанные на рангах. - М.: Финансы и статистика, 1987. Очень нравится. Еще Петрович М.Л., Давидович М.И. Статистическое оценивание и проверка гипотез на ЭВМ. - М.: Финансы и статистика, 1989.
Материалы StatXact Вы видели, судя по тексту. Посмотрите материалы SAS. Они бесплатно доступны.
Это я Вам как программист говорю.

Для SAS точные тесты делает фирма Cytel. Я уже приводил ссылку на ее сайт, так что лучше смотреть там.
Пока вычислительная сложность меня не очень волнует. Вот тот же критерий рандомизации у Штрайтберга и Рёмеля считается при помощи их алгоритма за вполне приемлемое время 11,13 сек. для N=150 на гораздо более слабой машине. IMHO это уже существенно меняет подход к проблеме. Реализовано это хозяйство сейчас к примеру в "R".

Да, об этом сказано в демонстрационных материалах Cytel. Так в чем проблема? Просто покупаете StatXact или SAS, и пользуетесь ими. Или есть желание сделать что-то новое? Например, программный продукт. Заверяю Вас, зря. Пустая трата времени. Здесь он никому не нужен. Вот у нас была идея при вычислении перестановочных критериев использовать не все возможные перестановки, а действать оптимально, согласно дробной реплике ортогонального плана первого порядка (см. теорию планирования эксперимента). Объем вычислений сокращается от "в разы" до "на порядки" (!), в зависимости от численности выборки. И что? Да ничего. Это никого не интересует. Если интересует, то только до того момента, как защищена диссертация.
Это я Вам как программист говорю.

Не могу серьезно относиться к разговору, когда не определены термины.
Так что же такое "перестановочные критерии"?
Дело в ом, что ряд формулировок выглядит странно. Но поскольку неизвестно, о чем речь, пока не квалифицирую.

Это товарищ Максим их перестановочными называет. Калька с зарубежного. Отражает схему вычислений. Мы называем критериями рандомизации. Кстати, в StatXact не только критерии рандомизации посчитаны. И вообще, "точные" не тождественно "перестановочные".

Термины тут еще не устоялись видимо, поэтому прошу прощения, что непонятно. Просто у нас не к чему привязать это дело, вот и приходится кальку использовать. Руниона однозначно маловато будет. Меня среди всех точных тестов интересуют только перестановочные/переборные/комбинаторные/рандомизации критерии. Уже и не знаю как назвать.
Идеи конечно есть, да и программировать умею, только пока я нахожусь в стадии изучения и поиска материала. По поводу нужности, то покупать все это хозяйство дорого будет, да и не надо. Я еще пока сам не определился надо это или нет, а если надо, то в каком виде и кому.

Не надо подбирать название, надо дать определение.

Видимо, рандомизированный критерий согласно
http://www.nsu.ru/phorum/read.php?f=6&i=2264&t=2264
не подойдет.
И http://lebedinski.com/Work163.htm - тоже не то.

Нет, это не то, что надо. Это не "рандомизированные критерии", а "критерии рандомизации" Единственное место, где в русской литературе я нашел их описание - Рунион. Есть еще надстройка для Excel, Megastat вроде называлась, автор - Игорь Гайдышев, лежит на Майкрософтовском сайте в библиотеке разработок Office Extensions. Там описание тоже есть и вроде даже исходники.
У Руниона описаны только аналоги Вилкоксонов. Придумал эти критерии Питман еще в 30-х годах. Сейчас подобные критерии вроде разработаны уже для всех задач, включая многофакторные. Мне самому название "критерий рандомизации" тоже не нравится. "Перестановочные критерии" по-моему понятнее.

Не дождавшись определений от участников дискуссии, полез в "Справочник по непараметрической статистике" Р. Руниона. Действительно, в гчасти 3 в рецептурной форме описаны "критерии рандомизации".
Есть ли основания для того, чтобы отдать им предпочтение по сравнению с другими критериями, используемыми для решения тех же задач?
Не вижу таких оснований.
В прямом смысле не вижу - не знаю, где опубликованы статьи и книги, показывающие, что эти критерии лучше иных. Может быть, и есть где-нибудь. Но специально изучать литературу по этой тематике у меня нет возможности.
Зато знаю, что "классические" критерии обладают рядом свойств оптимальности и асимптотической оптимальности, некоторые из которых сформулированы выше в этой теме.
"Критерии рандомизации" основаны на интенсивном применении компьютеров. Это недостаток - когда нет под руками нужных программ. Это и достоинство - продолжительные расчеты придают видимость научности любой рекомендации. Поэтому я не удивляюсь, что появилось много зарубежных работ на эту тему - можно выбить гранты под долгие расчеты, запрограммировать которые заметно легче, чем что-либо изучить теоретически.
Короче, критерии рандомизации хороши для тех, кто любит проводить расчеты и не любит думать.
А ведь можно легко сопоставить критерии, применив их к одним и тем же данным. И обосновать выводы, проведя такое исследование для многих выборок.

Ну это Вы зря так думаете. Эффективность подобного подхода давно доказана, и в статьях и других ресурсах в интернете я находил множество тому подтверждений и ссылок на авторов, причем эффективность как в отношении классических параметрических процедур, так и ранговых методов. Причем эти критерии свободны от многих ограничений стандартных методов. И еще заметьте, что "классические" критерии часто являются лишь бледной копией перестановочных тестов, в конкретном данном случае - это критерии Вилкоксона, которые из-за необходимости составления таблиц редуцируют количественные шкалы к ранговой (за что их ругают сторонники применения параметрических тестов) и при этом они практически неприменимы для данных, изначально представленных в ранговой шкале!!!
А у нас, я все больше убеждаюсь, - полный провал в литературе на эту тему, тем более, что серьезно развиваться этот подход начал относительно недавно.
PS.
"Наукообразность" мне вообще без разницы. Я не научный сотрудник.

Ну и путаница у Вас в голове! Критерий Вилкоксона предназначен для анализа данных, измеренных в порядковой шкале...

Ну да, конечно предназначен Я полностью с Вами и Вилкоксоном согласен.
Только давайте попробуем его применить...
К примеру пусть мы педагоги. Учителя в школе ставят оценки по пятибалльной шкале. Пусть мы иследовали 100 пионеров. Они получили оценки от 2 до 5. Внимание вопрос. Сколько у нас будет совпадений в наших данных? Применим ли при наличии такого расклада критерий Вилкоксона с его замечательными таблицами? Не придет ли потом какой-нибудь умник вроде Леонова и поместит нашу замечательную и нужную работу в кунсткамеру? )
И приведет нам неграмотным вот такую цитату вдогонку:
"При больших по размеру связках и (или) большом их числе применение критерия Уилкоксона сомнительно."
Ю.Н. Тюрин, А.А. Макаров "Анализ данных на компьютере" 2003 г.

Если вам очень хочется спорить с Тюриным, то дерзайте, меня что-то не тянет...

Обязанность дать определения предоставим ученым. А мы - простые программисты (см. псевдоним). Работаем по заказу ученых и по готовым формулам.

Ошибочная точка зрения. Отношу это на неосведомленность и привычку делать категорические выводы в области, новой для уважаемого собеседника. Программа, прежде чем попасть в компьютер пользователя, выполняется в голове программиста. Заверяю, что это бывает столь же сложно, как и доказатество новой теоремы.

Это утверждение не совсем полное. Критерий Вилкоксона предназначен для анализа данных, измеренных как в порядковой шкале, так и в шкале, которая может быть корректно приведена к порядковой. Такими шкалами являются все разновидности количественных шкал. Таки образом, данное выше определение следует расширить. Критерий Вилкоксона применяется для анализа данных, измеренных в количественной или порядковой шкале.

Максим, посмотрите еще вот это http://staff-1.ulsop.ac.uk/help/pdf/sps ... %207.0.pdf
На русском информация по т.н. "точным" критериям разбросана по многим источникам. Монографий по данной теме на русском не встречал. Скажу больше - ЗДЕСЬ их уже некому писать. Чтобы сделать доступными отечественному исследователю приличные современные источники, выход, как и в других областях прикладных наук, единственный - перевод зарубежных авторов. Это касается и монографий, и учебников по прикладной статистике. Кстати, замечание для товарищей - это ("некому писать") началось не с перестройкой, а году так в 1980-м.

Оба участника дискуссии - Programmer и Максим - проявили себя как любители рассуждать о том, чего не знают.
Например, Максим пишет:
Максим не подозревает, что любой критерий разработан для применения в рамках определенной вероятностно-статистической модели. Для критерия Вилкоксона предполагается, что функции распределения непрерывны. Тогда вероятность совпадения равна 0. Так что наличие совпадений означает, что классические предпосылки применения критерия Вилкоксона не выполнены.
Однако при небольшом числе совпадений критерий Вилкоксона все же применяют. Это обосновано многими исследованиями, некоторые из которых указаны в книге Холлендера-Вулфа и примечаниях Шмерлинга к ней. И моему соавтору по ряду работ Тюрину это известно так же хорошо, как и мне.
Programmer писал:

Так не болтайте о том, чего не знаете и знать не хотите. Например, про шкалы измерения. Всякий, кто знакомился с теорией измерений, знает, что методы, допустимые в определенной шкале, допустимы и в более сильной.
Он же:
Этим высказыванием его автор лучше всего демонстрирует свое воинствующее невежество.
Продолжать дискуссию с подобными оппонентами считаю ненужным. Тему закрываю.
Невеждам Programmer и Максиму посоветую сначала изучать прикладную статистику, а только потом высказываться.