Высокие статистические технологии

Уважаемый Александр Иванович,

Информация на Вашем сайте и форуме весьма интересна и полезна, но одновременно трудна для понимания и практического применения для людей, относительно "далеких" от математики. В частности, для меня - чем больше читаю, тем больше запутываюсь, так как то, что очевидно для математика, для меня - темный лес. В связи с этим, возникли следующие общие дилетантские вопросы:
1. Непонятно, почему использование центральной предельной теоремы (ЦПТ) рассматривается как непараметрический подход? Ведь пределом в ЦПТ является функция стандартного нормального распределения (СНР) с параметрами мю=0 и сигма=1. И почему же критикуется предположение нормальности для параметрических критериев, если и нормальность и параметры изначально присутствуют в самой ЦПТ?
Если всё в конце концов упирается в ЦПТ, и соответственно, в СНР, зачем ломать копьи относительно параметрики и непараметрики? Насколько я понимаю, суть дела сводится к аппроксимации того или иного набора данных ЦПТ, а как это достигается - параметрикой или непараметрикой - это второстепенный вопрос, в основном связанный с размером выборки?
2. Неясно, почему критерий Крамера-Уэлча считается непараметрическим, если его формула почти такая же, как и Стьюдента, и в нем присутствуют аналогичные параметры? Ведь он не оперирует рангами, скажем, как классический непараметрический критерий Вилкоксона. К этому, что Вы можете сказать об аналогичном критерии Пагуровой, приведенном в программе AtteStat Игоря Гладышева? По формуле этот критерий один к одному - Крамера-Уэлча, только критические значения берутся другие.
У меня вообще создается впечатление, что один тип от другого отличается только тем, что дается сугубо теоретическая "установка" о наличии или отсутствии известного распределения - формулы-то практически идентичные. Просто в одном случае оперируем квантилями U(p), в другом - Стьюдента, в третьем - ...? Но ведь во всех случаях опять-таки в конечном счете используется ЦПТ с его СНР?
3. В главе 4 "Эконометрики" говорится о практическом отсутствии нормальности в реальных данных, однако речь в основном идет о погрешностях измерений. Но ведь сами данные и погрешности - это разные вещи, или я что-то не понимаю?
4. Пожалуйста, объясните доступно, что такое внутриматематическое свойство типа регулярности, имеющее отношение к распределению случайной величины?
5. Как следует из Ваших учебников и статей, для использования ЦПТ необходима относительно большая выборка, от n=30-50 и больше. В биологии мы имеем дело с малыми размерами выборок, в среднем около 5, максимум 10. Из истории известно, что критерий Стьюдента был создан именно для малых выборок, непараметрическим аналогом которого является критерий Вилкоксона. Из информации в Ваших учебниках я так и не понял, следует ли из современных наработок, что ЦПТ можно без ущерба применять и при малых выборках (n=5-10)? Или же все еще необходимо пользоваться классикой, в частности, критерием Вилкоксона?
6. Утверждается (подглава 4.1 "Эконометрики"), что любые реальные данные целесообразно моделировать лишь с помощью дискретных случайных величин, принимающих конечное число значений.
Между тем, многие критерии требуют непрерывности функции распределения, в частности, рассмотренный Лемана-Розенблатта. Что делать, если считаю правильным пользоваться именно дискретными величинами?
7. Что Вы можете сказать о так называемой бивес-оценке? К сожалению, уже не помню, в какой книге я читал о нем. Там было показано (с примерами), что бивес-оценка выдает промежуточную величину между арифметическим средним и медианой.
8. Насчет мощности критерия: в простых случаях обычно альтернативная гипотеза сводится к простому отрицанию нулевой гипотезы, без конкретизации. Например, Н0 - различий нет, Н1 - различия есть. Как определить достаточную мощность критерия в таких случаях?
9. ПОЖЕЛАНИЕ: было бы крайне полезно написать учебник для "чайников" по современной прикладной статистике понятным для простого обывателя языком, с минимумом математического изложения. Поверьте, фразы типа "...рассмотрим статистики интегрального типа [формула]...", "...пусть [формула], тогда..." или "...из [формула] очевидно, что..." совершенно непонятны и пугающи для не математика. Между тем несомненно, что есть крайняя необходимость в таком учебнике. Хорошим примером для классической статистики считаю книгу Стэнтона Гланца "Медико-биологическая статистика". - М.: Практика, 1999. - 459 с.

С уважением,
Айал Максимов

Только автор АттеСтат'а не Гладышев, а Гайдышев

Студенты 2-4-6 курсов воспринимают, не жалуясь. Возможно, потому, что изучали теорию вероятностей и математическую статистику. См. справочник "Математика случая", в печатном варианте: Орлов А.И. Вероятность и прикладная статистика - основные факты. - М.: КНОРУС, 2010.



Суммируются случайные величины, имеющие произвольные распределения. Т.е. рассматривается непараметрическая постановка. Надо знать, что статистическая задача называется параметрической, если заранее предполагается, что исходные данные имеют распределения, входящее в то или иное параметрическое семейство - экспоненциальных распределений. Вейбулла-Гнеденко, нормальных, логарифмически нормальных и др. Если же предполагается, что исходные данные имеют произвольое распределение, то задача является непараметрической. См. цитированный справочник.

То, что в результате суммирования случайных величин с произвольным распределением получаем случайную величину с нормальным распределением - величайший математический результат, потому и называется ЦПТ.
Кстати, в результате перемножения случайных величин с произвольным распределением получаем случайную величину с
логарифмически нормальным распределением.


Потому что исходная постановка непараметрическая. Выборки взяты из произвольных распределений.



Пагурова вслед за Уэлчем изучала этот критерий, когда выборки берутся из нормальных распределений. Статистический критерий - это не только статистика, но и правила принятия решений (критические значения).
Автор комментариев к программе AtteStat допускает неточности, поскольку не является специалистом по прикладной статистике.


Распределения реальных данных, как правило, не являются нормальными. Перечитайте раздел еще раз.


Эта фраза означает, что в тексте для математиков стояли бы еще некоторые условия, которых Вы все равно не поймете. Например, в ЦПТ - что дробь Ляпунова должна стремиться к нулю.




Критерий Стьюдента не является научно обоснованным, в отличие от критерия Вилкоксона.
Какой объем выборок достаточен для применения асимптотических результатов - обычно требует численных расчетов. Ответ зависит от того, как поставить задачу, какие отклонения считать малыми. Об этом - в моих учебниках в разделах про устойчивость (устойчивость к изменению объема выборки).
Применять статистические методы, предназначенные для анализа дискретных данных. Критерий Крамера-Уэлча, таблицы сопряженности и др.
Не знаю, что это такое.

Надо вычислить мощность критерия как функцию альтернативной гипотезы.
Книг достаточно - от Холлендера-Вулфа и Руниона (1980-е) но брошюры Новикова Д.А. и Новочадова www.mtas.ru
Еще больше книг с ошибками - см. по соседству тему "Профессора-невежды готовят себе на смену новых невежд" http://forum.orlovs.pp.ru/viewtopic.php?t=548 .

Уважаемый Граф,

Благодарю за быстрый отклик, но все-таки некоторые Ваши ответы немного не по сути заданных вопросов.
Из моего письма вообще-то ясно, что я не студент 2-6 МАТЕМАТИЧЕСКИХ курсов и специально не изучал статистику, а в меру своих способностей пытаюсь понять то, что мне действительно непонятно. Иначе бы и вопросов не задавал...
.
Это как раз и понятно; суть же моего вопроса заключался в другом - почему ЦПТ с ее СНР, а следовательно, с уже заданными параметрами мю и сигма, рассматривается как непараметрический подход, в то время как мю и сигма - это параметры, причем СНР, а не гамма-, экспоненциального и т.д. распределения? Или же СНР, мю и сигма не имеют никакого значения, и не являются параметрами? Вот что мне непонятно. А просто заранее предполагать/допускать можно все что угодно - например, что черное это белое, и на этом строить гипотезы цветовой гаммы.
По критерию Крамера-Уэлча - фактически тот же вопрос, что и выше. То, что, формально понятно, но как быть с параметрами в формуле - вот где корень моего непонимания. Например, для критерия Вилкоксона такой "непонятки" не возникает - в его формуле нет параметров среднего и стандартного отклонения, и объявление его непараметрическим не вызывает недоумения. А так можно ведь и критерий Стьюдента объявить непараметрическим, исходя из того, что я просто решил объявить постановку вопроса непараметрическим и использовать при этом критерий Стьюдента. Ну и что, что в формуле Стьюдента есть параметры, требуется нормальность и равенство дисперсий? Вот я чисто формально предположил, что подход у меня непараметрический и точка! Почему Стьюдента нельзя, а Крамера-Уэлча можно, в то время как формулы практически идентичны?
Из Ваших ответов я понимаю так, что все дело - в критических значениях? Если так, то можно ли трактовать тему следующим образом: наличие параметров или их отсутствие в критериях, условие нормальности, равенства дисперсий - это чистая формальность, не имеющая решающего значения и все определяется используемыми критическими значениями? Но ведь и критические значения откуда-то берутся, и насколько я понимаю, также из определенных типов распределения, то есть параметрических семейств. Тот же U(p) - это, на мой взгляд, фактически z Фишера, т.е. предполагает нормальность (что и есть на деле - СНР в ЦПТ!), а следовательно, использование U(p) является параметрическим подходом. В чем я ошибаюсь?

Считаю, что мой вопрос Вами не понят. На всякий случай перечитал главу 4.1 - еще раз убедился, что речь в основном и конкретным образом идет именно о ПОГРЕШНОСТЯХ измерений (вступительные и завершающие абзацы не в счет). Возможно, погрешности измерений и сами реальные данные - это одно и то же в глазах прикладного статистика, но для меня это не очевидно. Прошу разъяснить.
По 5-му вопросу попробую разобраться при помощи Ваших книг об устойчивости. . А как это сделать? Позволю напомнить - я не математик.
Я пытался понять книги Холлендера-Вулфа и Руниона - не получается, они написаны для специалистов, для новичка в статистике - отнюдь не в помощь. Книга Новикова и Новочадова - тоже не тот случай, и на мой взгляд, наоборот, она поверхностна. Например, рассматриваемый там критерий Крамера-Уэлча описан крайне неполно, нет даже информации о том, является ли он параметрическим или нет; скромно (в сноске) приведено, что он является эффективным "заменителем" критерия Стьюдента, и всё. А почему и как - нет сведений. По сути, это бесполезная для понимания сущности критерия информация. В книге также обсуждаются такие вещи, как гистограммы в Excel, классические уровни 0,95 и т.п., которые Орловым А.И. объявлены прошлым веком.
Так что, необходимость в популярной и в то же время достаточно полной книге по СОВРЕМЕННОЙ прикладной статистике есть, которая "разжевывала" бы непосвященным, например, суть "правильных" критериев, их преимущества и недостатки, теорию и практику доступным языком, и, что немаловажно - как применять эти знания самостоятельно, например, при помощи Excel.

С уважением,
Айал

Прикладной статистике надо учиться.
Кто не учится - остается невеждой.
А сейчас - не вижу смысла тратить время на дискуссию с лицом, которое даже не удосужилось посмотреть соседний раздел "Преподавание" и увидеть, что речь идет о студентах факультета "Инженерный бизнес и менеджмент", т.е. экономистах, а отнюдь не математиках.
И т.д.

Книга Руниона как раз написана "для новичка в статистике", и утверждать обратное может только случайный человек.

Этот форум - не место для болтовни невежд.
Тексты невежд уничтожаю.