Высокие статистические технологии

Здравствуйте, уважаемый Александр Иванович!

Будьте добры, подскажите, пожалуйста, нет ли литературы по сравнению различных критериев проверки нормальности.

Поскольку нормальных распределений на свете нет, то и проверять нормальность незачем. См., например, учебник "Эконометрика" на сайте, пп.4.1 и 4.2. Или Учебник "Прикладная статистика"ю

УБРАНО в знак несогласия

В указанной статье Селезнева В.Д., Денисова К.С. показано, что доказать наличие нормальности практически невозможно.

К сожалению, в электронном виде этой статьи нет.
Приведу рецензии на статью:


Рецензия на статью Селезнева В.Д., Денисова К.С. № 1089
«Исследование свойств критериев согласия функций распределения данных с гауссовой методом Монте-Карло для малых выборок»

Рассматриваются два критерия согласия с семейством нормальных распределений – критерий Шапиро-Уилка и т.н. «составной» критерий, взятый из давнего ГОСТа (конкретный вид критериев не описан). Изучается их мощность при различных альтернативах для объемов выборок 6-50.
Весьма полезен вывод о том, что по выборкам рассматриваемого объема, как правило, не удается отличить нормальное распределение от других видов распределений. Однако текст статьи имеет ряд недостатков, связанных, в частности, с недостаточным учетом материалов, уже опубликованных в «Заводской лаборатории».
1. Нельзя утверждать, что алгоритм обработки данных «обычно» начинается с проверки согласия. Проверка согласия проводится только в параметрической статистике, значение которой снижается (см., например, Орлов А.И. Современная прикладная статистика // Заводская лаборатория. 1998. Т.64. No.3. С. 52-60; Горский В.Г., Орлов А.И. Математические методы исследования: итоги и перспективы // Заводская лаборатория». 2002. Т.68. No.1. С.108-112). Однако в настоящее время проверку согласия иногда еще проводят.
2. Грубо ошибочный ГОСТ 11.006-74, как и все ГОСТы серии 11. «Прикладная статистика», отменен в 1987 г. (о судьбе ГОСТов по статистическим методам и причинах их отмены см.: Орлов А.И. Сертификация и статистические методы // Заводская лаборатория. 1997. Т.63. No.3. С. 55-62).
3. Изложение основ теории проверки статистических гипотез на с.2 является излишне упрощенным. Обычно не удается выдержать уровень значимости. Вид «наилучшего» критерия зависит от критерия оптимальности. Лучше опустить эту часть.
4. Во «Введения» к статье следовало бы дать полное описание изучаемых статистических критериев, позволяющее провести статистический анализ конкретных данных (по имеющемуся изложению нельзя восстановить рассматриваемые критерии). Еще лучше провести пример расчетов. Остальные рассуждения не являются необходимыми.
5. При буквальном прочтении на с.3 имеем бессмыслицу: коэффициент корреляции между двумя функциями распределения!
6. Целесообразно сопоставить с аналогичными работами других авторов, например: Shapiro S.S., Wilk M.B., Chem H.J. – Amer. Stat. Ass. J., 1968, December, p.1343-1372; Золотухина Л.А., Винник Е.В. Эмпирическое исследование мощности критерия Саркади и его модификации // Заводская лаборатория. 1985. No.1. С. 51-55.
7. Непонятно, почему авторы упоминают устойчивые (робастные) методы статистики (с.7 и др.), но ничего не говорят о непараметрических методах.
8. Деление выборок на группы (с. привязано к конкретной задаче. Общая ситуация рассмотрена в: Орлов А.И. Методы оценки близости допредельных и предельных распределений статистик // Заводская лаборатория. 1998. No.5. С. 64-67. Там показано, что деление выборок на малые, средние и большие (или иное) зависит от решаемой задачи.
9. Необходимо указать, какие стандарты в настоящее время действуют, а какие отменены.

После устранения недостатков работу можно печатать.

А.И.Орлов
2002-06-07

Рецензия
на доработанный вариант статьи Селезнева В.Д., Денисова К.С. № 1089
«Исследование свойств критериев согласия функций распределения
данных с гауссовой методом Монте-Карло для малых выборок»

Авторы проделали большую работу по исправлению отмеченных в первой рецензии недостатков.
Однако у доработанного варианта также есть недостатки, хотя и носящие редакционный характер.
1. На с.1 «параметрический метод» сводится к проверке согласия с нормальным семейством и – при положительном результате – обработке данных как извлеченных из нормального распределения. Где же методы анализа данных из экспоненциального распределения, распределения Вейбулла-Гнеденко, гамма – распределения и др.? Они ведь тоже являются параметрическими.
2. На с. 1 следует уточнить проверяемую гипотезу. Видимо, математическое ожидание и дисперсия нормального распределения считаются неизвестными. Две другие гипотезы согласия (первая – с однопараметрическим семейством с известным математическим ожиданием и неизвестной дисперсией; вторая - с однопараметрическим семейством с неизвестным математическим ожиданием и известной дисперсией) в статье не рассматриваются.
3. Непонятно, почему на с.2 и с.4 одно и то же выборочное среднее арифметическое обозначается по-разному.
4. Формула для величины b на с.4 неверна.
5. На с.2 и далее (с.4, с.5) величина S не является несмещенной оценкой среднего квадратического отклонения. На самом деле S2 – несмещенная оценка дисперсии.
6. Вместо термина «распределение Вейбулла» ныне используют термин «распределение Вейбулла-Гнеденко» (с.5).
7. Названия критериев на с.10 не вполне соответствуют ныне принятым. В рецензируемой статье речь идет не о критерии Колмогорова-Смирнова, а о критерии типа Колмогорова-Смирнова, не о критерии Крамера – фон Мизеса, а о критерии типа омега-квадрат. Причина в том, что Колмогоров, Смирнов, Крамер и фон Мизес проверкой согласия с нормальным семейством не занимались. См.: Орлов А.И. О критериях Колмогорова и Смирнова. - Журнал «Заводская лаборатория». 1995. Т.61. No.7, с.59-61.
8. Вывод 3 на с.12 не относится к тематике статьи и представляется спорным. Его лучше исключить. Дело в том, что, как и сказано на с.1, принятие гипотезы нормальности ведет к возможности применять методы анализа данных, разработанные в предположении нормальности. А в случае принятия гипотезы «выборка имеет распределение с конечной дисперсией» подобного традиционного набора методов нет. Кроме того, трудно представить себе реальные данные, распределение которых имеет бесконечную дисперсию. Любое средство измерений имеет конечную шкалу (от А до В), а потому результаты первичных измерений имеют конечную дисперсию. См.: Орлов А.И. О развитии методологии статистических методов. - В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. – Пермь: Изд-во Пермского государственного университета, 2001. – С.118-131.

После устранения недостатков (в рабочем порядке) работу можно печатать.

Рецензент
А.И.Орлов
29-06-2003


И мы ее напечатали:

2005/1 (а не No.2)
Селезнев В. Д., Денисов К. С. Исследование свойств критериев согласия функции распределения данных с гауссовой методом Монте-Карло для малых выборок .......... 68

УБРАНО в знак несогласия

"Когда надо привести примеры ошибочного применения статистики, я обычно обращаюсь к учебникам по общей теории статистики, авторы которых - невежды - готовят себе на смену новых невежд."
Из статьи:
Орлов А.И. О перестройке статистической науки и её применений. – Журнал «Вестник статистики», 1990, No.1, с.65 – 71.

С сочинениями А.И. Кобзаря мне прищлось столкнуться в конце 80-х. Был он тогда главным инженером завода в Зеленограде и д.т.н.

Прислал мне как вице-президенту Всесоюзной статистической ассоциации свой опус. В ответ я написал большой текст с анализом грубых ошибок в опусе А.И. Кобзаря. Может быть, где-то хранится в архиве. В электронном виде нет. Этот опус назывался примерно так Профессораже, как и его сочинение 2006 г.

Из общих соображений можно предположить, что пожилой невежда обучился. Из столь же общих соображений ясно, что вероятность такого события мала. Тратить время на чтение Кобзаря не хочется. На одного дурака уходит масса времени, что видно хотя бы по выставленным на этом форуме рецензиям.

Но предупредить о сомнительной научной и прикладной ценности опусов А.И. Кобзаря необходимо.

Профессора-невежды успешнот готовят себе на смену новых невежд.

Спасибо Всем огромное за советы.