Высокие статистические технологии

Типовые ошибки при вхождении в научную область «Прикладная статистика»

Входящих в научную область для простоты изложения назовем профанами.
1. Профаны часто не подозревают, что прикладная статистика опирается на глубоко развитую научную дисциплину «теория вероятностей и математическая статистика». Они пытаются заниматься прикладной статистикой, не имея соответствующей математической подготовки.
2. В результате не понимают, какие утверждения обоснованы на научном уровне, а какие являются субъективными мнениями отдельных публикаторов. Как следствие, их собственным формулировкам верить нельзя.
3. Рискну заявить, что из публикаций по «теории вероятностей и математической статистике» наиболее важными для прикладной статистики являются «Таблицы математической статистики» член-корр. АН СССР Л.Н. Большева и член-корр. АН СССР Н.В. Смирнова (3-е изд., 1983) и энциклопедия «Вероятность и математическая статистика» (1999, гл. ред. - акад. АН СССР Ю.В. Прохоров). Приходится констатировать, что профаны обычно игнорируют эти публикации. По этому признаку профанов можно диагностировать.
4. Проявляется легкомысленное отношение к накопленным наукой знаниям, в частности, в отсутствии в текстах профанов ссылок на источники тех или иных сведений. А также использование многозначных терминов, например, «робастность», без раскрытия их смысла.
5. Другое проявление легкомысленного отношения к накопленным наукой знаниям - отсутствие достаточных знаний о развитии прикладной статистики и, как отягчающее обстоятельство, отсутствие желания получить эти знания. Следствием являются попытки опубликовать результаты, которые уже были задолго до того получены квалифицированными авторами, причем в гораздо более продвинутом виде.
6. Примерами являются работы Б.Ю. Л. (с соавторами), который методом Монте-Карло пытался найти функции распределения статистик типа омега-квадрат (фамилию не будем раскрывать, поскольку речь идет об общем явлении, а не о привлечении к ответственности конкретного лица). О точности своих алгоритмов Б.Ю. Л., несмотря на многолетние требования, так ничего внятного и не сообщил. Судя по тому, что он писал о 2000 испытаниях, точность мала. А между тем еще в 1970-х годах, т.е. на 20 лет раньше, эти распределения были точными методами найдены Г.В.Мартыновым в его известной книге «Критерии омега-квадрат». Ранее понадобилась публикация специальной статьи:
Орлов А.И. О критериях согласия с параметрическим семейством. – Журнал «Заводская лаборатория». 1997. Т.63. No.5. С. 49-50,
чтобы заставить Б.Ю. Л. перестать допускать давно известную ошибку, связанную с неправомерным использованием распределений Колмогорова и омега-квадрат при проверке нормальности. Эта ошибка разобрана, например, в статье:
Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. – Журнал «Заводская лаборатория».1985. Т.51. No.1. С.60-62.
Третья ошибка связана с критерием типа хи-квадрат. Эта ошибка разоблачается в статье В.Г. Воинова, принятой к печати в журнале «Заводская лаборатория» в 2005 г.
Я сожалею, что поддерживал деятельность Б.Ю. Л. Именно «с моей подачи» в журнале «Заводская лаборатория» опубликован длинный ряд его статей. Я надеялся, что он будет работать над повышением своего профессионального уровня. К сожалению, эти надежды не оправдались.
7. Ошибки профанов не всегда легко продемонстрировать. Приведем один вопиющий случай.
В работах В.П.Л. (фамилия опущена по тем же причинам, что и в предыдущем примере), например:
Применение статистики в статьях и диссертациях по медицине и биологии. Часть I. Описание методов статистического анализа в статьях и диссертациях // Международный журнал медицинской практики. http:// http://www.mediasphera.ru/mjmp/98/4/r4-98con.htm
большое число медиков ошибочно обвинено в ошибках при обработке статистических данных. Однако проблема в том, что авторы этой работы сами являются малоквалифицированными в области применения статистики. Например, им неизвестно, что критерий Стьюдента вполне можно использовать, не проверяя условий нормальности и равенства дисперсий, если две сравниваемые выборки имеют одинаковые достаточно большие объемы. Более того, проверять условия применимости критерия Стьюдента гораздо труднее, чем проверять однородность. Речь идет о соображениях, давно опубликованных. Более того, В.П.Л. на своем сайте ссылается на мою статью
Орлов А.И. О применении статистических методов в медико-биологических исследованиях // Вестник Академии медицинских наук СССР. 1987. № 2. С. 88 – 94.
Если бы он ее еще и прочел, то понял бы, что требовать от медиков проверки условий применимости критерия Стьюдента (нормальность распределения результатов наблюдений и равенство дисперсий) нет необходимости, так что их (медиков) расчеты вполне обоснованы. Приходится констатировать, что деятельность В.П. Л. приводит к дискредитации применения статистических методов в научных медицинских исследованиях и потому вредна.
8. Характерно внимание, уделяемое профанами проверке нормальности. Прежде всего отметим, что профаны, как правило, недостаточно знакомы с классическими результатами, в частности, приведенными в уже упомянутых «Таблицах математической статистики» Л.Н. Большева и Н.В. Смирнова. И уж конечно им неизвестны результаты работы:
Селезнев В.Д., Денисов К.С. Исследование свойств критериев согласия функций распределения данных с гауссовой методом Монте-Карло для малых выборок. – Журнал «Заводская лаборатория». 2005. Т.71. No.1,
в которой показано, что по выборкам объемов 6 - 50, как правило, не удается отличить нормальное распределение от других видов распределений. Таким образом, популярный у профанов раздел программного обеспечения «Проверка нормальности» практического значения, как правило, не имеет.
9. Медленно доходит до создания профанов и тот экспериментальный факт, что распределения реальных данных, как правило, не являются гауссовыми (нормальными) и не могут быть приближены гауссовскими распределениями. Этот факт подробно разбирается в учебниках на нашем сайте http://orlovs.pp.ru. Он делает ненужными работы по проверке нормальности и обосновывает использование непараметрических методов.
10. Удивляет готовность профанов вкладывать большие ресурсы в программистскую работу, в развитие и использование компьютерных систем при нежелании изучать существующую теорию. Возможно, это связано с тем, что профаны используют прикладную статистику для выбивания средств для «достойного существования».
11. Перед каждым профаном, находящимся у входа в научную область «Прикладная статистика», имеется три пути.
Первый - стать специалистом. Первый шаг на этом пути - изучить учебник «Прикладная статистика», помещенный на сайте http://orlovs.pp.ru.
Второй - признать прикладную статистику не своей, но соседней областью, применять ее в своей профессиональной работе, консультируясь с профессионалами.
Третий - стать шарлатаном, эксплуатирующим терминологию статистических методов неадекватно и обычно во вненаучных целях.
Вряд ли надо пояснять, что первые два пути соответствуют нормам человеческого общежития, а третий путь преступен.

Президент Российской ассоциации статистических методов
А.И.Орлов

Смело и в точку!
Я читал публикации В. П. Л. Возможно существуют много "профанов", которые мнят себя специалистами высокого уровня и дают дельные советы по обработке данных, при этом, не освоив базовые книги перечисленные Вами. Хотя я не думаю, что В.П.Л. к ним относится. Тем не менее, некоторые разделы сайта В.П.Л. меня настораживают. Так публикации на сайте В.П.Л. изобилуют приведенными ошибками из диссертаций. Вернее всего одной ошибки: несоблюдение достаточных и необходимых условий при применении критерия Стьюдента. А конкретных рекомендаций для неспециалистов медиков нет. Зато встречается фраза "ЗА УМЕРЕННУЮ ПЛАТУ" мы выполним рецензирование статей, диссертаций и т.д.
Взять, к примеру, последнюю публикацию об ошибках применения факторного анализа. Статья констатирует факт наличия ошибок, но не показано, как же все-таки правильно применять факторный анализ в биомедицинских следованиях. Создается впечатление, что факторный анализ вообще никто правильно и не применял.
По себе знаю, как не просто ориентироваться в противоречащих фразах «специалистов высокого уровня» о корректности применения статистических методов.
Вы пишите о «профанах» высокого уровня, на которых ссылаются исследователи. Существуют еще и много специалистов, которые используют их публикации и следуют их рекомендациям, доверяя им и не утруждая себя детально разобраться в основах статистики.
Это так называемые «статисты прикладники», медики, биологи, педагоги и т.д.
Кроме того, как справедливо замечает В.П.Л., среди них также есть «касты» корректного применения статистических методов.
Например, мои оппоненты мне говорят: что такое критерий Вилкоксона (Манна Уитни), где ты его откопал. Используй только хорошо проверенные практикой критерии (Стьюдента). А то не мы, не председатель дисс.совета других не знаем. И зачем ты применяешь ранговый показатель корреляции Спирмена? Ты, что, хочешь сказать, что наши великие теоретики не правы, когда использовали корреляцию Пирсона? Такая работа ими, даже на предзащиту допущена не будет. Убрать немедленно всю эту математику. Сначала защитись, а потом умничай.
Хочу отметить, что в интернет пространстве Ваш сайт играет большую образовательную роль среди «прикладников». Например, можно всегда проконсультироваться в форуме. Я это уже несколько раз делал. Получить необходимый ответ на вопрос у специалистов в области «корректного применения статистических методов» работающих в моей сфере очень сложно, ввиду того, что их советы зачастую разнятся, или предоставляются только за «умеренную плату». И зависят от «каст» которым они принадлежат.

Хочу пожелать Вам творческих успехов и необходимой энергии в Вашей работе.

С уважением, Дмитрий
Г . Севастополь

Российская ассоциация статистических методов ставит одной из своих целей статистическое просвещение.
Книги на нашем сайте для этого и предназначены.
В качестве более простого и краткого пособия рекомендую книгу Д.А.Новикова и др. по медицинской статистике:
http://www.mtas.ru/uploads/medstat.pdf

Спасибо. Очень полезная книга и программа для расчета критериев тоже пригодилась.
Не могли бы вы подсказать как из рассчитанного значения критерия для сравниваемых выборок (например Вилкоксона-Манна-Уинти), рассчитать достигнутый уровень значимости.

К примеру: W=4,56. р<0,05. W0,05=1,96. Можно ли из этой записи расчитать точное значение р?

Чтобы рассчитать достигаемый уровень значимости, нужно знать распределение статистики.
Распределение статистики W приведено в книгах, которые трудно достать.
Но можно воспользоваться асимптотической нормальностью этой статистики (с математическим ожиданием 0 и дисперсией 1).
Тогда для W=4,56 достигаемый уровень значимости есть вероятность того, что стандартная нормальная случайная величина превзойдет по модулю значение 4,56. Это - в соответствии с таблицами - равно 2(1-0,9999974423)=2х0,00000256 = 0,000005.
Это очень маленькое число, на много порядков меньше любого реально используемого уровня значимости.
При более глубоком обсуждении - на уровне профессионалов-статистиков - придется обратить внимание на точность нормального приближения (в настоящий момент я не знаю, какова точность). Возможно, точность недостаточна, чтобы гарантировать столь малое значение достигаемого уровня значимости. Тогда лучше не рисковать и сказать, что достигаемой уровень значимости меньше 0,001 (0,1%). Все равно это меньше любого реально используемого уровня значимости.

Ошибки Б.Ю. Лемешко с подельниками разоблачаются в статье:

Воинов В.Г. Об оптимальных свойствах критерия Рао-Робсон - Никулина / Заводская лаборатория. 2006. No.3. С.65-70.

Мне жаль, что я много лет способствовал помещению материалов Б.Ю. Лемешко в ЗЛ.

Случайно выйдя на форум, организованный профессором А.И.Орловым, в первый момент я был в шоке от содержания его высказываний в мой адрес.
Василий Григорьевич Воинов месяцев 8 назад любезно присылал мне свою статью, отправленную в ЗЛ, в которой, как он выразился, немного покритиковал нас. На мой взгляд, пара фраз в работе звучит несколько резковато, но дело не в этом. В целом это хорошая работа. Но смею всех заверить, она не “разоблачает” никаких наших ошибок.
Высказывания же господина А.И. Орлова свидетельствуют либо о профессиональной некомпетентности, либо о недобросовестности, либо ….
Грустно и смешно!

Невежество в науке Б.Ю. Лемешко мне давно и хорошо известно.
Объяснять надо другое - почему я так долго его поддерживал. И защиту диссертации, и публикации в "Заводской лаборатории".
Его сочинения появились в большом количестве в 90-е, когда наука стремительно разваливалась. В журнале постоянно шла речь о нехватке статей. И я сильно обрадовался, что появился новый активный автор. Тем более, что он действовал в духе моих работ по применению статистического моделирования для изучения свойств статистик. См., например:
Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал «Заводская лаборатория». 1986. Т.52. No.12. С.55-57.
Однако в отличие от меня Лемешко поставил дело на промышленную основу - сделал программный продукт, который позволял изучать одну задачу за другой.
Результаты моделирования мы печатали. Статьи шли через меня как члена редколлегии. При этом я закрывал глаза на вопиющее невежество Б.Ю. Лемешко в прикладной статистике.
Например, хорошо известна ошибка при применении критериев типа Колмогорова, когда при проверке принадлежности функции распределения выборки параметрическому семейству применяют те же критические значения, что и при проверке совпадения функции распределения выборки с заданной:
Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. – Журнал «Заводская лаборатория».1985. Т.51. No.1. С.60-62.
Никак не удавалось вдолбить нерадивому Б.Ю. Лемешко суть ошибки, заставить его исправить эту ошибку в своих писаниях. Пришлось пойти на беспрецедентный шаг: вместе с очередной статьей Б.Ю. Лемешко напечатать статью
Орлов А.И. О критериях согласия с параметрическим семейством. – Журнал «Заводская лаборатория». 1997. Т.63. No.5. С. 49-50,
в которой ошибка в очередной раз разъяснялась, и в тексте от редакции пояснить - мы речатаем статью Лемешко, в которой есть принципиальная ошибка, и эта ошибка разбирается рядом.
Только после этого публичного сечения Б.Ю. Лемешко перестал настаивать на указанной ошибке.
Это вселило надежду на то, что Б.Ю. Лемешко может развиваться, повышать свой научный уровень, и со временем из него выработается полезный научный деятель. УУвы, надежды не оправлались.
Поток статей не иссякал, в каждой имелись многочисленные "ляпы", Б.Ю.Лемешко яростно отстаивал свои ошибки, и поэтому исправить их все не удавалось.
И закономерный финал - на ошибки в статье о критериях хи-квадрат обратил внимание один из профессионалов, проф. В.Г. Воинов. Мне стыдно, что сам я эти ошибки просмотрел, поскольку боролся с лежащими на поверхности ошибками Б.Ю. Лемешко и не заглянул глубже.
В результате в нашем журнале появилась статья Б.Ю. Лемешко с ошибками, что нанесло ущерб репутации журнала.
За прошедшие годы Б.Ю. Лемешко пролез в доктора наук, профессора, деканы, обнаглел и поверил в то. что он действительно что-то представляет в научном мире. Об этом свидетельствует его реплика в этом форуме.
Мораль той истории проста: невежд поддерживать нельзя.
Вряд ли Б.Ю. Лемешко снова посмеет появиться в нашем журнале. Очередной позор нам не нужен.
Но интересно, каков он как декан. Было бы лучше, чтобы он покинул этот пост, или нет? Знакомых с ситуацией просим высказаться.

Детей с малых лет учат, что врать нехорошо.
Но, если время упущено, то это непоправимо.

Жалко мне "Заводскую лабораторию"!

Охамел Лемешко окончательно.
Если есть возразить - говори.

Молчит.
Никаких конкретных возражений нет.
Но и никакой самокритики.
Только бездоказательные обвинения.
А ведь какие строчил ответы в ответ на рецензии в ЗЛ! Забалтывал критические замечания. И ведь помогало - сколько дряни протолкнул. Думаю, нам еще долго разгребать придется.

Итак, из трех путей, описанных в начале данной темы, профан Б.Ю. Лемешко выбрал путь шарлатана.

Интересно подискутировать на тему об отношении к шарлатану Лемешко.
Только что обсудили отрицательную сторону его деятельности - проталкивание ошибочных результатов, снижение научного уровня в популяции публикаций по прикладной статистике, причем это касается всего клана сотрудников и учеников. Шарлатан порождает новых шарлатанов.
Отдако есть и положительная сторона. Растет популяции публикаций по прикладной статистике (хотя и с ошибками), в результате обыватели узнают о существовании этой науки. Сотрудники и ученики занимаются квазинаучной деятельностью, а не биржевыми спекуляциями.
Что перевешивает?
В условиях роста советской науки в 60-70-е годы ответ был ясен - шарлатанов надо гнать из науки и преподавания.
А сейчас?
Что лучше - пустота или шарлатаны?
Я все же думаю, что пустота лучше.
Если бы Лемешко с подельниками был сразу дан достойный отлуп в "Заводской лаборатории" , то журнал бы выиграл. По крайней мере сроки публикации статей сократились бы.

На основе данной темы составим "Лемешкиаду".
Поместим в рассылку (тираж 1250).
Учтем отклики, если будут.
Сообщим свое мнение в диссертационный совет, где окопался Лемешко.
Руководству вуза.
И в ВАК.
Как думаете, надо лишать шарлатана Лемешко ученых степеней и званий?
Или пусть живет среди прочих шарлатанов?

Предлагаем познакомиться с рецензиями на сочинения Б.Ю. Лемешко, чтобы составить представление о научном уровне этого декана.

С текстами Б.Ю. Лемешко в секции «Математические методы исследования» редколлегии журнала «Заводская лаборатория» шла долгая работа, имевшая целью извлечь жемчужное зерно и представить его читателю.
После четырех переработок в соответствии с четырьмя последовательными рецензиями (прилагаются третья и четвертая) статья Б.Ю. Лемешко, Е.В. Чимитовой № 867 «Оптимальные L-оценки параметров сдвига и масштаба распределений по выборочным квантилям» была опубликована в N 1 за 2004 год.
Статья Б.Ю. Лемешко, С.Б. Лемешко №1517 «Сравнительный анализ критериев проверки нормальности одномерных величин, включенных в ГОСТ Р ИСО 5479-2002» (новое название: «Сравнительный анализ критериев проверки отклонения распределения от нормального закона») после трех рецензий (прилагаются) была окончательно отвергнута.
Каждый, кто познакомится с рецензиями, сможет убедиться, как настойчиво Б.Л. Лемешко пробивал свои опусы и каков был их научный уровень.


Третья рецензия на статью Б.Ю. Лемешко, Е.В. Чимитовой № 867
«Оптимальные L-оценки параметров сдвига и масштаба распределений
по выборочным квантилям» (второй исправленный вариант от 01.03.02)

Во второй коллективной рецензии было четыре замечания: 1) о необходимости указать точность численных результатов, полученных с помощью метода статистических испытаний; 2) о числе операций при сортировке; 3) о качестве датчика псевдослучайных чисел; 4) о сравнении с другими методами оценивания. Анализ доработанного текста показывает, что учтены два замечания – второе (изменены неудачные фразы) и третье (добавлен раздел о датчиках и их свойствах). Однако первое и четвертое замечания остаются.
Авторы статьи уже во второй раз уходят от ответа на естественный вопрос о точности численных результатов, полученных с помощью метода статистических испытаний. Так, на рис.1 (стр.6) приведены графики плотностей распределений, построенных по выборкам объема 2000. Очевидно, эмпирическая плотность отличается от теоретической. Насколько? Именно на этот вопрос авторы не желают отвечать. Кроме того, неясно, как оценивается плотность по результатам 2000 статистических испытаний (как сглаживается эмпирическая функция распределения). Неясно, зачем проводится усреднение по 100 экспериментам (с.6). На с.7 сравниваются оценки параметров, а не сами распределения или плотности – это уход от ответа на рассматриваемый вопрос.
Некорректно проводится сравнение с другими методами оценивания. Так, неоднократно подчеркивается асимптотическая оптимальность рассматриваемых оценок, однако она имеет место лишь при заданном группировании. Термин «робастность» в статье не имеет точного определения, поэтому неясно, что такое «существенное преимущество в робастности». А если L-оценки сравнить с оценками типа усеченного среднего? Конкретно (к стр.12) – какова плата за группировку, т.е. на сколько процентов увеличивается среднее квадратическое отклонение? Подчеркивается, что для нахождения L-оценок не нужно применять итерационные процедуры, в отличие от оценок максимального правдоподобия. Хорошо известно, что в практике вместо оценок максимального правдоподобия (ОМП) целесообразно использовать одношаговые оценки (ОШО), для нахождения ОШО также не нужно применять итерационные процедуры. Так что авторы статьи сравнивают L-оценки с заведомо слабым соперником, игнорируя более сильного. Кроме того, для нахождения L-оценок итерационного процесса не надо, но нужны таблицы.
Приходится констатировать, что вопрос о целесообразности использования L-оценок при статистическом анализе результатов измерений остается открытым. Например, десятилетия назад их рекомендовали использовать при экспресс-анализе данных (они относились к т.н. «быстрым методам» статистического анализа). Однако в настоящее время, как отмечают авторы рецензируемой статьи, в связи с широким распространением компьютеров саму необходимость быстрых методов можно поставить под сомнение. Читателям «Заводской лаборатории» нужны рекомендации: когда использовать L-оценки, а когда – другие методы оценивания. Сколько интервалов группирования использовать
Есть отдельные недостатки в изложении материала. На с.6 без определения используется термин «модель закона распределения». Непонятна смысловая нагрузка рис.2. Он демонстрирует состоятельность оценок? Критерий омега-квадрат – это не критерий Мизеса., а критерий Смирнова-Мизеса (с.9). На с.11 (начало) рассматривается гипотеза, а не строго доказанное утверждение. Авторам статьи неизвестна классическая книга по L-оценкам: Благовещенский Ю.Н., Самсонова В.П., Дмитриев Е.А. Непараметрические методы в почвенных исследованиях. – М.: Наука, 1987.

2002-06-08

Четвертая рецензия на статью Б.Ю. Лемешко, Е.В. Чимитовой № 867
«Оптимальные L-оценки параметров сдвига и масштаба распределений
по выборочным квантилям» (очередной исправленный вариант от 21.01.03)

Авторы существенно доработали текст. Однако есть замечания, в том числе по доработанным разделам статьи.

1. В табл. 6 (с. все критерии – типа Колмогорова, типа омега-квадрат (при проверке согласия с простой гипотезой его обычно именуют критерием Крамера-Мизеса-Смирнова или Мизеса-Смирнова) и др. На с. 12 критерии именуются уже иначе, чем на с.8 (см. рис.4 и абзац под рис.4). На с.15 – новый вариант.
2. В табл. 9 на с.15 все критерии – это критерии типа Колмогорова, типа омега-квадрат… В нынешнем варианте авторы фактически провоцируют читателей на совершение распространенной ошибки, состоящей в использовании распределений статистик критериев согласия с фиксированным распределением при проверке сложных гипотез. См. об этом:
Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат. – Журнал «Заводская лаборатория».1985. Т.51. No.1. С.60-62;
Орлов А.И. О критериях согласия с параметрическим семейством. – Журнал «Заводская лаборатория». 1997. Т.63. No.5. С. 49-50.
3. На с.16 осталось некорректное сравнение L-оценок с другими видами оценок. Надо отметить, что группировка приводит к потере информации, указать величину потерь. В третьем абзаце сверху надо включить в перечень одношаговые оценки. См. о них, например:
Орлов А.И. О нецелесообразности использования итеративных процедур нахождения оценок максимального правдоподобия. – Журнал «Заводская лаборатория», 1986, т.52, No.5, с.67-69.
В конце третьего абзаца отредактировать: «… выгодно отличаются от перечисленных, кроме одношаговых оценок, тем …».
В сопроводительном письме к статье есть необоснованные утверждения о сравнении ОМП и ОШО. Частный случай, не вполне корректно рассмотренный, не дает оснований для общих выводов. Странным утверждением кончается первая страница сопроводительного письма – различение сложных гипотез (о принадлежности к тому или иному семейству распределений) никак не может быть более надежным, чем различение простых (два распределения из того и другого семейства). Разбор других утверждений в сопроводительном письме не входит в задачу рецензента.

2003-06-30


Рецензия на статью Б.Ю. Лемешко, С.Б. Лемешко №1517
«Сравнительный анализ критериев проверки нормальности одномерных величин, включенных в ГОСТ Р ИСО 5479-2002»

Название не вполне соответствует содержанию. Рассматриваются не только критерии из указанного стандарта, но и иные. Анализ проводится только методом статистических испытаний.
К статье имеется много конкретных замечаний.
1. Что такое «проверка нормальности», не определено. Обычно («см., например, «Заводская лаборатория», 1985, №1, с. 60-62) рассматривают три гипотезы: проверка согласия с нормальным семейством распределения вероятностей с неизвестным математическим ожиданием, проверка согласия с нормальным семейством с неизвестной дисперсией, проверка согласия с нормальным семейством с двумя неизвестными параметрами. Какая из них имеется в виду в тех или иных местах рецензируемой статье, не ясно.
2. Вопреки мнению авторов (с.1 статьи), в настоящее время нет необходимости проверять нормальность результатов распределений измерений (наблюдений, испытаний, опытов, анализов), поскольку непараметрические статистические методы, не предполагающие нормальности, позволяют решать все практически важные задачи статистического анализа данных. Большое число статей раздела «Математические методы исследования» ЗЛ посвящено непараметрическим методам.
Однако, к сожалению, существует ГОСТ Р ИСО 5479-2002, имеющий рекомендательный характер и посвященный проверке нормальности. Критический анализ этого текста может представлять интерес для отдельных читателей ЗЛ.
3. Вопреки мнению авторов (с.2 статьи), в отечественной литературе многократно и подробно рассматривались проблемы проверки нормальности (всех трех гипотез, сформулированных в п.1 рецензии). Из статей в ЗЛ достаточно сослаться на работы Л.А. Золотухиной и Е.В. Винник (1985, №1, с.51-55), А.И.Орлова (1985, №1 с.60-62; 1997, №5, с. 49-50) и др. Критериям нормальности уделено большое внимание в «Таблицах математической статистики» Л.Н. Большева и Н.В. Смирнова (1966, 1968, 1983), монографиях Ю.Н. Тюрина, Г.В. Мартынова и др.
Практически в любом учебном издании по статистическим методам рассматриваются вопросы проверки нормальности. Это - один из наиболее популярных сюжетов в статистической литературе.
4. Критерии на основе выборочных коэффициентов асимметрии и эксцесса (с.2-4) являются классическими. См., например, упомянутые «Таблицы...» Л.Н. Большева и Н.В. Смирнова, в которых также описаны результаты исследования скорости сходимости распределений статистик к соответствующим предельным распределениям. В рецензируемой статье не отражены результаты предыдущих исследований и не обоснована необходимость проведения статистического моделирования. Конкретный вид критериев в рецензируемой статье не указан. Можно предположить, что вид рис.1 (с.3 статьи) и рис.4 (с.6 статьи) обусловлен отсутствием нормирования статистик путем деления на стандартное отклонение.
5. Вопреки с.7 статьи, нельзя на основе выборочных коэффициентов асимметрии и эксцесса делать заключение «о принадлежности нормальному закону». Проверяется лишь то, что теоретическая асимметрия и теоретический эксцесс принимают определенные значения, а именно, 0 и 3.
6. Рис.8 (стр.9) вводит читателя в заблуждение, поскольку построен без использования нормировки, обеспечивающей невырожденность предельного распределения критерия Шапиро-Уилка.
7. Мощность критерия Шапиро-Уилка исследовалась неоднократно, в частности, авторами этого критерия, Л.А. Золотухиной и Е.В. Винник (ЗЛ, .1985, №1, с.51-55). Как полученные в работах предшественников результаты соотносятся с результатами авторов рецензируемой статьи? Ответ на этот вопрос необходим, прежде всего, потому, что предшественники подчеркивают, что наибольшую мощность имеет критерий Шапиро-Уилка, а в аннотации к рецензируемой статье утверждается, что наиболее предпочтительным является критерий D’Agostino.
8. На с.21-22 неверно утверждение о том, что с помощью формулы (7) осуществляется «преобразование коэффициента асимметрии в стандартную нормальную величину». Может идти речь лишь об улучшении приближения.
9. Та же ошибка на с.23. Неверно утверждение о том, что с помощью формулы (8) осуществляется «преобразование коэффициента эксцесса в стандартную нормальную величину». Может идти речь лишь об улучшении приближения.
10. Заявленное в аннотации к рецензируемой статье утверждение, что наиболее предпочтительным критерием при проверке нормальности является критерий, предложенный D’Agostino, не находит подтверждения в тексте статьи. Более того, это утверждение является грубо ошибочным, поскольку указанный критерий - вообще не критерий нормальности. Он является функцией от выборочных коэффициентов асимметрии и эксцесса. На его основе нельзя делать заключение «о принадлежности нормальному закону». Проверяется лишь то, что теоретическая асимметрия и теоретический эксцесс принимают определенные значения, а именно, 0 и 3. Этот вопрос уже обсуждался в ЗЛ (1989, Т.55, №10, с.90-93).
11. Инструмент исследования - система статистического моделирования - не описана. Неизвестен датчик псевдослучайных чисел, число статистических испытаний, точность оценивания функций распределения.
12. В качестве альтернатив нормальности рассматриваются экспоненциальное семейство распределений, распределение Лапласа и логистическое распределение. Выбор именно этих распределений в качестве альтернатив ничем не обоснован. Не проанализированы альтернативные гипотезы, рассмотренные предшественниками.

ВЫВОДЫ
Авторами статьи проведены многочисленные расчеты. Однако не все эти расчеты и графики представляют интерес для читателей ЗЛ. Тем более, что не проанализированы классические публикации по рассматриваемой тематике.
Из-за многочисленных неточностей и ошибок, нерациональной подачи материала публикация статьи в настоящем ее виде представляется нецелесообразной.
Можно посоветовать авторам переработать статью на основе приведенных выше замечаний, учесть предшествующие публикации, сжато описать свои результаты и представить работу объемом до 10 стр.

Примечание (для секции ЗЛ). В разделе «Математические методы исследования» в ближайшее время выйдет статья Селезнева В.Д. и Денисова К.С. № 1089, в которой показано, что при объеме выборки n < 50 проверять нормальность вообще нецелесообразно.


Вторая рецензия - рецензия на доработанный вариант статьи Б.Ю. Лемешко, С.Б. Лемешко №1517 «Сравнительный анализ критериев проверки нормальности одномерных величин, включенных в ГОСТ Р ИСО 5479-2002»

Новое название: «Сравнительный анализ критериев проверки отклонения распределения от нормального закона»

Новый вариант вдвое сокращен по сравнению с предыдущим. Однако для того, чтобы работа соответствовала требованиям «Заводской лаборатории», ее необходимо сократить еще вдвое.
Из 12 замечаний первой рецензии учтены 2 (№№8,9) и частично учтены еще 2 (№№3,6). С возражениями одного из авторов по поводу замечаний первой рецензии нельзя согласиться.
Статья подписана только одним из авторов.
Из сказанного ясно, что публикация статьи в настоящем ее виде представляется нецелесообразной.

Можно посоветовать авторам переработать статью на основе замечаний первой рецензии и приведенных ниже замечаний, учесть предшествующие публикации, сжато описать свои результаты и представить работу объемом до 10 стр.
Основное требование к авторам - поднять изложение на современный научный уровень.
С целью повышения научного уровня статей в «Заводской лаборатории» была опубликована сводка «Термины и определения в области вероятностно-статистических методов» (1999. Т.65. No.7. С.46-54). К сожалению, рецензируемая статья не соответствует этим общепринятым требованиям.
Например, необходимо различать теоретические и выборочные моменты. Между тем, в рецензируемой статье такое различие зачастую игнорируется (с.2 и др.). Даже в неполной средней школе за запись поставили бы «два». Распределение статистики (1), очевидно, не всегда является симметричным. Процентные точки зависят от распределения. Короче, «критерий проверки на симметричность» не описан. Согласно с.2-3 нулевая и альтернативные гипотезы - простые. И т.д., и т.п. Рис.2, очевидно, может быть построен на основании справочника Большева и Смирнова и более ранних публикаций. Очевидно, авторы рецензируемой статьи поленились их найти. Как только начнешь вчитываться в статью, сразу обнаруживаешь много «ляпов».
В статье речь идет о критериях проверки статистических гипотез. С 30-х годов ХХ в. среди специалистов общепринято описывать проверяемые гипотезы - нулевую и альтернативную. К сожалению, при чтении рецензируемой статьи зачастую приходится только догадываться, о проверке каких гипотез идет речь.
Такая характеристика статистического критерия, как мощность, зависит от конкретной альтернативной гипотезы. Мощность - это не число, а функция. Поэтому не являются научными попытки сравнения по мощности тех или иных критериев без указания конкретных альтернатив (см. стр.7 и др. доработанного варианта статьи). Хорошо известно, что для любого непараметрического критерия можно указать такое распределение на множестве альтернатив, что рассматриваемый критерий оказывается наиболее мощным среди всех возможных (Никитин Я.Ю. Асимптотическая эффективность непараметрических критериев. - М.: Наука, 1995. - 240 с.).
Речь идет не о терминологических или теоретических проблемах. Авторы рецензируемой статьи приходят к нелепой рекомендации по использованию несостоятельного критерия (8). Очевидно, этот критерий не имеет отношения к проверке нормальности, он позволяет лишь установить, имеют ли асимметрия и эксцесс те же значения, что и для нормального распределения.
Как же авторы пришли к столь нелепому выводу? Путем специально организованного подбора альтернатив (с.3). Никакого научного обоснования этого подбора они не дают. Однако именно подбор альтернатив обеспечивает вывод о преимуществе критерия (8) перед критерием Шапиро-Уилка. Предыдущие авторы с помощью аналогичного подхода (также основанного на методе Монте-Карло, но с другим набором альтернатив) доказали преимущество критерия Шапиро-Уилка. Авторы рецензируемой статьи уходят от естественного (со стороны всех специалистов) вопроса о том, почему их выводы кардинально отличаются от выводов предшественников.
Необходимо описать и систему статистического моделирования. В прежних публикациях говорилось, что каждый эксперимент - это 2000 испытаний. Т.е. согласно теореме Колмогорова любую кривую на рисунках статьи надо заменить полосой шириной . Ясно, что при этом целый ряд кривых на рисунках статьи сливается межу собой.
Точность данных в таблицах также следует указывать.
На с.10-11 рассматривается случай нескольких выборок. Ради сокращения объема его можно выделить из рецензируемой статьи.

2004-05-23


Третья рецензия - О невозможности публикации статьи
Б.Ю. Лемешко, С.Б. Лемешко №1517
«Сравнительный анализ критериев проверки отклонения распределения от нормального закона»

В предыдущей рецензии (от 23 мая 2004 г.) сказано: «Публикация статьи в настоящем ее виде представляется нецелесообразной». Основания для такого заключения приведены в ранее составленных рецензиях.
Как подчеркнуто в письме в редакцию первого из авторов от 18.08.04, авторы не считают нужным перерабатывать статью. Более того, указанное письмо демонстрирует дополнительные недостатки в понимании авторами существа рассматриваемой проблемы и подходе к устранению пробелов. В частности, авторы статьи не пожелали даже прочитать соответствующие страницы классической монографии Л.Н. Большева и Н.В. Смирнова «Таблицы математической статистики», не понимают смысл критерия Колмогорова. И, более того, даже не прочитали те ими же написанные пассажи в статье, которые были подвергнуты критике в предыдущей рецензии.
Приходится констатировать, что на предыдущие рецензии не дано адекватного ответа, замечания не учтены.
Статья не соответствует научному уровню, принятому в журнале, публикация ее невозможна.

2004-11-27

Предыдущий пост - реакция на донос Лемешко, присланный в редакцию журнала "Заводская лаборатория" и содержащий заведомо ложные клеветнические измышления.

Теперь, знаю глубину невежества и аморальности Лемешко, я думаю - почему же я его поддерживал?
И вот психологический ответ.
В 70-е и 80-е я сделал три работы, в которых автивно использовалось статистическое моделирование (метод Монте-Карло):

Карякин Р.Н., Орлов А.И., Адамов С.Ю. Вероятностная теория высших гармоник помех, создаваемых электровозами. – В сб.: Прикладной многомерный статистический анализ. Ученые записки по статистике, т.33. - М.: Наука, 1978. С.376-380.
Камень Ю.Э., Камень Я.Э., Орлов А.И. Реальные и номинальные уровни значимости в задачах проверки статистических гипотез. - Журнал «Заводская лаборатория». 1986. Т.52. No.12. С.55-57.
Орлов А.И., Камень Я.Э., Камень Ю.Э., Фомин В.Н. Сравнение критериев однородности двух выборок методом статистических испытаний. - В сб.: Тезисы докладов III Всесоюзной школы-семинара "Программно-алгоритмическое обеспечение прикладного многомерного статистического анализа". - М.: ЦЭМИ АН СССР, 1987. С. 200-201.

Была еще моя аспирантка Рыданова и дискуссия по датчикам случайных чисел:

Орлов А.И. Комментарий II к статье В.Г. Алексеева «Об одном методе проверки датчика псевдослучайных чисел». – Журнал «Заводская лаборатория». 1990. Т.56. No.3. С.86-87.
Орлов А.И. Комментарий к статье С.М.Ермакова «О датчиках случайных чисел». – Журнал «Заводская лаборатория». 1993. Т.59. No.7. С.51-51.

Для выполнения работ по применению метода Монте-Карло необходимы программные системы, которые делали и эксплуатировали мои соавторы.
Но в 90-е под рукой не было нужной программной системы.
А тут - Лемешко с той программной базой, которая нужна.
Видимо, я обрадовался возможности поддержать направление исследований, связанное с методом Монте-Карло.
И стал поддерживать Лемешко, стараясь путем подробных рецензий поднять его научный уровень и довести статьи до возможности публикации.
Увы, правильно сказано в Библии:
"Не мечите бисер перед свиньями".

"Третья ошибка связана с критерием типа хи-квадрат. Эта ошибка разоблачается в статье В.Г. Воинова, принятой к печати в журнале «Заводская лаборатория» в 2005 г. "
Посмотрел статью Воинова. Его претензия к Лемешко заключается, как понял, в том, что Лемешко с соавторами в надежде получить оптимальное, с их точки зхрения, разбиение исходного массива данных, минимизировали определитель информационной матрицы Фишера. А данный определитель не является тем функционалом, который следует минимизировать. Ясно, что авторы ошиблись фатально.
Вопросы такие. При разбиении на классы (для вычисления хи-квадрат), согласно Воинову, происходит потеря информации. Понятно. Можно провести аналогию со сжатием с потерей информации. Каким же образом утраченная информация восстанавливается в критериях Никулина и других, упомянутых в статье? Как восстановить то, чего нет? Может быть, критерии типа хи-квадрат для непрерывных данных вообще не следует применять?

1. При разбиении на классы всегда происходит потеря информации, поскольку количественное значение (число) заменяется на значение качественного признака (номер интервала).
Следовательно, группировать количественные данные нецелесообразно.
2. Для критериев типа хи-квадрат это общее утверждение может быть усилено. Группировка приводит к тому, что они позволяют отклонять альтернативные гипотезы, отстоящие от нулевой на величину порядка (объем выборки в степени минус 1/4). Это подробно рассмотрено в рамках научной школы Г.И.Ивченко (каф. ТВ и МС МИЭМ). Критерии типа Колмогорова и омега-квадрат позволяют отклонять альтернативные гипотезы, отстоящие от нулевой на величину порядка (объем выборки в степени минус 1/2), т.е. существенно более близкие. Другими словами, типовая мощность критериев типа хи-квадрат существенно ниже, чем у критериев типа Колмогорова и омега-квадрат.
Следовательно, применять критерии типа хи-квадрат для обработки количественных данных нецелесообразно.
3. Критерий хи-квадрат применяют для анализа качественных данных. А также тогда, когда исходные данные недоступны, а есть только сгруппированные, как в таблицах Росстата.
4. При применении критериев хи-квадрат для проверки согласия с параметрическим семейством, т.е. при решении одной конкретной задачи, имеется проблема учета влияния способа оценивания параметров на свойства критерия типа хи-квадрат. Если оценивание параметров проводят путем минимизации статистики хи-квадрат (по параметрам), то этот минимум имеет (асимптотически) распределение хи-квадрат с числом степеней свободы равном числу интервалов, уменьшенному на (число оцениваемых параметров + 1). Это - довоенная классика. В работах Большева, Никулина, Мирвалиева и др. установлено, что
(1) если используются другие оценки параметров, например, оценки максимального правдоподобия, то асимптотическое распределение классической статистики хи-квадрат совпадает с распределением квадратической формы от стандартных нормальных величин, указанной в работах этих авторов;
(2) можно модифицировать критерий хи-квадрат, чтобы его предельное распределение (при нулевой гипотезе) имело распределение хи-квадрат с числом степеней свободы (число интервалом минус 1).
5. Лемешко не удосужился познакомиться с литературой (см. список в статье Воинова, в том числе
29. Мирвалиев М., Никулин М.С. Критерии согласия типа хи-квадрат //Заводская лаборатория. 1992. Т.58. - №3.- С.52-58). В результате допустил много ошибок, в том числе перепутал число степеней свободы у предельного распределения. То, что это не было обнаружено при статистическом моделировании, говорит о крайней неточности и ненадежности используемого им программного инструмента.
6. Выбор в качестве критерия минимизации определителя информационной матрицы Фишера не имеет обоснования. С другой стороны, почему бы и не изучить.
7. Таким образом, Лемешко пойман на невежестве, на элементарном непонимании работ предшественников.
8. Как же появились статьи Лемешко в "Заводской лаборатории"? Тут надо заняться самокритикой - именно я рецензировал статьи Лемешко. Выше в данной теме приведены примеры рецензий. Видно, как упорно Лемешко пробивал свои опусы. Приведенные выше замечания были высказаны в первой же рецензии, как и масса иных. Ясно, что к четвертой рецензии надоедает вчитываться. Часть замечаний учтена - видно сразу, надеешься, что и остальные учтены. И пропускаешь.
9. Претензии на стандартизацию своих ошибок, безграмотные ученики - вот что плохо. Лемешко опасен для развития науки и практики статистических методов. Поэтому с ним надо бороться.

Однажды обратился ко мне знакомый бизнесмен из Москвы (других консультантов, видимо, ближе не было). К нему подошел очередной компьютерный гений с предложением профинансировать разработку программы по сжатию информации (без потери) в 1000 раз. Вопрос был, может ли быть такое, причем для любых типов данных и при любых условиях! Что было ответить? Ответил: ""А". А теперь восстанови по этой литере пол-страницы сжатого текста". Всё это к тому, что если при классификации исходные данные были были преобразованы из количественной шкалы в порядковую, восстановлению они не подлежат, обратное преобразование некорретно, информация об исходных данных утеряна. Никакой метод - ни Никулина, на Мирвалиева, ни Воинова, ни Лемешко - не сможет воспользоваться исходной информацией. Всё, что можно было сделать, сделал Фишер 60 лет назад.

Утверждение требует уточнения.
Если в общих словах, то Фишер - наиболее продуктивный исследователь эпохи параметрической статистики. А сейчас развивается непараметрическая статистика, нечисловая статистика и др.
Если конкретно - по проверке гипотез согласия и однородности, то разработано много критериев, причем более привлекателных, чем критерии хи-квадрат.
В многомерном случае есть много пониманий оптимальности.
Подробности - в учебниках на сайте ("прикладная статистика", "Эконометрика").
На Фишере развитие статистической теории не заканчивается.

В ходе дискуссии, видимо, была утеряна ее тема. Речь шла о критерии хи-квадрат Фишера. И о моем мнении, что на данном методе можно было бы и остановиться. А последующие разработки Никулина, Мирвалиева, а также попытки Лемешко, разоблаченные Воиновым, были излишними. Кстати, на с. 69 работы Воинова сделаны утверждения о мощности тех или иных критериев без учета того, что, как Вы ранее заметили, мощность - не число, а функция. Причем данная функция зависит от альтернативы, численности, других параметров.

Во многом согласен. Сам я никогда не занимался критериями типа хи-квадрат, поскольку они не являются состоятельными.
И о мощности Воинов пишет крайне сжато. Видимо, он имеет в виду пример, рассмотренный Лемешко, т.е. при конкретной альтернативе.
Однако порожденное чл.-корр. АН СССР Л.Н.Большевым направление исследований началось с естественной задачи - выяснить, каково предельное распределение статистики хи-квадрат при проверке согласия, когда параметры оцениваются методом максимального правдоподобия, а не исходя из минимизации значения рассматриваемой статистики по параметрам.
Когда эта задача была решена, возникла следующая: как модифицировать статистику хи-квадрат, чтобы предельное распределение стало известным, табличным.
Задача решена Никулиным и др.
А вот обоснованность постановок, рассмотренных Лемешко, вызывает сомнения. Хотя стимулом являлось следующее любопытное наблюдение: при некоторой альтернативе и некотором конкретном объеме выборки критерий хи-квадрат является более мощным (при том же уровне значимости), чем критерии типа Колмогорова и омега-квадрат.
В целом можно повторить нерешенную проблему из "цахкадзорской тетради" (Загоруйко Н.Г., Орлов А.И. Некоторые нерешенные математические задачи прикладной статистики. – В сб.: Современные проблемы кибернетики (прикладная статистика). - М.: Знание, 1981. С.53-63):
как проверять однородность двух выборок (задача проверки согласия потеряла актуальность при переходе к непараметрической статистике)?

Хотелось бы посчитать критерий Никулина. Наткнулся на такую проблему, возникшую от недостатка специальных знаний. С точки зрения программиста, хотелось бы иметь алгоритм его вычисления, занимающий некоторую промежуточную стадию между теоретической статьей и готовой программой. Критерии хи-квадрат достаточно хорошо, с этой точки зрения, описаны во многих учебниках и руководствах. Слышал, что Никулин издал подробное руководство за рубежом, но достать его нереально. Где можно найти описание алгоритма, доступное для плохого статистика, но среднего математика и хорошего программиста?
Если бы еще числовой пример применения с известным ответом - совсем чудесно. Скажем, есть такой-то массив данных. Сделали из него вариационный ряд. Рассчитали статистику критерия. Сравнили с таблицей. Сделали вывод.
Например, критерий Шапиро-Уилка изложен в виде формул и примеров в монографии Хана и Шапиро. Есть и формулы, и таблицы, и численный пример с интерпретацией.

Отправил Вам по электронной почте статью Воинова и его адрес.

Большое спасибо. Связался, получил необходимые консультации.

Здравствуйте, Александр Иванович.

Я человек здесь новый и вообще в прикладной статистике практически не разбираюсь, хотя она мне порой пригождается по работе. Поэтому прошу заранее простить, если я какую-нибудь глупость скажу. Мне страшно встревать в вашу дискуссию с Борисом Юрьевичем, вижу, что тут обстановка накалена до предела. Тем не менее, хотелось бы уточнить пару вопросов.

По научной работе мне потребовалась проверка нормальности (без заранее известного среднего и дисперсии). Не буду углубляться в детали задачи, основная суть заключается в построении модели некоторого процесса с тем, чтобы она хорошо удовлетворяла некоторым экспериментальным данным. Одним из критериев качества модели было введено соответствие некоторых получаемых с помощью модели числовых значений нормальному распределению. Предположение, что более качественная модель должна в нашей задаче выдавать нормально распределённые данные, спорно, однако этот вопрос здесь я бы не стал обсуждать, иначе придётся рассказывать всю предметную область.

Поискав в интернете различные тексты по нормальности, я весьма быстро наткнулся (видимо, к сожалению?) на следующий документ:
http://www.ami.nstu.ru/~headrd/seminar/ ... %20red.htm
Судя по всему, это одна из версий статьи, которую вы разгромно критикуете в этой теме, и которая не была пропущена к публикации. Я воспользовался рекомендациями в статье и реализовал в программном коде описанную функцию д'Агостино (формула (9) по ссылке). Меня привлекло в ней не столько качество критерия, сколько удобство его использования: линейная скорость вычисления от объёма данных и простое распределение (9). Для Шапиро-Уилка нужны значения \alpha_k, и процентные точки вроде так просто не вычислишь. У меня выборки содержат от 200 до 50000 элементов, причём критерий надо вычислять очень быстро, так как он вычисляется для каждой модели из популяции, оптимизируемой генетическим алгоритмом. Моих знаний не хватило, чтобы понять сразу, что статья плохая, хотя у меня и возник вопрос о равносильности нормальности и равенства скоса нулю, а эксцесса тройке. Впрочем, статья, написанная профессором и доктором наук, звучит по-любому убедительно для меня, простого аспиранта. Я только проверил формулы, использованные в статье, по другим источникам. Кстати, во-первых, я нашёл ошибку в формуле (8): внутри фигурных скобок должна быть степень 1/3, а не 1/2, эта формула получена преобразованием Вильсона-Хилферти с кубическим корнем. А во-вторых, нашёл более интересный вариант формулы (8) для z_2 здесь (простые тесты показали, что она ведёт себя гораздо лучше). Этот вариант я и включил в разрабатываемую программу, и затем в текст диссертации. Сейчас уже трудно отказаться от такой проверки нормальности, так как различные результаты получены с использованием формулы д'Агостино, придётся всё переделывать.

В связи с этим у меня возникла пара вопросов. Я не хочу вникать в вашу дискуссию и выяснять, кто прав, кто виноват, мне не позволяет отсутствие квалификации в прикладной статистике. Но хотелось бы услышать ваше мнение, не сильно ли позорно использование формулы д'Агостино для проверки нормальности в тексте диссертации в контексте решения проблемы, где нормальность не является основополагающим фактором? В своей книге «Прикладная статистика» вы пишете, что проверку на скос и эксцесс можно рекомендовать, как экспресс-метод. Надеюсь, всё не так фатально, и используемый мною критерий всё-таки имеет смысл :-)

Второй вопрос заключается в том, грамотна ли формула (1) в статье Бориса Юрьевича в том виде, в котором она записана (с квадратным корнем)? Вы пишете про отрицательные квадратные корни, это меня тоже смущает. Может, целесообразно как-то переобозначить корень из \beta_1?

Заранее спасибо за ответ.

Затронуты два вопроса.
1. Проверка нормальности и другие критерии согласия.
2. Что делать аспиранту, не являющемуся специалистом в области прикладной статистики.
Их надо разобрать по отдельности.
1. Проверка нормальности - тема массы исследований. Помню, что на 3-м курсе мехмата моя курсовая работа состояла в изучении статьи Каца, Кифера и Вольфовица 1955 г., посвященной критериям типа омега-квадрат и Колмогорова для проверки нормальности. Эти критерии - состоятельны, т.е позволяют отклонить любую фиксированную альтернативу (при росте объема выборки). Более ранние критерии асимметрии и эксцесса, исчерпывающе рассмотренные в стравочнике Большева и Смирнова 1964 г. (1-е изд.), не являются состоятельными, они не являются критериями нормальности в строгом смысле слова, они проверяют гипотезы о значениях третьего и четвертого моментов. Критерий д'Агостино - комбинация критериев асимметрии и эксцесса. Очевидно, не является состоятельным.
Если отвергается гипотеза о том, что третий центральный момент равен 0, то распредеоение не является нормальным. Если же принимается, то нельзя говорить о нормальности, можно говорить лишь о том, что третий центральный момент равен 0, как и у нормального распределения. И т.п.
Мировая наука сошлась на том, что надо использовать критерий Шапиро-Уилка. Если кто-то выдвигает другой критерий, он должен объяснить, чем он лучше иных. Критерий д'Агостино не является состоятельным, следовательно, они хуже состоятельных критериев при некоторых альтернативах. Свою некомпетентность Лемешко проявил, объявив критерий д'Агостино наилучшим лишь потому, что ему удалось найти некую альтернативу, при которой этот критерий имеет большую мощность.
В моем учебнике "Прикладная статистика" я разработал "моментный метод проверки гипотез" и применил его для проверки того, можно ли данные рассматривать как извлеченные из гамма-распределения. Отклонить гамма-распределение не удалось, но проверка не дает возможности сделать вывод о том. что выборка взята из гамма-распределения, поскольку критерий не является состоятельным. Дело в том, что состоятельные критерии для проверки принадлежности к гамма-распределению не разработаны (во всяком случае, мне не известны). На безрыбьи и рак рыба - и несостоятельный критерий полезен.
Никакой дискуссии с Лемешко у меня нет. Есть разоблачение невежды. Не он первый, и, к сожалению, не он последний. Например, был грубо ошибочный стандарт ГОСТ 11.006-74 "Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим".
Кстати, его статья была отклонена коллективным решением секции "Математические методы исследования". Как и грубая ошибочность ГОСТ 11.006-74 была установлена коллективно.
2. Что делать бедному профану-аспиранту? Подробно об этом - в начале темы.
Мы сталкиваемся с подобными проблемами при обсуждении экономических диссертаций и дипломных работ. Прагматический подход состоит в том, чтобы ссылаться на конкретные использованные литературные источники.
Ясно, что профану-аспирант не может самостоятельно разоблачить профессора-невежду. И в случае Лемешко я не снимаю с себя ответственности за то, что он пролез в доктора наук и профессора. Но надеюсь путем гласности уменьшить приносимый им вред.

К сожалению, они ее опубликовали: Лемешко Б.Ю., Лемешко С.Б. Сравнительный анализ критериев проверки отклонения распределения от нормального закона // Метрология. 2005. № 2. – С. 3-24. Ознакомился. Полагаю, что не стоило утруждать себя рецензированием данного "труда". Стыдно печатать такие работы. У авторов совершенное непонимание, откуда взялся критерий Шапиро-Уилка. Нужно просто было рекомендовать авторам почитать Royston-ов и ссылки в их работах. Надо не только невежд искоренять, хотя это правильно, но и прекращать поток публикаций "для галочки", для количества, чтобы диссертацию протолкнуть, такую же банальную.

Согласен.
Рецензировать представленные работы - обязанность редколлегии.
Я всегда стараюсь помочь автору исправить недостатки.
К сожалению, попадаются такие монстры, как Лемешко.

С Вашей подачи взглянул на статьи Лемешко, представленные на сайте его вуза.
Он применяет следующую эффективную методу их составления:
- берет ту или иную мою статью из "Заводской лаборатории",
- разбавляет комментариями,
- что-нибудь моделирует методом Монте-Карло,
- публикует в журналах типа "Метрология", "Измерительная техника", "Measurement Techniques".
Паразит. Но не накажешь в соответствии с Уголовным кодексом.
Но одновременно отметим и пользу для читателей - они получают информацию о статистических критериях.

Сайт В.П. Леонова. Материалы "Международного журнала ...", посвященные обучению прикладной статистике. Ссылка http://www.biometrica.tomsk.ru/MJMP_2_2006.htm. Подборка статей в свободном доступе. Кратко суть всей подборки выражена в одной из статей: "Нет никакой необходимости во всестороннем освоении программ статистической обработки данных. Это лишь отвлекает от исследования." Ваше мнение? Если не знать возможностей обработки, как можно спланировать исследование?

При попытке открыть указанный сайт:
Not Found
The requested URL /MJMP_2_2006.htm. was not found on this server.

Точка лишняя в конце попала. А вот так:
http://www.biometrica.tomsk.ru/MJMP_2_2006.htm

Проблема обучения медиков статистике - давняя.
Сам я проработал в медицинских организациях 4 года (3 года в "Кремлевской больнице" и год в Ин-те гигиены труда и профзаболеваний) и как раз этим и занимался, вместе с совместной работой.
Вполне естественно, что общенаучная подготовка слабая, и есть стремление действовать по заданному алгоритму.
Ясно, что нельзя заставить врача освоить статистику, и по крайней мере лет 30 в крупных медицинских центрах действуют отделы, заниающиеся статистической обработкой данных в рамках совместных исследований с другими подразделениями, а также обучающих элементарным приемам медиков, прежде всего аспирантов. Помнится, в 80-е был Научный Совет АМН по математическим методам в медицине...
Статьи по указанному адресу мне показались стандартными. Читал лет 30 назад.
Беда в том, что многие из авторов, в т ом числе Леонов - невежды. Им бы самим сначала обучиться.
Коротко: Леонов зря чернит медиков, загоняя их в "кунсткамеру". Они обычно действуют правильно. Хотя и не могут обосновать, не зная статистической теории.
Разоблачить конкретного невежду - дело трудоемкое и неприятное. В качестве примера см. тему "Лемешкиада".
Закончим с Лемешко, перейдем к Леонову.

Посмотрел еще раз статьи леоновского журнала. Будто перенесся на 30 лет назад. Те же глупости - вера в нормальный закон, разговоры о проверке нормальности и равенства дисперсий... Тот же перечень методов, что и я читал аспирантам "кремлевской больницы"... И зачем им пакеты программ, если считают только то, что и калькуляторам доступно...
Врачу, исцелися сам!

Дискуссия во многом завершена, но не могу удержаться и позволю себе несколько слов на тему сайта ВП Леонова. Поскольку знакома с ВП не только по переписке, но и лично. И знаю как человека глубоко порядочного и любящего свое дело.

1. Согласна полностью, что ВП неумеренно критикует критерий t Стьюдента. И до прочтения материалов этого форума обсуждала с ВП данный вопрос. Сравнивая выборки с помощью разных критериев, любой неспециалист в области статистики ( я и сама к таковым отношусь -- биолог по образованию) может убедиться, что принципиальных различий в получаемых результатах, как правило, нет, а они, расхождения могут возникнуть при малых выборках ( десяток-другой наблюдений) со скошенной формой распределения. Это на западе в медико-биологических статьях описывают весьма лаконично: мол, форма распределения таких-то показателей была сильно скошена, потому применяли такой-то непараметрический критерий и данные представляли в виде медианы и квартилей. И с нормальностью та же картина. Не нужно быть математиком, чтоб заметить, что в небольших выборках часто не отвергается гипотеза соответствия эмпирического распределения нормальному (тем же критерием Шапиро-Уилки), а в больших, наоборот почти всегда отвергается.

2. Многие слабые места отечественной биостатистики остались такими же, как и много лет назад. То, что мы, биологи проходили в университете 25 лет назад касаемо анализа данных, медицинским аспирантам остается малопонятным, а то и просто чуждым по сей день. Знаю по постоянному общению с таковыми. И не вина в том ВП, что эти проблемы по сей день актуальны, и обсуждаются с той же интенсивностью. Наоборот, на мой взгляд, большая заслуга ВП именно в общественной деятельности по привлечению внимания к проблемам анализа данных. Возможно, гипертрофированное внимание к t критерию на сайте просто ответ на слепую любовь к нему со стороны медиков.
Замечу, что помимо собственно анализа данных, есть масса смежных вопросов, включающих планирование исследования (медицинского вмешательства) с одной стороны и корректное описание проведённой обработки, с другой; и этому тоже уделено внимание на сайте ВП. Затронуты и вопросы философии, и истории науки.


Поэтому, мне кажется, что стоит отделить зёрна от плевел. Критика со стороны профессионалов-математиков -- это нормально и разумно -- у меня и у самой есть небольшие разногласия с ВП. Но переход с научной дискуссии на персоналии -- излишен.
К Вам много медиков с вопросами приходит на форум? А на сайте доказательной медицины, думаете, очень живой форум? А русскоязычных примеров, как описывать результаты обработки данных и какие некорректности возможны при этом, много ли у нас в стране? А сколько в англоязычном интернете публикаций различных лабораторий биостатитстики с рецептами (адресованными биологам, медикам, социологам, психологам и т.п.) как проводить анализ данных и как его понимать.
И ничего страшного, что пока на сайте у ВП несколько больше критики, чем позитивных примеров как ХОРОШО делать и описывать что-либо. Давайте дополним.
А в целом, пока кто-то шевелит общественность, дай Бог ему сил и здоровья.

1. Ситуация стандартна.
В определенной научной области имеется малоквалифицированный активный деятель.
С одной стороны, он полезен, поскольку пробуждает интерес к этой научной области.
С другой стороны, он вреден, поскольку допускает ошибки.
Каково сальдо? В целом - полезен он или вреден?

Опыт показал, что вреден. Причем вначале деятельность подобного лица кажется полезной, и только позже становится очевидным огромный вред.

Примерами вредителей являются:
С.А. Айвазян - см. http://forum.orlovs.pp.ru/viewtopic.php?t=391
Б.Ю.Лемешко - см. http://forum.orlovs.pp.ru/viewtopic.php?t=426
Обвинительные заключения приведены в указанных темах.
Лучше бы эти лица избрали в юности иной вид деятельности.

2. С В.П. Леоновым ситуация сложнее. С одной стороны, ему научная сторона дела известна, поскольку цитирует мою статью 1987 г. в "Вестнике АМН СССР" http://orlovs.pp.ru/stat.php#s3p3 . Думаю, что понять содержание статьи он смог.
С другой стороны, позорит медиков, помещая их работы в "кунсткамеру", не давая при этом рекомендаций о правильном подходе к анализу данных.
Возможны два объяснения подобного поведения.
А) В.П. Леонов - садист, ему доставляет удовольствие обвинение медиков в статистической малограмотности.
Б) В.П. Леонов хочет заставить медиков брать у него консультации по статистическим методам анализа данных. Естественно, не безвозмездно.
Думаю, что верна вторая возможность - http://forum.orlovs.pp.ru/viewtopic.php?t=519
В.П. Леонов наносит вред своей псевдонаучной активностью. Обращается в ВАК. Если бы пришлось заниматься внедрением статистических методов в медицине (см. одноименный раздел в теме http://forum.orlovs.pp.ru/viewtopic.php?t=521 ), то пришлось бы начать с его публичного разоблачения.

3. Мои книги читают десятки тысяч людей - см. http://forum.orlovs.pp.ru/viewtopic.php?t=387
Сколько среди них медиков и биологов - нет данных. Но обращаются довольно часто, что нетрудно выяснить, пройдясь по форуму.

Но всегда находятся те, кто читать учебники не любит. Вроде Вас. И задают вопросы, которые свидетельствуют об отсутствии подготовки на уровне знакомства с учебниками.

По пункту 3.
То, что есть хорошие книги и журнальные публикации на данном сайте, и притом бесплатно -- это здорово. Низкий поклон Александру Ивановичу. Я их давно скачала и активно передаю тем, кому они могут быть полезны. Скорость прочтения и глубина понимания книг зависят среди прочего от базового образования. А прикладную статистику применяют в своей работе самые разные специалисты, в том числе не математики. Поэтому на книжной полке собираются книги очень разные (пусть и про одно и то же), возможно не все достойного уровня. И публикации критикуемых на данном форуме ученых -- тоже.
Иногда буквально несколько слов профессионала помогают неспециалисту в дальнейшем развитии: что читать, на какие сайты зайти, по каким ключевым словам вести поиск и т.п. Жаль, что на сайте не предусмотрен раздел для пользователей (ламеров, чайников, как хотите называйте), где ученики и сподвижники Мастера давали бы советы и разъяснения. А то действительно, некрасиво получается отрывать Президента Российской ассоциации статистических методов на учебные вопросы. И тогда остаётся старый проверенный способ идти на западные поисковики и искать разъяснения западных же биостатистиков, написанные простым понятным языком (пусть и не русским!) в расчете на читателя с самой разной подготовкой.

Странный текст:

Весь форум заполнен такими советами и разъяснениями.
А еще эффективнее изучить, наконец, учебник.