Высокие статистические технологии

Невежда Адлер Ю.П. полагает, что констатация его ошибок - это оскорбление.
Судите сами. Вот рецензии на опусы его и подельников.


Рецензия на текст Ю.П. Адлера, О.В. Максимовой, В.Л. Шпера
«Контрольные карты Шухарта в России и за рубежом:
краткий обзор современного состояния (статистические аспекты)»

В тексте идет речь о хорошо известной задаче о разладке. Еще 20 лет назад для практического решения этой задачи были разработаны пакеты программ СТАТКОН (под руководством проф., д.т.н. Г.Ф Филаретова, МЭИ) и АВРОРА-РС (под руководством проф., д.ф.-м.н. А.А. Новикова (Математический институт РАН) и к.т.н. И.В. Никифорова (Институт проблем управления РАН). В теоретическом плане продвинутые исследования выполнены член-корр. РАН А.Н. Ширяевым (МГУ им. М.В. Ломоносова) и его научной школой, в частности, проф., д.ф.-м.н. А.А. Бутовым (Ульяновский госуниверситет).
Рецензируемый текст написан на крайне низком научном уровне, но с большими претензиями, авторы не знают ни истории контрольных карт, ни соответствующей теории. Например, в рецензируемой статье утверждается, что в таблице 1 показана хронология основных событий в области контрольных карт Шухарта (ККШ). Это неверно – основные события в нашей стране проигнорированы. Так, ничего не сказано про работы указанных авторов, указанных в первом абзаце рецензии, в частности, про докторскую диссертацию проф. Г.Ф. Филаретова (МЭИ) и работы его учеников. Проигнорирована разработка ГОСТов по контрольным картам в 1970-х и их отмена в 1980-х из-за обнаруженных грубых ошибок (см.: Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. 1997. Т.63. №3. С.55-62 – согласно с.27 текста, эта работа осталась неизвестной Ю.П. Адлеру с соавторами). Отбор литературных источников для анализа явно неадекватен. Поражает обсуждение мельчайших подробностей западных публикаций при игнорировании (или даже искажении смысла) гораздо более важных и более ранних отечественных работ.
Авторы текста не дают постановку задачи, строгих определений, не поясняют обозначения (см., например, рис.3 на стр.11). Это дает им возможность вести долгие рассуждения, не поддающиеся строгому анализу.
Непонятно, почему из всех методов обнаружения разладки авторы рассматривают только наиболее примитивный - контрольных карт Шухарта. Но и этот метод они описать не в состоянии. Вот с чего они начинают:
«Пусть имеется определенная статистика, полученная по результатам измерения некоторой количественной (непрерывной) характеристики y. Пусть в качестве показателя настройки процесса выбрано среднее арифметическое , а в качестве показателя вариабельности – выборочное стандартное отклонение (СО) или s. Тогда центральная линия (ЦЛ), верхний и нижний контрольный предел (ВКП и НКП) для данной карты будут равны:
,
, (1)
,
где и – расстояния от ЦЛ до соответствующих контрольных пределов, выраженные в единицах СО».
Ясно, что здесь описана не ККШ, а один из возможных процессов ее построения. Вопреки тексту, центральная линия обычно задается из технологических соображений. Что такое «определенная статистика», остается неясным. Нет ни слова про вероятностно-статистическую модель порождения данных, о том, что результаты измерений должны рассматриваться как реализации независимых одинаково распределенных случайных величин. Наряду со стандартными обозначениями и s используется неразъясненное обозначение , что делает невозможным идентификацию процитированной процедуры.
Различные части текста противоречат друг другу. Так, на с. 13 сказано: «Из формулы (1) очевидно, что границы на ККШ отстоят от ЦЛ на расстояние, равное трем СО.» Приведенная на с.1 рецензии формула (1) показывает, что это не так.
Обсуждение соотношения ККШ с работами Стьюдента имеет смысл лишь тогда, когда распределение результатов измерений – нормальное , но об этом необходимом условии – ни слова.
Вставка 2 показывает, что авторы текста не понимают, что какое-либо изучение свойств ККШ возможно лишь на основе той или иной вероятностно-статистической модели результатов измерений. Вместо точных утверждений они оперируют ссылками на мнения тех или иных лиц, иногда доходя до нелепостей, например, пропагандируя использование такой неустойчивой (к отклонениям от нормальности) характеристики выборки, как размах.
Стиль изложения – использование без объяснений различных терминов («операциональный подход», «статистическое мышление» и др.), ссылки на малоизвестных зарубежных авторов, явное передергивание фактов. Примером является утверждение авторов текста:
«Действительно, профессиональные статистики увидели в ККШ:
- новый инструмент решения старой статистической задачи – проверки гипотез;
- практически неограниченные возможности для постановки и решения новых статистических задач».
На самом же деле для профессиональных статистиков ККШ – весьма частная постановка, не представляющая большого интереса. Нет ни «нового инструмента», ни «практически неограниченных возможностей».
В конце с.9 и начале с.10 описана традиционная постановка скачкообразной разладки (на основе которой, например, были построены отечественные ГОСТы 1970-х годов), но авторы текста относят ее к работам 1996 г. и более поздним. В ЗЛ опубликована статья Кузнецова Л. А. и Журавлевой М. Г. «Построение карт контроля качества с помощью непараметрического критерия Вилкоксона – Манна – Уитни» (Заводская лаборатория. Диагностика материалов. 2009. №1. - С. 70-74), посвященная непараметрической постановке (впрочем, известной уже лет 30), судя по с.33, оставшаяся недоступной пониманию авторов текста.
В целом ссылкам на литературу в рецензируемом тексте верить нельзя. Так, в сноске на с.26 сказано: «Интересно отметить, что в изданной через 6 лет в 1989 году книге [Богатырев, Филиппов (1989)], имеющей такое же название и одного общего автора, обзор по контрольным картам и соответствующий список литературы отсутствуют». На самом же деле в этой книге имеется глава 2 следующего содержания:
«Глава 2. Статистические методы регулирования технологических процессов ......17
2.1. Задача статистического регулирования технологических процессов 17
2.2. Статистическое регулирование технологических процессов с помощью простых контрольных карт (т.е. ККШ – рецензент) ……25
2.3. Статистическое регулирование технологических процессов методом кумулятивных сумм............40» (http://management.nglib.ru/book_view.js ... ormat=free ) На с.33 даны ссылки [Кузнецов, Журавлева (2009а)], [Кузнецов, Журавлева (2009б)], а в списке литературы таких ссылок нет.
Судя по стр.19 текста, его авторы не понимают, что ККШ предназначены для обнаружения скачкообразной разладки, а контрольные карты кумсумм – постепенной (хотя об этом четко сказано, например, в ЗЛ: Митрохин И.Н., Орлов А.И. Обнаружение разладки с помощью контрольных карт // Заводская лаборатория. Диагностика материалов. 2007. Т.73. №5. С.74-78; на стр.32 авторы текста, не поняв сути статьи, дают безграмотные и не относящиеся к делу комментарии по ее поводу).

Текст занимает более 3 а.л. (75 стандартных машинописных страниц),так что о его непосредственной публикации в журнале не может быть и речи. Нельзя выделить ни одной из частей этого опуса, публикация которой принесла бы пользу читателям журнала. Ни по научно-техническому уровню, ни по охвату материала текст не представляет интереса для журнала.
Рецензент лишь с большим трудом заставил себя дочитать текст до конца, чтобы в итоге констатировать, что давно не встречал столь безграмотного и претенциозного текста.
Публикация невозможна.


Член редколлегии журнала «Заводская лаборатория. Диагностика материалов»,
профессор, доктор технических наук, доктор экономических наук, кандидат физико-математических наук, профессор МГТУ им. Н.Э.Баумана и МФТИ

А.И. Орлов
2011-02-25



Рецензия на доработанную статью
«Исследование эффективности работы контрольных карт Шухарта»
Авторы: О. В. Максимова, ст. пр. МЭИ (ТУ); В. Л. Шпер, к.т.н., МИСиС


Речь идет о хорошо известной задаче обнаружения разладки временного ряда. Один из инструментов решения этой задачи – контрольные карты Шухарта.
Контрольные карты Шухарта рассматривались на страницах «Заводской лаборатории», в частности, в статьях:
Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. 1997. Т.63. №3. С.55-62;
Митрохин И.Н., Орлов А.И. Обнаружение разладки с помощью контрольных карт // Заводская лаборатория. Диагностика материалов. 2007. Т.73. №5. С.74-78;
Кузнецов Л.А., Журавлева М.Г. Построение карт контроля качества с помощью непараметрического критерия Вилкоксона – Манна – Уитни // Заводская лаборатория. Диагностика материалов. 2009. №1. - С. 70-74.

К сожалению, рецензируемая статья написана на недопустимо низком научном уровне, что подробно продемонстрировано ниже.

Отсутствует описание понятия «контрольные карты Шухарта», однако отмечено, что: «За прошедшие 80 лет появилось множество разновидностей Контрольных Карт». Далее сказано (с.2):
«…возникла проблема сравнения их эффективности. Для этого было предложено использовать [15] либо среднюю длину серии, т.е. среднее число выборок до обнаружения разладки процесса, либо вероятность обнаружения сигнала о наличии специальной причины вариабельности, т. е. вероятность выхода одной или нескольких точек процесса за контрольные границы. Построенную по этим вероятностям функцию принято называть функцией мощности (ФМ)».
Нагромождение неадекватных формулировок в этом отрывке – типично для статьи в целом. Перечислим бросающиеся в глаза неадекватности.
1) Как можно сравнивать то, что не описано? И с чем сравнивать? Вполне естественно сравнивать с контрольными картами кумулятивных сумм, но о них в статье ни слова. Тем более о работах член-корр. РАН А.Н. Ширяева и его многочисленных последователей.
2. Сравнивать можно лишь на основе (вероятностно-статистических) моделей, в том числе моделей разладки. При скачкообразной разладке хорошо карты Шухарта, при постепенной (например, стачивание резца) – карты кумсумм (см. [4] в списке литературы в статье). Модели не описаны.
3. В следующей фразе: предложено использовать «либо» среднюю длину серии, «либо» вероятность выхода. На самом деле надо использовать их одновременно.
4. Следующая фраза уникальна по своей нелепости: «Построенную по этим вероятностям функцию принято называть функцией мощности (ФМ)». Средняя длина серии здесь отнесена к вероятностям. Как «построена» некая «функция», неизвестно. Почему и кем она названа функцией мощности, неизвестно.

Дальнейший текст также содержит массу нелепостей.
Например, при том же самом законе распределения среднее процесса (или стандартное отклонение или и то, и другое) может измениться (с.2). Всем студентам известно, что «среднее» (математическое ожидание) и стандартное отклонение полностью определяются функцией (законом) распределения.
Или на с.3:
«– С помощью ФМ находится вероятность обнаружения этого изменения за k шагов (т.е. выборок), k = 1, 2, ... .
– Чем меньше значение k, тем выше эффективность данной карты».
В двух соседних строчках символ k использован в принципиально разных смыслах.

Пойдем глубже. Предположим, что явные ляпы изложения исправлены.
Авторы претендуют на некую «новую постановку» (с.3). На самом деле эта постановка давно рассматривалась. Например, в процитированной в начале рецензии статье Кузнецова Л.А. и Журавлевой М.Г., а также и в работах 80-х годов.
Методом статистических испытаний проведено изучение для трех произвольно выбранных законов – нормального, равномерного и логарифмически нормального. Вопреки необоснованному заявлению авторов нельзя считать, что «логнормальный закон – это очень хороший пример асимметричного распределения с «тяжелым хвостом»». Дисперсия у этого закона есть – значит, «хвост» не тяжелый. Могли бы взять случайной величины, имеющей распределение Коши, с бесконечной дисперсией.
Неизвестно, зачем и каким образом «Контрольная карта строилась по подгруппам объема n = 1, 2,…, 10, …» (с.5). Использованные понятия не определены, поэтому понять, о чем речь, невозможно. Тем более, что выборочное среднее арифметическое приравнивается к математическому ожиданию, что представляет собой грубейшую ошибку.
Вопреки утверждениям на с.5-6, никакой «анализ графиков» не может выявить роль иррационального числа 3- , поскольку любые реально измеренные числа являются рациональными, более того, содержат лишь небольшое количество значащих цифр.
Из тривиальных выводов в конце статьи (с.13) согласимся с последним: «сложившийся (у авторов статьи) статистический подход к анализу эффективности КК недостаточно широк», надо включить в рассмотрение метод кумулятивных сумм, различные постановки задач о разладке, последовательный анализ А.Н. Ширяева и другие методы, широко обсуждающиеся последние 50 лет.
К сожалению, литературные ссылки неадекватны: статья [4], вопреки утверждению статью относится не к «анализу производственных процессов», а к использованию контрольных карт в менеджменте.

Выводы

1. Публиковать статью нельзя из-за недопустимо низкого научно-технического уровня.
2. Даже после возможного исправления изложения результаты статистического моделирования не имеют научного значения – ни теоретического, ни практического.
3. Авторам можно порекомендовать изучить полученные за последние 50 лет научные результаты в области решения задачи о разладке, в том числе с помощью метода контрольных карт.

Рецензент,
проф., д.т.н., д.э.н.

А.И. Орлов

2011-02-13