Высокие статистические технологии

Устойчивость и нечисловая статистика

Проф., д.т.н. А.И. Орлов

1. Лет 20 назад я оценил число публикаций по статистическим методам (включая теорию вероятностей и математическую статистику) в 1 миллион, число актуальных из них (не перекрывающихся более поздними) – в 100 тысяч. Один человек может за свою жизнь с несколькими тысячами статей и книг ( в известном трехтомнике Кендалла и Стьюарта – около 2 тысяч ссылок). Отсюда следствие – специалист знаком лишь с 2-3% публикаций по своей области. За прошедшие годы ситуация лишь ухудшилась. Забрезжила надежда на информационные технологии, на поиск в Интернете. Однако основная масса публикаций еще не внесена в Интернет, да и запрос адекватно сформулировать нелегко. Нелегко и отделить жемчужные зерна от сора.
Когда-то считалось, что нет пользы от повторов. То, что однажды опубликовано, известно профессионалам. Из сказанного выше ясно, что это – утопия. Как следствие, полезно обращаться к важным идеям, выдвинутым давно, но актуальным и сегодня.
Дискуссия на 10-м ежегодном междисциплинарном семинаре «Математическое моделирование социальных процессов и социальная информатика» 5 декабря 2007 г. подтвердила, что две идеи тридцатилетней давности и сейчас весьма актуальны. Это проблемы устойчивости и анализа нечисловых (качественных) данных.
2. В монографии [1] 1979 г. развит наиболее общий подход к изучению устойчивости в математических моделях социально-экономических явлений и процессов по отношению к отклонениям исходных данных и предпосылок модели. Рассмотрим несколько примеров.
В теории измерений «задача анализа устойчивости» может интерпретироваться как задача поиска способов обработки данных, инвариантных относительно допустимых преобразований шкалы. А «задача анализа адекватности» – как задача описания шкалы (группы допустимых преобразований), в которой рассматриваемый алгоритм дает инвариантные результаты (т.е. результаты его применения не меняются при любом допустимом преобразовании). Аналогичны интерпретации этих двух задач в теории робастности статистических процедур.
Обратим внимание на еще одно использование соображений устойчивости, которое в [1] названо «принципом уравнивания погрешностей». Пусть имеются погрешности двух разных типов. Погрешности первого типа имеют определенные характеристики, которыми нельзя управлять. Погрешностями второго типа можно управлять, расходуя ресурсы. Например, при анализе статистических данных первая группа – это метрологические погрешности (характеристики заданы в технических паспортах средств измерения), в вторая группа – статистические погрешности (можно уменьшать, увеличивая объем выборки). «Принцип уравнивания погрешностей» состоит в том, чтобы уравнять погрешности этих двух типов. Проработан ряд применений принципа уравнивания погрешностей. В статистике интервальных данных он приводит к одному из двух фундаментальных понятий – рациональному объему выборки [2]. В теории управления запасами – к обоснованию того, что допустимо применять любую из двух разных методик расчета величин издержек, связанных с хранением и доставкой продукции [1, 3]. В социологии – к выбору числа градаций шкалы на основе оценки размытости ответа респондента [1].
Наиболее общая рекомендация теории устойчивости - обрабатывать данные многими способами и выделять как объективный результат то, что получено при всех способах. Цель – уменьшить влияние субъективизма, проявляющегося в выборе метода. Например, итоговое мнение комиссии экспертов целесообразно находить как методом средних арифметических рангов, так и методов медиан рангов, а потом выделять «общую часть» с помощью процедуры согласования [2].
3. Статистика объектов нечисловой природы (статистика нечисловых данных, нечисловая статистика) как самостоятельное направление внутри прикладной статистики была выделена в 1979 г. [1]. Полученные с тех пор результаты опубликованы широко, в частности, подробно отражены в учебниках [2, 4]. Применительно к социологии подробный анализ дан в [5]. Тем не менее любители обсудить соотношение количественных и качественных методов в социологии явно не знакомы с рассматриваемой областью статистики с тридцатилетней историей.
В целом приходится констатировать, что специалисты по методам обработки социологических данных отстали лет на 30 от современной статистической науки. Только этим можно объяснить радость от освоения столь же отсталого пакета SPSS (оценка соответствия этого и других пакетов современным требованиям дана в [6]).

Литература

1. Орлов А.И. Устойчивость в социально-экономических моделях. – М.: Наука, 1979, - 296 с.
2. Орлов А.И. Прикладная статистика. – М.: Экзамен, 2006. – 671 с.
3. Орлов А.И. Теория принятия решений. – М.: Экзамен, 2006. – 574 с.
4. Орлов А.И. Высокие статистические технологии: нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2009 (в печати). – Электронный вариант: http://orlovs.pp.ru/stat.php#k2
5. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя). - Журнал «Социология: методология, методы, математические модели». 2005. No.20. С.32-53.
6. Орлов А.И. Статистические пакеты – инструменты исследователя. - Журнал «Заводская лаборатория». 2008. Т.74. No.5. С.76-78. Электронный вариант: http://forum.orlovs.pp.ru/viewtopic.php?t=657

Статья в XI Сборник "Мат. моделирование социальных процессов"

1. Для накопления информации имеет смысл определиться с тем, как ее правильно классифицировать. Возможно, имеющиеся сегодня классификаторы научных знаний морально устарели и не соответствуют достигнутому уровню научно-технического прогресса!? Есть еще один важный момент накопление информации (например, в среде Интернет) и накопление знаний хоть и тесно связанные, но все же разные задачи…..
2. Все новое – это хорошо забытое старое! Новые (революционные) идеи в наше время встречаются крайне редко, и по закону подлости (который, к сожалению, доминирует над законом вероятности) не тогда, когда они жизненно необходимы.
3. В современным мире науки давно приняты двойные стандарты (и не только в науке, например, РФ два пенсионных закона: для депутатов Государственной думы и для простых смертных). Когда директора заводов, чиновники и т.д. защищают докторские диссертации, в разгар мирового экономического кризиса вручают премии и гранты за выдающийся вклад в развитие мировой экономики, и т.д. Я задаю себе всего один вопрос – Что все эти люди сделали для науки? Впрочем, например, в сфере информационных технологий есть более интересные аномалии. Когда бесспорно уважаемые люди (кандидаты и доктора наук), являсь специалистами в совершенно другой предметной области, начинают писать макулатуру по информационным технологиям. Есть такие, к сожалению, и у Вас МГТУ! Нет, чтобы попробовать внедрить хоть одну, простенькую, информационную (автоматизированную) систему, а потом уже писать. Да и в других областях знаний не лучше. Многие ведь даже студентов учат, а сами даже на экскурсии на производстве небыли. И где же тут наука? Можно ли выучить географию по картам и учебникам? Простите меня за этот крик души, т.к. не совсем в ТЕМУ, но с "абсолютной устойчивастью"!!!!!
Просто в России происходит вырожение науки!

Наука вырождается.
См., например, тему "Есть ли польза от академиков?" http://forum.orlovs.pp.ru/viewtopic.php?t=270

Здравствуйте!

Получается, что даже специалисты не всегда четко ориентирутся в том, что наработано по данной теме. Что говорить про тех, кто пытается применить свои полузабытые инженерные ТВИМС-познания к решению прикладных задач.
Например, такая задачка: можно ли вписать приемы и методы нечисловой статистики в систему управления риском (СУР) по безопасности, наличие которой требуется в авиакомпании Международной организацией гражданской авиации (ИКАО)?
При этом ИКАО рекомендует известную схему. Нужно как-то выявить фактор опасности (ФО), как-то оценить "степень вероятности его проявления" (P=цифра от 1 до 5) и "степень серьезности поcледствий" (S=буква от A до E). Далее, переходим к матрице риска 5*5, в которой строки -P, а столбцы - S. Ячейки матрицы -светофор, в зависимости от цвета определяется приемлемость риска и действия. Никакой математики для выявления ФО и оценки "степеней" не предлагается, все "на глазок". Схема годится только для эпизодических анализов ФО по существенным событиям, но возникает естественное желание формализовать процесс и использовать информации и о многих небольших отклонениях в деятельности. Понятно, что речь идет о прогнозе, но он должен строится по реальным данным.
Источники информации разные: расследования событий, аудиты, инспекторские проверки, добровольные сообщения, данные по отказам и неисправностям, расшифровка бортовых самописцев (два последних источника имеют самостоятельные и давно используемые системы анализа, СУР не будет их заменять, но хочет использовать и эту информацию).
Для СУР мы разработали свою систему сбора и базу данных, в которой они группирруются и кодируются по признакам некоторой общности, таких групп получается более 100, всего сообщений для авиакомпании с развитой системой сбора данных - порядка 2000 в месяц.
Что с этим делать дальше?
Использовать приемы вероятностного анализа безопасности не получается: исходные вероятности неизвестны (за исключением данных по надежности техники), деревья событий очень сложные, соответсвующих программ нет.
Появилось желание просто расссчитать "степени" числом (от 1 до 5) и считать риск R=P*S в условных единицах на основе представления о риске как мат ожидании потерь.
Рассчитать Р можно, очевидно, по частоте (количеству) сообщений в группе, если считать, что все они соответсвуют проявлению одного ФО. Чтобы выполнить рекомендацию ИКАО по оценке "на глазок", где Р=1 - это крайне редко, Р=2 - редко и т. д. , провели экспертный опрос, спросили опытных людей разных специальностей сколько отклонений на 1000 полетов "очень редко", "редко" и т. д. Просто осреднили ответы, получили практическм экспоненту, но есть сомнения, корректно ли это.
При экспертной оценке просматривалась нечеткость. Об этом много написано, но вот есть ли где-то простая пошаговая инструкция по проведению таких опросов и обработке результатов?
С серьезностью также проблемы. Каждое событие/отклонение можно оценить экспертным путем. Оценку серьезности для группы, скажем, за месяц, можно было бы, с некоторой натяжкой, использовать для прогноза воздействия данного ФО. Но как расчитать серьезность для группы? Простое среднее не очень подходит.
Если кто-то из уважаемых участников форума сталкивался с подобными проблемами, подскажите, пожалуйста, где об этом можно почитать.
Вообще, тема СУР сейчас актуальна, есть что обсуждать.

См.:
Организационно-экономическое моделирование в условиях неопределенности и риска http://ibm.bmstu.ru/nil/biblio.html#stats-14-neopr

Орлов А.И. Высокие статистические технологии: Экспертные оценки: Учебник. - http://ibm.bmstu.ru/nil/biblio.html#books-04-hsexp (выходит в Издательстве МГТУ им. Н.Э. Баумана под названием: Орлов А.И. Организационно-экономическое моделирование. Учебник. В 3 частях. Часть 2. Экспертные оценки. - М.: Изд-во М ГТУ им. Н.Э. Баумана, 2010. - 526 с.