К докладу 31 мая 2006 г.
Прикладная статистика XXI века
Орлов Александр Иванович, д.т.н., проф. МГТУ им. Н.Э.Баумана,
Вице-президент Всесоюзной статистической ассоциации
http://orlovs.pp.ru
В настоящее время наблюдаем большой разрыв между современными научными исследованиями и учебной литературой. Так, в области статистических методов анализа данных он достигает 30-50 лет. Всесоюзная статистическая ассоциация одной из своих основных целей ставила преодоление этого разрыва. К настоящему времени подготовлено новое поколение учебной литературы. Все указанные ниже учебники можно рассматривать как монографии, поскольку они составлены из научных статей последних лет.
Орлов А.И. Прикладная статистика. Учебник. - М.: Экзамен, 2006. - 672 с.
Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.: ИКЦ "МарТ"; Ростов н/Д: Издательский центр "МарТ", 2005. - 496 с.
Орлов А.И. Эконометрика. Учебник для вузов. Изд. 3-е, переработанное и дополненное. - М.: Изд-во "Экзамен", 2004. – 576 с.
Орлов А.И., Федосеев В.Н. Менеджмент в техносфере: Учеб. пособие для студ. высш. учеб. заведений. – М.: Издательский центр «Академия», 2003. – 384 с.
В настоящее время Интернет – основной источник информации. Сайт «Высокие статистические технологии» (
http://orlovs.pp.ru) содержит более 100 книг и статей А.И. Орлова по тематике курса.
За период с 01 октября 2004 г. по 30 апреля 2006 г. (19 месяцев) посетителей 112217, в среднем 208 в день, за апрель 2006 - 10858 и 361 соответственно. Максимум - 731 в день (20 апреля 2006).
Скачали монографии А.И.Орлова (за тот же период):
Прикладная статистика - 12453
Теория принятия решений - 8969
Менеджмент - 7183
Эконометрика - 6475
Нечисловая статистика - более 3072 (по 5 месяцам нет данных).
Новые результаты публикуются в основном в журнале «Заводская лаборатория» (раздел «Математические методы исследования», выходит в №№ 1, 3, 5, 7, 11), новости и конкретные данные – в электронном еженедельнике "Эконометрика" (вышли №№ 1-279)
http://subscribe.ru/archive/science.hum ... nometrika/
СОДЕРЖАНИЕ
учебника «Прикладная статистика»
Предисловие
Введение. Прикладная статистика как область научно-практической деятельности
Часть 1. Фундамент прикладной статистики
1.1. Различные виды статистических данных
1.1.1. Количественные и категоризованные данные
1.1.2. Основные шкалы измерения
1.1.3. Нечисловые данные
1.1.4. Нечеткие множества – частный случай нечисловых данных
1.1.5. Данные и расстояния в пространствах произвольной природы
1.1.6. Аксиоматическое введение расстояний
1.2. Основы вероятностно-статистических методов описания неопределенностей в прикладной статистике
1.2.1. Теория вероятностей и математическая статистика – научные основы прикладной статистики
1.2.2. Основы теории вероятностей
1.2.3. Суть вероятностно-статистических методов
1.2.4. Случайные величины и их распределения
1.2.5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез
1.2.6. Некоторые типовые задачи прикладной статистики и методы их решения
1.3. Выборочные исследования
1.3.1. Применение случайной выборки (на примере оценивания функции спроса)
1.3. 2. Маркетинговые опросы потребителей
1.3. 3. Проверка однородности двух биномиальных выборок
1.4. Теоретическая база прикладной статистики
1.4.1. Законы больших чисел
1.4.2. Центральные предельные теоремы
1.4.3. Теоремы о наследовании сходимости
1.4.4. Метод линеаризации
1.4.5. Принцип инвариантности
1.4.6. Нечеткие множества как проекции случайных множеств
1.4.7. Устойчивость выводов и принцип уравнивания погрешностей.
Часть 2. Основные проблемы прикладной статистики
2.1. Описание данных
2.1.1. Модели порождения данных
2.1.2. Таблицы и выборочные характеристики
2.1.3. Шкалы измерения, инвариантные алгоритмы и средние величины
2.1.4. Вероятностные модели порождения нечисловых данных
2.1.5. Средние и законы больших чисел
2.1.6. Непараметрические оценки плотности
2.2. Оценивание
2.2.1. Методы оценивания параметров
2.2.2. Одношаговые оценки
2.2.3. Асимптотика решений экстремальных статистических задач
2.2.4. Робастность статистических процедур
2.3. Проверка гипотез
2.3.1. Метод моментов проверки гипотез
2.3.2. Неустойчивость параметрических методов отбраковки выбросов
2.3.3. Предельная теория непараметрических критериев
2.3.4. Метод проверки гипотез по совокупности малых выборок
2.3.5. Проблема множественных проверок статистических гипотез
Часть 3. Методы прикладной статистики
3.1. Статистический анализ числовых величин
3.1.1. Оценивание основных характеристик распределения
3.1.2. Методы проверки однородности характеристик двух независимых выборок
3.1.3. Двухвыборочный критерий Вилкоксона
3.1.4. Состоятельные критерии проверки однородности независимых выборок
3.1.5. Методы проверки однородности связанных выборок
3.1.6. Проверка гипотезы симметрии
3.2. Многомерный статистический анализ
3.2.1. Коэффициенты корреляции
3.2.2. Восстановление линейной зависимости между двумя переменными
3.2.3. Основы линейного регрессионного анализа
3.2.4. Основы теории классификации
3.2.5. Статистические методы классификации
3.2.6. Методы снижения размерности
3.2.7. Индексы и их применение
3.3. Статистика временных рядов
3.3.1. Методы анализа и прогнозирования временных рядов
3.3.2. Оценивание длины периода и периодической составляющей
3.3.3. Метод ЖОК оценки результатов взаимовлияний факторов
3.3.4. Моделирование и анализ многомерных временных рядов
3.3.5. Балансовые соотношения в многомерных временных рядах
3.4. Статистика нечисловых данных
3.4.1. Структура статистики нечисловых данных
3.4.2. Теория случайных толерантностей
3.4.3. Теория люсианов
3.4.4. Метод парных сравнений
3.4.5. Статистика нечетких множеств
3.4.6. Статистика нечисловых данных в экспертных оценках
3.5. Статистика интервальных данных
3.5.1. Основные идеи статистики интервальных данных
3.5.2. Интервальные данные в задачах оценивания характеристик и параметров распределения
3.5.3. Интервальные данные в задачах проверки гипотез
3.5.4. Линейный регрессионный анализ интервальных данных
3.5.5. Интервальный дискриминантный анализ
3.5.6. Интервальный кластер-анализ
3.5.7. Статистика интервальных данных и оценки погрешностей характеристик финансовых потоков инвестиционных проектов
3.5.8. Место статистики интервальных данных (СИД) в прикладной статистике
Часть 4. Заключение. Современная прикладная статистика
4.1. Точки роста
4.2. Высокие статистические технологии
4.3. Компьютеры в прикладной статистике
4.4. Основные нерешенные проблемы прикладной статистики
Приложение. Методологические вопросы прикладной статистики
Из предисловия
Прикладная статистика – это наука о том, как обрабатывать данные. Методы прикладной статистики активно применяются в технических исследованиях, экономике, теории и практике управления (менеджмента), социологии, медицине, геологии, истории и т.д. С результатами наблюдений, измерений, испытаний, опытов, с их анализом имеют дело специалисты во всех отраслях практической деятельности, почти во всех областях теоретических исследований. Настоящий учебник позволяет овладеть современными методами прикладной статистики на уровне, достаточном для использования этих методов в научной и практической деятельности.
Содержание учебника. Учебник посвящен основным методам современной прикладной статистики и состоит из четырех частей. В первой части рассмотрен вероятностно-статистический фундамент прикладной статистики. Для удобства читателей включены основы современной теории вероятностей и математической статистики, на которых базируется прикладная статистика.
Основные проблемы прикладной статистики – описание данных, оценивание, проверка гипотез – разобраны во второй части. Методам статистического анализа числовых величин, многомерного статистического анализа, временных рядов, статистики нечисловых и интервальных данных посвящена третья часть учебника. В заключительной четвертой части обсуждаются перспективы развития прикладной статистики и ее методология. В конце каждой главы приведены процитированные в ней литературные источники, контрольные вопросы и задачи, а также темы докладов, рефератов, исследовательских работ.
Общее количество статей и книг по прикладной статистике давно превысило 106, из них актуальными к настоящему времени являются не менее 105. Конкретный специалист может овладеть несколькими тысячами из них. Следовательно, ни один исследователь не может претендовать на знакомство более чем с 2-3% актуальных публикаций, и в любом учебнике содержится лишь небольшая часть знаний, накопленных в прикладной статистике. Однако автор надеется, что наиболее важные подходы, идеи, результаты и алгоритмы расчетов включены в учебник. Эта надежда основана на более чем тридцатилетнем опыте теоретической и практической работы в прикладной статистике, на совокупном опыте членов научных сообществ, скрупулезном анализе положения в прикладной статистике при создании Всесоюзной статистической ассоциации, Российской ассоциации статистических методов и Российской академии статистических методов.
Отечественная научная школа по прикладной статистике. В нашей стране прикладная статистика активно развивалась с начала 1980-х годов. В 1990 г. при создании Всесоюзной статистической ассоциации (ВСА) одной из ее четырех секций была секция прикладной статистики, а руководитель этой секции А.И.Орлов был избран вице-президентом ВСА. В XXI в. развитие при5кладной статистики продолжается в рамках Российской ассоциации статистических методов и Российской академии статистических методов.
По ряду причин исторического характера основное место публикаций научных работ по прикладной статистике в нашей стране - раздел "Математические методы исследования" журнала "Заводская лаборатория". В разделе публикуются статьи по статистическим методам анализа технических и технико-экономических данных.
С текущей научной информацией по прикладной статистике проще всего познакомиться на сайтах автора
http://orlovs.pp.ru,
www.antorlov.chat.ru,
www.newtech.ru/~orlov,
www.antorlov.euro.ru /, Большой объем информации содержит электронный еженедельник "Эконометрика", выпускаемый с июля 2000 г.
Из Введения «Прикладная статистика как область
научно-практической деятельности»
Развитие представлений о статистике. Впервые термин «статистика» мы находим в художественной литературе – в «Гамлете» Шекспира (1602 г., акт 5, сцена 2). Смысл этого слова у Шекспира – знать, придворные. По-видимому, оно происходит от латинского слова status, что в оригинале означает «состояние» или «политическое состояние».
В течение следующих 400 лет термин «статистика» понимали и понимают по-разному. К 1792 г. относится определение: «Статистика описывает состояние государства в настоящее время или в некоторый известный момент в прошлом». И в настоящее время деятельность государственных статистических служб вполне укладывается в это определение.
Однако постепенно термин «статистика» стал использоваться более широко. По Наполеону Бонапарту «Статистика – это бюджет вещей». Согласно формулировке 1833 г. «цель статистики заключается в представлении фактов в наиболее сжатой форме». Приведем еще два высказывания. Статистика состоит в в наблюдении явлений, которые могут быть подсчитаны или выражены посредством чисел (1895). Статистика – это численное представление фактов из любой области исследования в их взаимосвязи (1909).
В ХХ в. статистику часто рассматривают прежде всего как самостоятельную научную дисциплину. Статистика есть совокупность методов и принципов, согласно которым проводится сбор, анализ, сравнение, представление и интерпретация числовых данных (1925). В 1954 г. академик АН УССР Б.В. Гнеденко дал следующее определение: «Статистика состоит из трех разделов:
1) сбор статистических сведений, т.е. сведений, характеризующих отдельные единицы каких-либо массовых совокупностей;
2) статистическое исследование полученных данных, заключающееся в выяснении тех закономерностей, которые могут быть установлены на основе данных массового наблюдения;
3) разработка приемов статистического наблюдения и анализа статистических данных. Последний раздел, собственно, и составляет содержание математической статистики».
Краткая история статистических методов. Типовые примеры раннего этапа применения статистических методов описаны в Ветхом Завете (см., например, Книгу Чисел). Там, в частности, приводится число воинов в различных племенах. С математической точки зрения дело сводилось к подсчету числа попаданий значений наблюдаемых признаков в определенные градации. В дальнейшем результаты обработки статистических данных стали представлять в виде таблиц и диаграмм, как это и сейчас делает Росстат.
Сразу после возникновения теории вероятностей (Паскаль, Ферма, 17 век) вероятностные модели стали использоваться при обработке статистических данных. Например, изучалась частота рождения мальчиков и девочек, было установлено отличие вероятности рождения мальчика от 0.5, анализировались причины того, что в парижских приютах эта вероятность не та, что в самом Париже, и т.д. В 1794 г. (по другим данным - в 1795 г.) К.Гаусс разработал метод наименьших квадратов, один из наиболее популярных ныне статистических методов, и применил его при расчете орбиты астероида Церера - для борьбы с ошибками астрономических наблюдений. В Х1Х веке заметный вклад в развитие практической статистики внес бельгиец Кетле, на основе анализа большого числа реальных данных показавший устойчивость относительных статистических показателей, таких, как доля самоубийств среди всех смертей. Интересно, что основные идеи статистического приемочного контроля и сертификации продукции обсуждались академиком Петербургской АН М.В. Остроградским (1801-1862) и применялись в российской армии ещё в середине Х1Х в.
Современный этап развития статистических методов можно отсчитывать с 1900 г., когда англичанин К. Пирсон основал журнал «Biometrika». Первая треть ХХ в. прошла под знаком параметрической статистики. Изучались методы, основанные на анализе данных из параметрических семейств распределений, описываемых кривыми семейства Пирсона. Наиболее популярным было нормальное (гауссово) распределение. Для проверки гипотез использовались критерии Пирсона, Стьюдента, Фишера. Были предложены метод максимального правдоподобия, дисперсионный анализ, сформулированы основные идеи планирования эксперимента.
Разработанную в первой трети ХХ в. теорию анализа данных называем параметрической статистикой, поскольку ее основной объект изучения - это выборки из распределений, описываемых одним или небольшим числом параметров. Наиболее общим является семейство кривых Пирсона, задаваемых четырьмя параметрами. Как правило, нельзя указать каких-либо веских причин, по которым распределение результатов конкретных наблюдений должно входить в то или иное параметрическое семейство. Исключения хорошо известны: если вероятностная модель предусматривает суммирование независимых случайных величин, то сумму естественно описывать нормальным распределением; если же в модели рассматривается произведение таких величин, то итог, видимо, приближается логарифмически нормальным распределением, и т.д. Однако подобных моделей нет в подавляющем большинстве реальных ситуаций, и приближение реального распределения с помощью кривых из семейства Пирсона или его подсемейств - чисто формальная операция. Именно из таких соображений критиковал параметрическую статистику академик АН СССР С.Н.Бернштейн в 1927 г. в своем докладе на Всероссийском съезде математиков [7]. Однако эта теория, к сожалению, до сих пор остается основой преподавания статистических методов и продолжает использоваться основной массой прикладников.
Появление прикладной статистики. В нашей стране термин «прикладная статистика» вошел в широкое употребление в 1981 г. после выхода массовым тиражом (33940 экз.) сборника «Современные проблемы кибернетики (прикладная статистика)». В этом сборнике обосновывалась трехкомпонентная структура прикладной статистики. Во-первых, в нее входят ориентированные на прикладную деятельность статистические методы анализа данных (эту область можно назвать прикладной математической статистикой и включать также и в прикладную математику). Однако прикладную статистику нельзя целиком относить к математике. Она включает в себя две внематематические области. Во-первых, методологию организации статистического исследования: как строить вероятностно-статистическую модель, как на ее основе планировать исследование, как собирать данные, как подготавливать данные к обработке, как представлять результаты. Во-вторых, организацию компьютерной обработки данных, в том числе разработку и использование баз данных и электронных таблиц, статистических программных продуктов, например, диалоговых систем анализа данных. Прикладная статистика и математическая статистика – это две разные научные дисциплины.
Структура современной статистики. Внутренняя структура статистики как науки была выявлена и обоснована при создании в 1990 г. Всесоюзной статистической ассоциации. Прикладная статистика - методическая дисциплина, являющаяся центром статистики. При применении методов прикладной статистики к конкретным областям знаний и отраслям народного хозяйства получаем научно-практические дисциплины типа "статистика в промышленности", "статистика в медицине" и др. С этой точки зрения эконометрика - это "статистические методы в экономике" [6]. Математическая статистика играет роль математического фундамента для прикладной статистики.
К настоящему времени очевидно четко выраженное размежевание этих двух научных направлений. Математическая статистика исходит из сформулированных в 1930-50 гг. постановок математических задач, происхождение которых связано с анализом статистических данных. Начиная с 70-х годов ХХ в. исследования по математической статистике посвящены обобщению и дальнейшему математическому изучению этих задач. Поток новых математических результатов (теорем) не ослабевает, но новые практические рекомендации по обработке статистических данных при этом не появляются. Можно сказать, что математическая статистика как научное направление замкнулась внутри себя.
Сам термин «прикладная статистика» возник как реакция на описанную выше тенденцию. Прикладная статистика нацелена на решение реальных задач. Поэтому в ней возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими методами, т.е. путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.
Подведем итог. Хотя статистические данные собираются и анализируются с незапамятных времен, современная математическая статистика как наука была создана, по общему мнению специалистов, сравнительно недавно - в первой половине ХХ в. Именно тогда были разработаны основные идеи и получены результаты, излагаемые ныне в учебных курсах математической статистики. После чего специалисты по математической статистике занялись внутриматематическими проблемами, а для теоретического обслуживания проблем практического анализа статистических данных стала формироваться новая дисциплина - прикладная статистика.
В настоящее время статистическая обработка данных проводится, как правило, с помощью соответствующих программных продуктов. Разрыв между математической и прикладной статистикой проявляется, в частности, в том, что большинство методов, включенных в статистические пакеты программ (например, в Statgraphics, SPSS, Statistica), даже не упоминается в учебниках по математической статистике. В результате специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают грубые ошибки, в том числе в таких ответственных документах, как государственные стандарты по статистическим методам.
Что дает прикладная статистика народному хозяйству? Методы прикладной статистики используются в зарубежных и отечественных экономических и технических исследованиях, работах по управлению (менеджменту), в медицине, социологии, психологии, истории, геологии и других областях. Их применение дает заметный экономический эффект. Например, в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества. В 1988 г. затраты на статистический анализ данных в СССР оценивались в 2 миллиарда рублей ежегодно. Согласно расчетам на основе потребительских паритетов, эту величину можно сопоставить с 6 миллиардами долларов США. В целом объем отечественного "рынка статистических услуг" был на порядок меньше, чем в США, что совпадает с оценками и по другим показателям, например, по числу специалистов.
Однако необходимо констатировать, что для большинства менеджеров, экономистов и инженеров прикладная статистика является пока экзотикой. В вузах современным статистическим методам почти не учат. Во всяком случае, по состоянию на 2006 г. каждый квалифицированный специалист в этой области - самоучка.
На появление в нашей стране прикладной статистики отреагировали и в США: Котц С., Смит К. Пространство Хаусдорфа и прикладная статистика: точка зрения ученых СССР. - The American Statistician. November. 1988. Vol. 42. № 4. Р. 241-244.
2006-05-16
Вход
Регистрация
FAQ
Поиск
Пользователи
