Высокие статистические технологии

Курс проф., д.т.н., д.э.н. А.И.Орлова
«Методы анализа данных»
(осенний семестр 2010/11 уч. г., МФТИ)

Занятие 1 (6 сентября 2010 г.)

1. Первая статистическая публикация – описание процедуры и результатов переписи военнообязанных в книге «Числа» Ветхого Завета. Статистическая хронология. Основные этапы развития представлений о статистике. Структура статистической науки (математическая статистика – прикладная статистика – статистические методы в предметных областях).


Занятие 2 (13 сентября 2010 г.)

2. Необходимость выборочных исследований. Анкетное исследование (на примере маркетингового исследования потребителей растворимого кофе). Различные виды формулировок вопросов (открытый, закрытый, полузакрытый вопросы), их достоинства и недостатки. Биномиальная и гипергеометрическая модели выборки, их близость в случае большого объема генеральной совокупности по сравнению с выборкой.
3. Асимптотическое распределение выборочной доли (в случае ответов типа «да» - «нет»). Интервальное оценивание доли и метод проверки гипотезы о равенстве долей.
4. Отличие распределений результатов наблюдений от нормальных. Необходимость применения непараметрических методов. Различные формулировки гипотезы однородности двух независимых выборок.
5. Критерий Крамера-Уэлча для проверки равенства математических ожиданий.


Занятие 3 (20 сентября 2010 г.)

6. Двухвыборочный критерий Вилкоксона (Манна-Уитни). Принятие решения (при проверке гипотезы однородности) на основе асимптотической нормальности статистики критерия Вилкоксона.
7. Состоятельные критерии согласия и однородности Колмогорова, Крамера-Мизеса-Смирнова, Смирнова, Лемана-Розенблатта.
8. Метод наименьших квадратов для линейной прогностической функции. Подход к оцениванию параметров. Критерий правильности расчетов.


Занятие 4 (27 сентября 2010 г.)

8а. Оценка остаточной дисперсии. Точечный и интервальный прогноз.
9. МНК для сгруппированных данных. МНК для модели, линейной по параметрам. Оценивание коэффициентов многочлена. Преобразования переменных. Случай нескольких независимых переменных (регрессоров). Оценивание параметров функции Кобба-Дугласа.
10. Оценка остаточной дисперсии - критерий качества эконометрической модели. Коррекция на число параметров. Типовое поведение остаточной дисперсии при расширении множества регрессоров. Оценка степени полинома и описание асимптотического поведения этой оценки (геометрическим распределением со сдвигом).


Занятие 5 (4 октября 2010 г.)5

11. Инфляция как рост цен. Потребительские корзины. Определение индекса инфляции. Расчет индекса инфляции. Теорема умножения для индекса инфляции. Средний индекс (темп) инфляции.


Занятие 6 (11 октября 2010 г.)

12. Теорема сложения для индекса инфляции. Виды инфляции: спроса, издержек, административная.
13. Применения индекса инфляции. Приведение к сопоставимым ценам. Прожиточный минимум. Вклады в банки и кредиты. Курс доллара в сопоставимых ценах. Паритет покупательной способности в международных сопоставлениях.


Занятие 7 (18 октября 2010 г.)

14. Основные понятия (репрезентативной) теории измерений. Определения, примеры, группы допустимых преобразований для шкал наименований, порядка, интервалов, отношений, абсолютной. Требование устойчивости статистических выводов относительно допустимых преобразований шкал. Почему нельзя применять среднее арифметическое при анализе данных, измеренных в порядковой шкале?
15. Различные виды средних величин. Средние степенные и структурные средние. Среднее геометрическое, максимум, минимум как пределы степенных средних. Среднее геометрическое не превосходит среднего арифметического. Средние по Коши и средние по Колмогорову, их частные виды. Урезанные средние и представление о робастности (устойчивости) статистических процедур.
16. Средняя заработная плата для условного предприятия. Средние по Коши и описание средних, результат сравнения которых устойчив в порядковой шкале. Средние по Колмогорову и описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений.


Занятие 8 (25 октября 2010 г.)

17. Описание неопределенностей с помощью теории нечетких множеств. Алгебра нечетких множеств.
18. Сведение теории нечетких множеств к теории случайных множеств.
19. Погрешности измерения и интервальные данные. Операции над интервальными числами.
20. Основная модель интервальной статистики. Понятие нотны - максимально возможного отклонения, вызванного интервальностью статистических данных. Расчет асимптотической нотны (для малой абсолютной погрешности).


Занятие 9 (01 ноября 2010 г.)

21. Примеры процедур экспертного оценивания. Их использование в соревнованиях, при выборе, распределении финансирования. Военный Совет в Филях (1812 год). Метод Дельфи. Мозговой штурм. Экологические экспертизы. Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями («мозговой штурм», Совет в Филях) или без ограничений).
22. Нахождение итогового мнения экспертов: методы средних арифметических и медиан рангов. Построение согласующей ранжировки.
23. Статистический приемочный контроль - выборочный контроль, основанный на эконометрической теории. Его необходимость и эффективность. Планы контроля по альтернативному признаку. Одноступенчатый контроль. Оперативная характеристика. Риски поставщика и потребителя, приемочный и браковочный уровни дефектности. Расчеты для плана (n,0).
24. Контроль с разбраковкой. Средний выходной уровень дефектности и его предел (ПСВУД). Расчет ПСВУД для плана (n, 0). Выбор плана контроля на основе ПСВУД.


Занятие 10 (08 ноября 2010 г.)

25. Расчет приемочного и браковочного уровней дефектности для одноступенчатого плана с помощью теоремы Муавра-Лапласа. Выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности на основе асимптотических соотношений, вытекающих из теоремы Муавра-Лапласа.

Зачет


Основная литература

1. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с. http://www.ibm.bmstu.ru/nil/biblio.html#books-02-hsstat
2. Орлов А.И. Прикладная статистика. Учебник. - М.: Экзамен, 2006. - 671 с. (http://orlovs.pp.ru/stat.php#k1 ).
3. Орлов А.И. Теория принятия решений. Учебник. - М.: Экзамен, 2006. - 576 с (http://orlovs.pp.ru/stat.php#k5 )
4. Орлов А.И. Эконометрика. Учебник для вузов. – М.: Экзамен, 2002, 2003, 2004. – 576 с. – Главы 2, 3, 4, 7, 8, 12, 13. (http://orlovs.pp.ru/econ.php ).
5. Материалы сайта «Высокие статистические технологии» http://orlovs.pp.ru/ и его форума.
6. Материалы Библиотеки Лаборатории экономико-математических методов в контроллинге http://www.ibm.bmstu.ru/nil/biblio.html

Принципы выставления оценок на дифференцированном зачете
по курсу «Методы анализа данных»

1. Основа курса – очные занятия (лекции и семинары (практические занятия)). Построение курса исходит из обязательности посещения занятий. Заочное обучение и экстернат не допускаются.
2. Для допуска к зачету необходимо представить полное решение всех задач восьми контрольных работ, являющихся составными частями курса.
3. Студент вытаскивает билет с двумя теоретическими вопросами, взятыми из программы, выставленной в Интернете. На подготовку к ответу предоставляется не менее 30 минут.
4. При ответе экзаменатор задает три дополнительных вопроса, предполагающих немедленный ответ (на подготовку до 1-2 минут).
5. В соответствии с распоряжением ректора МФТИ № 67 от 29.09.2010 оценки выставляются по десятибалльной шкале.
6. Исходя из опыта последнего семестра, при оценивании работы студента большое значение следует придавать посещаемости. Базовая оценка равна числу посещенных занятий, деленному на общее число занятий и умноженному на 10.
7. Ответ по билету, включая дополнительные вопросы, дает поправку до 3 баллов к оценке п.6, а именно:
3 балла, если студент ответил на все вопросы билета и все дополнительные вопросы;
2 балла, если студент ответил на все вопросы билета и два дополнительных вопроса;
1 балл, если студент ответил на все вопросы билета и один дополнительный вопрос;
0 баллов, если студент ответил на все вопросы билета, но не ответил ни на один дополнительный вопрос;
(-1) балл, если студент допустил ошибки при ответе на один вопрос из билета, но ответил не менее чем на два дополнительных вопроса;
(-2) балл, если студент допустил ошибки при ответе на один вопрос из билета, но ответил не менее чем на один дополнительных вопроса;
(-3) балла, если студент допустил ошибки при ответе на оба вопроса из билета;
Если величина поправки однозначно определена приведенными выше правилами, то число дополнительных вопросов может быть сокращено.


А.И. Орлов
2010-11-02