Высокие статистические технологии

Уважаемый Александр Иванович и посетители форума! Подскажите, пожалуйста, ответ на такой вопрос. Каким образом можно измерять качественные показатели в педагогических исследованиях? Например, необходимо измерить уровень сформированности гражданских качеств студента. Оцениваю по трем критериям: когнитивный - уровень знаний (формализуется через оценки за сессию, к примеру), по количеству поощрений и взысканий, а вот как оценить деятельность, например, участие в мероприятиях патриотической направленности (считать количество и на основании этого делать вывод, по-моему, не научно). Подскажите, есть ли методика оценки сформированности качеств личности и перевода качественных показателей в количественные? Спасибо.

Можно порекомендовать книгу Д.А. Новикова Статистические методы в педагогических исследованиях (типовые случаи). М.: МЗ-Пресс, 2004. - 67 с.
http://www.mtas.ru/search_results.php?s ... on_id=2641

Александр Иванович, у меня есть эта книга, но там рассматриваются вопросы количественных измерений и в этом отношении книга действительно прекрасная, но как провести качественные измерения? Вотя (или эксперт) говорю - этот курсант патриот, у него высокий уровень сформированности гражданских качеств, а как доказать это математически?

Иван Юрьевич, Вы затронули много проблем.
Статистическим методам анализа качественной информации посвящена "Нечисловая статистика" в разделе "Статистические методы" данного сайта.
Выделяют шкалы качественных признаков (наименований и порядковая) и количественных признаков. О них речь в главах "Теория измерений" в моих учебниках и в книге Новикова.
Об обработке качественной информации много в разделах моих книг, посвященных экспертным оценкам.
Переводить качественные показатели в количественные легко, вводя баллы (как при оценке достижений в учебе). Но оцифровка может привести к ошибочным выводам. Надо применять методы, инвариантные относительно допустимых преобразований шкал.

Такого рода вопросы любят рассматривать социологи. Полезен научный журнал "Социология: методология, методы, математические модели" http://www.nir.ru/socio/scipubl/4M.htm

Уместно поместить программу учебного курса.

РОССИЙСКАЯ ЭКОНОМИЧЕСКАЯ АКАДЕМИЯ им. Г.В.ПЛЕХАНОВА
Экономико-математический факультет
Кафедра «Анализ стохастических процессов в экономике»

Осень 2006 г.

«МЕТОДЫ АНАЛИЗА КАЧЕСТВЕННОЙ ИНФОРМАЦИИ»

У Ч Е Б Н А Я П Р О Г Р А М М А

Лекции

Тема 1. Методы анализа качественной информации
как часть эконометрики
Определение эконометрики как науки, изучающей конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей. Структура современной эконометрики: методы анализа данных (прикладная статистика), эконометрические модели, применения эконометрических методов для решения конкретных задач. Особенности экономических данных и их учет в эконометрических методах прикладной статистики. Структура прикладной статистики: одномерная статистика, многомерный статистический анализ, статистика случайных процессов и временных рядов, нечисловая статистика (методы анализа качественной информации).
Примеры объектов нечисловой природы. Внутреннее деление нечисловой статистики.

Тема 2. Теория измерений и средние величины
Основы репрезентативной теории измерений. Определения основных шкал, примеры. Группы допустимых преобразований для основных типов шкал (наименований, порядка, интервалов, отношений, разностей, абсолютной). Требование устойчивости статистических и эконометрических выводов и заключений относительно допустимых преобразований шкал. Сравнение трех видов средних (среднее арифметическое, мода, медиана) для зарплаты (доходов) работников предприятия. Определение средних величин по Коши.
Некорректность применения среднего арифметического в порядковой шкале. Теорема об описании средних, результат сравнения которых устойчив в порядковой шкале. Применения к рейтингам. Средние по Колмогорову и описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений.

Тема 3. Экспертные технологии
Необходимость проведения экспертных исследований. Примеры процедур экспертных оценок. Их использование в соревнованиях, при выборе, распределении финансирования. Военный совет в Филях как пример экспертной процедуры. Метод Дельфи. Мозговой штурм. Экологические экспертизы. Метод сценариев.
Основные этапы проведения экспертного исследования. Формирование целей экспертного исследования (сбор информации для ЛПР и/или подготовка проекта решения для ЛПР и др.). Формирование состава экспертной комиссии: методы списков (реестров), "снежного кома", самооценки, взаимооценки. Проблема априорных предпочтений экспертов.
Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями ("мозговой штурм") или без ограничений). Сочетание различных методов экспертного оценивания.

Тема 4. Статистика бинарных отношений

Проблема получение итогового мнения комиссии экспертов. Метод средних арифметических рангов. Его некорректность в большинстве экспертных исследований. Метод медианных рангов. Согласование кластеризованных ранжировок (ГОГ-метод).
Бинарные отношения на конечном множестве (ранжировки, разбиения, толерантности) как ответы экспертов. Их описание матрицами из 0 и 1. Рефлексивность, симметричность, транзитивность. Ранжировки (упорядочения), разбиения (эквивалентности), толерантности. Расстояние Кемени между бинарными отношениями. Медиана Кемени, ее асимптотика и свойства при малых объемах выборок и различных предположениях о распределении случайных ранжировок. Унимодальные изотропные распределения и единственность среднего (медианы). Интерпретация законов больших чисел для нечисловых данных в терминах теории экспертного опроса. Связь метода средних рангов с коэффициентом ранговой корреляции Спирмена. Линейная зависимость расстояния Кемени от коэффициента ранговой корреляции Кендалла.
Обобщенный показатель (полезность) как функция частных показателей. Методы построения обобщенного показателя. Два подхода к определению весовых коэффициентов линейной функции полезности. Линейная свертка с коэффициентами, которые оценивают эксперты. Критика такого подхода на основе анализа реальных предложений по процедуре выбора технологии Недостатки экспертных методов непосредственного определения коэффициентов весомости. Экспертно-статистический метод и его реализация с помощью метода наименьших квадратов.

Тема 5. Средние величины для нечисловых данных
Оптимизационный подход к определению эмпирических и теоретических средних в пространствах произвольной природы. Сравнение с экстремальными свойствами среднего арифметического, математического ожидания, теоретической и выборочной медианы. Нахождение эмпирического среднего как способ агрегирования мнений экспертов. Формулировки законов больших чисел в пространствах произвольной природы.
Расстояния, теоретические и эмпирические средние в пространстве подмножеств конечного множества. Построение эмпирического среднего (итогового мнения комиссии экспертов) по правилу большинства.

Тема 6. Статистика нечисловых данных
Различные виды нечисловых данных, связи между ними. Качественные и разнотипные признаки. Люсианы. Результаты парных сравнений. Множества.
Нечеткие ответы экспертов. Определение и примеры нечетких множеств. Операции над нечеткими множествами и их свойства. Связь нечетких множеств со случайными. Нечеткие эконометрические модели. Расстояния между нечеткими множествами. Усреднение нечетких ответов экспертов.
Метрики (показатели различия) в пространствах произвольной природы - основа методов статистики нечисловых данных.
Асимптотическое поведение решений экстремальных статистических задач. Непараметрические оценки плотности в пространствах произвольной природы, в частности, для дискретных пространств. Статистики интегрального типа в пространствах произвольной природы. Применение статистики объектов нечисловой природы при построении новой хронологии и значение полученных выводов для современных социально-экономических проблем.
Методы анализа экспертных оценок на основе статистики нечисловых данных. Применение непараметрической статистики (коэффициентов ранговой корреляции). Применение теории люсианов, вычисление медианы Кемени и использование иных методов статистики нечисловых и интервальных данных. Метод "идеальной точки" с использованием средних рангов.

Тема 7.Статистика интервальных данных
Погрешности измерения и интервальные данные. Операции над интервальными числами и обоснование правил приближенных вычислений. Две формулы для выборочной дисперсии и их точность.
Основная модель интервальной статистики. Понятия нотны - максимально возможного отклонения, вызванного интервальностью статистических данных, и асимптотической нотны (при малой абсолютной погрешности). Расчет асимптотической нотны для квадратичных функций второго порядка. Изучение влияния интервальности дисконт-факторов на величину NPV (чистая приведенная стоимость). Формула для погрешности NPV.
Основные результаты статистики интервальных данных. Рациональный объем выборки. Расчет асимптотической нотны, рационального объема выборки и доверительных интервалов при оценивании математического ожидания и дисперсии.

Основная литература

1. Орлов А.И. Эконометрика. Учебник для вузов. – М.: Экзамен, 2002 (1-е изд.), 2003 (2-е изд.), 2004 (3-е изд.). – 576 с. http://orlovs.pp.ru
2. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. Учебное пособие для вузов. – М,: Академия, 2003. – 403 с.
3. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. - М.: ИКЦ "МарТ"; Ростов н/Д: Издательский центр "МарТ", 2005. - 496 с.
4. Орлов А.И. Прикладная статистика. Учебник. – М.: Экзамен, 2006. http://orlovs.pp.ru
5. Орлов А.И. Теории принятия решений. Учебник. – М.: Экзамен, 2006. http://orlovs.pp.ru
6. Орлов А.И. Нечисловая статистика. Сайт «Высокие статистические технологии» http://orlovs.pp.ru

Программу разработал
профессор, доктор технических наук А.И. Орлов

Александр Иванович, огромное спасибо, начинаю разбираться и сразу встает вопрос: на основании работы аналитической комиссии (в количестве 20 человек) принята следующая программа - высокий уровень сформированности качества - 1, средний - 2, низкий - 3. Является ли допустимым такой малый "разброс", от 1 до 3, ведь медиана (при оценке ранжировок по методу медиан) в таком случае будет примерно одинакова (1,2,3) во всех случаях оценки и при большом объеме выборки получаются слишком большие группы с одинаковыми параметрами?

Енюков И.С. Методы оцифровки неколичественных признаков / Алгоритмическое и программное обеспечение прикладного статистического анализа. - М.: Наука, 1980, с. 309-316.

Статистическое измерение качественных характеристик / Под ред. Е.М. Четыркина. - М.: Статистика, 1972.

Книги
рекомендую подвергать сомнению, поскольку выводы, полученные с помощью тех или иных методов оцифровки, могут меняться при допустимом преобразовании шкалы. При измерениях в порядковой шкале - при произвольном строго возрастающем преобразовании.
А вот значения ранговых статистик остаются постоянными при допустимом преобразовании порядковой шкалы.

Три значения для признака - конечно, маловато, лучше 5 или 7. Но я применял и три значения, например, при описании тяжести заболевания или уровня успеваемости. При 3-х значениях признака полезно приводить эмпирическое распределение, а не только то или иное среднее.

Уважаемый Александр Иванович! Дублирую сообщение с форума.Подскажите, пожалуйста, ответ на такой вопрос. Каким образом можно измерять качественные показатели в педагогических исследованиях? Например, необходимо измерить уровень сформированности гражданских качеств студента. Оцениваю по трем критериям: когнитивный - уровень знаний (формализуется через оценки за сессию, к примеру), по количеству поощрений и взысканий, а вот как оценить деятельность, например, участие в мероприятиях патриотической направленности (считать количество и на основании этого делать вывод, по-моему, не научно). Подскажите, есть ли методика оценки сформированности качеств личности и перевода качественных показателей в количественные? Спасибо.

Иван Юрьевич

Уважаемый Иван Юрьевич!

Дополнительно к сказанному на сайте можно добавить, что понятие "уровень сформированности гражданских качеств студента" требует определения. Судя по сказанному Вами, это "уровень" описывается в виде трехмерного вектора. Если считать, что уровень знаний "формализуется через оценки за сессию", например, в виде среднего балла (среднего арифметического или медианы), то "участие в мероприятиях патриотической направленности" нетрудно оценить по подходящей шкале, например:
0 - не участвует, 1 - участвует пассивно (присутствует), 2 - участвует активно (организует).
Затем трехмерный вектор можно свернуть в рейтинговую оценку, например, взять линейную функцию от координат.
Итак, описана типовая методика (и указаны варианты).
Далее начинается научное продвижение. Например, обсуждают, как выбирать весовые коээфициенты (коэффициенты важности, значимости), как вообще можно строить рейтинговые оценки. Можно привлекать теорию измерений, методы экспертных оценок и т.д.

Весь спектр - от простейшей методики до продвинутой теории.

А.И.Орлов

Александр Иванович, спасибо за помощь! Можно ли в качестве эмпирического распределения принимать построение гистограммы?

Для количественных данных сейчас вместо гистограммы рекомендуют использовать непараметрические оценки плотности (см. "Прикладную статистику" на сайте). Дело в том, что при построении гистограммы из-за группировки данных теряется часть информации, а выбор числа классов субъективен.
Однако для данных с небольшим числом градаций гистограмма (столбиковая диаграмма) естественна.
И тогда, когда нет компьютера для расчета непараметрической оценки плотности.