Высокие статистические технологии

Здравствуйте! Насколько мне известно, одним из условий модели множественной регрессии, использующей в своей основе дискриминантный анализ, является нормальность распределения дискриминантных переменных. Стоит ли для оценки выполнения этого условия (а точнее его несоблюдения) применить критерий Шапиро-Уилка, если число наблюдений в группах 48 и 28?

Для регрессионного и дискриминантного анализов нормальность невязок не нужна. См. учебник "Прикладная статистика" http://orlovs.pp.ru/stat.php#k1
Если объем выборки меньше 50, то доказательно проверить нормальность нельзя:
Селезнев В. Д., Денисов К. С. Исследование свойств критериев согласия функции распределения данных с гауссовой методом Монте-Карло для малых выборок. - Журнал "Заводская лаборатория", 2005. No.1. С.68
Реальные данные, как правило, не подчиняются нормальному закону - учебник "Эконометрика", глава 4.1 http://orlovs.pp.ru/econ.php#ek1

Вот цитата из найденного мною в интернете "В модели дискриминации должны соблюдаться следующие условия:
...
дискриминантные переменные измеряются в интервальной шкале;
дискриминантные переменные линейно независимы;
ковариационные матрицы групп примерно равны;
дискриминантные переменные в каждой группе подчиняются многомерному нормальному закону распределения."

Так должно ли соблюдаться указанное последнее условие именно в линейной дискриминантной модели? В вашем учебнике прочел "Обычно рассматривают многомерные нормальные распределения, при этом зачастую принимают гипотезу о том, что ковариационные матрицы для различных классов совпадают. Именно в таких предположениях сформулирован классический дискриминантный анализ Фишера. Как известно, обычно нет оснований считать, что наблюдения извлечены из нормального распределения."

1. Советую и дальше читать мой учебник.
2. Определите понятие , тогда и обсудим.
Из моего учебника видна, что применять гне следует, поскольку его предпосылки не выполнены.

Но вы используете и термин "модель линейного дискриминантного анализа". Значит, я полагаю, существуют и модели нелинейного дискриминантного анализа. Можно ли применить критерий Шапиро-Уилка именно для обоснования возможного невыполнения условия нормальности распределения дискриминантных переменных в конкретной дискриминантной модели? Вроде бы критерий Шапиро-Уилка можно использовать при таком малом количестве наблюдений. Хотелось бы уточнить, а кроме классического дискриминантного анализа Фишера, какие еще виды дискриминантного анализа существуют? И где можно с такими конкретными моделями ознакомиться?

Учебник "Эконометрика", пп.5.3, 5.4

"Если классы описываются выборками из многомерных нормальных совокупностей с одинаковыми матрицами ковариаций, а для классификации применяется классический линейный дискриминантный анализ Р.Фишера..."
То есть все-таки для классического линейного дискриминантного анализа должно все-таки выполняться условие нормальности распределния дискриминантных переменных в каждом классе?

Должно. Именно поэтому классический линейный дискриминантный анализ Р.Фишера нельзя применять обоснованно - нет нормальности.
Что более существенно - нет оснований считать равными матрицы ковариаций, в одномерной случае - нет оснований считать равными дисперсии. Именно поэтому в одномерном случае вместо критерия Стьюдента следует использовать критерий Крамера-Уэлча ("Эконометрика", гл.4).

А в какой работе или публикации есть отражение того, что в многомерном случае нет оснований считать равными матрицы ковариаций?

По тем же причинам, что и в одномерном случае.

В разделе 4.4 "Эконометрики" касательно предположения о равенстве дисперсий нашел - цитирую: "Итак, в большинстве экономических и технико-экономических задач условие б) нельзя считать выполненным, а проверять его нецелесообразно."
Этот же вывод относится и к условию равенства матриц ковариаций?

Совершенно верно. Проверять равенство матриц ковариаций сложнее, чем проверять равенство векторов математических ожиданий.

Здравствуйте, Александр Иванович!

Ещё по поводу нормальности данных... Для корректного применения дисперсионного анализа данные должны быть распределены нормально (Новиков, Новочадов, 2005, прим. на с. 72). Нормальное распределение имеет место редко; нет его и у меня. Пока я вижу два варианта, позволяющих решить проблему: использовать нормализующее преобразование или применить непараметрический аналог дисперсионного анализа. Что посоветуете Вы?

Непараметрический аналог дисперсионного анализа - хорошо разработанный метод.

Нормализующее преобразование делает сомнительным выполнение предпосылок дисперсионного анализа, основанного на нормальном распределении. Дело в том, что параметры нормализующего преобразования обычно рассчитываются по тем же исходным данным, которые затем будут нормализоваться. В результате теряется независимость результатов наблюдений - каждое нормализованное значение зависит от всего набора исходных данных. Энтузиасты нормализующего преобразования обычно этого не замечают. Эффект от этого нарушения исходных предпосылок мне неизвестен. Нужны исследования.

Вывод - советую применять непараметрический аналог дисперсионного анализа.

Стало быть, где-то он описан. Дайте, пожалуйста, ссылку на источник или источники.

Холлендер М., Вулф Д. Непараметрические методы статистики. - М.: Финансы и статистика, 1983. - 518 с.
Главы 6 и 7.

Александр Иванович!

Спасибо за ссылку, но... Я сейчас изложу то, что я понял из Холлендера и Вулфа, а Вы меня, если что, поправите.

1. Непараметрических методов для трёхфакторного анализа нет.
2. Применение непараметрических методов в случае двух факторов требует, чтобы каждый из них имел хотя бы три градации.

В моём случае имеется три фактора, каждый из которых имеет две градации. И что делать?

Т.е. у Вас трехмерная таблица сопряженности, по каждой координате две градации.
Поиск по запросу "Анализ таблиц сопряженности".
Книги по теме:
Аптон Г.С. Анализ таблиц сопряженности. - М., Финансы и статистика, 1982.
Толстова Ю.Н. Анализ социологических данных методология, дескриптивная статистика, изучение связей между номинальными признаками . - М., Научный мир, 2000.
Елисеева И.И., Рукавишников В.О. (несколько книг этих авторов).

Таблицы сопряжённости - это прекрасно, это мне пригодится, но не сейчас. Возможно, я не слишком тщательно описал, что именно мне нужно. Дело в том, что с помощью таблиц сопряжённости можно исследовать связь категориальных переменных друг с другом, а мне хотелось бы понять, как они влияют на зависимую переменную, измеренную в шкале отношений. Это же - задача дисперсионного анализа...

P.S. Большое спасибо за ссылки; я ими воспользуюсь не сейчас, так позже.

Есть восемь комбинаций, каждой из восьми соответствует свое распределение со своим матемтическим ожиданием и своей дисперсией.

Совершенно верно. И ни в одном случае из восьми нормальности нет, т. е., классический метод ДА, основанный на нормальном распределении, неприменим, а непараметрические для трёхвходового случая не разработаны (по крайней мере, я о них не узнал). Использование же нормализующих преобразований, снимая одну проблему, ставит другую.

Прав ли я в этих рассуждениях?

Не сказано, какую задачу решаете.
Например, может быть такая задача: проверить совпадение всех восьми функций распределения.
Тогда переходите от трех к одному признаку и применяете однофакторный дисперсионный анализ.
Переход по правилу: 000 = 1, 001 = 1, 010 = 2, ..., 111 = 8, где 0 или 1 - кодировка признака, принимающего два значения, а место в двоичной записи соответствует определенному признаку.