Высокие статистические технологии

Здравствуйте!
Посоветуйте, какой из непараметрический методов проверки однородности выборки лучше использовать. Имеется выборка из 60 предприятий и произведен анализ 30 коэффициентов финансового состояния, по каждому. С помощью каких методов можно исключить предприятия с резко отличающимися показателями.
Спасибо!

Александр Иванович, у меня возник еще один вопрос. Если я правильно понимаю, то непараметрическая статистика изучает только качественные признаки, а у меня данные по выборке взяты из бухгалтерской отчетности, то есть количественно измеримы. Применимы ли к данному массиву данных непараметрические методы исследования.
Заранее благодарна!

Ответы на Ваши вопросы найдете в главе 4 нашго учебника "Эконометрика" .

Уважаемый Александр Иванович, информация, которую вы мне советовали прочитать, по поводу непараметрической статистики, мне очень помогла. Но возник еще один вопрос - я провела доверительное оценивание вариации, на основе моей выборки и вот какие результаты получила (приведены данные 8 коэффициентов из 32).

№ коэффиц-та факторы вариация
1 Коб.с.с 67,43%
Довер-ый инт-л 32% - 103%

2 Ктл 29,87%
Довер-ый инт-л 16% - 44%

3 Кв.п 16,77%
Довер-ый инт-л 12% - 22%

4 Ку.п. 62,65%
Довер-ый инт-л 49% - 76%

5 Ка 91,70%
Довер-ый инт-л 44% - 139%

6 Кз.с. 80,03%
Довер-ый инт-л 41% - 119%

7 Коб.к. 33,75%
Довер-ый инт-л 27% - 41%

8 Кнр.пр. 52,97%
Довер-ый инт-л 44% - 62%

Что можно сказать о данных результатах? Если общепринято, например, для нормального распределения значение показателя вариации равное 33%, то на основе таких результатов можно продолжать вычисления многофакторной регрессии, оставив выборку в неизменном виде, или ее нужно подкорректировать под значение вариации 33% (исключив некоторые данные по выборке опытным путем).

Из какого идиотского источника Вы почерпнули, что

Общепринято, что тот, кто так пишет, ничего не понимает в прикладной статистике.
Коэффициенты вариации к регрессии вообще никакого отношения не имеют.
Так что

Спасибо большое за быстрый ответ. Больше вариацию не трогаю.
Вот привожу вам пример по данным одного из коэффициентов: 4,91; 34,89; 1,20; 2,67; 3,41; 0,71; 18,47; 26,12; 3,82; 2,58; 0,57; 2,07; 0,84; 2,35; 5,91; 2,77; 0,70; 5,86; 0,28; 6,34; 13,75; 2,98; 11,75; 3,14; 2,06; 1,45; -180,20; 1,53; 0,95; 0,56; 0,07; 5,12; 4,56; 5,32; 1,54; 29,34; 3,60; 5,77; 0,02; 2,03; 5,70; 2,44; 5,37; 3,54; 509,45; 3,80; 3,934 1,51; 2,01; 10,14; 0,09; -1,71; 1,34; 5,48; 9,72; 2,66; 2,88; 1,79; 1,98; 1,70

Где max - 509,45, а min - (-180,20). Ведь такое сильное колебание значений может повлиять на искажение результатов многофакторной регрессии. Где можно почитать о расчете погрешности измерений? или может расчет множественной регрессии с помощью непараметрических методов?
Меня очень смущает такое колебание значение, хотя в выборке присутствуют коэффициенты не чем не выделяющиеся по общей массе значений.

Абсолютные значения не важны. Потому что можно поделить на выборочное среднее квадратическое отклонение. Так обычно и делают.

Книг много: Демиденко, Себер, Налимов с соавторами. Я о многофакторной регрессии не писал.
Есть такие методы. Немного в п.5.2. "Эконометрики", и в "Прикладной статистике".
Меня тоже: max - 509,45, а min - (-180,20) - явные выбросы. Перед построением регрессии явные выбросы необходимо убрать. К сожалению, обоснованных формальных методов для этого нет ("Эконометрика", п.4.2). Надо смотреть по существу.

Александр Иванович!
Какие непараметрические тесты на гетероскедастичность, с Вашей точки зрения, следует использовать при построении регр-х моделей? (два-три теста)
Arkadij

Эта тематика не входит в сферу моих интересов.

ГЕТЕРОСКЕДАСТИЧНОСТЬ [heteroscedasticity] (неоднородность) — понятие математической статистики и эконометрии; означает ситуацию, когда дисперсия ошибки в уравнении регрессии изменяется от наблюдения к наблюдению. В этом случае приходится подвергать определенной модификации метод наименьших квадратов (иначе возможны ошибочные выводы). (http://slovari.yandex.ru/%D0%B3%D0%B5%D ... %82%D1%8C/ )

Так что нулевой гипотезой будет совпадение дисперсий.

В ( http://miest.narod.ru/iissvit/rass/vip29.htm ) под гетероскедастичностью понимают иное: ошибки могут не только иметь разные дисперсии, но и быть коррелированными. Для проверки нулевой гипотезы предлагается непараметрический тест Гольдфельда-Квандта.

Рассматриваются двухвыборочную задачу о рассеянии (масштабе), т.е. задачу проверки равенства дисперсий в двух независимых выборках (М. Холлендер, Д.А. Вулф, Непараметрические методы статистики, гл.5). Применяют критерии Ансари-Брэдли, Мозеса, Шорака, Миллера.

Интересно, а зачем понадобились именно непараметрические методы? Чем тест Уайта (White, 1980) не подошел?

Непараметрические методы нужны потому, что нет оснований считать, что ошибки (погрешности, невязки) имеют нормальное распределение (или распределение из иного параметрического семейства). Обратно, любой метод, не основанный на предположении, что ошибки (погрешности, невязки) имеют нормальное распределение (или распределение из иного параметрического семейства), является непараметрическим.

Все это, конечно, так, только многое зависит от того, каким методом оценивалась регрессия:
- если МНК - то там теорема Гаусса-Маркова определяет требования к остаткам;
- если ММП - там закон распределения остатков является функцией правдоподобия.

Ну, а уж если говорить непременно о непараметрических методах - то это, прежде всего, критерий ранговой корреляции Спирмена и тест Сиджела-Тьюки. А на досуге можно подумать, чем не устраивают традиционные тесты Парка, Глейзера, тех же Голдфелдта-Квандта, ARCH-тест Энгла и упомянутого Уайта.

Короче, тема не стоит выеденного яйца.

Здесь постановка задачи предполагает то или иное параметрическое распределение, а потому заведома неадекватна реальной задаче.
Непараметрическая теория метода наименьших квадратов рассмотрена в моих учебниках "Эконометрика", "Прикладная статистика".

Александр Иванович, а как же быть с:
1. бинарными классификаторами: Logit- и Probit-моделями?
2. моделью пропорциональных рисков Кокса?
3. ARCH/GARCH - моделями,
которые все оцениваются с помощью ММП и квази-ММП, и перед которыми с методом НК вы будете просто беспомощны?

Все практические задачи, в которых используют параметрические семейства распределений, могут быть решены с помощью непараметрических методов. Поищите - и найдете.

Александр Иванович! Здравствуйте!
К Вам из провинции за советом. Скажите, пожалуйста, какие статистические странности Вы видете в приведенном ниже тексте? Что в нем не так ?
"....Предположим, что в качестве входных экономических данных используются временные ряды, (структурные показатели различных отраслей или стран), Была построена регрессионная модель , однако, как это часто бывает, в связи с тем , что зависимая переменная имеет большой интервал качественно неоднородных значений или высокий темп изменения, возникли подозрения на наличие гетероскедастичности остатков. К тому же, как оказалось, они (остатки) имеют неизвестную природу распределения
В этом случае использование свободного от распределения критерия Ансари-Брэдли вполне уместно.
Совокупность остатков разбивается на две группы, т.е. берутся две выборки на основе которых выясняется есть ли различие в мерах рассеяния остатков. Однако здесь исследователи в большинстве своем совершают первую ошибку, дело в том, что тест Ансари-Брэдли фактически осуществляет проверку гипотезы, что у двух предоставленных выборок дисперсии одинаковы, мы же фактически имеем только один вектор остатков, т.е. оценка получается не надежной, поэтому необходимо произвести несколько тестов, сравнивая в каждом две случайные выборки из вектора остатков."

Если выше написанное верно, то как оценить надежность оценки?
Arkadij, не математик и даже не экономист.

Странностей в описании много.
1. Не определено понятие Выше в этой теме процитировано два определения понятия "гетероскедастичность". Согласно одному речь идет о различии показателей размаха (проще говоря, дисперсий), во втором - о том, что остатки в регрессионной модели коррелированы.
2. Пусть речь идет о первом определении. Непараметрический критерий Ансари-Бредли предназначен для проверки равенства дисперсий в двух независимых выборках при дополнительном условии, что медианы известны или равны. Для регрессионной модели применять его нельзя, поскольку зависимость неизвестна, остатки (отклонения от оценки зависимости) являются зависимыми случайными величинами, т.е. неверна модель, которой соответствует критерий Ансари-Бредли.
3. Если то попадаем в ситуацию "множественных проверок статистических гипотез" (см. мой учебник "Прикладная статистика", п.7.5), в которой свойства статистической процедуры (например, уровень значимости) неизвестны.

Написанное показывает, что автор текста в прикладной статистике не является специалистом.

К разговору осталось только добавить, что гетероскедастичность и а/корреляция - разные явления. Гетероскедастичность - это тенденция к увеличению остаточной дисперсии, а/корреляция - индикатор того, что остатки не являются независимыми случайными величинами. Одно определение не следует из другого. Поэтому при оценивании соответствующих моделей матрицу вариаций-ковариаций регрессоров в случае подозрений на гетероскедастичность можно оценить с помощью устойчивой к гетероскедастичности оценки Уайта (White, 1980), а при а/коррелированности остатков - состоятельной оценкой Newey-West'а (Newey, West, 1987).

Не все применяют такие определения.
Повторяю для забывчивых и ленивых пост от 15 февраля с.г.

ГЕТЕРОСКЕДАСТИЧНОСТЬ [heteroscedasticity] (неоднородность) — понятие математической статистики и эконометрии; означает ситуацию, когда дисперсия ошибки в уравнении регрессии изменяется от наблюдения к наблюдению. В этом случае приходится подвергать определенной модификации метод наименьших квадратов (иначе возможны ошибочные выводы). (http://slovari.yandex.ru/%D0%B3%D0%B5%D ... %82%D1%8C/ )

Так что нулевой гипотезой будет совпадение дисперсий.

В ( http://miest.narod.ru/iissvit/rass/vip29.htm ) под гетероскедастичностью понимают иное: ошибки могут не только иметь разные дисперсии, но и быть коррелированными. Для проверки нулевой гипотезы предлагается непараметрический тест Гольдфельда-Квандта.

Рассматриваются двухвыборочную задачу о рассеянии (масштабе), т.е. задачу проверки равенства дисперсий в двух независимых выборках (М. Холлендер, Д.А. Вулф, Непараметрические методы статистики, гл.5). Применяют критерии Ансари-Брэдли, Мозеса, Шорака, Миллера.

Как приятно, что это не про нас.


В отношении этого кладезя знаний



есть предложение не тиражировать тексты невежд, а ознакомиться вот с этим:

http://www.matburo.ru/Stuff/Files/Karp.pdf

Конкретно стр. 10

Спасибо за ссылку на безграмотную книгу Карпа
http://www.matburo.ru/Stuff/Files/Karp.pdf.
Безграмотна она по двум причинам .
1. Автор без каких-либо оснований принимает гипотезу нормальности отклонений от регрессионной зависимости.Даже не делает попыток проверить нормальность. Поэтому все его рассуждения про статистики Стьюдента и Фишера - это рассуждения о том, чего нет.
2. Под эконометрикой в силу своей малограмотности автор понимает узкую область на стыке регрессионного анализа и метода наименьших квадратов.
Укажем опус Карпа в теме "Убогая эконометрика и убогие эконометрики".

Александр Иванович!

Принаюсь вам, как родному: на Карпа я сослался лишь потому, что он не поленился в теме о МНК процитировать теорему Гаусса-Маркова: в ней котлеты (гомоскедастичность) -отдельно, мухи (статистическая независимость остатков, проявляющаяся в отсутствии а/корреляции) -отдельно. Кому, когда и при каких обстоятельствах пришла в голову фантазия одновременное нарушение этих предпосылок объявить обобщающим понятием гетероскедастичности - мне не ведомо. Если есть на эту тему приличные ссылки - угостите. Не дайте помереть полным дураком.

Именно поэтому диагностика остатков начинается, прежде всего, с тестирования а/корреляции. Это хорошо заметно и в историческом контексте: тест Дарбина-Уотсона появился в 1951 году, а Голдфельдт с Квандтом - в 1965.

В отношении этого пассажа


пребываю в легком недоумении: означает ли он, что:
- дисперсионный анализ
- тест Гольдфельдта-Квандта
- тест Грейнджера на причинность
- тест Чоу на стабильность коэффициентов регрессионной модели, etc.,

где на выходе F-критерий Фишера, - есть рассуждения о том, чего нет?

Во всем остальном по-прежнему остаюсь вашим преданным (по)читателем.

Наши Интернет-ресурсы: сайты с книгами и статьями в открытом доступе:
«Высокие статистические технологии» http://orlovs.pp.ru/ ,
«Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана» http://ibm.bmstu.ru/nil/biblio.html ,
еженедельник «Эконометрика» http://subscribe.ru/catalog/science.hum ... onometrika
Конкретные вопросы, связанные с нашей деятельностью, можно обсудить на форуме http://forum.orlovs.pp.ru/
Персональная страница на сайте МГТУ им.Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/
Википедия: http://ru.wikipedia.org/ статья «Орлов, Александр Иванович (учёный)»

Не могу не удивляться желанию высказаться у тех, кто не знает основ.
Во всех моих учебниках разъяснено, что для подавляющего большинства прикладных задач во всех областях знаний распределения реальных данных отличны от нормальных (гауссовских). Поэтому рассуждения, исходязие из предположения нормальности (например, рассуждения с использованием критериев Стьюдента и Фишера) - это рассуждения о том, чего нет.
Тем не менее постоянно появляются лица, которые этого не знают, но писать на форуме желают.

Необходимы доказательства, что распределения реальных данных отличны от нормального и насколько эти отличия искажают выводы при использовании традиционных статистических критериев. Доказательства конкретные.

Читайте учебник "Прикладная статистика" http://ibm.bmstu.ru/nil/biblio.html#books-09-prikstat

Учебник не содержит аргументов. Конкретные исследования. Иначе - вводите людей в заблуждение.

Читайте учебник "Прикладная статистика" http://ibm.bmstu.ru/nil/biblio.html#books-09-prikstat