Высокие статистические технологии

Здравствуйте, уважаемый Александр Иванович! С помощью MS Excel мне удалось рассчитать значение статистики А по критерию типа омега-квадрат (Лемана-Розенблатта). А как можно определить соответствующее критическое значение в MS Excel?

Значение статистики А по критерию типа омега-квадрат (Лемана-Розенблатта) надо сравнивать с критическими значениями для классического критерия оммега-квадрат (Крамера-Мизеса-Смирнова) - есть такая теорема.
А именно,
с 0,347 - при уровне значимости 0,9
с 0,461 - при уровне значимости 0,95
с 0,743 - при уровне значимости 0,99

Уважаемый Александр Иванович!
1) Зависят ли указанные Вами критические значения от числа степеней свобод?
2) Какое правило принятия решения по критерию типа омега-квадрат (Лемана-Розенблатта)?

Не понимаю.
1.
О чем речь?
2.
Какую гипотезу проверяете?

Эти вопросы возникли у меня по разделу 4.6 Вашего учебника "Эконометрика"
1. Зависят ли критические значения статистики А по критерию типа омега-квадрат (Лемана-Розенблатта) от m и n, то есть от количества наблюдений по каждой выборке? Или же они всегда принимают только указанные Вами значения на заданных уровнях значимости?
2. Проверяю гипотезу об однородности двух независимых выборок

1. Критические значения - одни и те же для всех достаточно больших объемов выборок (не менее 5 наблюдений в каждой выборке).
2. Если значение статистики не превосходит критического значения - принимаем гипотезу однородности (на соответствующем этому критическому значению уровне значимости). Если больше - отклоняем гипотезу однородности, т.е. констатируем, что есть различие.

Александр Иванович, а есть где-нибудь формула, по которой можно вычислить достигаемый уровень значимости этой статистики?

Алгоритм расчетов: Мартынов Г.В. Критерии омега-квадрат. - М.: Наука, 1978. - 78 с.

Уважаемый Александр Иванович! Мне удалось раздобыть указанную Вами книгу. Однако, самостоятельно я не могу разобраться в том, как же вычислить критическое значение этой статистики на заданном уровне значимости (или же рассчитать достигаемый уровень значимости вычисленной статистики). Не могли бы Вы мне в этом помочь?

Надо пользоваться табл.1 (с.63-64), в которой содержится таблица предельной функции распределения статистики критерия Смирнова W**2. Ее можно использовать для расчета достигаемого уровня значимости, равного дополнению до 1 значения функции распределения, соответствующему наблюдаемому значению статистики Лемана-Розенблатта. А можно взять из 1-й строки табл.12 (с.71).
Алгоритму расчетов функции распределения статистики критерия Смирнова W**2 посвящена глава 3 (с.51-62).

Александр Иванович, добрый вечер!



Вот вслед за товарищем хочу уточнить: если для разобранного Вами в 4-м изд. "Эконометрики" примера значение критерия Лемана-Розенблатта А=0,1621, и ему в табл. 1 соответствует значение вероятности для W2 Смирнова ~ 0,65306, то тогда достигаемый уровень значимости для данного значения статистики А (Лемана-Розенблатта) будет равно 1- 0,65306=0,35. Так?

Совершенно верно.
О названиях статистик. Если речь о статистике омега-квадрат (табл.2.8 на с.97 "Эконометрики" 4 изд.), то ее лучше назвать статистикой Крамера-Мизеса-Смирнова, поскольку статистиками Смирнова обычно называют статистики, построенные на основе супремума разности эмпирической и теоретической функций распределения (с.88 там же).

Александр Иванович, большое спасибо.

А если у Вас есть под рукой эта книга Мартынова "Критерии W2", не могли бы Вы прокомментировать квадратурную формулу со стр. 55 для вычисления интеграла по формуле Смирнова: что в ней означает k, m и функция f(z) c остаточным членом Rm?
А то, похоже, автор данной темы, дочитав до этого места, впал в депрессию так же, как и я

Формулы на с.54-55 относятся к интегрированию в комплексной области. Для понимания желательно знать теорию функций комплексных переменных (ТФКП).
Последняя формула на с.55 относится, судя по ссылке, к численному интегрированию. Здесь f(z) - произвольная функция, параметр m выбирает исследователь. Тогда имеет место приведенная Мартыновым формула, в ней k - индекс суммирования. а остаточный член стремится к 0 при росте параметра m. Доказательства этой формулы я не знаю.
Косвенно я упоминаюсь в первых двух строках стр.55. Множитель добавлен в работе "Орлов (1974)" (вместе с С.А. Пироговым). См. с.76. С тех пор ТФКП мне никогда не была нужна.

Александр Иванович, а как эта ф-ция f(z) может быть произвольной, если я с помощью этой квадратурной ф-лы для числа 0,1621 собираюсь получить значение предельного распределения ~ 0,65?
Ведь, как я понимаю, табл. 1 получена на основании этой квадратурной ф-лы? А собственно статистика х, для которой вычисляется распределение, фигурирует в интегралах со стр. 55. Так, может, f(z) - это дробь из подынтегральных выражений (отношение квадратных корней)?

Формула для произвольной функции применяется в конкретном случае.

Александр Иванович, вынужден реанимировать эту тему, т.к. нуждаюсь в Ваших разъяснениях.

В справочнике Большева и Смирнова на с. 83 указана функция распределения a1(x) статистики Крамера-Мизеса-Смирнова nw2. В ней индекс суммирования берется от 0 до бесконечности. Если я беру вместо бесконечности достаточно большое число (100), то мои значения вероятностей ниже, чем в табл. 1 у Мартынова на с.63-64 (к примеру, у меня 95% квантиль=0,46135, обычно указывают 0,461 и 0,4616). Если же я изменяю индекс суммирования от 0 до 1, то вычисленные мной значения полностью совпадают с табулированными.

Вот я и хочу спросить: это связано с тем, что значения ф-ции распределения табулировались в докомпьютерную эпоху, и ее автор(ы) не стал(и) усложнять себе жизнь, или я чего-то в принципе не понимаю?


P.S. Для приведенного Вами в "Эконометрике" значения статистики Лемана-Розенблатта A= 0,1621 достигаемый уровень значимости равен 0,354724. Словом, тяга к знаниям у меня неистребима

Если справочник Большева и Смирнова готовился тогда, когда компьютеры были редкостью (первое издание вышло в 1965 г.), то книга Мартынова (1978) написана на основе подробных компьютерных расчетов. Ряд для распределения статистики Крамера-Мизеса-Смирнова - знакопеременный (сам Смирнов пропустил множитель (-1) в степени k, и в нашей стране это заметили довольно поздно (после выпуска трудов Н.В. Смирнова, вышедших после его смерти в 1966 г.), в том числе и я в статье 1974 г., в справочнике Большева и Смирнова приведены западные данные, полученные, видимо, методом статистических испытаний. Но Г.В. Мартынов уже имел правилную формулу (с.54 его книги).
Отмеченное Вами численное различие, возможно, связано с тем, что ряд знакопеременный.
Впрочем, советую обратиться к самому Г.В. Мартынову ( http://www.iitp.ru/ru/users/42.htm ), который, я думаю, с удовольствием обсудит с Вами интересующие Вас вопросы. Передавайте ему от меня привет и наилучшие пожелания.

Александр Иванович, премного благодарен!

Александр Иванович, добрый день.
Попытался реализовать расчет рассматриваемого критерия типа омега квадрат для независимых выборок в MS Excel по типу "вставил исходные данные выборок - автоматически получил значение критерия".
Возник вот какой вопрос. Основа расчета, как я понял, это сумма квадратов разностей рангов значений в исходных и объединенной выборках. Но если в объединенной выборке, например, значения 5, 8, 10, 10 и т.д., то в Вашем расчете им присвоены ранги 1, 2, 3, 4 и т.д. Нельзя ли в подобных случаях (нескольких совпадающих значений) брать средние ранги, т.е. 1, 2, 3,5 3,5 и т.д.?

Поскольку выборки берутся из совокупностей с непрерывными функциями распределений, то совпадений быть не должно. Точнее, они могут быть с вероятностью 0.
Однако при обработке реальных данных совпадения бывают. Поскольку есть отклонения от вероятностно-статистической модели. Например, значения 10 и 10 могут быть получены при округлении значений (10+а) и (10+в), где числа (а) и (в) малы. Отсюда рекомендация: провести два расчета для значений 5, 8, 10, 10. В первом присвоить им ранги 1, 2, 3, 4, во втором - ранги 1, 2, 4, 3.
И сравнить статистические выводы, полученные на основе двух расчетов.
Подробнее - в статье:
Орлов А.И. Модель анализа совпадений при расчете непараметрических ранговых статистик // Заводская лаборатория. Диагностика материалов. 2017. Т.83. №11. С. 66-72.
Если напишете мне на почту: prof-orlov@mail.ru, вышлю эту статью.

Александр Иванович, добрый вечер.

А где можно посмотреть критические значения статистики типа омега квадрат для сравнения опытного распределения с равномерным и гамма-распределением (сложная гипотеза)?
Будут ли зависеть критические значения для гамма-распределения от параметров этого гамма-распределения (сложная гипотеза)?

Не знаю.
Подобные проблемы изучались:
1. Кулинская Е.В., Саввушкина Н.Е. / Заводская лаборатория. 1990. Т.56. № 5. С.96-99.
2. Тюрин Ю.Н. Исследования по непараметрической статистике (непараметрические методы и линейная модель). Автореф. дисс. докт. физ.-мат. наук. - М.: МГУ, 1985. - 33 с.
3. Тюрин Ю.Н. / Известия АН СССР. Сер. Матем. 1984. Т.48. № 6. С.1314-1343.
4. Тюрин Ю.Н., Саввушкина Н.Е. / Известия АН СССР. Сер. Техническая кибернетика. 1984. № 3. С.109-112.
5. Мартынов Г.В. Критерии омега-квадрат. - М.: Наука, 1978. -78 с. Текст есть в Интернете.
См. сводку:
Орлов А.И. О критериях согласия с параметрическим семейством. - Журнал "Заводская лаборатория". 1997. Т.63. No.5. С. 49-50 http://orlovs.pp.ru/stat.php#s1p5 .

Предполагаю, что будут.