Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Чт мар 28, 2024 9:04 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 23 ] 
Автор Сообщение
 Заголовок сообщения: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Ср ноя 05, 2008 9:59 am 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Здравствуйте, уважаемый Александр Иванович! С помощью MS Excel мне удалось рассчитать значение статистики А по критерию типа омега-квадрат (Лемана-Розенблатта). А как можно определить соответствующее критическое значение в MS Excel?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт ноя 06, 2008 11:45 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Значение статистики А по критерию типа омега-квадрат (Лемана-Розенблатта) надо сравнивать с критическими значениями для классического критерия оммега-квадрат (Крамера-Мизеса-Смирнова) - есть такая теорема.
А именно,
с 0,347 - при уровне значимости 0,9
с 0,461 - при уровне значимости 0,95
с 0,743 - при уровне значимости 0,99


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт ноя 07, 2008 8:56 am 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Уважаемый Александр Иванович!
1) Зависят ли указанные Вами критические значения от числа степеней свобод?
2) Какое правило принятия решения по критерию типа омега-квадрат (Лемана-Розенблатта)?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт ноя 07, 2008 9:42 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Не понимаю.
1.
Цитата:
Зависят ли указанные Вами критические значения от числа степеней свобод?

О чем речь?
2.
Цитата:
Какое правило принятия решения по критерию типа омега-квадрат (Лемана-Розенблатта)?

Какую гипотезу проверяете?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт ноя 07, 2008 4:33 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Эти вопросы возникли у меня по разделу 4.6 Вашего учебника "Эконометрика"
1. Зависят ли критические значения статистики А по критерию типа омега-квадрат (Лемана-Розенблатта) от m и n, то есть от количества наблюдений по каждой выборке? Или же они всегда принимают только указанные Вами значения на заданных уровнях значимости?
2. Проверяю гипотезу об однородности двух независимых выборок


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт ноя 07, 2008 4:39 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
1. Критические значения - одни и те же для всех достаточно больших объемов выборок (не менее 5 наблюдений в каждой выборке).
2. Если значение статистики не превосходит критического значения - принимаем гипотезу однородности (на соответствующем этому критическому значению уровне значимости). Если больше - отклоняем гипотезу однородности, т.е. констатируем, что есть различие.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт ноя 07, 2008 7:20 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Александр Иванович, а есть где-нибудь формула, по которой можно вычислить достигаемый уровень значимости этой статистики?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт ноя 07, 2008 7:35 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Алгоритм расчетов: Мартынов Г.В. Критерии омега-квадрат. - М.: Наука, 1978. - 78 с.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт ноя 18, 2008 8:00 pm 
Не в сети

Зарегистрирован: Пн фев 11, 2008 6:08 pm
Сообщений: 65
Уважаемый Александр Иванович! Мне удалось раздобыть указанную Вами книгу. Однако, самостоятельно я не могу разобраться в том, как же вычислить критическое значение этой статистики на заданном уровне значимости (или же рассчитать достигаемый уровень значимости вычисленной статистики). Не могли бы Вы мне в этом помочь?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт ноя 20, 2008 10:11 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Надо пользоваться табл.1 (с.63-64), в которой содержится таблица предельной функции распределения статистики критерия Смирнова W**2. Ее можно использовать для расчета достигаемого уровня значимости, равного дополнению до 1 значения функции распределения, соответствующему наблюдаемому значению статистики Лемана-Розенблатта. А
Цитата:
критическое значение этой статистики на заданном уровне значимости
можно взять из 1-й строки табл.12 (с.71).
Алгоритму расчетов функции распределения статистики критерия Смирнова W**2 посвящена глава 3 (с.51-62).


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2010 7:42 pm 
Не в сети

Зарегистрирован: Чт ноя 13, 2008 4:01 pm
Сообщений: 86
Александр Иванович, добрый вечер!

Цитата:
Надо пользоваться табл.1 (с.63-64), в которой содержится таблица предельной функции распределения статистики критерия Смирнова W**2. Ее можно использовать для расчета достигаемого уровня значимости, равного дополнению до 1 значения функции распределения, соответствующему наблюдаемому значению статистики Лемана-Розенблатта.


Вот вслед за товарищем хочу уточнить: если для разобранного Вами в 4-м изд. "Эконометрики" примера значение критерия Лемана-Розенблатта А=0,1621, и ему в табл. 1 соответствует значение вероятности для W2 Смирнова ~ 0,65306, то тогда достигаемый уровень значимости для данного значения статистики А (Лемана-Розенблатта) будет равно 1- 0,65306=0,35. Так?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт сен 16, 2010 9:02 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Совершенно верно.
О названиях статистик. Если речь о статистике омега-квадрат (табл.2.8 на с.97 "Эконометрики" 4 изд.), то ее лучше назвать статистикой Крамера-Мизеса-Смирнова, поскольку статистиками Смирнова обычно называют статистики, построенные на основе супремума разности эмпирической и теоретической функций распределения (с.88 там же).


Последний раз редактировалось Проф.А.И.Орлов Сб сен 18, 2010 12:42 pm, всего редактировалось 1 раз.

Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 17, 2010 10:47 pm 
Не в сети

Зарегистрирован: Чт ноя 13, 2008 4:01 pm
Сообщений: 86
Александр Иванович, большое спасибо.

А если у Вас есть под рукой эта книга Мартынова "Критерии W2", не могли бы Вы прокомментировать квадратурную формулу со стр. 55 для вычисления интеграла по формуле Смирнова: что в ней означает k, m и функция f(z) c остаточным членом Rm?
А то, похоже, автор данной темы, дочитав до этого места, впал в депрессию так же, как и я :(


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 18, 2010 1:02 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Формулы на с.54-55 относятся к интегрированию в комплексной области. Для понимания желательно знать теорию функций комплексных переменных (ТФКП).
Последняя формула на с.55 относится, судя по ссылке, к численному интегрированию. Здесь f(z) - произвольная функция, параметр m выбирает исследователь. Тогда имеет место приведенная Мартыновым формула, в ней k - индекс суммирования. а остаточный член стремится к 0 при росте параметра m. Доказательства этой формулы я не знаю.
Косвенно я упоминаюсь в первых двух строках стр.55. Множитель добавлен в работе "Орлов (1974)" (вместе с С.А. Пироговым). См. с.76. С тех пор ТФКП мне никогда не была нужна.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 18, 2010 5:47 pm 
Не в сети

Зарегистрирован: Чт ноя 13, 2008 4:01 pm
Сообщений: 86
Цитата:
Здесь f(z) - произвольная функция


Александр Иванович, а как эта ф-ция f(z) может быть произвольной, если я с помощью этой квадратурной ф-лы для числа 0,1621 собираюсь получить значение предельного распределения ~ 0,65?
Ведь, как я понимаю, табл. 1 получена на основании этой квадратурной ф-лы? А собственно статистика х, для которой вычисляется распределение, фигурирует в интегралах со стр. 55. Так, может, f(z) - это дробь из подынтегральных выражений (отношение квадратных корней)?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 18, 2010 7:05 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Формула для произвольной функции применяется в конкретном случае.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Ср дек 14, 2011 11:36 pm 
Не в сети

Зарегистрирован: Чт ноя 13, 2008 4:01 pm
Сообщений: 86
Александр Иванович, вынужден реанимировать эту тему, т.к. нуждаюсь в Ваших разъяснениях.

В справочнике Большева и Смирнова на с. 83 указана функция распределения a1(x) статистики Крамера-Мизеса-Смирнова nw2. В ней индекс суммирования берется от 0 до бесконечности. Если я беру вместо бесконечности достаточно большое число (100), то мои значения вероятностей ниже, чем в табл. 1 у Мартынова на с.63-64 (к примеру, у меня 95% квантиль=0,46135, обычно указывают 0,461 и 0,4616). Если же я изменяю индекс суммирования от 0 до 1, то вычисленные мной значения полностью совпадают с табулированными.

Вот я и хочу спросить: это связано с тем, что значения ф-ции распределения табулировались в докомпьютерную эпоху, и ее автор(ы) не стал(и) усложнять себе жизнь, или я чего-то в принципе не понимаю?


P.S. Для приведенного Вами в "Эконометрике" значения статистики Лемана-Розенблатта A= 0,1621 достигаемый уровень значимости равен 0,354724. Словом, тяга к знаниям у меня неистребима :P


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Пт дек 23, 2011 1:40 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Если справочник Большева и Смирнова готовился тогда, когда компьютеры были редкостью (первое издание вышло в 1965 г.), то книга Мартынова (1978) написана на основе подробных компьютерных расчетов. Ряд для распределения статистики Крамера-Мизеса-Смирнова - знакопеременный (сам Смирнов пропустил множитель (-1) в степени k, и в нашей стране это заметили довольно поздно (после выпуска трудов Н.В. Смирнова, вышедших после его смерти в 1966 г.), в том числе и я в статье 1974 г., в справочнике Большева и Смирнова приведены западные данные, полученные, видимо, методом статистических испытаний. Но Г.В. Мартынов уже имел правилную формулу (с.54 его книги).
Отмеченное Вами численное различие, возможно, связано с тем, что ряд знакопеременный.
Впрочем, советую обратиться к самому Г.В. Мартынову ( http://www.iitp.ru/ru/users/42.htm ), который, я думаю, с удовольствием обсудит с Вами интересующие Вас вопросы. Передавайте ему от меня привет и наилучшие пожелания.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Пт дек 23, 2011 2:48 pm 
Не в сети

Зарегистрирован: Чт ноя 13, 2008 4:01 pm
Сообщений: 86
Александр Иванович, премного благодарен!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Чт фев 21, 2019 8:35 pm 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
Александр Иванович, добрый день.
Попытался реализовать расчет рассматриваемого критерия типа омега квадрат для независимых выборок в MS Excel по типу "вставил исходные данные выборок - автоматически получил значение критерия".
Возник вот какой вопрос. Основа расчета, как я понял, это сумма квадратов разностей рангов значений в исходных и объединенной выборках. Но если в объединенной выборке, например, значения 5, 8, 10, 10 и т.д., то в Вашем расчете им присвоены ранги 1, 2, 3, 4 и т.д. Нельзя ли в подобных случаях (нескольких совпадающих значений) брать средние ранги, т.е. 1, 2, 3,5 3,5 и т.д.?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Сб фев 23, 2019 3:00 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Поскольку выборки берутся из совокупностей с непрерывными функциями распределений, то совпадений быть не должно. Точнее, они могут быть с вероятностью 0.
Однако при обработке реальных данных совпадения бывают. Поскольку есть отклонения от вероятностно-статистической модели. Например, значения 10 и 10 могут быть получены при округлении значений (10+а) и (10+в), где числа (а) и (в) малы. Отсюда рекомендация: провести два расчета для значений 5, 8, 10, 10. В первом присвоить им ранги 1, 2, 3, 4, во втором - ранги 1, 2, 4, 3.
И сравнить статистические выводы, полученные на основе двух расчетов.
Подробнее - в статье:
Орлов А.И. Модель анализа совпадений при расчете непараметрических ранговых статистик // Заводская лаборатория. Диагностика материалов. 2017. Т.83. №11. С. 66-72.
Если напишете мне на почту: prof-orlov@mail.ru, вышлю эту статью.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Вс ноя 10, 2019 6:47 pm 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
Александр Иванович, добрый вечер.

А где можно посмотреть критические значения статистики типа омега квадрат для сравнения опытного распределения с равномерным и гамма-распределением (сложная гипотеза)?
Будут ли зависеть критические значения для гамма-распределения от параметров этого гамма-распределения (сложная гипотеза)?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Критерий типа омега-квадрат (Лемана-Розенблатта)
СообщениеДобавлено: Пн ноя 11, 2019 8:42 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
dats писал(а):
А где можно посмотреть критические значения статистики типа омега квадрат для сравнения опытного распределения с равномерным и гамма-распределением (сложная гипотеза)?

Не знаю.
Подобные проблемы изучались:
1. Кулинская Е.В., Саввушкина Н.Е. / Заводская лаборатория. 1990. Т.56. № 5. С.96-99.
2. Тюрин Ю.Н. Исследования по непараметрической статистике (непараметрические методы и линейная модель). Автореф. дисс. докт. физ.-мат. наук. - М.: МГУ, 1985. - 33 с.
3. Тюрин Ю.Н. / Известия АН СССР. Сер. Матем. 1984. Т.48. № 6. С.1314-1343.
4. Тюрин Ю.Н., Саввушкина Н.Е. / Известия АН СССР. Сер. Техническая кибернетика. 1984. № 3. С.109-112.
5. Мартынов Г.В. Критерии омега-квадрат. - М.: Наука, 1978. -78 с. Текст есть в Интернете.
См. сводку:
Орлов А.И. О критериях согласия с параметрическим семейством. - Журнал "Заводская лаборатория". 1997. Т.63. No.5. С. 49-50 http://orlovs.pp.ru/stat.php#s1p5 .
dats писал(а):
Будут ли зависеть критические значения для гамма-распределения от параметров этого гамма-распределения (сложная гипотеза)?

Предполагаю, что будут.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 23 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 68


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB