Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Пт мар 29, 2024 12:07 am

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 12 ] 
Автор Сообщение
 Заголовок сообщения: Генеральная совокупность и выборка
СообщениеДобавлено: Пн ноя 05, 2018 9:26 am 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
Добрый день.
Насколько корректно для изучения свойств статистических критериев (например, Крамера-Уэлча) сначала сгенерировать генеральную совокупность данных (например, 10 000 чисел), а потом уже из нее случайным образом извлекать выборки небольшого размера (n = 10-30)?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Пн ноя 05, 2018 11:39 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Зачем применять двухступенчатую процедуру? Чем она лучше одноступенчатой - генерировать выборки небольшого размера (n = 10-30)?
Сама по себе двухступенчатая процедура представляется корректной.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Пн ноя 05, 2018 1:47 pm 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
Для изучения критериев тестирования связанных выборок делал так:

1. Генерировал 5000 случайных чисел от 0 до 100 (по равномерному закону).

2. Каждое число, полученное по п. 1 умножал на -1 и объединил с исходными данными.

Таким образом получил генеральную совокупность данных из 10 000 чисел, которая обладает следующими свойствами:
ее математическое ожидание равно нулю,
она симметрична относительно нуля.

Еще, если считать такую генеральную совокупность полученной попарным вычитанием двух других генеральных совокупностей, то их сдвиг относительно друг друга равен нулю (или нет?). Также число положительных попарных разностей равно числу отрицательных попарных разностей.

3. Теперь прибавим ко всем 10 000 членам генеральной совокупности, полученной по п. 2 число 30.

Полученная новая генеральная совокупность обладает следующими свойствами:
ее математическое ожидание не равно нулю, а равно 30,
она несимметрична относительно нуля, а симметрична относительно 30.
Сдвиг равен не нулю, а 30 и число положительных попарных разностей не равно числу отрицательных попарных разностей.

Многократно извлекая небольшие выборки и фиксируя результат (различие найдено / не найдено), можно оценить мощность (методом статистических испытаний) критерия знаков, Q-теста, Вилкоксона и типа омега квадрат.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Пн ноя 05, 2018 2:34 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
"... число положительных попарных разностей равно числу отрицательных попарных разностей..." Т.е. значение критерия знаков равно 0. В этом отличие от задачи проверки однородности связанных выборок.
"Сдвиг равен не нулю, а 30, и число положительных попарных разностей не равно числу отрицательных попарных разностей". Но сохраняется отличие от задачи проверки однородности связанных выборок.

"Генерировал 5000 случайных чисел..." Что мешает естественной процедуре - сгенерировать 20 000 случайных чисел, 10000 из них преобразовать и сравнивать с оставшимися 10000, взяв выборки из этих двух совокупностей, найдя разности, рассчитав значения "критериев знаков, Q-теста, Вилкоксона и типа омега квадрат".


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Пн ноя 05, 2018 2:52 pm 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
Корректно ли будет по описанной мной выше процедуре сравнивать мощности критерия типа омега квадрат и Q-теста?

Не совсем понял, как именно преобразовать 10 000 случайных чисел из генерированных 20 000?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Пн ноя 05, 2018 8:33 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
1. "Корректно ли будет по описанной мной выше процедуре сравнивать мощности критерия типа омега квадрат и Q-теста?"
Значение критерия знаков равно 0. В этом отличие от исходной задачи проверки однородности связанных выборок.
Исходные данные распределены не так, как в исходной задаче проверки однородности связанных выборок.

2. "Не совсем понял, как именно преобразовать 10 000 случайных чисел из генерированных 20 000?"
Соответственно рассматриваемой (изучаемой) альтернативной гипотезе.
Если альтернативная гипотеза - гипотеза сдвига, то прибавить ко всем 10 000 псевдослучайным числам одно и то же число.
Если альтернативная гипотеза - гипотеза масштаба, то умножить все 10 000 псевдослучайных чисел на одно и то же число.
И т.д., и т.п.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Ср ноя 07, 2018 5:45 am 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
"Что мешает естественной процедуре - сгенерировать 20 000 случайных чисел, 10000 из них преобразовать и сравнивать с оставшимися 10000, взяв выборки из этих двух совокупностей, найдя разности, рассчитав значения "критериев знаков, Q-теста, Вилкоксона и типа омега квадрат"

Александр Иванович, если я выполню эту процедуру в экселе и рассчитаю мощность этих четырех критериев по многократным выборкам, вы можете посмотреть полученные результаты?
Это представляет вообще какой-либо интерес?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Ср ноя 07, 2018 2:35 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Будет интересно посмотреть мощность критериев при различных альтернативах.
Такое исследование может быть опубликовано в журнале "Заводская лаборатория. Диагностика материалов" https://www.zldm.ru/jour .
См. аналог - работу, посвященную проверке независимости связанных выборок:
Орлов А.И. Реальные и номинальные уровни значимости при проверке статистических гипотез / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. – Краснодар: КубГАУ, 2015. – №10(114). С. 42 – 54. – IDA [article ID]: 1141510003. – Режим доступа: http://ej.kubagro.ru/2015/10/pdf/03.pdf


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Ср ноя 07, 2018 8:06 pm 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
На скорую руку предварительно сделал так (с заменой двухступенчатой процедуры на одноступенчатую, как Вы предложили):
Из бесконечной генеральной совокупности чисел от 0 до 1 извлекаем 10 000 раз по две выборки размером n=31.
Первую выборку каждый раз оставляем без изменений.
Ко второй выборке каждый раз к каждому члену добавляем число 0,23.
По выборке xi - yi каждый раз рассчитывали значение критерия знаков, Q-теста, Уилкоксона, типа омега квадрат.

Я правильно понимаю, что в данном случае имеем альтернативную гипотезу сдвига?

Мощность тестов при описанных выше условиях получилась такая:
Q-тест 88 %, Уилкоксон 82 %, типа омега квадрат 74 %, знаков 70 %

При уменьшении размера выборок и/или значения сдвига, мощность разумеется уменьшается, но их распределение по местам не изменяется и Q-тест всегда показывает наибольшую мощность.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Вс ноя 11, 2018 7:53 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Было бы полезно опубликовать полученные результаты.
Такое исследование может быть опубликовано в журнале "Заводская лаборатория. Диагностика материалов" https://www.zldm.ru/jour .
Конечно, надо описать изучаемые критерии, используемый датчик псевдослучайных чисел. Например, что такое Q-тест?
Точность оценки методом Монте-Карло - квадратный корень из p(1-p)/n = 0,002 при уровне значимости 0,05.
Целесообразно рассмотреть несколько альтернатив сдвига, показать изменение мощностей критериев, а также изучить другие альтернативы, например, альтернативы изменения масштаба - все значения во второй выборке умножаются на 2, 5, 10, 0,7 или другие константы.
Мой адрес см. на сайте: http://orlovs.pp.ru/


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Вт ноя 13, 2018 7:05 pm 
Не в сети

Зарегистрирован: Вс фев 04, 2018 8:41 am
Сообщений: 23
Александр Иванович, со сдвигом и масштабом понятно.
А вот как можно смоделировать отсутствие симметрии относительно нуля?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Генеральная совокупность и выборка
СообщениеДобавлено: Сб ноя 17, 2018 7:56 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
К сожалению, никакого простого (прозрачного) способа смоделировать отсутствие симметрии относительно нуля, вроде сдвига или умножения на число, не знаю. Можно задать функцию распределения таблично.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 12 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 81


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB