Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Вс дек 22, 2024 2:51 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 49 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Отбраковка выбросов.
СообщениеДобавлено: Ср апр 04, 2012 2:56 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Здравствуйте, Александр Иванович! В Вашей книге "Прикладная статистика М.: Издательство «Экзамен», 2004." в "2.3.2. Неустойчивость параметрических методов отбраковки выбросов",
Цитата:
Однако чаще всего их выявляют только при окончательной обработке результатов измерений с помощью специальных критериев оценки грубых погрешностей" [7, с.46-47].
На какой источник ссылка? Я не могу найти список литературы. Спасибо.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Ср апр 04, 2012 8:45 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Цитата из книги:
Артемьев Б.Г., Голубов С.М. Справочное пособие для работников метрологических служб. М.: Изд-во стандартов, 1982. 280.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Чт апр 05, 2012 2:26 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Спасибо! Правда найти её не могу.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Чт апр 05, 2012 7:23 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
А зачем Вам именно эта книга?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Чт апр 05, 2012 9:42 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Берите книги с наших Интернет-ресурсов. Там все ссылки приведены. "Прикладную статистику" лучше скачать с сайта: «Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана» http://ibm.bmstu.ru/nil/biblio.html .

Наши Интернет-ресурсы: сайты с книгами и статьями в открытом доступе:
«Высокие статистические технологии» http://orlovs.pp.ru/ ,
«Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана» http://ibm.bmstu.ru/nil/biblio.html ,
еженедельник «Эконометрика» http://subscribe.ru/catalog/science.hum ... onometrika
Конкретные вопросы, связанные с нашей деятельностью, можно обсудить на форуме http://forum.orlovs.pp.ru/
Персональная страница на сайте МГТУ им.Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/
Википедия: http://ru.wikipedia.org/ статья «Орлов, Александр Иванович (учёный)»


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 06, 2012 2:18 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Спасибо, профессор! Профессионально занимаюсь технической диагностикой. Пытаюсь найти общую схему отличия дефектного узла агрегата от исправного по результатам измерения однотипного оборудования.
Изучил такие критерии по исключению промахов из выборки, как-то:
1. Ирвина,
2. Романовского,
3. Вариационного размаха,
4. Диксона,
5. 3-х сигм Райта,
6. Смирного,
7. Шовене,
8. Граббса.
Другие, есть?
А по робастным критериям есть что-нибудь в одном сборнике?
Посмотрите, пожалуйста мою короткую статью в
http://sibdiag.ru/modules.php?name=Diagnostica
Там на применение критерия Диксона. Мне важно Ваше мнение. Нужно нажать на
21.12.2008г. Поступление новых статей
"Ремонт по техническому состоянию одного из узлов системы охлаждения гидрогенератора »


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пн апр 09, 2012 3:13 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
В Вашей статье Вы честно пишете, что предполагаете нормальный закон распределения результатов измерений. А на основе чего Вы это предполагаете? Оснований нет. И быть не может, поскольку распределения реальных данных, как правило, не являются нормальными (и вообще не входят ни в какое параметрическое семейство). Так что применение критерия Диксона, как и любого иного, основанного на гипотезе нормальности, не является научно обоснованным. См. раздел "Неустойчивость параметрических методов отбраковки выбросов" в моих книгах.

Видимо, опечатка. Не
"6. Смирного,"
а
"6. Смирнова Н.В."


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вт апр 10, 2012 1:05 am 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
В Вашей статье Вы честно пишете, что предполагаете нормальный закон распределения результатов измерений. А на основе чего Вы это предполагаете?

Собиралась выборка объёмом больше 100, проверялась гипотеза о принадлежности выборочного распределения к нормальному. Гипотеза не отвегалась. Да, конечно Смирнова. Посмотрю.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вт апр 10, 2012 5:13 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
По 100 наблюдениям нельзя установить нормальность. Например, отличить нормальное распределение от логистического. Для этого необходимо не менее 2500 наблюдений. (См. учебник "Прикладная статистика".)


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вт апр 10, 2012 5:49 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
У меня не стоит задача работать с замусоренными выборками. Мне нужно определить статистически значимо отличается ли от выборки наибольший элемент. Разве для этого существуют робастные методы?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вт апр 10, 2012 5:58 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
См. метод, основанный на неравенстве Чебышева. Других нет.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вт апр 10, 2012 6:17 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Спасибо! Попробую, но мне кажется это слишком грубая оценка.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 13, 2012 12:17 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
По 100 наблюдениям нельзя установить нормальность. Например, отличить нормальное распределение от логистического.

По полученным результатам измерений доверительный интервал для эксцесса - [-0.2;0,6]. Гипотеза о принадлежности выборочного распределения к логистическому отвергается. Пока лидирует нормальное.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 13, 2012 9:49 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
1. Как построен доверительный интервал для эксцесса? Наверно, по нормальному распределению? И каков вывод из этих расчетов?
2. Почему (на основе каких соображений)
"Гипотеза о принадлежности выборочного распределения к логистическому отвергается"?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Сб апр 14, 2012 1:55 am 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Да, по нормальному. Я понял, попробую посчитать интервал для логистического. Если эксцесс не попадёт в этот интрервал можно будет отвергнуть гипотезу о принадлежности выборочного распределения к логистическому?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Сб апр 14, 2012 8:08 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
!. Если эксцесс равен 0, то это не значит, что распределение нормальное. С помощью эксцесса можно отвергнуть гипотезу нормальности, но нельзя подтвердить.

2. Статистическое оценивание, в том числе с помощью доверительных интервалов, и проверка статистических гипотез - разные области статистики.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 15, 2012 1:38 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
!. Если эксцесс равен 0, то это не значит, что распределение нормальное. С помощью эксцесса можно отвергнуть гипотезу нормальности, но нельзя подтвердить.

Я понимаю. Если эксцесс не равен 1, можно отвергнуть гипотезу логистичности.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 15, 2012 3:22 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Цитата:
Я понимаю. Если эксцесс не равен 1, можно отвергнуть гипотезу логистичности.

Почему?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 15, 2012 3:23 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Потому что
Проф.А.И.Орлов писал(а):
С помощью эксцесса можно отвергнуть гипотезу


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 15, 2012 5:46 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Для нормального распределения эксцесс равен 0. Можно проверить гипотезу о том, что эксцесс равен 0. Если эта гипотеза отклоняется, то нормальности нет. Если принимается, то неизвестно, каково распределение.
Связь эксцесса с гипотезой о каком-либо ином распределении мне неизвестна.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 20, 2012 12:55 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Для нормального распределения эксцесс равен 0. Можно проверить гипотезу о том, что эксцесс равен 0. Если эта гипотеза отклоняется, то нормальности нет.

Для логистического распределения эксцесс равен 1. Можно проверить гипотезу о том, что эксцесс равен 1. Если эта гипотеза отклоняется, то логистичности нет. Так?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 20, 2012 7:34 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
1. Продемонстрируйте, что для логистического распределения эксцесс равен 1.
2. Как собираетесь проверять гипотезу о том, что эксцесс равен 1?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 22, 2012 3:54 am 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
1. Продемонстрируйте, что для логистического распределения эксцесс равен 1.

Точнее он равен 1,2. E=m4/s^4-3. m4=7((l*pi)^4)/15, s^4=((l*pi)^4)/9. E=7*9/15-3=1,2.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 22, 2012 9:56 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Итак, не 1, а 1,2.
Может, что-то еще выяснится.
Какое распределение рассматриваете (плотность)?
Как найдены моменты?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 22, 2012 11:13 am 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Итак, не 1, а 1,2.

Да, сначала эккцесс по памяти сказал с точностью до целых, затем посчитал и показал как до десятых.
Проф.А.И.Орлов писал(а):
Какое распределение рассматриваете (плотность)?

Логистическое. Плотность его широко известна в узких кругах.
Проф.А.И.Орлов писал(а):
Как найдены моменты?

По определению, через нахождение соотствующих интегралов.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 22, 2012 11:59 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Что называете логистическим распределением?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 22, 2012 2:25 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Что называете логистическим распределением?

Надеюсь тоже что и Вы.
Проф.А.И.Орлов писал(а):
Например, отличить нормальное распределение от логистического.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Вс апр 22, 2012 2:53 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
В Ваших сообщениях есть противоречия, потому и спрашиваю.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 12:08 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
В Ваших сообщениях есть противоречия, потому и спрашиваю.

Был в отъезде, поэтому отвечаю с задержкой. Плотность вероятности логистического распределения: f(x)=exp((x-m)/l)/l(1+exp((x-m)/l))^2, где m- параметр положения, l-параметр масштаба.
Эксцесс для такого распределения равен 1,2.
А какие Вы увидели противоречия?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 12:26 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
В
http://ru.science.wikia.com/wiki/%D0%9B ... 0%B8%D0%B5
другая формула для логистического распределения.
Впрочем, эксцесс 1,2. Ранее Вы писали 1,0, в этом и противоречие.
Значит, Вы хотите различать нормальное распределение и логистическое распределение по эксцессу. Сколько же наблюдений понадобится?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 1:15 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
В
http://ru.science.wikia.com/wiki/%D0%9B ... 0%B8%D0%B5
другая формула для логистического распределения.

Да та же самая, просто Sx=l*pi/sqrt3.


Последний раз редактировалось Александрович Пт апр 27, 2012 3:49 pm, всего редактировалось 1 раз.

Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 1:20 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Значит, Вы хотите различать нормальное распределение и логистическое распределение по эксцессу. Сколько же наблюдений понадобится?

Я не говорил что хочу, а то что можно. Попробовал подменить нормальное распределение логистическим, получил критическое значение отличающееся на 1.3С, А у меня погрешность в температуре 2.0С. Так что без разницы.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 1:38 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Т.е. по Вашим реальным данным нельзя отличить логистическое распределение от нормального.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 1:52 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Т.е. по Вашим реальным данным нельзя отличить логистическое распределение от нормального.

Допустим мы получили выборочный эксцесс и построили для него доверительный интервал. Если этот доверительный интервал не накрывает значение 1.2, можно ли отказаться от принадлежности выборки к логистическому распределению? А значение 0 накрывает.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 4:31 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Как проверять гипотезу о значении коэффициента эксцесса в предположении, что выборка взята из логистического распределения?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 4:37 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Предположим, по реальным данным найдена оценка эксцесса, равная 1,2. Если Вы построили доверительный интервал (при доверительной вероятности 0,95) для эксцесса, исходя из гипотезы нормальности, и оказалось, что число 1,2 не входит в этот доверительный интервал, то Вы должны отклонить гипотезу нормальности (на уровне значимости 0,05).


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 6:26 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
Проф.А.И.Орлов писал(а):
Предположим, по реальным данным найдена оценка эксцесса, равная 1,2. Если Вы построили доверительный интервал (при доверительной вероятности 0,95) для эксцесса, исходя из гипотезы нормальности, и оказалось, что число 1,2 не входит в этот доверительный интервал, то Вы должны отклонить гипотезу нормальности (на уровне значимости 0,05).

Вы не ошиблись? Может быть число 0 не входит в этот интервал?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Пт апр 27, 2012 6:40 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11640
Для нормального распределения эксцесс равен 0. Значит, при справедливости гипотезы нормальности доверительный интервал для эксцесса обязательно содержит 0.
Поскольку речь идет о проверке гипотезы, то решающее правило выглядит так: если выборочный эксцесс лежит между (-a) и b, то гипотеза нормальности принимается, в противном случае отклоняется, где a и b - некоторые положительные числа.
Если b < 1,2, то гипотеза нормальности отклоняется.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Сб апр 28, 2012 11:55 am 
Не в сети

Зарегистрирован: Ср апр 18, 2012 2:09 pm
Сообщений: 62
Извините, а у меня возник вопрос совсем общий.
Что такое строго говоря коэффициент эксцесса? В интернете для эксцесса существуем миллион всяких определений.
Есть несмещенный эксцесс, есть обычный, то вычитают тройку, то не вычитают... То спорят чем отличается куртосис от эксцесса... Есть еще контрэксцесс. Так все-таки какой эксцесс использовать? Хотя я в принципе понимаю что для проверки гипотезы можно любой использовать, важно иметь распределение при истинной гипотезе. Но все-таки вот строго говоря как тут правильно? Выборочный коэффициент эксцесса несмещенного вообще есть страшная формула.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Отбраковка выбросов.
СообщениеДобавлено: Сб апр 28, 2012 1:44 pm 
Не в сети

Зарегистрирован: Чт дек 11, 2008 3:23 pm
Сообщений: 165
Откуда: Дивногорск
mifistik писал(а):
Что такое строго говоря коэффициент эксцесса?

См. определение. С эксцессом всё в порядке. И не засоряйте мою ветку. Создайте свою тему и там рассуждайте.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 49 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB