Высокие статистические технологии

Доброго времени суток, сразу скажу, что со статистическими заданиями не сталкивался никогда и вот возникла проблема при обработке данных ПСИ погрешностей датчиков. Эти данные вследствие мультипликативных и аддитивных погрешностей являются данными случайными. И годным датчиком считается датчик у которого в 99% случаев погрешность не превышает определённого числа. Так же даны уровень значимости 1% и мощность критерия 99.9%. Поэтому возникло ряд вопросов:
1. Какого типа гипотезы необходимо сформулировать?
2. Нужна ли какого-то вида аппроксимация этих данных?
3. С помощью каких выкладок проследить за мощностью критерия?
4. Как определить объём выборки, а так же какие именно критерии использовать?

Сначала надо изучить основы теории вероятностей и математической статистики. Без этого обсуждение смысла не имеет.

Наши Интернет-ресурсы: сайты с книгами и статьями в открытом доступе:
«Высокие статистические технологии» http://orlovs.pp.ru/ ,
«Лаборатория экономико-математических методов в контроллинге МГТУ им. Н.Э. Баумана» http://ibm.bmstu.ru/nil/biblio.html ,
еженедельник «Эконометрика» http://subscribe.ru/catalog/science.hum ... onometrika
Конкретные вопросы, связанные с нашей деятельностью, можно обсудить на форуме http://forum.orlovs.pp.ru/
Персональная страница на сайте МГТУ им.Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/
Википедия: http://ru.wikipedia.org/ статья «Орлов, Александр Иванович (учёный)»

Проблема в том, что литературы пруд пруди. И со всем ознакомиться нет возможности. Можно ли указать с чем в первую очередь необходимо ознакомиться? Хотелось бы таки ближе к нужной мне тематике.

Учебник "Прикладная статистика" на указанных сайтах.

Этот учебник я изучал по мере своих сил, но ни разу не столкнулся с постановкой задачи близкой к моей. Есть ли что-то типа задачника на данную тему? В учебнике "Прикладная статистика" приведены относительно простые примеры для случая, когда все функции уже вычислены аналитически.

Не надо писать неправду. Учебник "Прикладная статистика" нацелен на непараметрические постановки, в которых функции распределения произвольны.

Значит я что-то не понимаю. Если бы стоял вопрос именно в аппроксимации зависимости с таким уровнем значимости и мощностью, то учебник мне бы действительно помог. Но насколько я понимаю значимость и мощность должны быть заданы именно для результатов ПСИ.

Действительно, не понимаете, что термины "уровень значимости" и "мощность" относятся к характеристикам статистического критерия, не имеют никакого отношения к какой-либо "зависимости".
Учитесь!

Так я и пытаюсь учиться! Сложно учиться, когда некому вопросы задать! Я не встречал или не понял, когда встретил, какие критерии можно использовать в моём случае. И не встречал гипотез, которые, как я понимаю, мне нужно сформулировать.

Сначала надо поставить задачу в терминах математической статистики.
Видимо. данные (т.е. значения погрешностей) можно рассматривать как независимые одинаково распределенные величины. Значит, есть некоторая вероятность Р того, что погрешность не превосходит заданного числа. Нулевая гипотеза: Р не превосходит 0,01. Эту гипотезу можно проверять разными способами - используя биномиальное распределение, используя нормальную аппроксимацию, используя распределение Пуассона.
С мощностью непонятно. Сначала надо сформулировать альтернативную гипотезу. Гипотеза P > 0,01 не годится, поскольку нулевая и альтернативная гипотезы не разделяются. Если альтернативная гипотеза, например, имеет вид P > 0,05, то можно обеспечить нужную мощность. Но откуда взять границу 0,05, отличную от 0,01?
Короче: сейчас на Ваши вопросы нельзя дать ответ. Нужна другая формулировка.
Читайте главу 2 "Основы вероятностно-статистических методов описания неопределенностей..." указанного учебника.

Спасибо за ответ, видимо статистика намного сложнее, чем я ожидал. Буду изучать учебники заново.

Простите за мою глупость, но возникло несколько вопросов по написанному Вами выше.
1. Не встречал такого термина как разделяться для гипотез, не поясните что это?
2. До сих пор не могу понять как именно проверяются гипотезы вида
.. Аппроксимация менее более понятна, а вычисление таких параметров для меня загадка

1. Значение 0,01 в равной степени принадлежит обеим гипотезам.
2. Нулевая гипотеза: Р не превосходит 0,01. Эту гипотезу можно проверять разными способами - используя биномиальное распределение, используя нормальную аппроксимацию, используя распределение Пуассона.
Нормальная аппроксимация использована в глпан 3 "Прикладной статистики".

А в таком случае какие критерии используются?

лучше переформулирую свой вопрос. Какую статистику можно в таком случае записать?

Я же объяснил Вам, что задача не поставлена в терминах математической статистики. О какой же "статистике" может идти речь, и что значит "записать"?
Учитесь.

Извините, что опять достаю с глупыми вопросами, не посоветуете литературу про исследование сложных гипотез?

Основные понятия:
Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. — М.: КноРус, 2010. — 192 с.
http://ibm.bmstu.ru/nil/biblio.html#books-01-verstat

спасибо за ссылку. Можно ли сформулировать гипотезы следующим образом?
H0: F(x<Imax)>=0.99
H1:F(x<Imax)<0.98
Если да, то с помощью каких критериев? Если можно немного подробнее чем просто учитесь.

Да, можно сформулировать гипотезы так:

Критерий выбираете, зная гипотезы.
Проще взять крайние значения и проверять гипотезу
H0: р=0.99
против гипотезы
H1: р = 0,98,
где p = F(x<Imax)
Наилучший критерий находите по лемме Неймана-Пирсона (статистика критерия - отношение биномиальных вероятностей при р=0.99 и р = 0,98).

У меня есть только эмпирическая функция распределения и для неё построить биномиальную, в которой, если значение x<Imax, то это событие считается осуществлённым, а если x>Imax, то нет. Правильно я понимаю? И если можно ссылку на эту лемму в Ваших учебниках, я нахожу только довольно расплывчатые определения.

http://www.nsu.ru/mmf/tvims/chernova/ms/lec/node43.html
из того, что я прочитал, насколько я понимаю, при уровне значимости в 1% и гипотезе р=0.99 критерий отношения правдоподобия будет наиболее мощным критерием. Не совсем только понятно, каким образом находится мощность этого критерия. Можете пояснить или тыкнуть меня носом в номер формулы в вышеозвученного ресурса?

Нашёл несколько примеров, буду разбираться. Извините за беспокойство

Успехов!

В общем и целом я в биномиальных распределениях и критериях всяческих разобрался. У меня возникает вопрос по этой части Вашего сообщения:


Как при таком упрощении (перехода от сложных гипотез к простым) меняются уровень значимости и мощность критерия? я надеюсь, что не меняются И вообще можно ли почитать где-нибудь про правомочность таких упрощений?

Основные понятия:
Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. — М.: КноРус, 2010. — 192 с.
http://ibm.bmstu.ru/nil/biblio.html#books-01-verstat

а можно чуть более конкретно?

Глава 5, раздел "Уровень значимости и мощность".

Спасибо за ссылку, стало всё понятно в теории. Осталось последнее но..практика. У меня просто стоит задача таким образом: необходимо обеспечить низкую вероятность пропустить негодное изделие (0.1%), и это должна быть ошибка второго рода, насколько я понимаю. Я не совсем понимаю как интерпретировать в данном случае, когда мощностью является возрастающая функция.

Сначала надо определить, что такое "годное изделие", что такое "негодное изделие".

H0: р>=0.99 -годное изделие
H1: р < 0,99-негодное изделие

Уже разъяснял, что это глупость. Вы никогда не отличите р = 0,9899999999999 от 0,99.

Ожидал такого ответа, просто почитал ещё Боровкова, там были аналогичные гипотезы
H0: р>=0.99 -годное изделие
H1: р < 0,98-негодное изделие

Сделаю предположение, что значение мощности в точке p=0.98 и будет искомой мощностью

Успехов!

Так это правильно?

Такой подход - наиболее естественный. См. выше в данной теме о нем.