Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Чт мар 28, 2024 8:50 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 17 ] 
Автор Сообщение
 Заголовок сообщения: Ф-ла Уилкса и другое...
СообщениеДобавлено: Ср апр 22, 2009 2:17 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Добрый день, Александр Иванович!

Вы не могли бы прокомментировать (ограничения, на что следует обратить особое внимание) использование ф-лы Уилкса для объема выборки n, необходимого для определения с заданной вероятностью "гамма"(g) доверительного интервала для параметра выборки при заданной доверительной вероятности "бета"(b):

n*b^(n-1)-(n-1)*b^n<=1-g

Вопрос возник неслучайно, кратко поясню проблему. Имеются расчётные коды (программы), например, по теплогидравлике для расчёта АЭС или их систем. По нормам, действующим в атомной энергетике, необходимо найти неопределённости (хар-ки погрешности) контролируемых параметров, рассчитываемых этим кодом при вариациях параметров детерминистической модели кода (т. е. входных в код пар-ров и соотношений, заложенных в код). Кол-во параметров детерминистической модели кода может от нескольких десятков до нескольких тысяч.

Краткая историческая справка
В течение последних двадцати лет за рубежом получили развитие методы анализа неопределенностей для оценки погрешности расчетов нестационарных теплогидравлических процессов, выполненных с помощью кодов улучшенной оценки, использующихся в практике расчетного анализа в ядерной энергетике.
Практически с самого начала работа носила международный характер. Первым значимым событием в истории развития анализа неопределенностей стало разрешение со стороны US NRC об использовании продвинутых КУО в практике лицензирования с обязательной оценкой расчетной неопределенности (1988 год). В 1989 году был опубликован доклад группы экспертов, в котором предлагалось:
• установить допустимую точность для каждого класса проблем, анализируемых с помощью КУО;
• активно развивать методы анализа неопределенностей;
• регулярно проводить тестирование методов анализа неопределенностей с целью выявления их сильных и слабых сторон.
Публикация вызвала большой интерес в научном мире и послужила толчком к развитию других методов. В результате уже в 1994 году был проведен расширенный семинар, где были представлены доклады по восьми различным методам неопределенностей. Возник вопрос о сравнении реальных возможностей этих методов. С этой целью была организована Группа Анализа Методов (UMS). Из восьми предложенных методов UMS выбрала пять наиболее перспективных, а именно:
• метод CIAU (Италия). Точность расчетов, полученная при моделировании серии теплогидравлически подобных экспериментов, экстраполируется на аварийный режим реактора-прототипа;
• AEA Technology (Великобритания). Эксперт выделяет исходные неопределенности в некоторых доверительных границах. Влияние этих неопределенностей затем исследуется в рамках расчетов с использованием граничных значений варьируемых параметров.
• GRS (Германия), IPSN (Франция), ENUSA (Португалия). Эти методы анализа неопределенностей являются статистическими (вероятностными). Они основаны на задании исходных неопределенностей в виде случайных величин с заданным законом распределения.
В 1998 году вышел финальный доклад группы UMS, в котором подробно изложены особенности методов, результаты сравнения и рекомендации по практическому использованию этих методов. До недавнего времени применение вероятностных методов сдерживалось необходимостью большого числа вариантных расчетов. К счастью, в последнее время ситуация изменилась, в связи с появлением мощных процессоров.

Метод GRS основан на использовании ф-лы Уилкса: варьируют пар-ры кода, получают выборку контролируемого параметра, а количество элементов выборки n определяют из ф-лы Уилкса (не проверяя однородности), задавшись b=0.05, g=0.05.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср апр 22, 2009 3:54 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Вероятностно-статистическая постановка отсутствует, поэтому сказать что-либо невозможно.
В формулировке
Цитата:
ф-лы Уилкса для объема выборки n, необходимого для определения с заданной вероятностью "гамма"(g) доверительного интервала для параметра выборки при заданной доверительной вероятности "бета"(b):

n*b^(n-1)-(n-1)*b^n<=1-g
непонятно, почему речь о ДВУХ доверительных вероятностях. Во всех известных мне случаях в формулировках утверждений участвует ОДНА доверительная вероятность


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср апр 22, 2009 4:20 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Проф.А.И.Орлов писал(а):
Вероятностно-статистическая постановка отсутствует, поэтому сказать что-либо невозможно.
В формулировке
Цитата:
ф-лы Уилкса для объема выборки n, необходимого для определения с заданной вероятностью "гамма"(g) доверительного интервала для параметра выборки при заданной доверительной вероятности "бета"(b):

n*b^(n-1)-(n-1)*b^n<=1-g
непонятно, почему речь о ДВУХ доверительных вероятностях. Во всех известных мне случаях в формулировках утверждений участвует ОДНА доверительная вероятность


Приведу выдержки (не мои):
"GRS (надзорный орган Германии за безопасностью АЭС) утверждает (в лице H. Glaeser), что Уилкс вывел формулу для объема выборки n, необходимого для определения с заданной вероятностью гамма доверительного интервала для параметра выборки при заданной доверительной вероятности бета:
Эта оценка не зависит от функциональной формы распределения совокупности, из которой извлечена выборка. (Именно это меня удивляет... - мои коммент.) Важно, что на достоверность анализа не влияет число и характер исходных неопределенностей. В практике вероятностного анализа неопределенностей обычно используют гамма=бета=0.95.
Практический смысл формулы Уилкса состоит в следующем. Пусть проведено 93 вариантных расчета критического параметра. Тогда с вероятностью 0.95 можно утверждать, что 95% значений этого параметра принадлежит интервалу между его минимальным и максимальным значениями."

Вопрос именно к тому насколько это "законно".


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср апр 22, 2009 4:47 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Возможно это дополнение также поможет понять постановку задачи.
Пытаются по-другому трактовать понятие доверительного интервала. (выдержки)
"
Доверительный интервал
Результатом анализа неопределенности базового расчета должно явиться определение границ для полученных в расчете параметров, в пределах которых эти параметры могут находиться с приемлемой для Конструктора надежностью. Этот интервал именуется доверительным и является также статистической величиной.
Используются два подхода к определению доверительного интервала.

Определение 1. Классическое определение понятия «доверительный интервал».
Интервальной называют оценку, которая определяется двумя числами – концами интервала. Интервальные оценки позволяют установить точность и надежность оценок. Пусть найденная по данным выборки статистическая характеристика M(х) служит оценкой неизвестного параметра x. M(х) тем точнее определяет параметр, чем меньше абсолютная величина разности модуль(х-M(х)). Иначе говоря, если дельта (d)>0 и модуль(х-M(х))<d, то чем меньше d, тем оценка точнее. Таким образом, положительное число d характеризует точность оценки.
Однако статистические методы не позволяют категорически утверждать, что оценка удовлетворяет неравенству модуль(х-M(х))<d. Об этом можно говорить лишь с определенной надежностью P (доверительной вероятностью).
Пусть вероятность того, что модуль(х-M(х))<d, равна P. Заменив неравенство равносильным ему, имеем: с вероятностью P справедливо двойное неравенство M(х)-d<x<M(х)+d, то есть P(M(х)-d<x<M(х)+d)=P.
Доверительным называют интервал M(х)-d<x<M(х)+d, который покрывает неизвестный параметр x с заданной надежностью P.

Определение 2. Доверительный интервал при произвольном распределении параметра.
Доверительным для произвольной выборки объема n из некоторой генеральной совокупности называется интервал M(х)-d<x<M(х)+d, который с вероятностью не менее P содержит не менее доли β результатов рассматриваемой выборки.
Объем выборки n в общем случае зависит ширины интервала d и заданных значений доверительной вероятности β и надежности P.

Различие двух определений доверительного интервала.
Имеется два принципиальных подхода к понятию доверительный интервал.
В первом случае предполагается наличие некой абсолютной истины, для которой с заданной вероятностью строится интервальная оценка. Этот подход используется далее при оценках возможных вариаций исходных параметров задачи.
Во втором случае для определения доверительного интервала используется соотношение, дающее оценку для минимально необходимого числа расчетов, чтобы с вероятностью не менее заданной можно было утверждать, что не менее заданного числа результатов расчетов лежит в этом доверительном интервале. Это определение позволяет дать ответ на вопрос, интересующий Конструктора о возможном разбросе расчетных результатов.
В случае если не отвергается гипотеза о нормальности закона распределения результатов вариантных расчетов во втором подходе можно сделать более сильную оценку, основанную на свойстве нормального распределения.
Таким образом, в двух рассмотренных подходах решаются разные с математической и с физической точек зрения задачи.
"


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср апр 22, 2009 5:37 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Определение 1 - то, что используется в прикладной статистике.
Определения 1 и 2 - определения двух разных понятий.
Использовать одно и то же имя для двух разных понятий - глупость или диверсия.
Определение 2 невозможно интерпретировать в рамках вероятностно-статистических моделей.
Цитата:
Определение 2. Доверительный интервал при произвольном распределении параметра.
Доверительным для произвольной выборки объема n из некоторой генеральной совокупности называется интервал M(х)-d<x<M(х)+d, который с вероятностью не менее P содержит не менее доли β результатов рассматриваемой выборки.

Интервал [x([an]); x([cn])] с концами в членах вариационного ряда с номерами [an]) и [cn] содержит
Цитата:
не менее доли β результатов рассматриваемой выборки,

если c -a > β, причем с вероятностью 1.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Толератные пределы
СообщениеДобавлено: Пт май 08, 2009 11:45 am 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Добрый день, Александр Иванович!

А имеет ли смысл в подобных задачах (для определения минимального объёма выборки) использовать толератные пределы (С. Уилкс, Математическая статсика, изд. "Наука", М.: 1967 - гл. 11)? GRS ссылается, что именно из этой главы следует приведённая выше формула.

Нет ли тут провокации? :)

(Ваши предложения по определению минимального объёма выборки, приведённые в книге, приняты).


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт май 08, 2009 4:37 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Цитата:
(Ваши предложения по определению минимального объёма выборки, приведённые в книге, приняты).

Какие предложения?
В какой книге?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Многострадальная ф-ла Уилкса ... :)
СообщениеДобавлено: Вс май 10, 2009 2:57 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Проф.А.И.Орлов писал(а):
Цитата:
(Ваши предложения по определению минимального объёма выборки, приведённые в книге, приняты).

Какие предложения?
В какой книге?


Орлов А.И., Нечисловая статистика. М.: МЗ-Пресс, 2004. -
Глава 4. Статистика интервальных данных

И с прошедшим праздником!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс май 10, 2009 3:23 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Ссылка на бумажное издание "Нечисловой статистики":

Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.

Издательство МЗ-Пресс разорилось, не выпустив книгу.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс май 10, 2009 3:43 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Проф.А.И.Орлов писал(а):
Ссылка на бумажное издание "Нечисловой статистики":

Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с.

Издательство МЗ-Пресс разорилось, не выпустив книгу.


Но это же ещё живёт:
http://www.aup.ru/books/m162/4_3.htm


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вс май 10, 2009 8:20 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Потому и обращаю внимание - в Интернете неверная информация о выходных данных книги.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт май 12, 2009 3:13 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Александр Иванович,
а всё же, возвращаясь к начальному вопросу, Вы бы рекомендовали использовать ф-лу Уилкса для определения минимального объёма выборки?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: В очередной раз по ф-ле Уилкса
СообщениеДобавлено: Чт май 14, 2009 1:56 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Александр Иванович, как Вы относитесь к ГОСТ Р 50779.50-95 (ПРИЕМОЧНЫЙ КОНТРОЛЬ КАЧЕСТВА ПО КОЛИЧЕСТВЕННОМУ ПРИЗНАКУ). Приемлемо ли в нём определением границ толерантного интервала (Приложени Г, п. Г2)?

Согласны ли Вы с определением по этому ГОСТ(?):
"
А.2. Термин «Толерантный интервал».
Если бы распределение значений показателя качества было известно (известны и признаваемы поставщиком и потребителем все параметры этого распределения), то можно было бы определить однозначно долю изделий в партии с показателями качества внутри предельных значений показателя. Сравнивая такую долю со значением (1 - NQL), можно было бы принимать решение о соответствии или несоответствии партии продукции требованию к качеству. Однако один или несколько параметров распределения являются неизвестными. Поэтому по результатам CПK изделий из выборки может быть получен лишь случайный интервал значений показателя качества, который с заданным уровнем доверия содержит, по крайней мере, не меньшую чем (1 - NQL) долю изделий в партии. Сравнение границ такого (толерантного) интервала с предельными значениями показателя позволяет принимать решение о соответствии или несоответствии партии продукции требованию к качеству. Границы толерантного интервала как функции результатов контроля изделий из выборки являются случайными и определяются:
- видом вероятностного распределения значений показателя качества;
- уровнем доверия, т. е. вероятностью того, что толерантный интервал содержит конкретную долю изделий в партии;
- значением доли изделий (1 - NQL)."


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб май 23, 2009 7:23 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Цитата:
А имеет ли смысл в подобных задачах (для определения минимального объёма выборки) использовать толерантные пределы (С. Уилкс, Математическая статистика, изд. "Наука", М.: 1967 - гл. 11)? GRS ссылается, что именно из этой главы следует приведённая выше формула.

Просмотрел указанную главу книги Уилкса. Толерантные пределы есть (сп.11.5, с.342-344), но ничего похожего на указанную в начале темы формулу нет.
Цитата:
Вы не могли бы прокомментировать (ограничения, на что следует обратить особое внимание) использование ф-лы Уилкса для объема выборки n, необходимого для определения с заданной вероятностью "гамма"(g) доверительного интервала для параметра выборки при заданной доверительной вероятности "бета"(b):

n*b^(n-1)-(n-1)*b^n<=1-g

Такой формулы у Уилкса нет.


Последний раз редактировалось Проф.А.И.Орлов Сб май 23, 2009 7:44 pm, всего редактировалось 1 раз.

Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб май 23, 2009 7:44 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
В 1985-1987 гг. Рабочая группа из примерно 60 специалистов (20 докторов и 40 кандидатов) проанализирована ГОСТы по статистическим методам управления качеством и из 31 стандарта в 17 обнаружила грубые ошибки (см. гл.13 учебника "Эконометрика" и статью "Сертификация и статистические методы" http://orlovs.pp.ru/stat.php#s3p4 ).
Но невежды опять взялись писать стандарты.
Приведенная Вами формулировка на первый взгляд не вызывает особых возражений, хотя и пуста, поскольку остается неясным, как же рассчитывать толерантный интервал.
Цитата:
А.2. Термин «Толерантный интервал».
Если бы распределение значений показателя качества было известно (известны и признаваемы поставщиком и потребителем все параметры этого распределения), то можно было бы определить однозначно долю изделий в партии с показателями качества внутри предельных значений показателя. Сравнивая такую долю со значением (1 - NQL), можно было бы принимать решение о соответствии или несоответствии партии продукции требованию к качеству. Однако один или несколько параметров распределения являются неизвестными. Поэтому по результатам CПK изделий из выборки может быть получен лишь случайный интервал значений показателя качества, который с заданным уровнем доверия содержит, по крайней мере, не меньшую чем (1 - NQL) долю изделий в партии. Сравнение границ такого (толерантного) интервала с предельными значениями показателя позволяет принимать решение о соответствии или несоответствии партии продукции требованию к качеству. Границы толерантного интервала как функции результатов контроля изделий из выборки являются случайными и определяются:
- видом вероятностного распределения значений показателя качества;
- уровнем доверия, т. е. вероятностью того, что толерантный интервал содержит конкретную долю изделий в партии;
- значением доли изделий (1 - NQL)."

Сказано
Цитата:
Сравнение границ такого (толерантного) интервала с предельными значениями показателя позволяет принимать решение о соответствии или несоответствии партии продукции требованию к качеству

Как именно принимать решение - не ясно. Два интервала могут не пересекаться, иметь общую часть, находиться один внутри другого.
Цитата:
Границы толерантного интервала как функции результатов контроля изделий из выборки являются случайными и определяются:
- видом вероятностного распределения значений показателя качества;
- уровнем доверия, т. е. вероятностью того, что толерантный интервал содержит конкретную долю изделий в партии;
- значением доли изделий (1 - NQL)."

Границы определяются прежде всего способом расчета толерантного интервала (непосредственно алгоритмом или правилами, определяющими выбор интервала), а об этом ни слова.
Приходится констатировать, что стандарт написан не адекватно.
Анализ подобных опусов требует огромных трудозатрат - на одну страницу бреда надо написать несколько страниц разоблачающего доказательного текста.
Разработка одного стандарта также трудоемка. Во времена СССР на разработку стандарта выделялось не то 10 тыс., не то 40 тыс. руБ., сейчас надо умножить на 100 в соответствии с индексом инфляции.
Впрочем, за адекватную сумму МГТУ им. Н.Э. Баумана (конкретно Лаборатория экономико-математических методов в контроллинге) могла бы проанализировать обсуждаемый опус.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: ГОСТ Р ИСО 16269-6-2005
СообщениеДобавлено: Пт июл 17, 2009 2:25 pm 
Не в сети

Зарегистрирован: Ср апр 22, 2009 1:34 pm
Сообщений: 9
Владимир Иванович, ГОСТ Р ИСО 16269-6-2005 (могу выслать текст) даёт методику определения толерантных интервалов. Кстати, там же есть и терминология. Я скромно предлагаю высказаться на этот счёт... Возможно в печати. Поскольку это довольно значимая тенденция (по крайней мере в области верификации программ и в области контроля качества), а Вы её обошли стороной, и это осталась без Вашей сокрушительной критики.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт июл 17, 2009 3:07 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Что мне, делать больше нечего, кроме как бесплатно читать тексты невежд?
Опыт уже был.
Оформляйте хоздоговор - получите отзыв.
Только сначала выясните, как меня зовут.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 17 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 73


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB