Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Чт мар 28, 2024 11:28 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 44 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: Выбор метода и ПО
СообщениеДобавлено: Вт фев 15, 2005 3:37 am 
Добрый день!
Сфера моей основной деятельности лежит несколько в стороне от математики, поэтому мой вопрос, возможно, покажется вам наивным и "чайниковым", но тем не менее....

Суть проблемы: есть набор данных, среди которых нужно выявить закономерность, а точнее постоить функию нескольких переменных

Вопрос: Какой стат. метод наиболее адекватен в этой ситуации (множественная регрессия не подходит, т.к. зависимость нелинейная)?
И какое программное обеспечение лучше всего подойдет.


Вернуться наверх
   
 
 Заголовок сообщения:
СообщениеДобавлено: Сб фев 26, 2005 11:07 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Доброе время суток, Merlin!

Ваш вопрос - того же типа, что вопрос врачу: "Как лечить сердце?"
Вопросам восстановления зависимостей (в другой терминологии - регрессионному
анализу) посвящены сотни тысяч статей и книг. Эта проблематика относится не
к математике, а к статистике.
Краткое введение дано в разделах 5.1 и 5.2 учебника "Эконометрика",
имеющемся на сайте.
Обычно выделяют параметрическую регрессию, когда восстанавливаемая функция
может быть задана несколькими параметрами, и эти параметры и оценивают, и
непараметрическую регрессию, когда восстанавливаемая функция оценивается
непосредственно. Среди постановок параметрической регрессии наиболее
разработаны те, в которых восстанавливаемая функция является линейной по
параметрам (например, коэффициент с неизвестными коэффициентами при
степенях). Тогда применяют метод наименьших квадратов. Если же
восстанавливаемая функция не является линейной по параметрам, то оценивать
параметры труднее, и для каждого конкретного случая приходится применять
свои методы.
Сказанное касалось случая, когда и факторы (независимые переменные), и
отклик (зависимая переменная, функция) - числа. Если это не так, то
применяют методы, разработанные в нечисловой статистике. Например, если
отклик принимает два значения, то речь идет о дискриминантном анализе, в
котором строят правило принятия решения, к какому из двух классов отнести
рассматриваемый объект. Выделяют параметрический и непараметрический
дискриминантный анализ (см. разделы 5.3 и 5.4 учебника "Эконометрика").
Для решения задач восстановления зависимостей можно использовать самые
разные программные продукты, например, Excel, SPSS, Statistica.

С наилучшими пожеланиями, А.И.Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Вопрос о применении эксп. систем
СообщениеДобавлено: Ср апр 20, 2005 3:23 pm 
Доброго времени суток, Александр Иванович.
Попытаюсь описать проблему.
По некоторой теме менеджер описывает ситуацию, сложившуюся на предприятии или в организации. Задача максимум оценить содержимое его отчета по некоторой шкале (например 100 бальной). Однако путей автоматизированного оценивания смыслового содержания я, если честно, не вижу. А для таких задач нужно использовать методы экспертного оценивания, не правда ли?
Какая методика эксп. оценивания на ваш взгляд будет наиболее применима в том случае, если разбить тему на некоторые основные направления и по каждому задать перечень возможных значений.

Надеюсь, что ответите.


Вернуться наверх
   
 
 Заголовок сообщения:
СообщениеДобавлено: Чт апр 21, 2005 11:38 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Уважаемый Алексей!
Насколько я понял Ваш вопрос, речь идет о том, чтобы сначала выделить отдельные факторы (направления - в Вашей терминологии). Это можно сделать опрашивая экспертов.
Затем оценить - с помощью иных экспертов - выраженность факторов для конкретных объектов оценки. Нужны веса факторов - их находите с помощью еще одного экспертного исследования. Наконец, выраженность факторов умножаете на веса факторов и складываете все такие произведения. Затем нормируете, чтобы максимально возможное значение составляло 100 баллов.
Это - типичная процедура в теории принятия решений. См., например, раздел 3.1 в учебнике "Теория принятия решений", а также разделы 3.3.3 и 3.4.

С наилучшими пожеланиями,
Александр Иванович Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Бутстреп-метод
СообщениеДобавлено: Вт май 03, 2005 8:04 pm 
Не в сети

Зарегистрирован: Вт май 03, 2005 6:45 pm
Сообщений: 1
Откуда: Днепропетровск
Уважаемые коллеги!
Мой профиль - динамика и управление, идентификация объектов, т.е. хотя я пользуюсь методами ТВ и статистики, но не являюсь профессионалом в этих областях. В последнее время обратил внимание на т.н. бутстреп-метод. Но, несмотря на многие публикации (в основном на Западе), его оценки разные - и превосходные, и "жульничество".
Честно говоря, на интуитивно-методологическом уровне я тоже не могу принять его идею -ведь новой-то информации взяться неоткуда, кроме той, которая содержится в исходной выборке. Но м.б. я не прав.
Просьбы-вопросы:
1. Ваша оценка этого метода.
2. Есть ли работы вашей группы на эту тему.
3. Какую литературу Вы бы посоветовали с достаточно чётким изложением принципов метода.
4. Возможно целесообразно обсудить на форуме?
Проф. В. Фоменко


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт май 03, 2005 9:24 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Уважаемый Вячеслав!
Методы размножения выборок (бутстреп-методы) обсуждаются в разделе 11.4 учебника "Эконометрика", в статье "Современная прикладная статистика" и в других материалах напшего сайта. Наиболее подробное изложение - в статье: Орлов А.И. О реальных возможностях бутстрепа как статистического метода. – Журнал «Заводская лаборатория». 1987. Т.53. No.10. С.82-85.
Ответы на Ваши вопросы.
1. Бутстреп - один из методов оценки параметров. Доказаны теоремы о свойствах бутстреп-оценок. Иногда хорош, иногда плох.
По нашей оценке, бутстреп - одна из пяти "точек роста" прикладной статистики.
2. Наши работы описаны выше.
3. Можно посоветовать дискуссию в журнале «Заводская лаборатория». 1987. Т.53. No.10. И книгу: Эфрон Б. Нетрадиционные методы многомерного статистического анализа. - М.: Финансы и статистика, 1988. - 263 с.
4. Обсуждение на форуме начато нашими с Вами двумя выступлениями. Было бы продолжение.
С наилучшими пожеланиями, Александр Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб авг 06, 2005 12:07 am 
Уважаемый проф. Орлов.

В Вашей книге (Прикладная статистика. Учебник. / А.И.Орлов.- М.: Издательство «Экзамен», 2004. - 656 с) в разделе 3.1.1. Оценивание основных характеристик распределения я встретил такой абзац
«Среди классических результатов математической статистики, основанных на гипотезе нормальности результатов наблюдений, нет методов построения доверительных границ для коэффициента вариации, поскольку задача построения таких границ не выражается в терминах обычно используемых распределений, например, распределений Стьюдента и хи-квадрат»
Дело в том, что я встречал расчет доверительных интервалов для v в книге «Урбах В.Ю. Биометрические методы. – 1962» И в интернете нашел так называемый «spread sheet for MC EXСEL» где рекомендуется рассчитывать v по формуле:
.=100*EXP(КОРЕНЬ((СЧЁТ(X101:X135)-1)*L145^2/ХИ2ОБР(0,975;(СЧЁТ(X101:X135)-1)))/100)-100 ,
где ячейка L145 - значение коэфф. вариации, который рассчитывается по формуле =100*EXP(СТАНДОТКЛОН(X101:X135)/КОРЕНЬ(2)/100)-100
X101:X135 – это выборка.
Я сам пользуюсь этой формулой для своих расчетов. Хотя распределение моих величин отклоняется от нормального.
Не могли бы вы пояснить корректно ли это?

С уважением, Дмитрий. г. Севастополь


Вернуться наверх
   
 
 Заголовок сообщения: Ответ Дмитрию из Севастополя
СообщениеДобавлено: Сб авг 06, 2005 2:50 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
К сожалению, не смог понять, как Вы считаете. Для двух доверительных границ должны быть две формулы, у Вас -одна. Пишете:
Цитата:
где ячейка L145 - значение коэфф. вариации, который рассчитывается по формуле =100*EXP(СТАНДОТКЛОН(X101:X135)/КОРЕНЬ(2)/100)-100
X101:X135 – это выборка.

Но это НЕ коэффициент вариации, который по определению равен частному от деления выборочного среднего квадратического отклонения на выборочное среднее арифметическое. У Вас вообще нет выборочного среднего арифметического, но зато неизвестно откуда появляется экспонента и квадратный корень из двух.
Уточните формулировки. Возможно, проще прислать письмо по электронному адресу, указанному на сайте, с формулами в обычных математических обозначениях.
Пока создается впечатление, что говорим о разных математико-статистических объектах.
Что же касается Урбаха (когда-то я с ним общался), то он обычно исходил из предположения о нормальности. Вполне возможно, что кто-либо сумел выписать распределение выборочного коэффициента вариации при этом предположении. Тогда интересно сравнить с непараметрическими границами, как это сделано в процитированном Вами учебнике для иных характеристик.
Что же касается обработки реальных данных, то рекомендую пользоваться непараметрическими формулами (см. учебник), поскольку нормальности нет.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Доверительные интервалы vs Критерии различия
СообщениеДобавлено: Чт сен 01, 2005 11:25 pm 
Добрый день всему форуму.
По поводу предыдущих сообщений: там где я это смотрел расчитавался V2-V1 и доверит. интерв. для этой разницы, поэтому и был корень из 2. Я еще уточню, все формулы и позже их приведу.
Сейчас вопрос несколько иного характера.
Насколько я понял, доверительные интервалы показывают с какой вероятностью наблюдаемый параметр (среднее, дисперсия, коэффициент вариации) выборки соответствует этому же параметру в генеральной совокупности.
Таким образом, можно сравнить два параметра, полученных в двух группах людей с помощью доверительных интервалов и сделать вывод о сходстве либо различии этих параметров в двух группах.
К примеру коэффициент вариации V1= 20% при дов.инт. от 17 до 23 и V2=27% при дов.инт от 24 до 30. То отсюда можно заключить, что: так как они явно не перекрывают друг друга то они статистически значимо отличаются при доверительной вероятности р= 1-а.По всей видимости, и остальные параметры можно также сравнить. Зачем тогда нужны критерии различия (Хи квадрат, Крамера Уэлча и.т.д)?
Следуя моей логике, можно было бы сравнить V при исходном тестировании людей и при повторном (эту же группу людей) с помощью доверительных интервалов. И сделать вывод, к примеру, что вариация статистически значимо уменьшилась либо увеличилась.
Получается, что это же можно проделать и со средней, проверить гипотезу сдвига.
Зачем тогда нужны критерии Стьюдента, Вилкоксона и подобные?
К примеру, для сравнения коэффициентов вариации я не знаю критериев, то есть однозначно, что сравнивать их я буду с помощью доверительных интервалов. А со средней то, что делать? Кстати, и коэффициенты корреляции также, наверно, можно сравнить.
Чувствую, что моя логика хромает.
Надеюсь, что мне кто-нибудь пояснит, в чем именно: )

С уважением,
Дмитрий, г Севастополь.


Вернуться наверх
   
 
 Заголовок сообщения: Ответ на вопрос Дмитрия из Севастополя
СообщениеДобавлено: Пт сен 02, 2005 9:19 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
1. Вы предлагаете следующую процедуру сравнения двух характеристик распределения (точнее, проверки гипотезы о равенстве этих характеристик для двух выборок).
А. Рассчитать для них доверительные интервалы (при некоторой доверительной вероятности).
Б. Если доверительные интервалы не пересекаются, то принять решение о том, что харакреристики различаются.
В. Если доверительные интервалы имеют общие точки, то принять гипотезу о равенстве рассматриваемых характеристик для двух выборок.
Так сформулированный критерий проверки статистических гипотез имеет некий уровень значимости, некую функцию мощности, его вполне можно сравнивать с иными критериями по эффективности, понимаемой согласно тому или иному подходу математической статистики.
2. Уровень значимости сформулированного выше критерия проверки статистических гипотез нельзя непосредственно связать с используемой при построения этого критерия доверительной вероятностью.
Цитата:
можно сравнить два параметра, полученных в двух группах людей с помощью доверительных интервалов и сделать вывод о сходстве либо различии этих параметров в двух группах.
К примеру коэффициент вариации V1= 20% при дов.инт. от 17 до 23 и V2=27% при дов.инт от 24 до 30. То отсюда можно заключить, что: так как они явно не перекрывают друг друга то они статистически значимо отличаются при доверительной вероятности р= 1-а.

Это утверждение неверно. Уровень значимости сформулированного выше критерия проверки статистических гипотез, вообще говоря, не равен дополнению до 1 доверительной вероятности.
3. Уровень значимости сформулированного выше критерия проверки статистических гипотез можно вычислить, но для каждой конкретной постановки отдельно. Кроме того, выкладки обширны. Поэтому на настоящем этапе обсуждения сформулированный в п.2 результат оставим без доказательства.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: об области применения критерия Вилкоксона (Манна-Уитни)
СообщениеДобавлено: Ср ноя 16, 2005 10:23 pm 
Не в сети

Зарегистрирован: Пт сен 02, 2005 8:54 pm
Сообщений: 6
Откуда: Севастополь
Здравствуйте!
Читал книгу Д.А.Новикова, Новочадова по медицинской статистике,
не совсем разобрался в применении критерия Вилкоксона (Манна-Уитни). В распространенных статистических пакетах (Statistica, SPSS) критерий Манна-Уитни предусмотрен для сравнения независимых выборок, а критерий Уилкоксона для сравнения зависимых. В программе "педагогическая статистика" (приложение к учебнику) речь идет о критерии Вилкоксона (Манна-Уитни) как для случая независимых выборок, так и для случая зависимых. В теоритической части написано, что эти критерии между собой связанны, поэтому речь идет об одном критерии Вилкоксона (Манна-Уинти). В классических учебниках по прикладной статистике об этом ничего не написано. В учебнике "прикладная статистика, Орлов А.И." сообшается, что критерий Вилкоксона состоятелен при проверки гипотезы сдвига. Вот, пользуясь возможностью спрашиваю у первоисточника: Корректно ли будет применять критерий Вилкоксона (Манна-Уитни) при сравнении как независимых выборок, так и зависимых? Или существуют модификации этого критерия для подобных задач?

С уважением, Дмитрий


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Одноименные критерии
СообщениеДобавлено: Чт ноя 17, 2005 7:11 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
В учебнике "Эконометрика" (см. сайт) рассмотрены
а) критерий Вилкоксона для независимых выборок (п.4.5) и
б) критерий Вилкоксона для связанных выборок (п.4.7).
Это - разные критерии. Разные исходные данные, разные расчетные формулы (см. учебник).
Названы они одним именем потому, что предложены одним и тем же лицом (Вилкоксоном).
Есть и другие примеры, когда несколько критериев названы одним именем.
Например, есть три критерия Смирнова:
а) одновыборочный,
б) двухвыборочный односторонний,
в) двухвыборочный двухсторонний.
Много интересного в названиях. Например, критерий омега-квадрат называют также:
критерий Крамера-Мизеса,
критерий Мизеса-Смирнова,
критерий Крамера-Мизеса-Смирнова.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт мар 02, 2006 9:55 am 
Не в сети

Зарегистрирован: Ср апр 20, 2005 2:58 pm
Сообщений: 6
Здравствуйте, уважаемый Александр Иванович!

Позвольте описать Вам одну задачу, мне бы очень хотелось знать Ваше мнение
относительно путей ее решения.
Итак, допустим есть два множества, состоящие из сложных объектов.
Например A = {A1,..., An1} и B = {B1,..., Bn2}
Необходимо определить методами экп. оценивания пары {Ai, Bj},
которые в определенной степени дублируют друг друга.
На мой взгляд для этого нужно задать дискретную функцию близости, значения которой
говорят о степени похожести двух элементов. Затем попросить экспертов заполнить матрицу
n1 x n2 допустимыми значениями этой функции.
Вопросы:
1. Исходя из каких соображений необходимо задавать значения этой функции?
Достаточным ли будет например F(Ai, Bj) = {0, 0.2, 0.4, 0.6, 0.8, 1}.
2. Является ли полученная матрица матрицей толерантности, о кот. написано в Ваших книгах?
3. Корректно ли искомую пару определить находжением максимального элемента в этой матрице?
4. Как на Ваш взгляд необходимо построить процедуру нахождения интегрального (совокупного)
мнения N экспертов? Применима ли для этого медиана Кемени?

Заранее благодарен.
Надеюсь, что ответите.

-----
С уважением,
Алексей Глухов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Алексей Глухов
СообщениеДобавлено: Чт мар 02, 2006 9:33 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Здравствуйте, уважаемый Алексей!
Отвечаю на вопросы.
Цитата:
1. Исходя из каких соображений необходимо задавать значения этой функции?
Достаточным ли будет например F(Ai, Bj) = {0, 0.2, 0.4, 0.6, 0.8, 1}.

Шесть значений, имеющих смысл:
очень похож,
похож,
скорее похож, чем не похож,
скорее не похож, чем похож,
не похож,
совсем не похож -
вполне естественно ввести. И оцифровать их значениями 0, 0.2, 0.4, 0.6, 0.8, 1 соответственно. Хотя надо иметь в виду, что оцифровка произвольна, т.е. степень похожести измерена в порядковой шкале, а потому монотонно возрастающее преобразование переводит одну оцифровку в другую, ей эквивалентную.
Цитата:
2. Является ли полученная матрица матрицей толерантности, о кот. написано в Ваших книгах?

Нет, это не толерантность и вообще не бинарное отношение. В случае толерантности А=В. Но тогда Ваша задача тривиальна - каждый элемент больше всего похож сам на себя.
Цитата:
3. Корректно ли искомую пару определить находжением максимального элемента в этой матрице?

Если речь идет об одной паре - то да. Но в Вашей исходной постановке речь идет об ином:
Цитата:
Необходимо определить методами экп. оценивания пары {Ai, Bj},
которые в определенной степени дублируют друг друга.

И тут нет ясности в исходной постановке. Предположим, что все элементы А совпадают (и равны А0). Пусть в множество В входит элемент А0. Тогда является ли ответом на поставленный вопрос совокупность одинаковых пар (А0, А0)? Или же пары должны различаться?
Два варианта постановки влекут два варианта алгоритма решения.
Цитата:
4. Как на Ваш взгляд необходимо построить процедуру нахождения интегрального (совокупного)
мнения N экспертов? Применима ли для этого медиана Кемени?
Для ответа нужно уточнить постановку задачи (см. выше) и процедуру опроса. Если каждый эксперт составляет полную матрицу - одна процедура, если ту или иную ее часть - другая процедура.
Чтобы строить медиану Кемени, надо иметь расстояние в пространстве ответов экспертов.
Если каждый эксперт составляет полную матрицу, то можно для каждого элемента матрицы построить медиану или среднее арифметическое ответов экспертов. Это - два варианта медианы Кемени ответов экспертов.
Но если каждый эксперт выделяет набор пар, то надо ввести метрику или показатель различия в пространстве ответов экспертов.
Таким образом, Ваша постановка допускает много вариантов уточнения, и в каждом варианте ответы на Ваши вопросы свои.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Алексей Глухов
СообщениеДобавлено: Чт мар 02, 2006 9:34 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Здравствуйте, уважаемый Алексей!
Отвечаю на вопросы.
Цитата:
1. Исходя из каких соображений необходимо задавать значения этой функции?
Достаточным ли будет например F(Ai, Bj) = {0, 0.2, 0.4, 0.6, 0.8, 1}.

Шесть значений, имеющих смысл:
очень похож,
похож,
скорее похож, чем не похож,
скорее не похож, чем похож,
не похож,
совсем не похож -
вполне естественно ввести. И оцифровать их значениями 0, 0.2, 0.4, 0.6, 0.8, 1 соответственно. Хотя надо иметь в виду, что оцифровка произвольна, т.е. степень похожести измерена в порядковой шкале, а потому монотонно возрастающее преобразование переводит одну оцифровку в другую, ей эквивалентную.
Цитата:
2. Является ли полученная матрица матрицей толерантности, о кот. написано в Ваших книгах?

Нет, это не толерантность и вообще не бинарное отношение. В случае толерантности А=В. Но тогда Ваша задача тривиальна - каждый элемент больше всего похож сам на себя.
Цитата:
3. Корректно ли искомую пару определить находжением максимального элемента в этой матрице?

Если речь идет об одной паре - то да. Но в Вашей исходной постановке речь идет об ином:
Цитата:
Необходимо определить методами экп. оценивания пары {Ai, Bj},
которые в определенной степени дублируют друг друга.

И тут нет ясности в исходной постановке. Предположим, что все элементы А совпадают (и равны А0). Пусть в множество В входит элемент А0. Тогда является ли ответом на поставленный вопрос совокупность одинаковых пар (А0, А0)? Или же пары должны различаться?
Два варианта постановки влекут два варианта алгоритма решения.
Цитата:
4. Как на Ваш взгляд необходимо построить процедуру нахождения интегрального (совокупного)
мнения N экспертов? Применима ли для этого медиана Кемени?
Для ответа нужно уточнить постановку задачи (см. выше) и процедуру опроса. Если каждый эксперт составляет полную матрицу - одна процедура, если ту или иную ее часть - другая процедура.
Чтобы строить медиану Кемени, надо иметь расстояние в пространстве ответов экспертов.
Если каждый эксперт составляет полную матрицу, то можно для каждого элемента матрицы построить медиану или среднее арифметическое ответов экспертов. Это - два варианта медианы Кемени ответов экспертов.
Но если каждый эксперт выделяет набор пар, то надо ввести метрику или показатель различия в пространстве ответов экспертов.
Таким образом, Ваша постановка допускает много вариантов уточнения, и в каждом варианте ответы на Ваши вопросы свои.

С наилучшими пожеланиями, А.И.Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн мар 06, 2006 10:49 am 
Не в сети

Зарегистрирован: Ср апр 20, 2005 2:58 pm
Сообщений: 6
Александр Иванович, спасибо за ответ!
Попытаюсь исправить неточности в объяснениях.

Вношу ясность в постановку задачи:
Необходимо определить методами экп. оценивания пару {Ai, Bj},
элементы которой в максимальной степени дублируют друг друга.

Если пар с одинаковой похожестью элементов несколько, то можно выдавать в качестве результата их список, не думаю, что это сильно усложнит алгоритм.

"Нет, это не толерантность и вообще не бинарное отношение. В случае толерантности А=В. Но тогда Ваша задача тривиальна - каждый элемент больше всего похож сам на себя."

Согласен, но если исключить из рассмотрения элементы главной диагонали, то задача сводится к нахождению дубликатов в рамках одного множества.
?

"Чтобы строить медиану Кемени, надо иметь расстояние в пространстве ответов экспертов."

Насколько корректно считать таким расстоянием заданную функцию F(Ai, Bj)?

"Если каждый эксперт составляет полную матрицу - одна процедура, если ту или иную ее часть - другая процедура.
Чтобы строить медиану Кемени, надо иметь расстояние в пространстве ответов экспертов.
Если каждый эксперт составляет полную матрицу, то можно для каждого элемента матрицы построить медиану или среднее арифметическое ответов экспертов. Это - два варианта медианы Кемени ответов экспертов.
Но если каждый эксперт выделяет набор пар, то надо ввести метрику или показатель различия в пространстве ответов экспертов."

Каждый эксперт заполняет полную матрицу. Оптимизационная задача перерешивается по накопленным N таким матрицам.

Недостатки такого подхода?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пн мар 06, 2006 12:26 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Сначала надо сформулировать математическую модель.

Как я понял, имеется два множества объектов {A1, A2,...., Ai, ..., Am} и {B1, B2, ..., Bj, ..., Bn}. Требуется найти пару (или пары) объектов (Ai, Bj) (обратите внимание, что индексы различны) такую, что заданная функция F(Ai, Bj) достигает максимума на множестве всех пар.

Исходная информация - ответы экспертов, т.е. матрицы Fk(Ai, Bj), k = 1, 2, ..., K, где K - число экспертов.

Далее необходимо предположение о связи ответов экспертов с заданной функцией. Естественно принять, что
Fk(Ai, Bj) = F(Ai, Bj) + Еk(Ai, Bj), k = 1, 2, ..., K,
где Еk(Ai, Bj) - ошибки экспертов.

Если принять, что ошибки независимы и одинаково распределены (для каждой конкретной пары объектов), то из асимптотической теории решений экстремальных статистических задач (см. "Нечисловую статистику" на сайте) следует, что состоятельной оценкой множества, состоящего из пары (или пар) объектов (Ai, Bj) такой, что заданная функция F(Ai, Bj) достигает максимума на множестве всех пар, является аналогичный объект, постоенный по средним арифметическим ответов экспертов.

Медиана Кемени при такой постановке задачи не нужна.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт мар 07, 2006 10:59 am 
Не в сети

Зарегистрирован: Ср апр 20, 2005 2:58 pm
Сообщений: 6
Александр Иванович,
если я Вас правильно понял, то
{A1, A2,...., Ai, ..., Am} и {B1, B2, ..., Bj, ..., Bn} - два исходных множества сложных объектов среди кот. нужно определить пару (пары) максимально схожих.
F(Ai, Bj)={0, 0.2, 0.4, 0.6, 0.8, 1} - функция, описывающая меру близости между Ai и Bj, причем "0"-очень похожи, "1"-совсем не похожи.
Матрицы Fk=||Ai, Bj||, k = 1, 2, ..., K, K - число экспертов - накапливаемые ответы экспертов (причем эксперт должен заполнять матрицы целиком).
Итоговая матрица Fres - среднее арифметическое соответствующих элементов всех Fk, а искомая пара (пары) (Ai, Bj) минимум(ы) в ней.

И этого достаточно для получения адекватного результата, и медиана Кемени, и нечисловая статистика не нужны?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Alex
СообщениеДобавлено: Вт мар 07, 2006 12:25 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Я пытаюсь понять, о чем Вы пишете, и шаг за шагом приближаемся к адекватному описанию задачи.
Цитата:
{A1, A2,...., Ai, ..., Am} и {B1, B2, ..., Bj, ..., Bn} - два исходных множества сложных объектов среди кот. нужно определить пару (пары) максимально схожих.
F(Ai, Bj)={0, 0.2, 0.4, 0.6, 0.8, 1} - функция, описывающая меру близости между Ai и Bj, причем "0"-очень похожи, "1"-совсем не похожи.
Совершенно верно.
Цитата:
Матрицы Fk=||Ai, Bj||, k = 1, 2, ..., K, K - число экспертов - накапливаемые ответы экспертов (причем эксперт должен заполнять матрицы целиком).

Не знаю, что такое "накапливаемые ответы". Я имел в виду, что ответ каждого эксперта - это матрица Fk=||Fk(Ai, Bj)||, k = 1, 2, ..., K, K - число экспертов. Т.е. ответ эксперта - матрица показателей близости.
Цитата:
Итоговая матрица Fres - среднее арифметическое соответствующих элементов всех Fk, а искомая пара (пары) (Ai, Bj) минимум(ы) в ней.
Совершенно верно.
Цитата:
И этого достаточно для получения адекватного результата, и медиана Кемени, и нечисловая статистика не нужны?
Это неверно. Я писал:
Цитата:
Если принять, что ошибки независимы и одинаково распределены (для каждой конкретной пары объектов), то из асимптотической теории решений экстремальных статистических задач (см. "Нечисловую статистику" на сайте) следует, что состоятельной оценкой множества, состоящего из пары (или пар) объектов (Ai, Bj) такой, что заданная функция F(Ai, Bj) достигает максимума на множестве всех пар, является аналогичный объект, постоенный по средним арифметическим ответов экспертов.
Поскольку
Цитата:
асимптотической теории решений экстремальных статистических задач
является важнейшей (центральной) частью нечисловой статистики, то обоснование обсуждаемого алгоритма вытекает из нечисловой статистики.
Медиана Кемени появиться здесь не может просто из-за того, что не вводится расстояние между ответами экспертов.
Два дополнительных соображения.
1. Можно обобщить постановку, разрешив эксперту заполнять часть матрицы. Но надо, чтобы число ответов по каждой паре объектов безгранично росло.
2. На основе обсуждаемых вопросов можно подготовить статью для журнала "Заводская лаборатория", типа публикаций в No.7 за 2005 г. о турнирном методе.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Вт мар 07, 2006 3:41 pm 
Не в сети

Зарегистрирован: Ср апр 20, 2005 2:58 pm
Сообщений: 6
Александр Иванович, позвольте построить свой ответ на основе цитирования Ваших.

Цитата:
"Не знаю, что такое "накапливаемые ответы"."
Ничего специального, простая аналогия процесса сбора (накапливания, т.к. их как-то нужно хранить) матриц ответов экспертов.

Цитата:
"... то обоснование обсуждаемого алгоритма вытекает из нечисловой статистики."
Может здесь нет никакого противоречия, но это обоснование легко вытечет и из обычных, не нечисловых рассуждений.
Если неправ, поправьте пожалуйста.

Цитата:
"Медиана Кемени появиться здесь не может просто из-за того, что не вводится расстояние между ответами экспертов."
В одной из Ваших книг я читал, что введение метрики в подобных случаях отдельная, довольно сложная проблема. Скажите, в обсуждаемой задаче введение метрики говорило бы о необходимости определять расстояние между соответствующими элементами матриц Fk? Для определения расстояния между ответом "0.4" и ответом "1" нельзя просто найти их разность, т.к. это не числа. Поэтому главный вопрос: к какому типу шкал относятся эти величины? Возможно, наиболее правильно будет считать, что эти величины относятся к порядковой шкале? (об этом написано в учебном пособии "Экспертные оценки").

Цитата:
"1. Можно обобщить постановку, разрешив эксперту заполнять часть матрицы. Но надо, чтобы число ответов по каждой паре объектов безгранично росло."
Я думал над этим, но это представляет чисто теоретический интерес, т.к. просто интуитивное представление о значимости оценки, в которой учтено мнение 3-х экспертов ниже, чем та, в которой учтены мнения 30 экспертов. Поэтому выбран путь при котором от эксперта требуется заполнение всей матрицы.
Безусловно, если число экспертов стремится к бесконечности, то это ограничение снимается.

"2. На основе обсуждаемых вопросов можно подготовить статью для журнала "Заводская лаборатория", типа публикаций в No.7 за 2005 г. о турнирном методе."
Спасибо за предложение. Речь идет о журнале "Заводская лаборатория. Диагностика материалов"?
Можно ли посмотреть в эл. виде указанную Вами публикацию?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Alex
СообщениеДобавлено: Вт мар 07, 2006 7:45 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Отвечаю по пунктам.
Цитата:
"... то обоснование обсуждаемого алгоритма вытекает из нечисловой статистики."
Может здесь нет никакого противоречия, но это обоснование легко вытечет и из обычных, не нечисловых
рассуждений.

См. учебники "Нечисловая статистика", "Прикладная статистика". Можно, конечно, и заново доказывать теорему о сходимости точки эмпирического минимума к точке теоретического минимума, но зачем?
Цитата:
"Медиана Кемени появиться здесь не может просто из-за того, что не вводится расстояние между ответами экспертов."
В одной из Ваших книг я читал, что введение метрики в подобных случаях отдельная, довольно сложная проблема. Скажите, в обсуждаемой задаче введение метрики говорило бы о необходимости определять расстояние между соответствующими элементами матриц Fk?

Ответ эксперта - матрица, поэтому расстояние надо было бы вводить между матрицами. Но не нужно это делать. В частности, и потому, что итогом расчетов является не матрица, а один ее элемент.
Цитата:
"2. На основе обсуждаемых вопросов можно подготовить статью для журнала "Заводская лаборатория", типа публикаций в No.7 за 2005 г. о турнирном методе."
Спасибо за предложение. Речь идет о журнале "Заводская лаборатория. Диагностика материалов"?
Можно ли посмотреть в эл. виде указанную Вами публикацию?
К сожалению, журнал не выходит в электронном виде.
Черновик второй из двух статей цикла помещаю.


Теоретическое обоснование «игрового» метода
ранжирования вариантов

А.И.Орлов

Построена вероятностно-статистическая модель процесса ранжирования вариантов и на ее основе доказана состоятельность оценки кластеризованной ранжировки, полученной «игровым» методом.

В статье [1] предложен метод ранжирования вариантов, названный «игровым». Каковы статистические свойства этого метода? Позволяет ли он выявить истинное упорядочение вариантов? Другими словами, является ли состоятельной оценка упорядочения (ранжировки) вариантов, рассчитываемая с помощью «игрового» метода?
Для ответа на эти вопросы необходимо изучить свойства расчетной процедуры анализа данных. Как известно [2], такое изучение, как правило, состоит из двух этапов:
1. Построение вероятностно-статистической модели порождения данных.
2. Математико-статистическое изучение свойств расчетной процедуры анализа данных.
Пусть рассматривается k вариантов технического решения. В соответствии с описанием процедуры в статье [1] будем считать, что влияние i-го варианта, i = 1, 2, ... , k, на изучаемый параметр описывается (числовой) случайной величиной Xi с функцией распределения Fi(x). Таким образом, сравнение двух вариантов - это сравнение функций распределения. Такое сравнение можно проводить разными способами - по тем или иным характеристикам (математическим ожиданиям, медианам, дисперсиям, квантилям порядка 0,999999, коэффициентам вариации и др.) или непосредственно с целью обнаружения различия между функциями распределения. Выбор того или иного способа сравнения зависит от решаемой задачи. На примере оценки рисков (аварий, загрязнения окружающей среды, дефектности и др.) в [2] продемонстрирован подобный выбор.
Согласно [1] сравнивать надо математические ожидания. Лучше тот вариант, у которого математическое ожидание больше. Тогда результаты сравнения k вариантов технического решения описываются кластеризованной ранжировкой (термин, введенный в [3]). Другими словами, варианты разбиты на группы. В каждой группе математические ожидания совпадают. Между группами - различаются. Группы упорядочены в порядке возрастания математических ожиданий. Теоретическую кластеризованную ранжировку, соответствующую математическим ожиданиям, необходимо оценить по эмпирическим данным.
Поскольку функции распределения и их математические ожидания при сравнении конкретных вариантов технического решения неизвестны, то сравнения приходится проводить на основе выборок. Принимаем, что влияние i-го варианта, i = 1, 2, ... , k, на изучаемый параметр оценивается с помощью выборки объема ni, т.е. набора реализаций ni независимых случайных величин с общей функцией распределения Fi(x). Выборки предполагаются независимыми. Вероятностно-статистическая модель порождения данных описана.
В соответствии с «игровым» методом ранжирования сравнение двух вариантов состоит в статистической проверке нулевой гипотезы о равенстве соответствующих математических ожиданий. Если нулевая гипотеза принимается, то каждому варианту присваивается по 0,5 очка. Если нулевая гипотеза отклоняется, то варианту с большим выборочным средним арифметическим присваивается 1 очко, а с меньшим - 0 очков. Проводятся все k(k-1)/2 парных сравнений, полученные очки суммируются, варианты упорядочиваются в порядке возрастания набранных сумм. Получаем эмпирическую кластеризованную ранжировку.
В соответствии с рекомендациями [4] для проверки равенства математических ожиданий в [1] применяется критерий Крамера-Уэлча. Граничное значение для модуля статистики принято равным 1,645, что соответствует уровню значимости 0,1 (точнее, асимптотическому уровню значимости при безграничном росте объемов выборок). При решении задачи выбора конструкции коллектора для трибоэлектрического генератора в [1] получена следующая эмпирическая кластеризованная ранжировка типов коллекторов:
{игольчатый}<{кисточкообразный; ленточный с изгибом}<
{штыковой}<{пилообразный; Г-образный}.
Качество вариантов убывает при движении справа налево. Самыми лучшими являются такие варианты, как «пилообразный» и «Г-образный». (Причем по данным [1] эти варианты надо считать эквивалентными, они образуют кластер.) Хуже по качеству «штыковой» коллектор, и т.д.
Эмпирическая кластеризованная ранжировка используется как оценка теоретической. Каковы математико-статистические свойства этой оценки? Поскольку кластеризованная ранжировка - это объект нечисловой природы, то для изучения свойств процедуры, предложенной в статье [1], необходимо применить подходы и результаты статистики объектов нечисловой природы [2, 5].
Теорема 1. При безграничном росте объемов выборок (т.е. при ) и фиксированном числе k вариантов вероятность того, что эмпирическая кластеризованная ранжировка совпадает с теоретической, стремится к 1.
В соответствии с теоремой 1 предложенная в работе [1] оценка теоретической кластеризованной ранжировки является состоятельной. Доказательство теоремы 1 проводится методами, разработанными в главе 8 монографии [2].
Как измерить степень близости эмпирической и теоретической кластеризованных ранжировок? В соответствии с известным в статистике объектов нечисловой природы аксиоматическим подходом целесообразно использовать расстояние Кемени [2, 5], или, что эквивалентно, коэффициент ранговой корреляции Кендалла. Справедливы следующие теоремы.
Теорема 2. При справедливости условий теоремы 1 расстояние Кемени между эмпирической кластеризованной ранжировкой и теоретической стремится к 0.
Теорема 3. При справедливости условий теоремы 1 коэффициент ранговой корреляции Кендалла между эмпирической кластеризованной ранжировкой и теоретической стремится к 1.
Таким образом, с точки зрения асимптотической математической статистики предложенный в работе [1] «игровой» метод ранжирования вариантов получил обоснование. Что же касается конечных объемов выборок, особенно столь малых, как в [1], где все ni = 3, то необходимы дальнейшие исследования, прежде всего методом статистических испытаний. Различные методы оценки близости допредельных и предельных распределений статистик проанализированы в статье [6]. Приходится констатировать, что простые рекомендации отсутствуют.

Литература
1. Файн В.Б., Дель М.В. / Заводская лаборатория. 2005. Т.71 (в настоящем номере).
2. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 2-е, исправленное и дополненное. - М.: Изд-во "Экзамен", 2003. – 576 с.
3. Горский В.Г., Гриценко А.А., Орлов А.И. / Автоматика и телемеханика. 2000. № 3. С.179-187.
4. Орлов А.И. / Заводская лаборатория. 2003. Т.69. № 1. С.55-60.
5. Орлов А.И. / Заводская лаборатория. 1990. Т.56. № 3. С.76-83.
6. Орлов А.И. / Заводская лаборатория». 1998. Т.64. № 5. С. 64-67.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Выбор объема выборки
СообщениеДобавлено: Вс апр 02, 2006 6:15 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Уважаемый Александр Иванович,
не подскажите ли, где просто и доступно (с примерами) написано о том, как правильно рассчитать размер выборки при проведении экспериментов. Или, как поступить в такой ситуации: есть 2 прибора, измеряющих один и тот же параметр. Нужно оценить, какой прибор работает точнее. Я сделал по 100 измерений параметра (100 разных изделий с поточного пр-ва) на каждом приборе, и теперь вот думаю - ведь в измерениях заложены также и вариации самого процесса. А как их отделить? Одним словом, буду благодарен, если наведете на простую, с примерами литературу по таким вот прикладным вопросам.
С уважением,
Алексей


Уважаемый Алексей!

Письмо начну с эпиграфа:

- Скажите, где купить скатерть-самобранку?
Но чтобы не дороже 500 руб.!

Классическая математическая статистика говорит: чем объем выборки больше, тем оценка точнее, проверка гипотез обоснованнее.
Ограничение может быть задано извне. Задана точность оценивания (т.е. точнее, чем указано, не надо оценивать). Или величина различия между значениями параметра, которую нужно обнаружить (меньшее различие не нужно обнаруживать).
Часто объем выборки определяется исходя из объема средств, отпущенных на исследование.
В статистике интервальных данных есть понятие «рациональный объем выборки», превышать который нет смысла. О статистике интервальных данных см. в учебнике «Прикладная статистика» на сайте (сейчас издан и продается).
В схеме «есть 2 прибора, измеряющих один и тот же параметр. Нужно оценить, какой прибор работает точнее. Я сделал по 100 измерений параметра (100 разных изделий с поточного пр-ва) на каждом приборе» - надо прежде всего описать вероятностно-статистическую модель. А это не так просто - метрологи бьются до сих пор (см., например, статью в конце No.2 журнала «Заводская лаборатория» за 2006 г.). Например, есть ли систематические погрешности?
«Теперь вот думаю - ведь в измерениях заложены также и вариации самого процесса. А как их отделить?» Статистики говорят о мешающих параметрах. Аддитивная модель рассмотрена в п.4.7 учебника «Эконометрика» на сайте.
Если приборы различаются дисперсиями, то можно попробовать использовать мультипликативную модель. Она путем логарифмирования (результатов измерений) сводится к аддитивной.

С наилучшими пожеланиями, А.И.Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт апр 06, 2006 9:56 am 
Не в сети

Зарегистрирован: Ср апр 20, 2005 2:58 pm
Сообщений: 6
Здравствуйте, Александр Иванович.
Извините, за долгое вынужденное молчание.
Если Ваше предложение относительно публикации статьи в журнале "Заводская лаборатория. Диагностика материалов" еще в силе, то отвечаю:
я аспирант из Липецка, в настоящее время статья находится у моего научного руководителя на редактировании. Как только он ответит, я ее перешлю Вам.
Предложение: все возможные последующие детали обсуждать в почтовой переписке.
Мой адрес: AlexGluh@mail.ru


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Alex
СообщениеДобавлено: Чт апр 06, 2006 9:14 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Предложкение остается в силе - ибо нет причин что-либо менять.
По е-почте я работаю с аспирантами,ипломниками, авторами статей и книг.
Адрес мрй - на сайте.
Успехов!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт апр 07, 2006 10:15 am 
Не в сети

Зарегистрирован: Вт мар 21, 2006 4:13 pm
Сообщений: 1
Здравствуйте, уважаемый Александр Иванович.
Я занимаюсь статистической обработкой психологических данных. В процессе этого увлекательного занятия у меня появилось некоторое затруднение:

сравнивая два массива данных, описаных в шкале порядков, я исползовала критерий Манна-Уитни и получилось следующее:
U = 0,00 при p < 0,05 (а если быть точной, асимпт. знач. = ,000).
Разве это возможно? :? И если возможно, то о чём это может свидетельствовать? Что различия всё-таки есть?

Очень надеюсь на ответ, заранее большое спасибо.
Студентка 5 курса псих. фак-та МГУ


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: adel
СообщениеДобавлено: Пт апр 07, 2006 12:07 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Не знаю, как и что именно Вы считали, поэтому не могу ответить.
Подробно процедура расчетов и получения выводов описана в гл.4 учебника "Эконометрика" и в главе "Статистический анализ числовых величин" учебника "Прикладная статистика"на сайте..


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: to adel
СообщениеДобавлено: Вт апр 25, 2006 11:56 pm 
Не в сети

Зарегистрирован: Пт сен 02, 2005 8:54 pm
Сообщений: 6
Откуда: Севастополь
p<0,00 означает, что гипотеза о равентсве того чего вы там сравниваете не принимается
По крайней мере так любят выдавать компьютерные статистические программы


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Тест на невежество
СообщениеДобавлено: Ср апр 26, 2006 12:14 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Цитата:
p<0,00 означает, что гипотеза о равентсве того чего вы там сравниваете не принимается
По крайней мере так любят выдавать компьютерные статистические программы

Такая запись однозначно говорит о невежестве в статистических методах авторов компьютерной статистической программы. Если они не могут грамотно сформулировать свои выводы - можно ли им доверять в остальном.
Прочитайте в учебнике (например, в "Математике случая" на нашем сайте) об уровне значимости.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср авг 30, 2006 8:30 am 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Вопрос первый (к посетителям и авторам сайта): какая компьютерная программа по анализу данных оптимальна для отечественного научного сотрудника с точки зрения ее научного уровня, удобства и цены?

Вопрос второй (к авторам сайта): планируется ли размещение на сайте бесплатного или демонстрационного программного обеспечения для практической реализации того ограмного числа первоклассных разработок, которые здесь размещены, или "Верстка диссертации книжкой" - это максимум программных ожиданий посетителей (извините за резкость)? Например, на сайте http://www.biometrica.tomsk.ru программы, хоть и примитивные, но появляются.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Из новой книги
СообщениеДобавлено: Ср авг 30, 2006 8:48 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Программное обеспечение статистических методов. В настоящее время статистическая обработка данных проводится, как правило, с помощью соответствующих программных продуктов. Мы не сочли целесообразным включать в учебник ссылки на те или иные пакеты программ по нескольким причинам.
Во-первых, популяции программных продуктов быстро обновляются. Пакеты программ, разработанные 10-15 лет назад, безнадежно устарели. Новые версии, как правило, весьма отличаются от предшественников десятилетней давности. В то же время лучшие книги 40-60-х годов по статистическим методам остаются актуальными и сейчас. Например, монографии [12-14].
Во-вторых, каждый программный продукт обладает определенными достоинствами и недостатками. Как показывает наш опыт [15], при сравнении нескольких пакетов программ крайне трудно сделать обоснованный вывод о том, какой из них следует предпочесть.
Необходимо отметить, что между математической и прикладной статистикой имеется и с течением времени углубляется разрыв. Он проявляется, в частности, в том, что большинство методов, включенных в статистические пакеты программ (например, в заслуженные Statgraphics и SPSS или в более новую систему Statistica), даже не упоминается в учебниках по математической статистике. В результате разрыва специалист по математической статистике оказывается зачастую беспомощным при обработке реальных данных, а пакеты программ применяют (что еще хуже - и разрабатывают) лица, не имеющие необходимой теоретической подготовки. Естественно, что они допускают разнообразные ошибки. Типовые ошибки при применении критериев согласия Колмогорова и омега-квадрат давно проанализированы в литературе (например, в статье 1985 г. [16] и учебнике [2]). Об удручающих результатах анализа государственных стандартов по статистическим методам управления качеством рассказано в главе 10.
По оценкам экспертов, распространенные статистические пакеты программ обычно соответствуют уровню научных исследований 60-70-х годов. В них нет большинства статистических методов, включенных в современные учебники [2, 4]. Впрочем, как показывает практика преподавания, студенты и слушатели легко реализуют новые статистические методы с помощью подручных вычислительных средств.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср авг 30, 2006 1:45 pm 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Ответ достаточно полный. Однако упомянутые импортные программные средства имеют цену от 60 тысяч рублей. Новиков и Новочадов тоже рекомендуют воспользоваться "ручным" расчетом, механизированным с помощью калькулятора. Этот прием применим для расчетов, скажем, критериев Вилкоксона (можно сделать даже в Excel практически без программирования), но как быть с многомерными и иными продвинутыми методами? Вот Леонов недавно упомянул факторный анализ. Его на коленке не сделаешь. Критерии, основанные на комбинаторике (у Руниона см., например), вручную при реальных выборках нереализуемы за приемлемое время. Хотелось бы иметь программу достаточно интеллектуальную и не очень дорогую. В пределах 2-3 тысяч рублей - примерно по цене Windows. Как насчет известной программы STADIA? Или, может, нужно сделать коллективными усилиями новый отечественный пакет правильных статистических программ? Возможно, даже бесплатный. Может быть, одна из ассоциаций или кто-то из уважаемых наших ученых займутся, наконец, делом, и закончат кушать друг друга?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Изучайте
СообщениеДобавлено: Ср авг 30, 2006 2:56 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Из статьи (см. сайт):
Орлов А.И. Компьютерные технологии в обучении основам экономических и иных знаний. – Журнал «Компьютеры в учебном процессе». 2000. No.6. С.69-90.


Перейдем теперь к высшей школе. Вполне естественно использовать для обучения такие программные продукты, которые могут быть затем использованы в практической работе.
Г. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ПО СТАТИСТИЧЕСКИМ МЕТОДАМ УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОДУКЦИИ
В разделе приведены описания диалоговых систем (пакетов программ) по статистическим методам управления качеством продукции, разработанных Центром статистических методов и информатики. Их целесообразно использовать при изучении основ экономики, теории вероятностей и математической статистики, эконометрики, менеджмента, математического моделирования экономических процессов, экономики предприятия, дисциплин специализации. В скобках указаны руководители коллективов разработчиков.
1. СПК: Математическое обеспечение статистического приемочного контроля качества (профессор, доктор физико-математических наук Ю.К.Беляев - МГУ, профессор, доктор физико-математических наук Я.П.Лумельский - Пермский госуниверситет).
2. АТСТАТ - ПРП: Планирование и анализ планов статистического приемочного контроля продукции по альтернативному признаку на основе принципа распределения приоритетов (доктор технических наук В.А.Лапидус - Нижегородский филиал ВНИИСОТ).
3. СТАТКОН: система СТАТистического КОНтроля процессов (профессор, доктор технических наук Г.Ф.Филаретов - МЭИ).
4. АВРОРА-РС: Анализ Временных Рядов и Обнаружение Разладки (кандидат технических наук И.В.Никифоров - Институт проблем управления РАН, профессор, доктор физико-математических наук А.А.Новиков - Математический институт им. В.А.Стеклова РАН).
5. НАДИС: НАДежность и ИСпытания (профессор, доктор технических наук О.И.Тёскин - МГТУ им. Н.Э.Баумана).
6. ПАСЭК: Планирование и Анализ Сравнительного ЭКсперимента (доктор технических наук А.А.Маслак - ВНИИантибиотиков, Щелково).
7. Обучающая автоматизированная система "ЭКСПЛАН": методы ПЛАНирования экстремального ЭКСперимента (доктор технических наук Е.В.Маркова).
Рассмотрим эти семь систем подробнее, обращая внимание как на их научное наполнение, так и на возможность использования их содержания в учебном процессе.
Г-1. ДИАЛОГОВАЯ СИСТЕМА СПК "МАТЕМАТИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СТАТИСТИЧЕСКОГО ПРИЕМОЧНОГО КОНТРОЛЯ КАЧЕСТВА"
Система СПК обеспечивает выбор плана приемочного контроля по альтернативному признаку (т.е. выбор объема выборки и приемочного числа),отвечающего заданным требованиям поставщика и потребителя, планов контроля на основе экономических показателей и правил остановки контроля при потере стабильности технологического процесса. В СПК включены программы оценки фактического качества продукции, как предъявленной на контроль, так и принятой потребителем.
Диалоговая система "Математическое обеспечение статистического приемочного контроля качества" для персонального компьютера ориентирована на массового пользователя: руководителей и работников отделов технического контроля и служб сертификации. Она будет полезна конструкторам и технологам, разрабатывающим планы выборочного контроля по альтернативному признаку готовой штучной продукции и комплектующих изделий.
Система дает возможность решать следующие основные задачи. Она позволяет находить по заданным требованиям поставщика и потребителя план одноступенчатого контроля по альтернативному признаку: объем выборки и приемочное число. Предусмотрена возможность задания различных наборов требований для выбора плана одноступенчатого контроля, что позволяет использовать результаты вычислений на компьютере вместо громоздких таблиц планов, содержащихся в действующих нормативно-технических документах. Диалоговый режим работы на компьютере дает возможность пользователю сравнивать оперативные характеристики различных планов одноступенчатого контроля, а также получать планы последовательного контроля и их характеристики. Система дает также возможность получать оптимальные планы одноступенчатого контроля на основе экономических показателей (ГОСТ 24660-81).
Для обнаружения и устранения разладок стабильности технологического процесса в пакете используются также правила остановки контроля - контроль прекращается, когда из последних I партий забраковано k. Пакет позволяет вычислять характеристики различных правил остановки контроля и оценивать возможные последствия применения этих правил остановки, тем самым существенно расширить правила остановки контроля ГОСТ 18242-72 и ГОСТ 24660-81.
На основе методов математической статистики диалоговая система позволяет строить последующие статистические оценки входного и выходного уровней дефектности по результатам выборочного контроля партий изделий, что дает возможность систематически получать информацию о фактическом качестве контролируемой и принятой продукции.
Диалоговая система позволяет учесть сокращение работы по контролю при последовательной проверке изделий, влияние объема контролируемой партии и ошибок контролера на характеристики планов контроля.
Математические методы, положенные в основу разработки диалоговой системы, включают новейшие научные достижения; ряд из них (планы ГОСТ 24660-81, последующие оценки и др.) не имеют аналогов за рубежом.
Г-2. ДИАЛОГОВАЯ СИСТЕМА АТСТАТ-ПРП:
ПЛАНИРОВАНИЕ И АНАЛИЗ ПЛАНОВ СТАТИСТИЧЕСКОГО ПРИЕМОЧНОГО КОНТРОЛЯ ПРОДУКЦИИ ПО АЛЬТЕРНАТИВНОМУ ПРИЗНАКУ
НА ОСНОВЕ ПРИНЦИПА РАСПРЕДЕЛЕНИЯ ПРИОРИТЕТОВ
В настоящее время действуют ряд стандартов (ГОСТ 18242-72, ГОСТ 16493-70, ГОСТ 20736-75 и др.), содержащих таблицы для выбора планов контроля. Однако громоздкость и явно несовременный вид этих таблиц, а также отсутствие достаточно простого ручного алгоритма поиска нужного плана приводит к значительным затратам времени, затрудняет использование стандартов при планировании контроля качества продукции (ККП). Регламентированные в этих стандартах методы планирования приводят на практике к планам, допускающим большой процент дефектных изделий в принимаемых партиях продукции. Коллективом под руководством В.А.Лапидуса разработана концепция совершенствования ККП на основе принципа распределения приоритетов (ПРП), в рамках которой могут быть устранены указанные недостатки. Данная концепция позволяет расширить права сторон, организующих контроль, в выборе методов, средств и планов контроля, одновременно повышая их ответственность за достоверность принятых решений о качестве продукции. В результате применения изготовителем и потребителем различных оптимальных планов контроля качества продукции уменьшается число спорных ситуаций.
При проведении контроля качества на базе ПРП повышаются требования оперативности в вопросах планирования ККП, что может быть обеспечено автоматизацией планирования выборочного контроля качества продукции.
Диалоговая система включает в себя задачи анализа и синтеза планов статистического контроля для двух сторон: поставщика и потребителя (в том числе органов, представляющих его интересы, вроде органов сертификации и госнадзора).
Она позволяет получить для заданных планов оперативную и арбитражную характеристики, приемочные и браковочные уровни дефектности и т.п., построить согласованные планы контроля критических, значительных и малозначительных дефектов.
При планировании на основании исходных данных, таких, как: риски поставщиков, потребителей, браковочные и приемочные уровни дефектности партий продукции, данные в виде "Истории качества", - пользователи могут получать оптимальные (при различных критериях оптимальности) одно- и двухступенчатые планы и планы с управляемым риском потребителя.
Расчеты проводятся на основе биномиального и гипергеометрического распределений.
От пользователей не требуется специальных знаний в области теории вероятностей и математической статистики, в ходе диалога с ЭВМ они смогут получить все разъяснения и ответы на возникающие вопросы. Система содержит указания по источникам исходной информации и процедуре ее получения.
Г-3. СТАТКОН - ДИАЛОГОВАЯ СИСТЕМА
СТАТИСТИЧЕСКОГО КОНТРОЛЯ ПРОЦЕССОВ
Диалоговая система СТАТКОН предназначена для организации и проведения статистического контроля стохастических процессов, представленных в форме временных рядов, на предмет наискорейшего обнаружения момента спонтанного изменения вероятностных характеристик контролируемых процессов.
1. Области применения: контроль качества технологических процессов, обнаружение аварийных ситуаций, обработка информации в автоматизированных системах научных исследований (АСНИ), в автоматизированных системах управления технологическими процессами (АСУ ТП), в автоматизированных испытательных стендах и т.п.
2. Круг пользователей: специалисты в различных предметных областях, специалисты технологи - инженеры; от пользователей системы не требуется высокого уровня подготовки в области статистических методов, вычислительной техники и программирования.
3. Основные особенности системы СТАТКОН:
• диалоговая форма взаимодействия (на русском языке); диалог предусматривает выбор пользователем одного из вариантов ответа из числа предлагаемых при отборе возможного варианта контролируемого алгоритма,
• его настройка на этапе принятия решений; диалоговая система обеспечивает подсказки и умолчания, а также возможность перехвата инициативы пользователем в любой момент диалога;
• наглядность функционирования контролирующего алгоритма; цветная экранная графика позволяет осуществлять наблюдение за ходом получения экспериментальных данных, работой алгоритма, подачей сигнала о наличии разладки;
• возможность использования одно- и двухсторонних контролирующих процедур;
• наличие средств оказания методической помощи пользователю, содержащих текстовую информацию, облегчающую понимание общих принципов функционирования контролирующих алгоритмов, их назначение, особенности, требования к априорной информации, выбору настроечных параметров;
• автоматическая настройка контролирующих алгоритмов и получение общей информации об их быстродействии (практически мгновенное - для ограниченной области возможных значений характеристик контролирующих алгоритмов; более медленное - для произвольной области);
• возможность получения полной информации о вероятностных свойствах контролирующих алгоритмов, справочной информации и т.п.
• возможности предварительного анализа вероятностных свойств контролируемых процессов, а также их текущего уточнения одновременно с работой контролирующего алгоритма;
• наличие программных средств, облегчающих обучение пользователя и демонстрацию возможностей контролирующих алгоритмов;
• открытость системы, допускающей ее сравнительно простое развитие,
• пополнение перечня используемых алгоритмов, текстовой информации, диалога.
4. В диалоговую систему СТАТКОН входят следующие разновидности контролирующих алгоритмов, относящиеся к группе алгоритмов кумулятивных сумм и предназначенные для обнаружения:
• скачкообразного изменения математического ожидания гауссовского дискретного случайного процесса с независимыми наблюдениями;
• линейного возрастающего изменения математического ожидания случайного процесса указанного типа;
• скачкообразного изменения вектора математических ожиданий векторного гауссовского случайного процесса с независимыми наблюдениями;
• скачкообразного изменения дисперсии для гауссовского дискретного процесса с независимыми наблюдениями;
• скачкообразного изменения вероятности появления некоторого события в последовательности независимых случайных событий (нерандомизированной м рандомизированной варианты).
Для реализации полных возможностей системы, перечисленных в п. 3, в состав системы включены инструментальные средства анализа вероятностных характеристик контролирующих алгоритмов, программные средства проверки и тестирования.
При разработке системы использован ряд новых теоретических результатов, полученных в МЭИ.
Примечание. Руководитель разработки пакета СТАТКОН профессор Г.Ф.Филаретов руководил подкомиссией по статистическому регулированию технологических процессов Рабочей группы по упорядочению системы стандартов по прикладной статистике и другим статистическим методам (1985-1987). Было установлено, что все государственные стандарты СССР по статистическому регулированию технологических процессов содержат грубейшие ошибки и их невозможно использовать ни как справочные, ни тем более как нормативные материалы. Пакет СТАТКОН был разработан в качестве замены безграмотным ГОСТам и содержит в себе все основные результаты теории контрольных карт.
Г-4. ДИАЛОГОВАЯ СИСТЕМА АВРОРА-РС (АНАЛИЗ ВРЕМЕННЫХ РЯДОВ
И ОБНАРУЖЕНИЕ РАЗЛАДКИ ДЛЯ ПЭВМ)
Одним из эффективных подходов к исследованию и анализу поведения самых различных явлений, объектов или процессов является обработка последовательностей измерений параметров, которые называются временными рядами. Во многих практических задачах только на основании анализа временных рядов возможно выявить скрытые изменения, происходящие в наблюдаемом объекте или явлении. Анализ поведения сложных систем, выявление в реальном масштабе скрытых изменений, происходящих в них - вот та область исследований, для которой предназначена диалоговая система "АВРОРА-РС".
Прогнозирование экономических показателей - индекса инфляции, курсов акций, валюты и т.п., текущий контроль систем подвижных объектов, обнаружение сейсмических сигналов на фоне шума, оперативное выявление отказов агрегатов без остановки технологического процесса, статистическое регулирование технологических процессов с помощью контрольных карт, мониторинг экологической обстановки, интенсивное наблюдение за тяжелобольными в клиниках - вот лишь краткий перечень задач, которые поможет решить диалоговый пакет программ "АВРОРА-РС".
Этот программный продукт отличается от известных пакетов программ наличием оригинальных алгоритмов обнаружения изменения свойств временных рядов, которые могут использоваться при весьма жестких условиях, обладают рядом оптимальных свойств и не имеют аналогов в отечественных и зарубежных пакетах программ по статистическим методам.
Область применения: обнаружение изменения свойств временных рядов с помощью последовательных алгоритмов в общественных, технических и естественных науках: геофизике, геологии, сейсмологии, эконометрии, при анализе акустических и вибросигналов, в медицинской и технической диагностике, при разработке систем управления технологическими процессами и систем переработки информации.
Возможности, предоставляемые пользователю: диалоговый режим работы, легкая и удобная работа с алгоритмами системы "АВРОРА-РС", "подсказка" пользователю на всех этапах работы с системой, средства графического отображения результатов обработки данных, простая и удобная база данных для хранения больших массивов информации, эффективные статистически и быстрые в вычислительном отношении алгоритмы.
Основные функции диалоговой системы "АВРОРА-РС": последовательное обнаружение изменения свойств независимых случайных последовательностей и зависимых случайных последовательностей типа авторегрессии с помощью ряда жестко настроенных и адаптивных алгоритмов скорейшего обнаружения, обнаружение изменения свойств многомерных сигналов, наблюдаемых с избыточностью, расчет статистических характеристик алгоритмов обнаружения, статистическое моделирование алгоритмов на специально генерируемых или вводимых пользователем данных, оптимальная настройка алгоритмов и подбор их характеристик, параметрический анализ временных рядов на основе авторегрессии, ряд процедур стандартной обработки временных рядов (цифровая фильтрация, преобразования, разности). Диалоговая система "АВРОРА-РС" предназначена для ПЭВМ, совместных с ПЭВМ IBM PC.
Г-5. ДИАЛОГОВАЯ СИСТЕМА НАДИС (НАДЕЖНОСТЬ И ИСПЫТАНИЯ)
При использовании этой системы преподаватель может обратиться к студентам так:
Если вы хотите:
• повысить уровень надежности выпускаемой техники;
• обеспечить соответствие программ и методик испытаний на надежность государственным стандартам;
• ускорить проведение работ по планированию испытаний и обработке их результатов при контроле надежности;
• избежать конфликтов с заказчиками и государственными органами,
воспользуйтесь диалоговой системой НАДИС (название составлено из слов надежность – НАД – и испытания – ИС).
Диалоговая система НАДИС рассчитана на специалистов в предметной области широкого профиля, занимающихся вопросами анализа, контроля и обеспечения надежности промышленной продукции, не имеющих высокого уровня в области математических методов в теории надежности, вычислительной техники и программирования.
1. Назначение. Диалоговая система НАДИС предназначена для решения широкого круга задач оценки и контроля надежности по результатам испытаний и эксплуатации изделий машиностроения и радиоэлектроники.
2. Область применения - планирование контрольных и определительных испытаний на надежность изделий и их составных частей на этапе разработки и сдачи в серийное производство, оценка показателей надежности сложных технических систем по результатам испытаний и опытной эксплуатации их составных частей на этапе проектирования и разработки.
Использование диалоговой системы НАДИС позволит пользователю без специальной подготовки по теории надежности решать следующие практические задачи в области анализа, контроля и обеспечения надежности изделий машиностроения и электрорадиоэлектроники:
• оценка ПН по цензурированным выборкам малого объема;
• прогнозирование безотказности и долговечности по измерениям определяющих параметров на малом (3-5) числе образцов;
• построение доверительных границ для ПН систем с различной ССН (структурной схемой надежности) по результатам ограниченного объема испытаний элементов;
• планирование объемов контрольных испытаний при одноступенчатом и последовательном контроле надежности;
• подтверждение высоких уровней надежности по малому числу образцов за счет форсирования и утяжеления режимов испытаний.
3. Круг пользователей: специалисты, занимающиеся вопросами анализа, контроля и обеспечения качества и надежности промышленной продукции, преподаватели, сотрудники, студенты и слушатели вузов, институтов и курсов повышения квалификации в области надежности. От пользователей системы не требуется высокого уровня подготовки в области математических методов в теории надежности; подготовки в области вычислительной техники и программирования также не требуется.
4. Основные особенности системы НАДИС:
• диалоговая форма взаимодействия с пользователем (на русском языке); диалог предусматривает выбор пользователем одного из вариантов ответа из числа предлагаемых; диалоговая система обеспечивает подсказки и умолчания, а также возможность перехвата инициативы пользователем в любой момент диалога;
• наличие средств оказания методической помощи пользователю, содержащих текстовую информацию, облегчающую понимание общих принципов функционирования алгоритмов, их назначение, требования к априорной информации;
• наглядность представления исходных моделей расчета и результатов вычислений на основе использования цветной экранной графики, подача сигналов (графических и звуковых) при неправильных действиях пользователя;
• наличие тестовых примеров и демонстраций, облегчающих обучение пользователя;
• открытость системы, допускающей ее сравнительно простое развитие, пополнение перечня алгоритмов, текстовых задач, диалога;
• полное соответствие действующим нормативно-техническим документам в области надежности.
5. Возможности системы НАДИС:
• выбор номенклатуры показателей надежности (ПН);
• планирование определительных испытаний;
• оценка ПН по результатам испытаний и эксплуатации;
• прогнозирование параметрической надежности;
• оценка ПН по результатам форсированных испытаний;
• оценка ПН систем с различной структурой по испытаниям элементов;
• одноступенчатый контроль ПН по 2-м контрольным уровням;
• последовательный контроль ПН по 2-м контрольным уровням;
• планирование объемов испытаний по 1-му контрольному уровню;
• планирование объемов форсированных и утяжеленных испытаний.
6. Содержание системы. В систему НАДИС входит следующий набор (библиотека) задач.
Блок 1 - "Оценка ПН" - включает в себя разделы:
1. Выбор номенклатуры показателей надежности (ПН).
2. Планирование определительных испытаний (ОИ).
3. Оценка ПН по результатам испытаний изделия в целом.
4. Оценка и прогнозирование параметрической надежности.
5. Оценка ПН по результатам форсированных испытаний.
6. Оценка безотказности систем с различными ССН по данным о надежности их элементов.
7. Оценка безотказности и долговечности систем с различными ССН по результатам испытаний их элементов.
Блок 2 - "Контроль ПН" включает в себя разделы:
1. Одноступенчатый контроль ПН по 2-м контрольным уровням.
2. Последовательный контроль ПН по 2-м контрольным уровням.
3. Планирование объемов испытаний изделий и их составных частей по 1-му контрольному уровню.
4. Планирование объемов форсированных и утяжеленных испытаний по 1-му контрольному уровню.
Система НАДИС разработана авторским коллективом под руководством доктора технических наук, профессора Тескина О.И. (МГТУ им. Н.Э.Баумана). При разработки диалоговой системы НАДИС использовались научные результаты авторского коллектива, отраженные в ряде монографий, в справочнике "Надежность в технике", в 6-м томе десятитомного справочника "Надежность и эффективность в технике", а также в комплексе отечественных и международных стандартов.
Г-6. ДИАЛОГОВАЯ СИСТЕМА ПАСЭК - ПЛАНИРОВАНИЕ И АНАЛИЗ СРАВНИТЕЛЬНОГО ЭКСПЕРИМЕНТА
Сравнительный эксперимент является одним из самых распространенных видов экспериментальных исследований для качественных факторов и количественных, которые трактуются как качественные. Он широко используется в экономике, сельском хозяйстве, биологии, биотехнологии, педагогике, социологии, медицине, химии, машиностроении, в промышленности стройматериалов и т.д.
Диалоговая система ПАСЭК предназначена для планирования и анализа многофакторного эксперимента. Она состоит из четырех основных подсистем:
Задача - формализация объекта исследования (имя задачи, цель эксперимента, выбор отклика, выбор числа факторов и их уровней).
Модель - выбор модели представления экспериментальных данных и формулировка проверяемых гипотез (линейная модель или модель с взаимодействиями, сочетающиеся или иерархические отношения между факторами, случайные или фиксированные уровни факторов).
План - выбор плана сравнительного эксперимента (полностью рандомизированные, рандомизированные полноблочные, иерархические, дробные планы на основе комбинаторных конфигураций таких как латинские квадраты и кубы; определение числа повторных опытов). Дробные планы выбираются из каталога планов.
Анализ - статистический анализ сравнительного эксперимента (параметрический дисперсионный анализ и непараметрический анализ на основе критерия рандомизации) и интерпретация результатов.
Отличительные особенности системы. Система позволяет пользователю в интерактивном режиме:
• поставить задачу, выбрать модель и план, наилучшим образом отражающих экспериментальную ситуацию;
• определить все возможные источники дисперсии с учетом отношений между факторами, типом уровней факторов и наличием взаимодействий;
• построить таблицу ожиданий средних квадратов;
• выявить источники дисперсии, на фоне которых сравниваются интересующие эффекты;
• использовать каталог наиболее часто применяемых дробных планов эксперимента;
• обучаться планированию и анализу эксперимента на примерах решенных эадач.
Пользователи системы. Научные и инженерно-технические работники разных предметных областей (медики, биологи, экономисты, химики, физики, технологи, работники сельского хозяйства), студенты, аспиранты, слушатели институтов повышения квалификации.
Диалоговая система ПАСЭК может помочь исследователю эффективно планировать и анализировать сравнительные эксперименты. Она является одним из лучших программных продуктов по планированию экспериментов – одному из наиболее практически важных разделов эконометрики.
Г-7. ОБУЧАЮЩАЯ АВТОМАТИЗИРОВАННАЯ СИСТЕМА ПО МЕТОДАМ ПЛАНИРОВАНИЯ ЭКСТРЕМАЛЬНОГО ЭКСПЕРИМЕНТА "ЭКСПЛАН"
Система предназначена для начального обучения планированию экстремального эксперимента на базе IBM-совместимых персональных ЭВМ.
Методы планирования эксперимента - это раздел прикладной математической статистики. Применение методов планирования эксперимента повышает эффективность исследований, надежность и достоверность выводов. Экстремальный эксперимент встречается наиболее часто.
Информационное содержание системы:
1. Постановка задачи (выбор отклика и факторов, центра эксперимента, интервалов варьирования).
2. Планирование эксперимента (выбор модели, плана эксперимента, повторных опытов, процедуры рандомизации).
3. Обработка результатов эксперимента (оценка параметров модели, проверка статистических гипотез).
4. Принятие решений после статистической обработки (интерпретация результатов, принятие решений после построения моделей и проверки гипотез).
5. Крутое восхождение по поверхности отклика (движение по градиенту, реализация расчетных опытов).
6. Выводы и рекомендации.
Система ЭКСПЛАН обладает следующими особенностями:
• адаптация к модели пользователя;
• наглядное представление графического материала;
• большое число примеров;
• широкое использование дополнительной информации в виде: каталога планов, Help-ов, библиографических справок, словаря терминов; - предусмотрена возможность обучения на примерах.
Программный продукт состоит из трех подсистем: "Ученик", "Учитель", "Автор". Система "Ученик" организует сам процесс обучения в диалоговом режиме: предлагает учащемуся текстовые и графические фрагменты, составляющие данный курс и содержащие вопросы, анализирует ответы, выдает комментарии к каждому из них, результаты заносит в журнал, в зависимости от ответа определяет дальнейший маршрут.
Система "Учитель" позволяет регистрировать результаты прохождения курса каждым учащимся, дополнять список учащихся, корректировать маршрут движения по курсу для каждого из них.
Система "Автор" обеспечивает реализацию курса, его корректировку и совершенствование. Система позволяет проводить анализ ответов, вызывать дополнительную информацию, адаптироваться к сложности материала.
Круг потенциальных пользователей: студенты и аспиранты ВУЗов, слушатели институтов повышения квалификации, научные и инженерно-технические работники различных предметных областей - химики, физики, технологи, медики, биологи, экономисты и т.д. Эксперименты ведутся повсеместно. Специалистов-консультантов в области планирования эксперимента очень мало. Если вы хотите, чтобы Ваши эксперименты проводились эффективно, воспользуйтесь для обучения системой ЭКСПЛАН.
ВЫВОДЫ И РЕКОМЕНДАЦИИ
Подведем итоги. Использование электронных учебников как непосредственно в учебном процессе по руководством преподавателя, так и при самостоятельных занятиях, в частности, при дистанционном обучении, как известно, является весьма эффективным.
Электронные учебники по экологическим дисциплинам должны удовлетворять как общим требованиям, относящимся к подобным учебникам для любых дисциплин, так и частным, связанным с экологической спецификой.
К общим требованиям относятся наличие двух режимов - обучающего и контрольного, набора текстов, разъясняющих те или иные ошибки обучающегося, управление траекторией движения по учебному материалу в зависимости от демонстрируемых знаний, возможность запомнить свое положение и после перерыва вернуться в достигнутую точку (а не начинать с начала курса), относительная автономность отдельных разделов, позволяющая изучать их независимо друг от друга, наличие в курсе расчетных задач (а не только выбор одной из нескольких подсказок) и т.д.
К частным требованиям в случае, скажем, электронных учебников по экологическим дисциплинам относятся, например, наличие обширной базы данных о веществах, отрицательно действующих на окружающую природную среду и здоровье человека, о соответствующих предельно допустимых концентрациях (ПДК) и способах экологического контроля, в том числе с помощью тех или иных приборов.
Другая база данных должна быть посвящена экологической обстановке в различных городах и регионах.
В частности, на экране компьютера должна появляться карта Москвы с нанесенной на нее экологической обстановкой (в терминах ПДК), допускающая уменьшение масштаба вплоть до отдельных районов и увеличение вплоть до Московской области и Центрального региона в целом.
Третья необходимая в электронном учебнике база данных состоит из нормативно-правовых документов, начиная с выдержек из Конституции РФ, включая Законы РФ "Об охране окружающей природной среды", "Об экологических экспертизах” и др.
Следующая база данных содержит материал, в том числе видео-, о наиболее крупных и известных экологических катастрофах.
Далее - программная система, содержащая математические модели распространения загрязнений при "нормальной" работе предприятий (например, через дымовую трубу или сточные воды) и при авариях - протечках, просачивании, выбросах, пожарах, взрывах и т.д.
Полезна также программная система, позволяющая организовать или имитировать работу экспертных комиссий, необходимых при государственной или общественной экологической экспертизе, оценке безопасности предприятия, экологическом страховании.
Очевидно, электронные учебники, для определенности, по экологическим дисциплинам должны быть адекватны курсам - одни для читаемых всем студентам "Основ безопасности жизнедеятельности" и "Экологии", другие - для ориентированных на будущих специалистов в области экологии (промышленных экологов, менеджеров с усиленной правовой и экологической подготовкой и др.) курсах "Экологические риски", "Экологические экспертизы", "Экологический контроль" и др.
Кратко сформулируем основные рекомендации и выводы.
1. В учебном процессе по рассматриваемым специальностям необходимо интенсивное использование новых информационных технологий обучения на базе персональных компьютеров.
2. Информационные технологии обучения должны активно использоваться на всех стадиях обучения, практически во всех видах учебных занятий - на лекциях, практических занятиях (семинарах), при проведении деловых игр, во время индивидуальных и самостоятельных занятий, при контроле знаний, умений, навыков и т.д.
3. Интенсивные информационные технологии обучения, в том числе мультимедийные технологии, представляются необходимыми при преподавании большинства дисциплин, предусмотренных учебным планом по рассматриваемым специальностям.
4. К настоящему времени имеются отдельные интересные разработки программных продуктов, предназначенных для использования при обучении математической экономике, по специальностям "математические методы и исследование операций в экономике" и "менеджмент".
Однако отсутствует система подобных продуктов, охватывающая весь процесс обучения, равно как и план разработки подобной системы. Кроме того, имеющиеся программные продукты, как правило, страдают теми или и иными недостатками, что приводит к необходимости их доработки перед использованием в учебных целях.
5. Настоящая статья обосновывает необходимость разработки детального проекта (аванпроекта) системы программного обеспечения, предназначенного для использования при обучении математической экономике, по специальностям "математические методы и исследование операций в экономике" и "менеджмент".
6. Разработка указанного программного обеспечения должна происходить в соответствии с общим планом, по единой процедуре и с выполнением единых требований. Эти процедуры и требования должны быть сформулированы и обоснованы в аванпроекте, равно как и содержание учебных программных продуктов.
7. Мы считаем целесообразным продолжить работу по рассматриваемой тематике, перейдя к разработке детального проекта (аванпроекта) системы программного обеспечения, предназначенного для использования при обучении по математической экономике, по специальностям "математические методы и исследование операций в экономике" и "менеджмент" (с привлечением необходимых специалистов), по экологическим дисциплинам и особенно по эконометрике.
ЦИТИРОВАННАЯ ЛИТЕРАТУРА
1. Макконнелл К., Брю С.Л. Экономикс: Принципы, проблемы и политика, тт.1,2. - М.: Республика, 1992.
2. Орлов А.И. Устойчивость в социально-экономических моделях. - М.: Наука, 1979. - 296 с.
3. Доран Э.Дж., Линдсей Д.: Рынок: микроэкономическая модель. - Санкт-Петербург: СП "Автокомп", 1992. - 496 с.
4. Орлов А.И. О внедрении современных статистических методов с помощью программных продуктов/Качество и надежность изделий. - №5(21). - М.: Знание, 1993. -С.51-78.
5. Адлер Ю.П., Грановский Ю.В., Маркова Е.В. Планирование экстремального эксперимента. Программированный учебник. - М.: Металлургия, 1975.
6. Рыночная экономика. Учебник. Т.3, ч.1. - Деловые игры по рыночной экономике и бизнесу. - М.: Совинтек, 1993. - 154 с.
7. Анализ нечисловой информации в социологических исследованиях (под редакцией В.Г.Андреенкова, А.И.Орлова, Ю.Н.Толстовой). - М.: Наука, 1985. - 222 с.
8. Статистические методы повышения качества /Под редакцией Хиро Исии. - М.: Финансы и статистика, 1990.
9. The teaching of statistics / Studies in mathematical education, v.7. - Paris: Unesco, 1991. - 258 pp.
10. Орлов А.И., Тимофеев Л.П. Электронные учебники по экологическим дисциплинам. - Математические методы в технике и технологиях - ММТТ-12: Сборник трудов Международной научной конференции. В 5-ти тт. Т.3. Секции 5,6,7. - Новгородский государственный университет: Великий Новгород, 1999. - С.86.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Чт авг 31, 2006 6:35 am 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Хотя это несколько не то, что нужно массам исследователей (им нужен универсальный пакет типа SPSS, грамотный, как SAS, совместимый со всем и вся, но по цене 3000 рублей).
Всё же попробуем проанализировать доступность перечисленных программ (я не говорю - программных продуктов) для пользователей. Воспользуемся поисковыми возможностями http://yandex.ru. Поищем ссылки на производителей/поставщиков. Итак:
СПК - нет
АВРОРА-РС – 1 ссылка (1998 г.)
АТСТАТ - нет
СТАТКОН – нет
НАДИС – нет
ПАСЭК – нет
ЭКСПЛАН – нет
Все эти проекты мертвы. Могу предложить некоторые версии, поясняющие наблюдаемую картину:
1. Программное обеспечение было заказным. Разработка не ставила целью создать программный продукт (т.е., грубо говоря, программу, которую может купить любой, имеющий необходимую сумму денег).
2. Программное обеспечение явилось частью проектов по написанию диссертаций для придания им (диссертациям) солидности и наукообразия (такое бывает).
3. Программисты по той или иной причине уволились и унесли с собой исходники (такие случаи известны).
Нам известны три универсальных программных продукта: STADIA (в программном совершенстве осталась на уровне где-то 1993 года), СТАТЭКСПЕРТ и его развитие (считать - считает, но виснет частенько), а также StatPlus (Statistica+). Последний продукт красив, но неработоспособен, да и отечественным его назвать трудно. Упоминался также (помню, в "Мире ПК" была целая статья) СТАТИСТИК-Консультант. Проект мертв.
Ситуация - патовая. С одной стороны - много грамотных ученых с большими амбициями, много программистов с высокой потенцией. С другой - нет ни одной толковой программы, зато есть рекоменации воспользоваться подручными средствами. Есть и другие рекомендации. Леонов, к примеру, пользуется SAS и другим рекомендует. Для справки - цена SAS (по минимуму BASE + STAT) 142600 рублей. Иначе, как издевательством, такую рекомендацию не назовешь. Или это рекомендация - воровать?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Как это было
СообщениеДобавлено: Чт авг 31, 2006 5:35 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Согласно Интернету
Цитата:
ссылки на производителей/поставщиков. Итак:
СПК - нет
АВРОРА-РС – 1 ссылка (1998 г.)
АТСТАТ - нет
СТАТКОН – нет
НАДИС – нет
ПАСЭК – нет
ЭКСПЛАН – нет

Перечисленные 7 пакетов были заказаны мною как директором Всесоюзного центра статистических методов и информатики Центрального правления Всесоюзного экономического общества в 1989 г. Общая стоимость проектов - 0.5 млн руб. Тогдашних, советских. В нынешних - примерно в 100 раз больще, т.е. 50 млн. Деньги - советско-британско-американского СП "СПЕКТРУМ". Пакеты продавались ВЦСМИ ЦП ВЭО различным организациям (см. список на сайте в описании ИВСТЭ), в 1990-91 гг. - около 100 продаж.
Кто виноват в том, что эти проекты мертвы?
Виноваты Ельцин, Гайдар и другие реформаторы. В ходе бешеной инфляции начала 90-х предприятия, лишившись оборотных средств, стали экономить на всем, в частности, перестали покупать пакеты программ по статистическим методам и вообще разогнали отделы надежности и другие подразделения, которые могли бы применять эти программные продукты.
Естественно, распались коллективы разработчиков. Например, среди руководителей проектов: Беляев (СПК) - в Швеции, Лумельский (СПК) - в Израиле, Тескин (НАДИС) - в США, Никифоров (АВРОРА-РС) - во Франции.
Кроме того, пакеты могли сменить названия. Маркова выпустила книгу про ЭКСПЛАН, но в названии могло не участвовать это сокращение. Не все специалисты и их работы достаточно отражены в Интернете.
Однако в целом нельзя не согласиться, что перечисленные проекты умерли.
Сейчас отдельные организации используют статистичесие пакеты. Например, фирме Gfk MR (100 человек в штате) есть отдел обработки данных (6 человек), который использует SPSS.
Физическим лицам остается покупать ворованные продукты или пользоваться самоделками.
Конечно, было бы хорошо разработать современный пакет. Исходя из опыта ВЦСМИ, его стоимость - примерно 10 млн руб. Это примерно в 10 раз больше, чем стоимость разработки всего, что представлено на сайте "Высокие статистические технологии", или в 100 раз больше, чем стоимость типовой современной НИР (на год).
Следовательно, для разработки, продвижения и поддержки такого пакета необходимо создать специальную организацию (или подразделение) из десятков специалистов и обеспечить адекватное финансирование.
Лично мне проще писать книги и преподавать. Тем более, что такие книги необходимы при проектировании подобного пакета.
Можно ли добиться результата, собрав вместе тысячу заинтересованных пользователей Интернета? Я попробовал сделать обозрение материалов рассылки "Эконометрика", раздав выпуски студентам для реферирования. Собранный материал оказался непригоден для подготовки обозрения.
Видимо, пакет может сделать лишь сплоченный коллектив (5-20 человек) за достаточное время (не менее года). Исходя из средней зарплаты 30000 руб. в месяц, времени - 1 год, численности - 15 чел., получаем около 5 млн только на зарплату.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 01, 2006 11:50 am 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Есть информация, что в разработке SAS принимают участие 100 специалистов, многие со докторскими научными степенями. Получается, что проект подобного уровня в России нереализуем. А если поступить проще и сделать продукт на базе MS Excel, например, по образцу statistiXL (http://www.statistixl.com) или XLStat (http://www.xlstat.com)? В последнем продукте некоторые разделы очень сильно реализованы. Такие, как анализ временных рядов, а также вывод графиков. Можно здорово сэкономить на разработке интерфейса - это снижает стоимость разработки на порядок. Тот же SPSS вырос из студенческой разработки. Вообще, смешно получается, что при огромном числе ученых мы не имеем не то что Windows, но даже несравнимо более простой в программировании продукт анализа данных. Можно бесконечно заниматься критикой других программ и страдать по поводу былых утрат. Но самая конструктивная критика - создать свой продукт, лучший, чем у конкурентов.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Пт сен 01, 2006 10:26 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Программный продукт - один из этапов.
И не первый.
Первый - научные исследования.
Второй - их оформление в виде учебников и монографий.
Мои результаты первых двух этапов - на сайте.
Третий - программный продукт.
Не выйдя на современный научный уровень. нельзя сделать полноценный программный продукт.
Только за последний год я видел два новых пакета низкого качества - эпигоны SPSS и др. Их авторов подводит незнание современной статистики.
Например, задачи, решаемые с помощью метода по крайней мере полустолетней давности - факторного анализа, - гораздо проще решить с помощью кластерного анализа.
Если есть желание сделать современный программный продукт по прикладной статистике - дерзайте!


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 02, 2006 5:52 pm 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Хорошо. Спасибо. Будем пробовать. Проблема только чисто Российская - недостаток информации. Начинаешь что-то серьезно копать по исследуемой теме - натыкаешься на недостаток информации, в итоге возникающий из недостатка средств. Статьи предлагаются практически любые но цене от 25 долларов за штуку. Монографии - от ста. Ваша монография по прикладной статистике, кстати, стоит за Уралом в книжном магазине от 500 рублей. Покрутил, пооблизывался - и отошел от прилавка. За последнюю книгу Кобзаря просят 800 рублей. Все эти покупки нереальны при зарплате программиста в 6 тысяч и практически полном прекращении финансирования отраслевой науки. Даже научная библиотека комплектуется за счет подарков сотрудников и от собственной небольшой коммерческой деятельности.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Сб сен 02, 2006 6:28 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Скачайте "Прикладную статистику" с моего сайта, как сделали уже 14000.
Если речь об опусе

Прикладная математическая статистика. Для инженеров и научных работников.
Кобзарь А.И.

то читать не надо, ибо автор - невежда.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 06, 2006 6:14 am 
Не в сети

Зарегистрирован: Пн июн 26, 2006 5:24 pm
Сообщений: 25
Спасибо большое.
А на книгу Кобзаря мы так надеялись. В последнее время недостает практических руководств. Сборников рецептов, если угодно.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: Ср сен 06, 2006 8:57 am 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
Есть много книг:
Л. Закс,
Венецкий
Гмурман,
Айвазян с соавторами,
масса иных,
в том числе учебники по "общей теории статистики" и ГОСТ 11.006-74 "Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим",
в которых имеется масса фактических ошибок, не говоря уже об общей устарелости.
"Профессора-невежды порождают новых невежд" (из статьи: Орлов А.И. О перестройке статистической науки и её применений. – Журнал «Вестник статистики», 1990, No.1, с.65 – 71).
Разоблачение даже одного невежды требует больших затрат времени.
См. тему "Лемешкиада" в этом форуме.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 44 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 67


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB