Высокие статистические технологии

Здравствуйте!
Я пытаюсь решить задачу, которая состоит в обоснованном выборе сложной информационной системы (ИС) для автоматизации производственной деятельности предприятия оборонно-промышленного комплекса ОПК.
В процессе решения задачи участвуют: руководитель предприятия –лицо принимающее решение (ЛПР), CIO (руководитель предприятия отвечающий за приобретение и внедрение новых технологий), сотрудники ИТ-отдела предприятия и эксперты.
Исходными данными для решения этой задачи служат альтернативные ИС (15-20 шт.) и требования, предъявляемые к ИС исследуемого класса, как в ОПК, так и на конкретном предприятии.
Механизмом решения задачи являются аппаратно-программный комплекс предприятия, система поддержки принятия решения (она будет разработана специально под эту задачу), экспертная группа.
К управлению процессом следует отнести концепции и стандарты по информатизации и автоматизации ОПК, регламенты конкретного предприятия ОПК, методику анализа альтернативных ИС (которую я хочу обсудить на этом форуме).
Результатом решения задачи должен быть обоснованный выбор конкретной ИС, осуществляемый ЛПР.

Предлагаю следующий алгоритм решения:
1. Формирование иерархической структуры для анализа альтернативных проектов по внедрению ИС и предъявляемых к ним требований.
2. Построение исходного множества Парето из альтернативных ИС с точки зрения основной цели проекта (с участием ЛПР и CIO).
3. Построение иерархии требований/критериев (их не больше 7 на каждом уровне), предъявляемых к альтернативным ИС с точки зрения основной цели проекта (эту иерархию строят специалисты ИТ-отдела предприятия и проверяют правильность ее построения на тестовых примерах).
4. Проведение экспертного анализа альтернативных ИС на основе первого уровня построенной иерархии требований/критериев (эксперты не видят иерархии требований).
4.1. Определение относительной важности требований/критериев.
4.2. Определение соответствия альтернативных ИС требованиям/критериям.
4.3. Анализ результатов с точки зрения сужения множества Парето («табличный» метод).
5.Проведение экспертного анализа альтернативных ИС на основе атомарных критериев K (то есть тех, которые нельзя детализировать на следующем уровне иерархии – «неделимых»).
5.1. Определение относительной важности атомарных критериев.
5.2. Определение соответствия альтернативных ИС атомарным критериям.
5.3. Анализ результатов с точки зрения сужения множества Парето.
6. Проведение экспертного анализа альтернативных ИС для требований всех уровней построенной иерархии (как в методе анализа иерархий).
6.1. Определение относительной важности требований.
6.2. Определение соответствия альтернативных ИС требованиям.
7. Расчет комплексных показателей качества альтернативных ИС.
7.1. Расчет комплексных показателей качества для первого уровня иерархии требований, атомарных критериев и для всех уровней иерархии требований.
7.2. Дополнительная и альтернативная оценка ИС (если потребуется).
8. Апостериорная оценка результатов синтеза и поддержка процесса принятия решения руководителем – ЛПР (тут предлагаю комплексные показатели качества ИС – п.7.1 – трактовать как вероятности, тогда можно применить Байесовский подход).

Подскажите, возможно ли решать поставленную задачу по приведенному мной алгоритму? Или я в чем-то заблуждаюсь? Да, чуть не забыл, требования как качественные, так и количественные.
Применяемые на каждом шаге методы и нюансы я готов обсуждать!
Многого я пока не написал, т.к. если мой подход к решению задачи не верный, вся остальная детализация смысла не имеет.
Спасибо!

Могут быть применены подходы и алгоритмы, описанные в учебниках "Теория принятия решений" и "Экспертные оценки" http://www.ibm.bmstu.ru/nil/biblio.html

Спасибо, Александр Иванович!

1.Меня интересует, не является ли утопией описанный мной подход к решению задачи? На каждом шаге решения задачи (4, 5, 6) можно сузить множество Парето- оптимальных альтернатив или получить единственное решение. Это моя стратегия!

2.Можно ли введя понятие, атомарный критерий утверждать, что они полностью характеризуют исходную задачу (т.е. в качестве альтернативной оценки перейти от анализа иерархии критериев к анализу атомарных критериев).
Мое мнение:
Сразу отмечу, что я понимаю – с точки зрения теории систем подобное утверждение будет не верно. Но в конкретном случаи критерии декомпозируются на независимые подкритерии, и если иерархия получилась «хорошая» можно утверждать, что при агрегации эффекта синергетики не происходит (т.е. надкритерий не приобретает новых свойств). Таким образом, атомарные критерии полностью характеризуют исходную иерархию критериев.

В чем-то я могу ошибаться, т.к., основная сфера моей деятельности – информационные технологии, только косвенно связана с математикой (преимущественно с численными методами).

Для читателей форума:
Во многих современных ИС (например, ERP/MRP, PDM/PLM и т.д.) нет удобного функционала для поддержки процессов коллективного принятия решения. Поэтому разработка таких методов и внедрение их в ИС является особенно актуальной. Еще интереснее создание платформо-независимых библиотек, которые могут интегрироваться в любую современную ИС для поддержки процессов коллективного принятия решения.

В сложной реальной проблеме много нюансов.
Можно, тем не менее, формулировать общие рекомендации.
Например, обрабатывать одни и те же данные разными способами. Совпадающие выводы отражают реальность, несовпадающие - субъективны.
Например,
Можно использовать средние арифметические, средние геометрические, средние степенные, медианы.

Абсолютно с Вами согласен!
Главное, чтобы применение соответствующих методов было обосновано, и не противоречило формальной логике.
Грань между объективным и субъективным достаточно тонкая. Кроме того, она зависит от жизненной позиции конкретного человека (оптимист, пессимист, реалист) с которой корреллируют, а может быть и не корреллируют личностные качества (такие как трус, игрок и т.д.).
Пояснение (шутки ради):
Однажды мой начальник спросил меня: «Как в человеке интеллект коррелирует с совестью?». На первый взгляд совершенно логичный вопрос! Но еще не известно, что окажется страшнее совестливый дурак или бессовестный гений. Таким образом, интеллект и совесть – это сугубо независимые понятия.

С уважением,
Дмитрий Щеглов.