Высокие статистические технологии

Здравствуйте, Александр Иванович!
Сразу извинюсь, за возможные огрехи в формулировках - в вопросах статистики пришлось разбираться самому по Вашим учебникам (за учебники - большое спасибо!).

Я работаю над диссертацией "Прогнозирование финансового результата предприятия авиационной промышленность в условиях нестабильности внешних факторов". Суть в построении среднесрочного прогноза (горизонт 1-2 года), который должен использоваться при принятии решения о плане предприятия, а также должен выявлять потребность в разработке и внедрении специальных мероприятий по адаптации предприятия к нестабильности внешних факторов.

Для решения задачи, как я понимаю, применимо несколько подходов: многомерная регрессия, ЖОК и иммитационно-статистическое моделирование. Можно также применить аппарат аналогичный управлению рисками (умножение на вероятность) или можно перейти от чисел к интервалам.
Я остановился на иммитационно-статистическое моделировании по следующим причинам:
1. Результатом прогноза будет распределение финансового результата, отражающее все множество вероятных сценариев.
2. По распределению можно определить квантили финансового результата, которые наглядно демонстрируют руководителям предприятия вероятность того или иного значения финансового результата.
3. При оценке вероятностных факторов модели финансового результата можно использовать и экспертные оценки, и статистические методы. Причем можно использовать как количественные, так и качественные факторы.
4. Есть другие менее значимые аргументы..

С другой стороны, многомерная регрессия и ЖОК нацелены соответственно на оптимизацию и на учет взаимовлияния факторов. При применении подходов, разработанных для анализа рисков, мы не получим информации о распределении финансового результата. Об использовании аппарата статистики интервальных данных ничего не могу сказать - пока не разобрался.

Естественно при использовании иммитационно-статистического моделирования есть свои проблемы. Часть удалось решить: учет факторов, по которым нет статистики, корреляция факторов.

Но есть проблема, которая вызывала затруднения.
Для применения метода необходимо для случайных факторов найти предполагаемые распределения в прогнозном периоде. При этом, есть статистика (объемы выборок для разных факторов от 50 до 400).
Но реальные данные, как Вы много раз отмечали, почти никогда не соответствуют теоретическим законам распределений (и никогда нормальному), а тем более вряд ли повторяются из периода в период или не изменяются в течении периода. При этом, сглаживание и тп методы не помогают.
Из Ваших трудов следует, что надо использовать непараметрический МНК и непараметрическое оценивание характеристик. Но это не решает вопрос применимости метода статистических испытаний.

Вариантов решения возникло несколько:
1. Опираясь на соображения устойчивости метода статистических испытаний к законам распределения входных случайных величин, априорно задавать законы распределения. В соответствии с ЦПТ распределение результатов статистических испытаний будет близко к нормальном вне зависимости от законов распределений входных параметров. В качестве возможных законов экспертом рассматриваются: нормальный, логонормальный, гамма, равномерное, треуглоьное. Параметры закона распределения принимаются равными непараметрически оцененным характеристикам (здесь большой вопрос обоснованности)
2. Разделить эмпирическое распределение на 6 интервалов [Mo-3q;Mo-2q), [Mo-2q;Mo-1q), [Mo-1q;Mo) ... [Mo+2q;Mo+3q] и подсчитать в них частоту. Априорно предположить, что в прогнозном периоде будет распределение равномерное на 6, указанных интервалах.
3. Использовать статистические данные только для нахождения прогноза по тренду и оценок разброса, а далее экспертным путем определять возможные сценарии и их вероятности.

Прошу дать критику выбора метода статистического моделирования.
Как, по-Вашему мнению, лучше всего решать проблему прогноза закона распределения вероятностного фактора в будущем периоде (при наличии статистики).

Спасибо!
С уважением, Зверев Алексей

Несколько соображений.

1. Неверно, что

Обзор методов прогнозирования дан, например, в в гл.14 учебника "Эконометрика".

2. Сначала надо сформулировать модель, а потом подобрать метод для решения поставленной задачи.

3. Не является обоснованным метод:

Откуда Вам известно, что имеется устойчивость? Обычно ее нет.

3. Нерационально:

Первый шаг ведет к потере информации, второй - необоснован.
Лучше взять непараметрическую оценку плотности ("Эконометрика", разд. 8.5) или применить какой-либо вариант бутстреп-метода ("Эконометрика", разд. 11.4).

4. Не ясно
Обычно сначала выделяют сценарии, а потом в каждом из них используют статистические данные для нахождения прогноза по тренду и оценок разброса

5. На вопрос ответить нельзя, поскольку ответ зависит от модели явления, а модель не описана.

Александр Иванович, благодарю за критику. Привожу необходимые пояснения.
1. Основная модель прогноза прибыли содержит много факторов, описание ее громоздко. Если привести сокращенную версию — принципиально ничего не поменяется. Допустим задача — построить с помощью Метода Монте-Карло вероятностную оценку выручки, в виде распределения плотностей вероятности. Выручка задается формулой:
Выручка = Кол-во1 Х Цена1 + Кол-во2 Х Цена2 + … + Кол-воN Х ЦенаN
По части контрактов количество и цены — детерминированные величины, а по части — случайные величины (то есть контракты не подписаны). При этом, по случайным величинам за прошлые периоды накоплена статистика для продукта / канала продаж.
2. Для использования метода Монте-Карло нужно получить вероятностные оценки случайных величин в виде функций распределения. В «идеальном» случае, проведя анализ по накопленной статистике мы получем, что на протяжении нескольких периодов имелся устойчивый тренд, а отклонения с.в. от тренда распределялись каждый месяц по одному и тому же закону распределения (да еще и с одними и теми же параметрами). Значит, в этом «идеальном» случае мы можем справедливо допустить, что в прогнозном периоде тренд сохранится и функция распределения отклонений от тренда сохранится. Далее эти оценки закладываются в компьютер и выполняется моделирование Выручки.
3. Но на практике, конечно, такого не бывает! Редко, распеределения реальных выборок хорошо согласуются с известными законами распределений. А уж тем более, это не повторяется из периода в период.
4. Часто можно встретить «не совсем» обоснованные советы практиков по решению этой проблемы. Наиболее часто я встречал рекомендацию по априорному выбору того или иного закона распределения: «Для моделирования цены продажи ….. используется треугольное распределение: ….. Такое распределение, как правило, используется для моделирования параметров, в значительной степени контролируемых менеджерами проекта. …. В отличие от цены, ….., объем продаж зависит от неконтролируемых фирмой факторов. Как правило, объем продаж моделируется как случайная переменная с нормальным распределением.» http://gaap.ru/articles/77581/. Причем в учебниках по использованию многих «именитых» западных информационных систем пропагандируется именно подобный подход (IBM SPSS, Oracle Crystall Ball, Statisica, @risk, Systat).

5. Пояснение по пункту 5 прошлого поста.

Да, согласен, для получения наиболее адекватных результатов нужно построить модель каждого явления (каждого продукта, заказа и т.п.) и по статистическим данным выводить законы распределения (как?).
Но:
А.) Позволит ли это повысить адекватность? Ведь распределения меняются от периода к периода и, как Вы говорите в гл. 4 «Эконометрики», «К сожалению, параметрические семейства существуют лишь в головах авторов учебников по теории вероятностей и математической статистике.»
Б) Что делать, если ключевых факторов много (более 100) и общей модели поведения для них нет (допускаю, что можно сделать обобщенную модель для кол-ва и цены по группам товаров, но если рассматривать как цель прогноз прибыли, то факторов станавится значительно больше)?
В) Даже если один раз проделать эту работу (сделать модель для каждого фактора), нам нужно пересматривать эти модели от периода к периода. Это на практике выльется в не применимость метода на предприятии: объем работы больше чем эффект от использования метода.

6. Пояснение по пункту 3 прошлого поста.

Если я правильно понимаю суть ЦПТ, то рассуждения по поводу устойчивости следующие:
А) В соответствии с ЦПТ случайная величина (функция Y), которая является суммой большого количества разнораспределенных независимых слагаемых (аргументов), будет иметь распределение, приблежающееся к нормальному.
Б) Обозначим как f “истинную” функцию плотности распределения одного из аргументов, влияние которого на функцию Y мало.
В) Предположим, что f симметрична относительно мат ожидания. Тогда, если вместо f при моделировании мы будем использовать функию нормального распределения с такими же характеристиками мат ожтдания и СКО, изменение функции Y будет не значительным.
Г) Аналогично можно использовать экспертное мнение для замены «истинных» (но неизвестных) функций на равномерное распределение, треугольное распределение и т.п. Делать это исходя из экспертной оценки гистограммы распределения за предыдущие периоды.
Согласен, что слабое обоснование, но как еще обосновать рекомендации практиков (см. 4 в этом посте). Или есть более корректный подход, который может быть реализован на практике???

С уважением, Зверев Алексей

Вот и модель:
Значит, если число независимых случайных слагаемых велико и среди них нет преобладающих, то по центральной предельной теореме (для разнораспределенных слагаемых) распределение суммы приближается нормальным распределением.

Распространенное заблуждение:

"Учебники" к кперечисленным системам, как правило, написаны невеждами (подробнее см. тему " Статистические пакеты – инструменты исследователя" http://forum.orlovs.pp.ru/viewtopic.php?t=657 ).

Почти верно
Надо добавить, что ни одно слагаемое не является преобладающим (каждое является бесконечно малым по сравнению с суммой).
А если берется не сумма, а произведение, то результат будет приближаться логарифмически нормальным распределением.

О современном подходе я уже писал:
Современный пордход состоит в использовании непараметрических методов, в частности, непараметрических оценок плотности, различных вариантов бутстрепа.

Большое спасибо, Александр Иванович!
Буду работать.