Высокие статистические технологии

Здравствуйте, не могли ли бы мне подсказать программу , с помощью которой можно реализовать метод Монте-Карло и бутстреп? Заранее благодарен.
И еще, а не думали ли вы написать книгу по многомерному статистическому анализу? А то выбор на русском не очень, кроме Кэндалла/Стюарта, Андерсона и Айвазяна нечего выбрать. Первые 2 староваты, а у Айвазяна не слишком удачно получилось.

Датчики псевдослучайных чисел обычно включают в любой пакет. С их помощью можно реализовать метод Монте-Карло и бутстреп.
По многомерному статистическому анализу есть глава в моей "Прикладной статистике". И из нее видно, что многомерный статистический анализ, т.е. набор методов анализа данных, представленных в виде векторов, представляет собой совокупность мало связанных друг с другом разделов.
Есть регрессионный анализ и теория классификации, которые естественно рассматривать в общем виде в рамках нечисловой статистики. Есть многомерное шкалирование - набор разнообразных приемов, которые также примыкают к нечисловой статистике. Отдельно - коэффициенты корреляции. Отдельно - дисперсионный анализ, который опирается на разложение диспесий Фишера, связанное с многомерной нормальностью, которой на самом деле в реальных задачах нет. Правда есть и непараметрический аналог. Отдельно - индексы.
Регрессионный анализ и теория классификации - огромные области, заслуживающие даже не книг, а серий.
По каждой из выделенных областей есть монографии. Даже про ранговые корреляции Кендалл целую книгу написал.
Сочинение по многомерному статистическому анализу было бы книгой промежуточного уровня - между общими учебниками типа моей "Прикладной статистики" (или "Нечисловой статистики") и книгами по конкретной тематике, например, по теории классификации. Читатель не вполне ясен. Если бы была налажена подготовка студентов по прикоадной статистике и я бы читал им курс многомерного статистического анализа, то, наверно, подготовил бы и учебник. Его можно было бы во многом собрать из кусков уже выпущенных учебников - главу по МНК, главу про индекс инфляции и др.
Но пока таких планов нет. За свою жизнь выпустил больше сорока книг, пусть пишут другие.

Александр Иванович ,а не могли бы вы мне еще подсказать по одной проблеме. В многомерной статистике используется матричное дифференцирование. А вот что стоит почитать по поводу матричного дифференцирования, чтобы понять смысл?

См., например, http://www.synergy-gis.com/lib/lesnykh_2/1_7.html

Спасибо большое вам, а не могли бы вы мне подсказать еще немного. Вот как можно аппроксимировать эмпирическое многомерное распределения? обычно используется многомерное нормальное, в котором мы оцениваем ковариационную матрицу и матожидание. Но ведь в таком случае возможности аппроксимации очень ограничены.

И еще ,можно ли по 2(и более) частным распределениям восстановить их совместное распределение, при условии, что они не независимы? или вообще, можно ли восстановить совместное распределение таким образом ,чтобы можно было их покомпонентно аппроксимировать. Ну вот ,скажем, если случайные величины независимы, то их совместное распределение получается через умножение. Т.е. их можно поодиночке аппроксимировать ,а потом получить некоторое многомерное распределение умножением. Больше возможностей для аппроксимации. А вот нечто подобное можно совершить не с независимыми случайными величинами?

С помощью непараметрических оценок плотности. В отличие от одномерного случая, никаких естественных семейств, кроме нормального и равномерного, в многомерном случае не применяют. А сами эти семейства, как и в одномерном случае, не обоснованы.


Хороших описаний многомерных векторов с зависимыми координатами я не знаю.
Конечно, в конкретных задачах могут пригодиться какие-либо специальные модели. Например, если сумма всех координат фиксирована, то все координаты, кроме последней, можно считать независимыми, а последняя выражается через них однозначно.
Или: распределение суммы независимых случайных векторов при росте числа слагаемых сходится к многомерному нормальному (после соответствующей нормировки и при условии, что каждое слагаемое бесконечно мало по сравнению с суммой).

Александр Иванович, не могли бы вы мне помочь в 2 вопросах.
1. вот у меня проблема с построением доверительного интервала (точнее области) для векторного параметра. вот пусть я доверительную область пытаюсь смоделировать с помощью бутстрепа. вот в случае одной компоненты при определенном уровне значимости я мог найти нижние и верхние границы, в которых заключалась оценка. Можно было все легко интерпретировать(от сих до сих варьируется). А вот в случае векторного параметра. вот я хочу 97 процентный доверительный интервал. вот мне эти 3 процента каким образом для отбраковки выбрать?.
У меня была мысль взять вектор матожиданий, а потом посмотреть евклидово расстояние от него до каждого вектора из новой выборки. Ну и получить так самые крайние значения, которые и должны будут составлять примерно 3 процента
2. вот по поводу бутстрепа. Есть ли что почитать по нему ,но более-менее современное. может, советы какие ,как лучше бутстрепировать и т.д.

1.
Выбор доверительной области - на Ваше усмотрение. Иногда помогают соображения из прикладной сферы, для которой работаете.

2.
Лучше брать расстояние Махаланобиса, чтобы оставался эллипсоид рассеивания.

3. Нового не добавлю. Добавлю классику. См., например:
Ермаков С.М. Метод Монте-Карло и смежные вопросы. - М.: Наука, 1975.
Ермаков С.М., Михайлов Г.А. Курс статистического моделирования. - М.: Наука, 1976.
Ермаков С.М., Михайлов Г.А. Статистическое моделирование. - М.: Наука, 1982.
Иванова И.М. Случайные числа и их применения. - М.: Финансы и статистика, 1984.

а будет ли ошибкой, если построить доверительные интервалы с н вероятностью для каждой компоненты вектора, а потом просто взять нижние границы для каждого вектора, верхние? Будет ли искажение выводов из-за этого?
и могли бы вы мне подсказать, что стоит почитать. а то обычно параметры одномерные, с векторными и упоминаний-то мало.

Упоминаний мало, потому что не ясно, как доверительную область определять.
Напрашивается взять доверительные границы отдельно по координатам, но тогда не ясно, какова доверительная ероятность - ведь координаты обычно зависимые случайные величины.

Александр Иванович, здравствуйте еще раз. вот у меня тут возникли 2 вопроса.
1.Если ,скажем, у меня имеются несколько ММП оценок для некоторого параметра. Как выбрать наилучшую? Предположим, в случае регрессии. Попробовать считать без пары наблюдений, чтобы потом проверить с помощью них, какой коэффициент лучше? (сравнить квадрат ошибки). Или как-нибудь бутстрапом смоделировать выборку, чтобы по ней сделать также.
2. Если есть аздача минимизировать какую-нибудь сложную функцию, для которой минимумы сложно аналитически подобрать, то каким алгоритмом лучше минимизировать? Градиентным спуском или лучше что-нибудь еще?
И вот по градиентному спуску. Правильно ли делать следующее? корни для уравнения получим, подбирая значения параметров так, чтобы градиент равнялся нулю. А потом гессианом просто оценим ,минимум ли это, или максимум. или так нельзя делать?

Как это может быть? Плотность одна, и оценка максимального правдоподобия (ОМП) может быть только одна.
Можно использовать другие оценки. Одношаговые оценки лучше ОМП.
Методы минимимзации - большая наука. Читайте литературу. Можно применять методы экстремального планирования эксперимента, или случайного поиска, и т.д., и т.п.