Высокие статистические технологии

Я почитал несколько доступных для моего понимания работ профессора Орлова. В некоторых из них профессор выделяет одну принципиальную проблему статистики: как выбрать распределение наиболее точно соответствующее действительности?


На самом деле это не только проблема статистики, но и математической логики. В логике переход от статистических данных к аналитической формуле распределения назывался бы индукцией. Индукция противоположна дедукции.
Индукция - это переход от частного к общему.
Ч.Пирс взамен индукции предлагает абдукцию. Если индукция - это строгий логический переход, то абдукция предполагает вероятностный характер перехода. Строго говоря, индукция - это противоречивый логический метод.

Общая схема абдукции такова:
1. Наблюдается некоторое примечательное явление Р.
2. Р было бы объяснено, если гипотеза H была истинной.
3. Следовательно, имеется основание думать, что гипотеза H истинна.

Или так:
1. Гипотеза H объяснит эти данные, если она окажется истинной.
2. Никакие другие гипотезы не могут объяснить D так же хорошо, как Н.
-------------------------------------------------------------------------
3. Следовательно, гипотеза Н вероятна.



Предлагаю обсудить эту проблему.

Михаил, таким образом человечество рассуждало много веков назад:
1. Гремит гром и сверкает молния.
2. Мы ничего не знаем об электричестве, магнетизме и прочих законах физики.
3. Мы выдвигаем гипотезу, что все это проделки Зевса-громовержца, и она все прекрасно объясняет.
То же самое некоторые делают в статистике:
1. Эмпирическая функция распределения похожа на кривую Гаусса.
2. Мы не знаем или не хотим знать других распределений, кроме нормального.
3. Значит, это нормальное распределение!
Ясно, что такие рассуждения не являются научными и не должны применяться. Любые сомнения в справедливости той или иной гипотезы должны приветствоваться. Посредством этого и происходит развитие науки.

Да, действительно, многие вслепую производят замену статистических данных на аналитическую формулу гауссова распределения, при этом они далее считают, что это 100%-но правильный ход. Такой подход основан на индукции.
Однако, в реальности индукция недопустима, но допустима абдукция. При абдукции строится гипотеза, которой доверяют, но проверяют.

Меня интересует вопрос: как определить степень достоверности гипотезы, чтобы потом выбрать наиболее подходящую из всех возможных гипотез?

Всё сводится к следующему.

1. Многие любимые математиками и относящиеся к внутриматематическому миру "методы математической статистики" разработаны в предположении, что используемые случайные величины имеют нормальные (гауссовские) распределения.

2. Разработаны методы, именуемые критериями согласия, позволяющие проверять гипотезы о том, что выборки взяты из того или иного распределения. В частности, имеются критерии нормальности. Они описаны в литературе, в частности, в учебниках на сайте (например, "Математика случая").

3. При обработке тысяч выборок реальных данных установлено, что гипотеза нормальности в подавляющем большинстве случаев отклоняется, особенно когда объемы выборок более 50.

4. При обработке реальных выборок небольших объемов (до 50) бывают случаи, когда гипотезу нормальности нельзя отклонить. Однако в таких случаях обычно нельзя отклонить и гипотезы о принадлежности к другим семействам распределений - семейству логистических распределений, распределений Лапласа и др.

5. Итак, почти всегда нет оснований для предположения нормальности.
Следовательно, обоснованными являются лишь методы, не предполагающие нормальности.

6. Поскольку основанные на предположении нормальности алгоритмы анализа данных иногда используются, прежде всего неквалифицированными лицами, то полезно изучить, к каким ошибкам это приводит, насколько существенны ошибки. Для одних алгоритмов влияние отклонений от нормальности мало (доверительное оценивание математического ожидания), для других - велико (алгоритмы отбраковки).

7. Логику правдоподобных рассуждений обсуждал математик Д.Пойа (книги "Математика и правдоподобные рассуждения", "Как решать задачу"). Абдукция - из той же области. Если потерял ключи, то естественно поискать их под фонарем.

8. Пример абдукции.
Универсальная гипотеза Н: "Так устроил Господь Бог". Для любого D никакие другие гипотезы не могут объяснить D так же хорошо, как Н.
Следовательно, есть основания считать, что существует Бог, контролирующий все процессы в мире.

Я вообще занимаюсь проблемой искусственного интеллекта, в частности, меня интересует машинный интеллект в игре "камень-ножницы-бумага". Есть кой-какие серьезные наработки в этом направлении.
Я столкнулся с таким неопровержимым фактом, что интеллект должен мыслить по схеме абдукции.

Например:

1. Мотоцикл - это такое же транспортное средство как и автомобиль (обнаруживаются схожие примечательные признаки).
2. На каждую среднестатистическую российскую семью приходится полавтомобиля.
3. Допускаю мысль, что у каждой семьи есть полмотоцикла.

Для искусственного интеллекта абдукция позволяет генерировать новую информацию, правда, гипотетическую, предположительную.

Пример абдуктивного мышления из игры "камень-ножницы-бумага":
1. Со мной соревнуется тот же противник, что и в прошлый раз (программа может узнать об этом, если в нее вводится имя текущего соперника).
2. Я помню особенности игры этого противника.
3. Вероятно противник будет играть по той же схеме, что и в прошлый раз.

Или такой:
1. Со мной соревнуется новый игрок с неизвестными подходами к игре. Единственное, что есть общего между новым игроком и старыми - это то, что они игроки.
2. Я знаю как играют другие игроки.
3. Вероятно, новый игрок играет также как и все остальные.

И у меня вопрос к знающим, как определить критерий схожести двух произвольных статистических распределений, заданных таблично? Как этот критерий называется по-научному?

1. Как Ваш искусственный интеллект относится к выводу о существовании Бога?

2. О проверке однородности двух выборок читайте гл. 4 "Эконометрики" и последний раздел "Математики случая" (о критерии хи-квадрат).
Судя по терминологии("статистическое распределение"), Вы не знакомы с основами теории вероятностей и статистики. Советую познакомиться.

1. "Мой" искусственный интеллект не думает об Боге, но он свято верит в существование физических законов, он считает, что скорее в мире царствуют закономерности, чем неведомый ему Бог играет в кости.
Другой ответ: если "моему" интеллекту сообщить, что существует Бог, он поверит в это, причем на 100%, пока кто-нибудь не сообщит ему о существовании атеистической теории, достаточно хотя бы мысли о несуществовании Бога. В таком случае степень доверия к теории Бога может зависеть от степени достоверности источника. Доказать однозначно ту или иную версию интеллект не сможет, т.к. информация эта непосредственно недоступна.
2. Я знаком с теорией вероятности и с математической статистикой. Даже понимаю тонкую разницу между ними. Видимо с терминологией проблемы. Осваивал предметы самостоятельно, т.к. в школе и в институте их преподать по-нормальному не смогли - попали под "нож". Зато проходил довольно продвинутый предмет "Планирование эксперимента"...
Если понимать под термином "статистическое распределение" распределение частоты, то вопрос будет звучать так:
Как определить вероятность того, что две выборки имеют одно распределение вероятности, при этом неважно каково это распределение?

Михаил Т., зачем Вы засоряете информационное пространство, раз не читаете того, что Вам отвечают?

Вам было разъяснено, что Ваша "абдукция" приводит к поддержке гипотезы о существовании Бога, поскольку эта гипотеза лучше любых иных объясняет всё, что Вы хотите объяснить.

Вам было разъяснено, где читать о проверке гипотезы однородности двух выборок.

Вы - невежда в области теории вероятностей и математической статистики. Не знаете даже, как эта научная дисциплина называется. А также, как ставится задача проверки статистической гипотезы.

Либо учитесь, либо не засоряйте информационное пространство.

Полностью безграмотное рассуждение А. Фролова в "Советской России" от 19.10.2006:
"В статистике есть понятие «нормального распределения» величин. Если, например, средний рост мужчин равен 175 см, то большинство мужских человеческих особей группируется по росту около этой величины, а карликов и великанов тем меньше, чем дальше от нормы. Нормальное распределение — универсальный закон всех естественных явлений в природе и обществе. А искусственные явления закону нормального распределения часто не подчиняются. Так вот, компьютерный тест на нормальность величин явки в сельских избирательных округах показал следующее. Вероятность того, что их распределение является нормальным, равна 0,127, то есть лежит очень близко к нижнему порогу нормальности, ибо в «классических» нормальных распределениях эта вероятность обычно больше 0,9".
Позор невежде!

Вы наверное не задумывались, но любую истину физического характера нельзя доказать или опровергнуть. Поэтому гипотеза о существовании Бога не лишена смысла. Это принцип радикального конструктивизма, вполне атеистическая философия.

Спасибо, это то, что надо.
"Проверка гипотезы однородности.
Даны две выборки X=(x1,...,xn) и Y=(y1,...,ym) из неизвестных распределений F и G соответственно. Проверяется сложная гипотеза H1={F=G}.
Критерий Колмогорова — Смирнова используют, если F и G имеют непрерывные функции распределения."


P.S. Обучать невежду - более эффективно, чем учить ученого.

Рад Вашему конструктивному подходу.
Отмечу, что "критерия Колмогорова-Смирнова" не существует. Эти два великих статистика никогда не работали вместе и никогда не изучали один и тот же статистический критерий.
Случай двух выборок рассматривал только Н.В. Смирнов.
Публикация: Орлов А.И. О критериях Колмогорова и Смирнова. – Журнал «Заводская лаборатория». 1995. Т.61. No.7, с.59-61.

Когда я читаю простые учебники, не предназначенные для студентов математического факультета, в частности "Математика случая" (автор А.И.Орлов), то не могу понять одной вещи:
Почему для проверки однородности необходимо использовать критерий именно хи-квадрат, в чем особенность этого распределения? Существуют ли другие методики?

В учебниках это все излагается как "рецепт", такое ощущение, что чего-то авторы недоговаривают. Говоря "как", не говорят "почему".
Если инженер будет знать "как", не зная "почему", он обязательно ошибется в реальной ситуации.
------------------------------
Я надеюсь Александр Иванович прислушается к моему маленькому замечанию.

Читайте главу 4 "Эконометрики", в которой обсуждается проблема выбора критерия для проверки гипотезы однородности: http://orlovs.pp.ru/econ.php#ek1
Эта ссылка уже давалась выше в настоящей теме.

Удалено

Разве есть спор?
Я не заметил.
В чем же суть спора?
А ссылки на кем-то осуществленное, но не описанное в цитированных сообщениях моделирование.
Всегда было известно, что существование Бога нельзя опровергнуть.
Известно также, что естественные модели приводят к выводу, что вероятность возникновения жизни на Земле равна 0 и вероятность того, что эволюция по Дарвину приводит к наблюдаемому биоразнообразию, равна 0.

Если кто-то взамен теории о Боге предложит теорию о Матрице во всех газетах, то вероятность этой теории резко возрастет... Вероятность штука такая...

Теория вероятностей и математическая статистика - учебный курс, который студенты изучают на втором году обучения в большинстве вузов.