Высокие статистические технологии

Здравствуйте, Александр Иванович,

В настоящее время пытаюсь решить примерно следующую задачу.
В систему неприрывно поступают данные в виде наборов пар вида имя=значение. То есть что-то вроде:
> a=1; b=2; c=3
> a=1; b=2
> a=1; b=3; k=5
> a=2; b=4; e=5; g=7; x=2

При этом множество переменных и их значений не определено и может расти исходя из поступающих наборов.

Известно следующее:
1. есть переменные, такие что два набора, имеющие разные значения таких переменных скорее непохожи чем похожи
2. есть переменные, такие что два набора, имеющие одинаковые значения таких переменных скорее похожи чем непохожи
3. могут существовать переменные, обладающие как 1м так и 2м свойством
4. могут существовать переменные, не обладающие ни 1м ни 2м свойством
5. переменная "a" обладает 1м свойством а переменная "b" обладает 2м свойством (для простоты допустим что "a" и "b" присутствуют во всех наборах)

Необходимо:
1. Понять характер остальных переменных. При этом, поскольку постоянно поступают новые наборы данных, необходимо подстраивать данные знания под общую картину наборов. То есть система может сначала ошибочно решить, что переменная обладает 1м или 2м свойством, затем, накопив достаточно знаний об этой переменной, иметь возможность отказаться от своих предположений.
2. Собственно, основная цель задачи - сгруппировать похожие наборы на основе переменных, обладающих 1м и 2м свойствами

Хотелось бы получить представление о том, в каком направлении искать решение? Или, быть может, подобная или похожая задача уже имеет готовое решение.

1. Если,
то речь идет о кластерном анализе, позволяющем разбить наборы на группы похожих. И - в дальнейшем - о дискриминантном анализе, дающем правила отнесения вновь поступающего набора в один из классов.
Т.е. о теории классификации - см. пп. 5.3, 5.4 "Эконометрики".
Тут надо ввести меру сходства наборов, например, в виде суммы таких мер по отдельным переменным.

2. Если же
, то Вы хотите классифицировать переменные, относя их в один из 4-х классов.
При этом понятие "похожесть наборов", видимо, не связано с переменными. Т.е. для каждой пары наборов Вы каким-то образом знаете, похожи они или не похожи.

В варианте 1 исходное понятие - переменные, по ним оцениваеться похожесть.
В варианте 2 исходное понятие - похожесть, по знаниям о похожести классифицируются переменные.

Тпак что остается неясной постановка задачи.

В целом же эту проблематику можно отнести к плохо определенной области под названием "Искусственный интеллект".

основная цель задачи - сгруппировать похожие наборы на основе переменных, обладающих 1м и 2м свойствами

НО.
К сожалению изначально я знаю ровно 1 переменную, обладающую 1м свойством, и ровно 1 переменную, обладающую 2м свойством. Характер остальных переменных для меня неизвестен. И условия задачи таковы, что я не могу использовать переменные если я не знаю их характера. Исходя только из этих знаний, все что я могу - это объединять все наборы, имеющие одинаковое значение переменной 2-го рода (при этом разрешая конфликты в случае наличия в двух наборах разных значений переменных 1 рода и одинаковых значений переменных 2 рода, впрочем это уже детали). При этом число кластеров будет стремиться к числу значений известной мне переменной 2 рода.
Проблема состоит в том, что известная мне переменная 2 рода слишком непостоянна и количество наблюдаемых значений слишком велико (ожидание числа наборов с одинаковым значением этой переменной около 20).
Поэтому возникает необходимость использовать переменные, характер которых изначально неизвестен. Для этого необходимо оценить их характер.


На данный момент у меня есть подобие решения для упрощенной модели. Упрощение заключается в том, что я считаю характер переменных дискретным (то есть, если наборы имеют одинаковые значения переменной 2 рода, то такие наборы эквивалентны; и если наборы имеют разные значения переменной 1 рода, то они не эквивалентны)

Пусть v(r,n) - значение переменной n в наборе r.
Пусть Nc - множество переменных 1 рода, Nu - множество переменных второго рода (пересечение может быть непустым)
Тогда
n in Nc -> (NOT(v(r1,n) = v(r2,n)) -> NOT(r1 ~ r2))
n in Nu -> (v(r1,n) = v(r2,n) -> r1 ~ r2)

Допустим, есть 2 набора r1 и r2.
Оба набора содержат переменные a,b и c.
a in Nc
b in Nu
c - переменная, чей характер пока не определен

Очевидно, что возможны 4 ситуации:
S1. v(r1, a) = v(r2, a) AND v(r1, b) = v(r2, b)
S2. v(r1, a) = v(r2, a) AND NOT (v(r1, b) = v(r2, b))
S3. NOT(v(r1, a) = v(r2, a)) AND v(r1, b) = v(r2, b)
S3. NOT(v(r1, a) = v(r2, a)) AND NOT(v(r1, b) = v(r2, b))

В S1 ситуации r1 ~ r2, в S4 ситуации NOT(r1 ~ r2), а S2 и S3 - неопределенность.

На основе большого числа наблюдаемых ситуаций S1 и S4 я делаю предположение что:
A1. c in Nc если НЕ существует (на текущем объеме наблюдений) таких r1, r2 что верно NOT(v(r1,n) = v(r2,n)) AND r1 ~ r2
A2. c in Nu если НЕ существует (на текущем объеме наблюдений) таких r1, r2 что верно v(r1,n) = v(r2,n) AND NOT(r1 ~ r2)

Проблемы данного упрощения следующие:
P1. Допустим я считаю, что N наблюдений переменной 'c' достаточно для А1 или А2. Существует вероятность что на N+M (M>0) наблюдениях переменной c я опровергну предположения А1 или А2
P2. Характер свойств по своей природе не дискретный и, поэтому, ситуации S2, S3 - не редкость в данной модели.

Очень хочется избавиться от дискретности характера переменных и перейти к вероятностным(?) характеристикам.

1. Не вполне понятно, о чем речь.
Ранее о ничего не сказано.
Не ясно, что здесь за "n", и куда делось ранее введенное "с".

В фразе термин "вероятность", видимо, не относится к теории вероятностей.

Тем не менее общее направление мысли достаточно ясно.

2. По поводу поставленных мыслей можно сказать следующее:

Есть основания считать, что окружающий мир дискретен (см. "Заключение" в учебнике "Прикладная статистика " на сайте). Всегда целесообразно разобрать дискретный случай.

Чтобы

надо построить вероятностную модель порождения исходных данных.