Высокие статистические технологии

УДК 004.8 : 519.8
РЕВОЛЮЦИЯ В МАТЕМАТИЧЕСКИХ МЕТОДАХ ИССЛЕДОВАНИЯ
И ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ

Орлов А.И.
д.э.н., д.т.н., к.ф.-м.н., проф., Московский государственный
технический университет им. Н.Э. Баумана;
Москва, Россия
prof-orlov@mail.ru

Аннотация.
Научная основа искусственного интеллекта должна соответствовать современному уровню развития науки. За последние десятилетия в области математических методов исследования произошла принципиально важная научная революция. Ее идеи необходимо использовать в научных исследованиях и преподавании.
Ключевые слова: научная основа, математические методы, революция, нечисловая статистика, нечеткость.
Автор занимается проблемами искусственного интеллекта около полувека (первые статьи напечатаны в 1972 г.). Основные результаты включены в серию из трех монографий «Искусственный интеллект», посвященных нечисловой статистике [1], экспертным оценкам [2], статистическим методам анализа данных [3].
В "Национальной стратегии развития искусственного интеллекта на период до 2030 года принято следующее определение: "... искусственный интеллект - комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека». этом определении прямо не говорится про научную основу "комплекса технологических решений". По нашему мнению, в социально-экономической области в качестве такой основы можно использовать организационно-экономическое моделирование [1 – 3].
Необходимо добиться, чтобы научная основа "комплекса технологических решений", т.е. искусственного интеллекта, соответствовала современному уровню развития науки. Здесь речь идет о математических методах исследования. На них можно взглянуть с двух точек зрения - прикладников, применяющих такие методы, и теоретиков, их разрабатывающих.
Прикладники обычно считают, что совокупность нужных им математических методов давно разработана, всё необходимое для практического применения изложено в учебниках и справочниках, для проведения расчетов достаточно распространенных программных продуктов, а теоретики занимаются отдельными мелкими улучшениями и вникать в их работы прикладникам нет необходимости, нецелесообразно, поскольку времени всегда не хватает.
Теоретики знают, что за последние десятилетия в области математических методов исследования произошла принципиально важная научная революция. В ее ходе создана новая методология, разработаны резко отличающиеся от прежних модели и методы. Усилиями этой категории исследователей научная революция осуществлена и развивается.
В настоящее время между воззрениями прикладников и теоретиков в области математических методов исследований наблюдаем значительное различие. Для его уменьшения необходимо разъяснить научному сообществу существо обсуждаемой научной революции.
В хорошо знакомым прикладникам учебникам и справочникам, соответствующим научному уровню середины ХХ в., в качестве статистических данных рассматривались числовые величины, т.е. действительные числа, конечномерные вектора, функции с числовыми значениями (временные ряды, случайные процессы). Термин "числовые" означает, что элементы выборки можно складывать и умножать на число, т.е. эти элементы лежат в некотором линейном пространстве. В результате научной революции конца XX - начала XXI вв. произошел отказ от предположения линейности. В качестве выборочных данных стали рассматривать элементы пространств произвольной природы. Центром математических методов исследования стала статистика нечисловых данных.
Вторая принципиально важная черта научной революции - обобщение классических типов чисел путем явного учета размытости (нечеткости, расплывчатости) реальных статистических данных. Для всех видов измерений их результаты имеют погрешности, однако классические статистические методы не учитывают наличие погрешностей. Для преодоления этого недостатка разработана статистика интервальных данных, в которых элементы выборки - не числа, а интервалы. Учет погрешностей измерений может быть проведен и путем перехода к анализу нечетких данных.
В научных исследованиях и преподавании необходимо использовать идеи научной революции.

Список литературы
1. Орлов А.И. Искусственный интеллект: нечисловая статистика. — Москва : Ай Пи Ар Медиа, 2022. — 446 c.
2. Орлов А.И. Искусственный интеллект: экспертные оценки. — Москва : Ай Пи Ар Медиа, 2022. — 436 c.
3. Орлов А.И. Искусственный интеллект: cтатистические методы анализа данных. — Москва : Ай Пи Ар Медиа, 2022. — 843 c.


THE REVOLUTION IN MATHEMATICAL RESEARCH METHODS
AND ARTIFICIAL INTELLIGENCE
Orlov A.I.
Doctor of Economics, Doctor of Technical Sciences, Candidate of Physical and
Mathematical Sciences, professor, Bauman Moscow State Technical University;
Moscow, Russia
prof-orlov@mail.ru

Abstract.
The scientific basis of artificial intelligence must correspond to the current level of development of science. Over the past decades, a fundamentally important scientific revolution has occurred in the field of mathematical research methods. Her ideas need to be used in research and teaching.
Keywords: scientific basis, mathematical methods, revolution, non-numerical statistics, fuzziness.

The author has been studying the problems of artificial intelligence for about half a century (the first articles were published in 1972). The main results are included in a series of three monographs “Artificial Intelligence”, dedicated to non-numerical statistics [1], expert assessments [2], and statistical methods of data analysis [3].
The “National Strategy for the Development of Artificial Intelligence for the Period until 2030” adopted the following definition: “... artificial intelligence is a set of technological solutions that allows you to simulate human cognitive functions (including self-learning and finding solutions without a predetermined algorithm) and obtain results when performing specific tasks , comparable, at a minimum, with the results of human intellectual activity.” This definition does not directly talk about the scientific basis of the “complex of technological solutions.” In our opinion, in the socio-economic field, organizational and economic modeling can be used as such a basis [1 – 3].
It is necessary to ensure that the scientific basis of the “complex of technological solutions”, i.e. artificial intelligence, corresponded to the current level of development of science. Here we are talking about mathematical research methods. They can be looked at from two points of view - applied scientists who use such methods, and theorists who develop them.
Applied scientists usually believe that the set of mathematical methods they need has long been developed, everything necessary for practical application is set out in textbooks and reference books, fairly common software products are used to carry out calculations, and theorists are engaged in individual minor improvements and there is no need for applied scientists to delve into their work, it is inappropriate, since there is never enough time.
Theorists know that over the past decades a fundamentally important scientific revolution has occurred in the field of mathematical research methods. In its course, a new methodology was created, models and methods that differed sharply from previous ones were developed. Through the efforts of this category of researchers, the scientific revolution has been carried out and is developing.
Currently, we observe a significant difference between the views of applied scientists and theorists in the field of mathematical research methods. To reduce it, it is necessary to explain to the scientific community the essence of the scientific revolution being discussed.
In textbooks and reference books well known to applied scientists, corresponding to the scientific level of the mid-twentieth century, numerical values were considered as statistical data, i.e. real numbers, finite-dimensional vectors, functions with numerical values (time series, random processes). The term "numeric" means that the elements of the sample can be added and multiplied by a number, i.e. these elements lie in some linear space. As a result of the scientific revolution of the late 20th - early 21st centuries. the assumption of linearity was abandoned. Elements of spaces of arbitrary nature began to be considered as sample data. The center of mathematical research methods has become the statistics of non-numerical data.
The second fundamentally important feature of the scientific revolution is the generalization of classical types of numbers by explicitly taking into account the fuzziness (vagueness, vagueness) of real statistical data. For all types of measurements, their results have errors, but classical statistical methods do not take into account the presence of errors. To overcome this drawback, statistics of interval data have been developed, in which the sampling elements are not numbers, but intervals. Measurement errors can also be taken into account by moving to fuzzy data analysis.
It is necessary to use the ideas of the scientific revolution in scientific research and teaching
References
1. Orlov A.I. Artificial intelligence: non-numerical statistics. - Moscow: IP Ar Media, 2022. - 446 p.
2. Orlov A.I. Artificial intelligence: expert estimation. - Moscow: IP Ar Media, 2022. - 436 p.
3. Orlov A.I. Artificial intelligence: statistical methods of data analysis. - Moscow: IP Ar Media, 2022. - 843 p.


Публикация:
1302. Орлов А.И. Революция в математических методах исследования и искусственный интеллект // Интеллектуальные технологии в эргономике и когнитивных науках. Брянск, 2024. C. 54-57.

1304. Орлов, А. А. Коэффициенты корреляции: шкала Чеддока и значимость / А. А. Орлов, А. И. Орлов // Контроллинг. – 2024. – № 4(94). – С. 28-37. – EDN XLHXMY


УДК 303.5:519.2
JEL: C01, C12, C44

Орлов А.А.,
ассистент кафедры "Экономика и организация производства", МГТУ им. Н.Э. Баумана
Орлов А.И.,
д.э.н., д.т.н., к.ф.-м.н., профессор,
зав. НИЛ «Экономико-математические методы в контроллинге», МГТУ им. Н.Э. Баумана

КОЭФФИЦИЕНТЫ КОРРЕЛЯЦИИ: ШКАЛА ЧЕДДОКА И ЗНАЧИМОСТЬ

Согласно вероятностно-статистической модели исходные данные - выборка из двумерного распределения. Введены коэффициенты корреляции Пирсона, Спирмена и Кендалла. Показана некорректность термина "корреляционно-регрессионный анализ". Корреляционный анализ позволяет оценивать степень связи, прогнозировать значение одной переменной по значению другой, но не позволяет управлять. Рассмотрен ряд вариантов шкалы Чеддока. Выборочные коэффициенты корреляции асимптотически нормальны, когда теоретические равны 0.
Ключевые слова: корреляция, вероятностно-статистическая модель, коэффициент корреляции Пирсона, коэффициент корреляции Спирмена, коэффициент корреляции Кендалла, шкала Чеддока, проверка гипотез

Anton A. Orlov, engineer of the department "Economics and organization of production", BMSTU
Alexander I. Orlov, Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci., professor, head of Laboratory of economic-mathematical methods in controlling, BMSTU

CORRELATION COEFFICIENTS: CHADDOCC SCALE AND SIGNIFICANCE

According to the probability-statistical model, the initial data are a sample from a two-dimensional distribution. Pearson, Spearman, and Kendall correlation coefficients are introduced. The incorrectness of the term "correlation-regression analysis" is shown. Correlation analysis allows one to estimate the degree of connection, to predict the value of one variable based on the value of another, but does not allow control. A number of variants of the Chaddock scale are considered. Sample correlation coefficients are asymptotically normal when the theoretical ones are equal to 0.
Keywords: correlation, probability-statistical model, Pearson correlation coefficient, Spearman correlation coefficient, Kendall correlation coefficient, Chaddock scale, hypothesis testing.

Введение
Термин «корреляция» означает «связь между переменными». Применительно к анализу данных этот термин обычно используется в сочетании «коэффициент корреляции». Такие коэффициенты применяют для измерения величины и направленности связи между случайными переменными.
В [1] приведены результаты поиска публикаций в научной электронной библиотеке eLIBRARY.RU по ключевым словам: «Корреляция», «Корреляция Пирсона», «Корреляция Спирмена», «Корреляция Кендалла». В табл. 1 дана краткая выдержка.
Данные табл. 1 показывают, что методы изучения корреляции широко применяются при анализе данных в различных областях знаний. Однако, как показаны ниже, многие вопросы требуют тщательного рассмотрения. Им и посвящена настоящая статья.
Важно отметить, что большое число авторов не сообщают, какой именно коэффициент корреляции они используют. В таких случаях чаще всего речь идет о коэффициенте корреляции Пирсона.

Коэффициенты корреляции
Как показано в [2], описание методов анализа данных следует начинать с формулировки соответствующей вероятностно-статистической модели.

См. прикрепленный файл

1305. Орлов А.И. Оценивание параметров гамма-распределения / Заводская лаборатория. Диагностика материалов. 2025. Т.91. №1. С. 79-88.

ОЦЕНИВАНИЕ ПАРАМЕТРОВ ГАММА-РАСПРЕДЕЛЕНИЯ

© Александр Иванович Орлов
Московский государственный технический университет им. Н.Э. Баумана,
Россия, 105005, Москва, Бауманская 2-я, д. 5; e-mail: prof-orlov@mail.ru

Поступила в редакцию
Принята к публикации

Постановки задач статистического анализа данных, имеющих гамма-распределение, относятся к классической математической статистике. Как ни странно, не все одни были решены в рамках параметрической статистики, находившейся на переднем крае развития статистической науки в первой трети ХХ . Необходимо заполнить лакуны (как и, например, в случае бета-распределения), поскольку в настоящее время гамма-распределение широко используется в теоретических и прикладных работах. Примером является ГОСТ 11.011-83 "Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения". Стандартное гамма-распределение определяется параметром формы. При переходе к масштабно-сдвиговому семейству добавляются параметры масштаба и сдвига. Рассмотрены семь постановок задач оценивания параметров, поскольку каждый из трех параметров может быть как неизвестным, так и известным. Для каждой из постановок найдены оценки метода моментов и их асимптотические дисперсии. При известном параметре сдвига получены оценки максимального правдоподобия. Одношаговые оценки, асимптотически эквивалентные оценкам максимального правдоподобия, используем при неизвестном параметре сдвига. Наличие погрешностей измерения отражается на точности оценок параметров при применении тех или иных алгоритмов расчетов. В ГОСТ 11.011-83 на основе модели интервальных данных даны правила выбора метода оценивания при неизвестных параметрах формы и масштаба и известном параметре сдвига. При разработке ГОСТ 11.011-83 были выявлены проблемы, для решения которых предложены новые с научной точки зрения методы. Дальнейшее развитие новых научных результатов, полученных в ходе решения практической задачи (разработки ГОСТ 11.011-83), привело к созданию новых научных направлений. Речь идет о статистике интервальных данных, а также об одношаговых оценках. К настоящему времени статистика интервальных данных как раздел математической статистики достаточно развита и охватывает все основные области статистических методов. Она является важной составной частью системной нечеткой интервальной математики.
Ключевые слова: статистические методы, гамма-распределение, оценивание параметров, метод моментов, метод максимального правдоподобия, одношаговые оценки, статистика интервальных данных, асимптотические распределения, доверительные интервалы.

ESTIMATION OF GAMMA DISTRIBUTION PARAMETERS

© Alexander I. Orlov
Bauman Moscow State Technical University, 5, 2-ya Baumanskaya ul., Moscow, 105005, Russia; e-mail: prof-orlov@mail.ru

Statements of problems of statistical analysis of data with a gamma distribution are related to classical mathematical statistics. Oddly enough, not all alone were solved within the framework of parametric statistics, which was at the forefront of the development of statistical science in the first third of the 20th century. As with the beta distribution, gaps need to be filled. This is necessary because the gamma distribution is currently widely used in theoretical and applied work. An example is GOST 11.011-83 "Applied statistics. Rules for determining estimates and confidence limits for gamma distribution parameters". The standard gamma distribution is determined by the shape parameter. When switching to a scale-shift family, scale and translation parameters are added. Seven formulations of parameter estimation problems are considered, since each of the three parameters can be either unknown or known. For each of the formulations, the estimates of the method of moments and their asymptotic variances are found. For a known shift parameter, maximum likelihood estimates are obtained. One-step estimates, asymptotically equivalent to maximum likelihood estimates, are used for an unknown shift parameter. The presence of measurement errors affects the accuracy of parameter estimates when applying certain calculation algorithms. In GOST 11.011-83, based on the interval data model, rules are given for choosing an estimation method for unknown shape and scale parameters and a known shift parameter. During the development of GOST 11.011-83, problems were identified, for the solution of which new methods from a scientific point of view were proposed. Further development of new scientific results obtained in the course of solving a practical problem (development of GOST 11.011-83) led to the creation of new scientific directions. We are talking about the statistics of interval data, as well as one-step estimates. To date, the statistics of interval data as a branch of mathematical statistics is quite developed and covers all the main areas of statistical methods. It is an important part of systemic fuzzy interval mathematics.
Keywords: statistical methods, gamma distribution, estimation of parameters, method of moments, maximum likelihood method, one-step estimates, statistics of interval data, asymptotic distributions, confidence intervals.

Введение
Математические методы исследования опираются на научную дисциплину "Теория вероятностей и математическая статистика". В настоящее время она широко известна научной общественности. При рассмотрении непрерывных распределений вероятностей обычно упоминают семейство гамма-распределений [1 - 3]. Известные методы оценивания параметров вероятностных распределений могут быть применены к этому семейству. Так, в серии государственных стандартов "Прикладная статистика" нами был разработан ГОСТ 11.011-83, посвященный алгоритмам получения точечных оценок и доверительных границ для параметров семейства и подсемейств гамма-распределений [4]. При подготовке этого нормативно-технического документа был проведен ряд научно-исследовательских работ, позволивших получить достаточно продвинутые алгоритмы расчетов в рассматриваемой области. Однако указанный стандарт был отменен в 1987 г. вместе со всей серией "Прикладная статистика" (причины этого волюнтаристского решения достаточно подробно рассмотрены в [5]). После этого момента брошюру [4] можно было бы рассматривать лишь как научную публикацию. Однако этому мешал её первоначальный статус официального нормативно-технического документа (в соответствии с ним во втором издании даже не были указаны разработчики). Из библиотек стандартов брошюра [4] была исключена (утилизирована), а в научный обиход не попала. По нашему мнению, заслуживают внимания научные результаты, на основе которых она была разработана. В дальнейшем эти результаты были обобщены и получили широкое развитие. Им посвящена настоящая статья, в которой впервые систематически рассмотрена проблема оценивания параметров гамма-распределений.
Постановки задач статистического анализа данных, имеющих гамма-распределение, относятся к классической математической статистике. Как ни странно, не все одни были решены в рамках параметрической статистики, находившейся на переднем крае развития статистической науки в первой трети ХХ в. Как и в случае бета-распределения [6], необходимо заполнить лакуны. Это необходимо, поскольку гамма-распределения часто используется в теоретических и прикладных работах. Приведем примеры.
Гамма-распределения широко применяются в различных областях науки и практики, в частности, в надежности (например, в модели "нагрузка-прочность" [7]) и теории испытаний, в различных областях техники и технологии (в том числе при моделировании точности технологических процесса [8]), в метеорологии и т.д. [9]. В частности, установлено, что с помощью гамма-распределений могут быть смоделированы распределения общего срока службы изделия, длины цепочек токопроводящих пылинок, время достижения изделием предельного состояния при коррозии [10], время наработки до k-го отказа [11]. В ряде случаев продолжительность жизни больных хроническими заболеваниями, время достижения определения эффекта при лечении и другие используемые в медико-биологических исследованиях случайные величины имеют гамма-распределения. Для описания спроса в экономико-математических моделях управления запасами может быть наиболее адекватным гамма-распределение [12], как для моделирования длин путей следования пассажиров маршрутным транспортом [13]. В настоящее время гамма-распределение широко используется в теоретических и прикладных работах (см., например, [14 - 17]).