О методологически ошибочных методах анализа и оценки результатов научной деятельности
Орлов А.И. (д.э.н., д.т.н., к.ф.-м.н, профессор МГТУ, МФТИ, директор Института высоких статистических технологий и эконометрики, советник президента Группы авиакомпаний "Волга-Днепр")
Наука и научное обслуживание деятельность – крупная отрасль народного хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в областьи управления научной деятельностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методологические ошибки при выборе таких методов приводят к управленческим решениям, наносящим вред народному хозяйству. В статье рассмотрены ошибки двух типов – связанные с принятием решений на основе числа публикаций в научных журналов и вытекающие из антинаучной классификации отраслей научной деятельности.
1. Вред упора на число публикаций в научных журналах
Очевидно, что большое значение имеют методы оценивания эффективности той или иной деятельности. В области научно-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукометрики [1]. Приведем некоторые соображения в рамках научной школы В.В. Налимова.
Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация – тезисы доклада. При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким аккумулятором стал сборник [2].
Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества. В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила – нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов», тематика которого, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей. Аналогична ситуация с научным направлением «Экспертные оценки».
Следующий этап за публикацией в журнале или сборнике – выпуск монографии, подводящей итоги соответствующего этапа работ. Затем – создание учебника. Ясно, что на широкое использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.
Отметим, что научные результаты используются не только при сочинении статей, но и при подготовке отчетов, диссертаций, выполнении прикладных работ, в том числе закрытых.
Заключительный этап – знание становится общеизвестным. Например, отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей – акад. С.Н. Бернштейна и др., - которые предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода – на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов – пишут дифференциалы и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка публикаций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование.
Обратите внимание – для развития нового направления публикация в научном журнале не нужна. Кроме того, принципиально новую работу туда просто не пустят.
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.
На основе сказанного выше весьма странными представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций.
Напомним, еще 40 лет назад В.В. Налимовым [1] было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании.
Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель, а затем соби рает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем перекрестно продолжаем «развитие» положений исходного набора статей.
Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляется основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов [3]. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются – статьи можно печь как блины.
Развивая эти мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квазимафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина – «владельцы» журналов таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки – упор на индексы цитирования – приводят к неправильным управленческим решениям (ср. [3]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий – ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала и исследователя. Ссылки на работы, в которых получены принципиально новые результаты, будут «тонуть» среди ссылок на массы эпигонов.
Проиллюстрируем последнее утверждение. В 1970-е годы я выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье [4]. К сожалению, стандартный стиль изложения таков, что среди несколько десятков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. Пришлось в том же номере журнала специально описать основные результаты [5].
Есть и сравнительно кратковременные, но весьма существенные факторы. Так, на настоящий момент существенно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, и не все включены в системы учета цитирования, в отличие от зарубежных изданий.
Сказанное объясняет, почему мы присоединяемя к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований [6, 7].
Отметим, что обсуждению вопросов адекватной оценки результатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер периодического сборника научных трудов «Управление большими системами» [8].
Нелепость сложившейся системе научных специальностей
Часть наших работ относится к достаточно самостоятельной области – математическим методам анализа социологических данных. Основной интерес в ней – к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии – научной дисциплине, аналогичной математической экономике, математической физике и др.
Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей – социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.
Пример 1. Продолжает использоваться термин «физико-математические науки», хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном (по Платону). Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин «экономико-математические методы и модели», очевидно, относящийся к применению математики в экономике. В то же время физика – одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин «физико-математические науки» не более обоснован, чем, например, термины «химико-математические науки» или даже «ветеринарно-социологические науки».
Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется «Числа». Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие. В США число статистических кафедр в университетах превышает число математических, соответственно и число статистиков больше числа математиков (примерно вдвое) [9]. Следовательно, в США статистика воспринимается одной из «больших» наук: математика, физика, статистика, химия, биология… Совсем не так в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 «Бухгалтерский учет, статистика», присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 «теория вероятностей и математическая дисциплина» (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в социологических исследованиях, остаются вне официальной структуры науки.
Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: «Кибернетика». Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность «Дискретная математика и математическая кибернетика», при защите присуждается ученая степень по физико-математическим наукам).
Пример 4. Очевидно, что менеджмент (управление людьми) – более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе все совокупности социальных, технологических, экологических, экономических, политических факторов [10]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 «Экономика и управление народным хозяйством». При этом есть целый ряд технических специальностей, включающих в себя термин «управление», среди которых выделяется специальность 05.13.10 «Управление в социальных и экономических системах» (присуждаются ученые степени по техническим (!) наукам).
Короче, наблюдаем:
1) нелепое объединение математики и физики;
2) два осколка статистики вместо науки «Статистика» верхнего уровня;
3) осколок кибернетики;
4) менеджмент внутри экономики, а не экономика внутри менеджмента.
Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации.
К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 «Математические и инструментальные методы в экономике», а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.
К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции «Измерение в социологии» VI научно-практической конференции памяти первого декана факультета социологии Александра Олеговича Крыштановского «Современная социология — современной России» (1–3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения совокупностей, сказавши: «В журнале «Социология-4М» нас заставили проверить значимость различия долей». К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе [11].
Мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче – к математической социологии. Целесообразно в рамках социологической науки создать специальность «Математические и инструментальные методы в социологии», аналогичную экономической специальности «Математические и инструментальные методы в экономике».
К математическим методам в социологии относим не только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов [12, 13].
Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий [14] и онлайн исследования [15]).
Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. Институт социологических исследований выпустил сборники [16, 17]. На основе материалов Всесоюзной научной конференции «Проблемы применения математических методов в социологическом исследовании» издательство «Наука» опубликовала солидный сборник [18]. Хотя прошло уже 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. В подтверждение отметим методологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой «Числа» Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея.
По сей день наиболее многоплановой публикаций по методам анализа нечисловых данных является сборник [19], подготовленный совместно академическим Институтом социологии и комиссией «Статистика объектов нечисловой природы» Научного Совета АН СССР по комплексной проблеме «Кибернетика». В настоящее время анализу нечисловых данных посвящены обширные разделы в учебнике по прикладной статистике [20], есть и специальный учебник по нечисловой статистике [21], но сборник [19] по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики [21].
В дальнейшем появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [22-24] и Г.Г. Татаровой [25, 26]. С 1991 г. выпускается журнал «Социология: методология, методы, математическое моделирование» (сокращенно «Социология-4М»). Развитию математических и статистических методов в российской социологии посвящены обзорные работы [27, 28].
Казалось бы, все хорошо в области математической социологии. Однако всё заметнее проявляются отрицательные тенденции. Большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [29]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляющему большинству социологов, а потому, естественно, не применяются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении [30] в «Дискуссии о социологии» на сайте Российского общества социологов.
Литература
1. Налимов В.В., Мульченко А.Б. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969 г. 192 с.
2. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. 222 с.
3. Орлов А. И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими системами. Выпуск 27. М.: ИПУ РАН, 2009. С.59-65.
4. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения // Заводская лаборатория. Диагностика материалов. 2006. Т.72. №1. С.59-66.
5. Орлов А. И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. 2006.,72. №1. С.67-70.
6. Adler R., Ewing J. (Chair), Taylor P. Citation Statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08.
http://www.mathunion.org/fileadmin/IMU/ ... istics.pdf 2006/1
7. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру. 16 июня 2008.
8. Управление большими системами / Сборник трудов. Выпуск 27: М.: ИПУ РАН, 2009. - 324 с.
http://ubs.mtas.ru/archive/search_resul ... n_id=17912 9. Налимов В.В. О преподавании математики экспериментаторам // О преподавании математической статистики экспериментаторам. Препринт Межфакультетской лаборатории статистических методов №17. – М.: Изд-во Московского университета им. М.В. Ломоносова, 1971. – С.5-39.
10. Орлов А.И. Менеджмент: организационно-экономическое моделирование. Учебное пособие для вузов. - Ростов-на-Дону: Феникс, 2009. – 475 с.
11. Орлов А.И. Об оценке качества процедур анализа данных // Социологические методы в современной исследовательской практике: Сборник статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крыштановского / Отв. ред. и вступит. ст. О.А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. М.: НИУ ВШЭ, 2011. - С.7-13.
12. Математическое моделирование социальных процессов. Вып. 10: сб. ст. / Под ред. А.П. Михайлова. М.: КДУ, 2009.
13. Шведовский В.А. Особенности социолого-математического моделирования в исследовании социальных процессов. – М.: АПКиППРО,2009.
14. Делицын Л.Л. Количественные модели распространения нововведений в сфере информационных и телекоммуникационных технологий. М.: МГУКИ, 2009.
15. Онлайн исследования в России 2.0 / Под ред. Шашкина А.В., Девятко И.Ф., Давыдова С.Г. – М.: РИЦ «Северо-Восток», 2010.
16. Методы современной математики и логики в социологических исследованиях. / Под ред. Э.П.Андреева. М.: Институт социологических исследований АН СССР, 1977.
17. Математические методы и модели в социологии. / Под ред. В.Н. Варыгина. М.: Институт социологических исследований АН СССР, 1977.
18. Математические методы в социологическом исследовании. / Под ред. Т.В. Рябушкина и др. М.: Наука, 1981.
19. Анализ нечисловой информации в социологических исследованиях. / Под ред. В.Г. Андреенкова, А.И.Орлова, Ю.Н. Толстовой. М.: Наука, 1985.
20. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006.
21. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана. 2009.
22. Толстова Ю.Н. Измерение в социологии. М.: Инфра-М, 1998.
23. Толстова Ю.Н. Анализ социологических данных: методология, дескриптивная статистика, изучение связей между номинальными признаками. М.: Научный мир, 2000.
24. Толстова Ю.Н. Основы многомерного шкалирования. Учебное пособие для вузов. М.: Издательство КДУ, 2006.
25. Татарова Г.Г. Методология анализа данных в социологии (введение). Учебник для вузов. М.: NOTA BENE, 1999.
26. Татарова Г.Г. Основы типологического анализа в социологических исследованиях. М.: Издательский Дом «Высшее образование и наука», 2007.
27. Толстова Ю.Н. Математические методы в социологии. / Социология в России. Под ред. В.А. Ядова. - 2-е изд., перераб. и дополн. - М.: Издательство Института социологии РАН, 1998. С.83-89, 98-103.
28. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя). - Журнал «Социология: методология, методы, математические модели». 2005. No.20. С.32-53.
29. Орлов А.И. Статистические пакеты – инструменты исследователя. - Журнал «Заводская лаборатория». 2008. Т.74. No.5. С.76-78.
30. Орлов А.И. Черная дыра отечественной социологии. - Выступление 09-01-2011 в «Дискуссии о социологии» на сайте Российского общества социологов
http://www.ssa-rss.ru/index.php?page_id=19&id=456Доклад на XIII Международной научной конференции “Модернизация России: ключевые проблемы и решения” 21 декабря 2012 г. (Москва, ИНИОН РАН).
2012-12-23
Вход
Регистрация
FAQ
Поиск
Пользователи
