Высокие статистические технологии

Форум сайта семьи Орловых

Текущее время: Чт мар 28, 2024 4:53 pm

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 2 ] 
Автор Сообщение
 Заголовок сообщения: Об ошибочных методах оценки результатов научной деятельности
СообщениеДобавлено: Сб янв 05, 2013 1:41 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
О методологически ошибочных методах анализа и оценки результатов научной деятельности

Орлов А.И. (д.э.н., д.т.н., к.ф.-м.н, профессор МГТУ, МФТИ, директор Института высоких статистических технологий и эконометрики, советник президента Группы авиакомпаний "Волга-Днепр")

Наука и научное обслуживание деятельность – крупная отрасль народного хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в областьи управления научной деятельностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методологические ошибки при выборе таких методов приводят к управленческим решениям, наносящим вред народному хозяйству. В статье рассмотрены ошибки двух типов – связанные с принятием решений на основе числа публикаций в научных журналов и вытекающие из антинаучной классификации отраслей научной деятельности.

1. Вред упора на число публикаций в научных журналах

Очевидно, что большое значение имеют методы оценивания эффективности той или иной деятельности. В области научно-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукометрики [1]. Приведем некоторые соображения в рамках научной школы В.В. Налимова.
Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация – тезисы доклада. При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким аккумулятором стал сборник [2].
Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества. В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила – нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов», тематика которого, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей. Аналогична ситуация с научным направлением «Экспертные оценки».
Следующий этап за публикацией в журнале или сборнике – выпуск монографии, подводящей итоги соответствующего этапа работ. Затем – создание учебника. Ясно, что на широкое использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.
Отметим, что научные результаты используются не только при сочинении статей, но и при подготовке отчетов, диссертаций, выполнении прикладных работ, в том числе закрытых.
Заключительный этап – знание становится общеизвестным. Например, отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей – акад. С.Н. Бернштейна и др., - которые предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода – на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов – пишут дифференциалы и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка публикаций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование.
Обратите внимание – для развития нового направления публикация в научном журнале не нужна. Кроме того, принципиально новую работу туда просто не пустят.
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.
На основе сказанного выше весьма странными представляются попытки оценивать научную продуктивность коллективов и отдельных исследований только на основе публикаций в журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций.
Напомним, еще 40 лет назад В.В. Налимовым [1] было обращено внимание на опасность использования индекса цитирования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании.
Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель, а затем соби рает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем перекрестно продолжаем «развитие» положений исходного набора статей.
Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляется основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов [3]. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вставлять формулы, то сейчас с помощью текстового редактора, Интернета и/или принтера технические сложности снимаются – статьи можно печь как блины.
Развивая эти мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квазимафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина – «владельцы» журналов таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки – упор на индексы цитирования – приводят к неправильным управленческим решениям (ср. [3]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий – ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала и исследователя. Ссылки на работы, в которых получены принципиально новые результаты, будут «тонуть» среди ссылок на массы эпигонов.
Проиллюстрируем последнее утверждение. В 1970-е годы я выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье [4]. К сожалению, стандартный стиль изложения таков, что среди несколько десятков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. Пришлось в том же номере журнала специально описать основные результаты [5].
Есть и сравнительно кратковременные, но весьма существенные факторы. Так, на настоящий момент существенно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, и не все включены в системы учета цитирования, в отличие от зарубежных изданий.
Сказанное объясняет, почему мы присоединяемя к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований [6, 7].
Отметим, что обсуждению вопросов адекватной оценки результатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер периодического сборника научных трудов «Управление большими системами» [8].

Нелепость сложившейся системе научных специальностей

Часть наших работ относится к достаточно самостоятельной области – математическим методам анализа социологических данных. Основной интерес в ней – к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии – научной дисциплине, аналогичной математической экономике, математической физике и др.
Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Например, около 20 лет назад появились новые группы специальностей – социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.
Пример 1. Продолжает использоваться термин «физико-математические науки», хотя его нелепость ясна всем специалистам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реальном мире, а в идеальном (по Платону). Математика может быть применена в любой сфере деятельности, в любой отрасли народного хозяйства. Например, широко распространен термин «экономико-математические методы и модели», очевидно, относящийся к применению математики в экономике. В то же время физика – одна из областей естествознания, наука, изучающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин «физико-математические науки» не более обоснован, чем, например, термины «химико-математические науки» или даже «ветеринарно-социологические науки».
Пример 2. Как известно, статистические методы применялись на практике (и, следовательно, были теоретически разработаны) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называется «Числа». Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное развитие. В США число статистических кафедр в университетах превышает число математических, соответственно и число статистиков больше числа математиков (примерно вдвое) [9]. Следовательно, в США статистика воспринимается одной из «больших» наук: математика, физика, статистика, химия, биология… Совсем не так в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 «Бухгалтерский учет, статистика», присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 «теория вероятностей и математическая дисциплина» (присуждаются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в социологических исследованиях, остаются вне официальной структуры науки.
Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: «Кибернетика». Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность «Дискретная математика и математическая кибернетика», при защите присуждается ученая степень по физико-математическим наукам).
Пример 4. Очевидно, что менеджмент (управление людьми) – более широкая сфера деятельности, чем экономика. Управленческие решения необходимо принимать на основе все совокупности социальных, технологических, экологических, экономических, политических факторов [10]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 «Экономика и управление народным хозяйством». При этом есть целый ряд технических специальностей, включающих в себя термин «управление», среди которых выделяется специальность 05.13.10 «Управление в социальных и экономических системах» (присуждаются ученые степени по техническим (!) наукам).
Короче, наблюдаем:
1) нелепое объединение математики и физики;
2) два осколка статистики вместо науки «Статистика» верхнего уровня;
3) осколок кибернетики;
4) менеджмент внутри экономики, а не экономика внутри менеджмента.
Приведенные примеры показывают, что действующая официальная номенклатура специальностей научных работников нуждается в модернизации.
К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 «Математические и инструментальные методы в экономике», а у социологов нет аналогичной специальности, математическая социология не выделена среди социологических наук.
К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конференций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции «Измерение в социологии» VI научно-практической конференции памяти первого декана факультета социологии Александра Олеговича Крыштановского «Современная социология — современной России» (1–3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пытался навязать докладчику свое неправильное понимание проверки значимости при проверке статистических гипотез. Впрочем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения совокупностей, сказавши: «В журнале «Социология-4М» нас заставили проверить значимость различия долей». К необходимости повышения качества математической составляющей социологических исследований мы старались привлечь внимание в работе [11].
Мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче – к математической социологии. Целесообразно в рамках социологической науки создать специальность «Математические и инструментальные методы в социологии», аналогичную экономической специальности «Математические и инструментальные методы в экономике».
К математическим методам в социологии относим не только методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социальных процессов [12, 13].
Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информационных технологий, включая сетевые (в том числе модели распространения нововведений в сфере информационных и телекоммуникационных технологий [14] и онлайн исследования [15]).
Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. Институт социологических исследований выпустил сборники [16, 17]. На основе материалов Всесоюзной научной конференции «Проблемы применения математических методов в социологическом исследовании» издательство «Наука» опубликовала солидный сборник [18]. Хотя прошло уже 30 лет, материалы этих сборников по-прежнему актуальны. Квалифицированные работы не устаревают. В подтверждение отметим методологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой «Числа» Ветхого Завета, в которой рассказано о переписи военнообязанных, проведенной под руководством Моисея.
По сей день наиболее многоплановой публикаций по методам анализа нечисловых данных является сборник [19], подготовленный совместно академическим Институтом социологии и комиссией «Статистика объектов нечисловой природы» Научного Совета АН СССР по комплексной проблеме «Кибернетика». В настоящее время анализу нечисловых данных посвящены обширные разделы в учебнике по прикладной статистике [20], есть и специальный учебник по нечисловой статистике [21], но сборник [19] по-прежнему актуален и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужили стимулом для разработки нечисловой статистики [21].
В дальнейшем появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [22-24] и Г.Г. Татаровой [25, 26]. С 1991 г. выпускается журнал «Социология: методология, методы, математическое моделирование» (сокращенно «Социология-4М»). Развитию математических и статистических методов в российской социологии посвящены обзорные работы [27, 28].
Казалось бы, все хорошо в области математической социологии. Однако всё заметнее проявляются отрицательные тенденции. Большинство социологов остаются невежественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим западным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [29]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляющему большинству социологов, а потому, естественно, не применяются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических конгрессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении [30] в «Дискуссии о социологии» на сайте Российского общества социологов.

Литература

1. Налимов В.В., Мульченко А.Б. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969 г. 192 с.
2. Анализ нечисловой информации в социологических исследованиях. - М.: Наука, 1985. 222 с.
3. Орлов А. И. Методологические ошибки ведут к неправильным управленческим решениям // Управление большими системами. Выпуск 27. М.: ИПУ РАН, 2009. С.59-65.
4. Барский Б. В., Соколов М. В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения // Заводская лаборатория. Диагностика материалов. 2006. Т.72. №1. С.59-66.
5. Орлов А. И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. 2006.,72. №1. С.67-70.
6. Adler R., Ewing J. (Chair), Taylor P. Citation Statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. http://www.mathunion.org/fileadmin/IMU/ ... istics.pdf
2006/1
7. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру. 16 июня 2008.
8. Управление большими системами / Сборник трудов. Выпуск 27: М.: ИПУ РАН, 2009. - 324 с.
http://ubs.mtas.ru/archive/search_resul ... n_id=17912
9. Налимов В.В. О преподавании математики экспериментаторам // О преподавании математической статистики экспериментаторам. Препринт Межфакультетской лаборатории статистических методов №17. – М.: Изд-во Московского университета им. М.В. Ломоносова, 1971. – С.5-39.
10. Орлов А.И. Менеджмент: организационно-экономическое моделирование. Учебное пособие для вузов. - Ростов-на-Дону: Феникс, 2009. – 475 с.
11. Орлов А.И. Об оценке качества процедур анализа данных // Социологические методы в современной исследовательской практике: Сборник статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крыштановского / Отв. ред. и вступит. ст. О.А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. М.: НИУ ВШЭ, 2011. - С.7-13.
12. Математическое моделирование социальных процессов. Вып. 10: сб. ст. / Под ред. А.П. Михайлова. М.: КДУ, 2009.
13. Шведовский В.А. Особенности социолого-математического моделирования в исследовании социальных процессов. – М.: АПКиППРО,2009.
14. Делицын Л.Л. Количественные модели распространения нововведений в сфере информационных и телекоммуникационных технологий. М.: МГУКИ, 2009.
15. Онлайн исследования в России 2.0 / Под ред. Шашкина А.В., Девятко И.Ф., Давыдова С.Г. – М.: РИЦ «Северо-Восток», 2010.
16. Методы современной математики и логики в социологических исследованиях. / Под ред. Э.П.Андреева. М.: Институт социологических исследований АН СССР, 1977.
17. Математические методы и модели в социологии. / Под ред. В.Н. Варыгина. М.: Институт социологических исследований АН СССР, 1977.
18. Математические методы в социологическом исследовании. / Под ред. Т.В. Рябушкина и др. М.: Наука, 1981.
19. Анализ нечисловой информации в социологических исследованиях. / Под ред. В.Г. Андреенкова, А.И.Орлова, Ю.Н. Толстовой. М.: Наука, 1985.
20. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006.
21. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана. 2009.
22. Толстова Ю.Н. Измерение в социологии. М.: Инфра-М, 1998.
23. Толстова Ю.Н. Анализ социологических данных: методология, дескриптивная статистика, изучение связей между номинальными признаками. М.: Научный мир, 2000.
24. Толстова Ю.Н. Основы многомерного шкалирования. Учебное пособие для вузов. М.: Издательство КДУ, 2006.
25. Татарова Г.Г. Методология анализа данных в социологии (введение). Учебник для вузов. М.: NOTA BENE, 1999.
26. Татарова Г.Г. Основы типологического анализа в социологических исследованиях. М.: Издательский Дом «Высшее образование и наука», 2007.
27. Толстова Ю.Н. Математические методы в социологии. / Социология в России. Под ред. В.А. Ядова. - 2-е изд., перераб. и дополн. - М.: Издательство Института социологии РАН, 1998. С.83-89, 98-103.
28. Орлов А.И. Статистические методы в российской социологии (тридцать лет спустя). - Журнал «Социология: методология, методы, математические модели». 2005. No.20. С.32-53.
29. Орлов А.И. Статистические пакеты – инструменты исследователя. - Журнал «Заводская лаборатория». 2008. Т.74. No.5. С.76-78.
30. Орлов А.И. Черная дыра отечественной социологии. - Выступление 09-01-2011 в «Дискуссии о социологии» на сайте Российского общества социологов http://www.ssa-rss.ru/index.php?page_id=19&id=456

Доклад на XIII Международной научной конференции “Модернизация России: ключевые проблемы и решения” 21 декабря 2012 г. (Москва, ИНИОН РАН).

2012-12-23

По тематике настоящей статьи будет проведена дискуссия на страницах периодического сборника ИПУ РАН "Управление большими системами" (входит в список ВАК).
Прошу коллег, желающих участвовать в дискуссии, сообщить мне об этом. Статьи (до 10 стр.) можно направить мне или непосредственно на Интиернет-конференцию сборника "Управление большими системами".

Один из организаторов дискуссии
Александр Иванович Орлов


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: Об ошибочных методах оценки результатов научной деятельн
СообщениеДобавлено: Сб мар 16, 2013 12:01 pm 
Не в сети

Зарегистрирован: Вт сен 28, 2004 11:58 am
Сообщений: 11265
"Затравочная" статья в дискуссии в УБС

УДК 021.8 + 025.1
ББК 78.34

ДВА ТИПА МЕТОДОЛОГИЧЕСКИХ ОШИБОК
ПРИ УПРАВЛЕНИИ НАУЧНОЙ ДЕЯТЕЛЬНОСТЬЮ
Орлов А. И.
(Московский государственный технический университет им. Н.Э. Баумана; Московский физико-технический ин-ститут; Группа компаний «Волга-Днепр», Москва)

Попытки административного управления научной деятельно-стью зачастую опираются на неверные предположения, а потому приносят вред развитию науки. Статья посвящена предварительному обсуждению двух типов методологических ошибок при управлении научной деятельностью. Показан вред методов, использующих число публикаций и цитирований в научных журналах. Продемонстрирована нелепость сложив-шейся системы научных специальностей.

Ключевые слова: наука, управление, наукометрия, методо-логические ошибки, цитирование статей, научные специаль-ности.
1. Введение
Наука и научное обслуживание – крупная отрасль народно-го хозяйства, как по числу работников, так и по потребляемым ресурсам. Вполне естественно, что для разработки и принятия обоснованных решений в области управления научной деятель-ностью необходимо применение научно обоснованных методов анализа и оценки результатов научной деятельности. Методоло-гические ошибки при выборе таких методов приводят к управ-ленческим решениям, наносящим вред народному хозяйству. В статье рассмотрены ошибки двух конкретных типов – связанные с принятием решений на основе числа публикаций и цитирова-ний в научных журналов и вытекающие из антинаучной клас-сификации отраслей научной деятельности.
2. Вред упора на число публикаций и цитирований в научных журналах
Очевидно, что большое значение имеют методы оценива-ния эффективности той или иной деятельности. В области науч-но-исследовательских работ весьма актуальными являются результаты, полученные В.В. Налимовым в области наукомет-рии [11] в 1960-х годах (сейчас чаще используют термин «нау-кометрика»). Приведем некоторые соображения в рамках науч-ной школы В.В. Налимова.
Каков путь конкретного научного результата? Обычно он становится достоянием широкой научной общественности при докладе на представительной конференции. Первая публикация – тезисы доклада. При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематиче-ском сборнике или в журнале. Первый вариант для распростра-нения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумули-рующей в себе основные результаты, полученные группой разработчиков. Например, для статистики нечисловых данных таким сводным изданием стал сборник [1], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.
Только для давно развивающихся областей с большим чис-лом исследователей и эффективной административной под-держкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.
В нашей стране для прикладной статистики и других стати-стических методов эта стадия еще не наступила – нет соответст-вующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов». Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистиче-ским методам, к настоящему времени издано около тысячи статей.
Аналогична ситуация с научным направлением «Эксперт-ные оценки»[16].
Следующий этап за публикацией в журнале или сборнике – выпуск монографии, подводящей итоги соответствующего этапа работ. Затем – создание учебника. Ясно, что на широкое ис-пользование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.
Отметим, что ссылки на научные публикации даются не только при составлении статей, но и при подготовке отчетов, диссертаций, выполнении прикладных работ, в том числе за-крытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда преуменьшает реальное использова-ние научной публикации.
Заключительный этап – знание становится общеизвестным. Например, в статьях отмечают, что аксиоматическая теория вероятностей построена А.Н. Колмогоровым (сам А.Н. Колмо-горов, встречая такую фразу, обычно указывал на нескольких исследователей – акад. С.Н. Бернштейна и др., - которые пред-ложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода – на основе теории меры в 1930-е годы и на основе теории информации в 1960-е годы, но обычно вспоминают и используют только пер-вый из них). С течением времени перестают даже упоминать авторов – используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка научных публика-ций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование.
Обратите внимание – для развития нового направления публикация в научном журнале не нужна. Кроме того, прин-ципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала.
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, за-вершающегося книжной публикацией, и этапа зрелости и широ-кого использования. На втором этапе обычно цитируют моно-графию, справочник, учебник. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.
На основе сказанного выше весьма странными представ-ляются попытки оценивать научную продуктивность кол-лективов и отдельных исследований только на основе пуб-ликаций в журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учеб-ники, т.е. основная (по своему воздействию на развитие науки и техники) масса публикаций.
Напомним, еще более 40 лет назад В.В. Налимовым было обращено внимание на опасность использования индекса цити-рования (импакт-фактора) для оценки деятельности научных организаций и отдельных работников, особенно при принятии решений о финансировании. Много писали об этом и другие исследователи [33].
Бегло обсудим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финанси-рование? Вот план мероприятий (по аналогии со сбором десят-ка-другого отзывов на диссертацию и автореферат, которые, как все знают, пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последователь-ные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем путем перекрестных ссылок продолжаем «развитие» положений ис-ходного набора статей.
Целесообразно в первых публикациях допустить неточно-сти, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет двадцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью тек-стового редактора, Интернета и/или принтера технические сложности снимаются – статьи можно «печь как блины».
Развивая эти вполне естественные для современного «ис-следователя» мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квази-мафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оцен-ку научной продуктивности можно проводить путем примене-ния программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина – «вла-дельцы» журналов (в частности, редакторы, члены редакцион-ных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки – упор на индексы ци-тирования – приводят к неправильным управленческим решени-ям (ср. с основными положениями статьи [15]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий – ведь после выхода книги ссы-латься будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе индексов цитирования объек-тивно замедляет развитие науки, переход полученных ре-зультатов в область практического применения.
Еще один эффект - ссылки на работы, в которых получены принципиально новые результаты, будут «тонуть» среди ссылок на массы эпигонов.
Проиллюстрируем последнее утверждение. В 1970-е годы автор настоящей статьи выяснил, какими средними величинами следует пользоваться, если исходные данные измерены в тех или иных шкалах измерения. Дальнейшее развитие отражено в обзорной статье [2]. К сожалению, стандартный стиль изложе-ния, принятый в этой статье, таков, что среди несколько десят-ков литературных ссылок совершенно затерялись базовые работы, комментариями к которым являлись остальные. При-шлось в том же номере журнала специально описать основные результаты [13].
В проблеме адекватного использования индексов цитиро-вания есть и сравнительно кратковременные, но весьма сущест-венные факторы. Так, на настоящий момент важно, что в совре-менных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, не все включены в системы учета цитирования, в отличие от аналогичных зарубежных изданий.
Сказанное объясняет, почему мы присоединяемся к мнению Международного союза математиков, который предостерегает от неправильного использования статистики цитирований [7, 34].
Отметим, что обсуждению вопросов адекватной оценки ре-зультатов научной деятельности посвящены многочисленные публикации. Так, дискуссии о проблемах построения рейтингов российских научных журналов посвящен специальный номер периодического сборника научных трудов «Управление боль-шими системами» [31].
3. Нелепость сложившейся системы научных специальностей
Используемая в нашей стране система научных специаль-ностей оказывает большое влияние на научную жизнь. В соот-ветствии с ней построена система научных учреждений и жур-налов, присваиваются научные степени, и т.п. Покажем, что она нелепа, а потому требует существенной модернизации.
Часть наших работ относится к достаточно самостоятель-ной области – математическим методам анализа социологиче-ских данных. Основной интерес в ней – к математическим вопросам, социологические постановки служат для постановки математических задач. Эта область относится к математической социологии – научной дисциплине, аналогичной математиче-ской экономике, математической физике и др.
Классификация наук закреплена формальными решениями. Например, в нашей стране утвержден список специальностей научных работников. Однако формальные решения могут быть модернизированы. Время от времени это происходит. Напри-мер, около 20 лет назад появились новые группы специально-стей – социологические и политологические. Однако недостатки действующей системы очевидны. Приведем четыре примера.
Пример 1. Продолжает использоваться термин «физико-математические науки», хотя его нелепость ясна всем специали-стам. Математика относится к формальным наукам, изучает конструкции, созданные мыслью, т.е. находящиеся не в реаль-ном мире, а в идеальном (по Платону). Математика может быть применена в любой сфере деятельности, в любой отрасли на-родного хозяйства. Например, широко распространен термин «экономико-математические методы и модели», очевидно, относящийся к применению математики в экономике. В то же время физика – одна из областей естествознания, наука, изу-чающая наиболее общие и фундаментальные закономерности, определяющие структуру и эволюцию материального мира. Термин «физико-математические науки» не более обоснован, чем, например, термины «химико-математические науки» или даже «ветеринарно-социологические науки».
Пример 2. Как известно, статистические методы применя-лись на практике (и, следовательно, были теоретически разрабо-таны) с древних времен. В Библии Ветхий завет начинается с Пятикнижия Моисеева, и четвертая книга Пятикнижия называ-ется «Числа». Она начинается с описания проведенной под руководством Моисея переписи военнообязанных. Со времен библейского Моисея статистика получила значительное разви-тие. В США число статистических кафедр в университетах превышает число математических, соответственно и число статистиков больше числа математиков (примерно вдвое) [10]. Следовательно, в США статистика воспринимается одной из «больших» наук: математика, физика, статистика, химия, биоло-гия…
Если бы в России классификация наук соответствовала бы американской, то в составе РАН было бы Отделение статисти-ческих наук со своей системой научно-исследовательских учре-ждений (в частности, включающей Институт высоких статисти-ческих технологий и эконометрики), системой научных журналов, присуждались бы ученые степени по статистическим наукам и т.п. (подробнее см. проект обустройства статистиче-ских наук, разработанный в статье [17]).
Совсем не так обстоит дело в нашей стране. В официальной структуре науки статистика упоминается дважды, и оба раза на вторых ролях. Во-первых, как одна из экономических наук (специальность 08.00.12 «Бухгалтерский учет, статистика», присуждаются ученые степени по экономическим наукам). Во-вторых, в названии математической специальности 01.01.05 «теория вероятностей и математическая дисциплина» (присуж-даются ученые степени по физико-математическим наукам). Все остальные применения статистических методов, в частности, в социологических исследованиях, остаются вне официальной структуры науки.
Пример 3. На знамени научного прогресса второй половины ХХ в. начертано: «Кибернетика». Однако нет в нашей стране докторов и кандидатов кибернетических наук (есть, правда, математическая специальность «Дискретная математика и математическая кибернетика», при защите присуждается ученая степень по физико-математическим наукам).
Пример 4. Очевидно, что менеджмент (управление людьми) – более широкая сфера деятельности, чем экономика. Управ-ленческие решения необходимо принимать на основе все сово-купности социальных, технологических, экологических, эконо-мических, политических факторов [14]. Между тем в действующей официальной номенклатуре специальностей научных работников (в редакции Приказа Минобрнауки РФ от 11.08.2009 N 294) менеджмент находится внутри экономической специальности 08.00.05 «Экономика и управление народным хозяйством». При этом есть целый ряд технических специально-стей, включающих в себя термин «управление», среди которых выделяется специальность 05.13.10 «Управление в социальных и экономических системах» (присуждаются ученые степени по техническим (!) наукам).
Короче, наблюдаем:
1) нелепое объединение математики и физики;
2) два осколка статистики вместо науки «Статисти-ка» верхнего уровня;
3) осколок кибернетики;
4) менеджмент внутри экономики, а не экономика внутри менеджмента.
Приведенные примеры показывают, что действующая офи-циальная номенклатура специальностей научных работников нуждается в модернизации.
Рассмотрим пример. К социологическим наукам близки экономические. Вплоть до того, что на включение в свою сферу маркетинга (изучения предпочтений потребителей) претендуют и те, и другие. Однако у экономистов есть специальность 08.00.13 «Математические и инструментальные методы в эко-номике», а у социологов нет аналогичной специальности, мате-матическая социология не выделена среди социологических наук.
К чему это приводит? В частности, к отсутствию должного внимания к развитию математических методов в социологии, к их вытеснению из перечней секций социологических конферен-ций и конгрессов. В результате падает квалификационный уровень работ. На заседании секции «Измерение в социологии» VI научно-практической конференции памяти первого декана факультета социологии А.О. Крыштановского «Современная социология — современной России» (1–3 февраля 2012 года) пришлось урезонивать воинствующего невежду, который пы-тался навязать докладчику свое неправильное понимание про-верки значимости при проверке статистических гипотез. Впро-чем, и докладчик продемонстрировал непонимание необходимости обязательной проверки значимости различия долей тех или иных значений признаков при сравнения сово-купностей, сказавши: «В журнале «Социология-4М» нас заста-вили проверить значимость различия долей». К необходимости повышения качества математической составляющей социологи-ческих исследований мы старались привлечь внимание в работе [18].
В области социологии мы считаем необходимым усилить внимание к проблемам развития и применения математических методов анализа социологических данных, математического моделирования социальных процессов, короче – к математиче-ской социологии. Целесообразно в рамках социологической науки создать специальность «Математические и инструмен-тальные методы в социологии», аналогичную экономической специальности «Математические и инструментальные методы в экономике».
К математическим методам в социологии относим не толь-ко методы анализа числовых и нечисловых социологических данных, но и методы математического моделирования социаль-ных процессов [6, 32].
Под инструментальными методами понимаем прежде всего методы, нацеленные на развитие и применение информацион-ных технологий, включая сетевые (в том числе модели распро-странения нововведений в сфере информационных и телеком-муникационных технологий [3] и онлайн исследования [12]).
Много интересных работ, относящихся к математической социологии, было выполнено в нашей стране в 70-80-е годы ХХ в. Назовем только некоторые из них. В 1977 г. Институт социо-логических исследований выпустил два сборника научных работ [5, 8]. На основе материалов Всесоюзной научной конфе-ренции «Проблемы применения математических методов в социологическом исследовании» издательство «Наука» опубли-ковала солидный сборник [4]. Хотя прошло уже 30 лет, мате-риалы этих сборников по-прежнему актуальны. Квалифици-рованные работы не устаревают. (К сожалению, во многом потому, что их мало читают.) В подтверждение отметим мето-дологическую несостоятельность современных публикаций Росстата по переписям населения по сравнению с книгой «Чис-ла» Ветхого Завета, в которой рассказано о переписи военнообя-занных, проведенной под руководством Моисея.
По сей день наиболее многоплановой публикаций по мето-дам анализа нечисловых данных является сборник [1] 1985 г., подготовленный совместно академическим Институтом социо-логии и комиссией «Статистика объектов нечисловой природы» Научного Совета АН СССР по комплексной проблеме «Кибер-нетика». В настоящее время анализу нечисловых данных по-священы обширные разделы в учебнике по прикладной стати-стике [20] 2006 г., есть и специальный учебник по нечисловой статистике [19] 2009 г., но сборник 1985 г. по-прежнему актуа-лен и необходим тем, кто хочет разобраться в методах анализа нечисловой (т.е. качественной) информации в социологических исследованиях. Отметим, что именно практические запросы социологов (и специалистов по экспертным оценкам) послужи-ли стимулом для разработки нечисловой статистики [23].
После 1985 г. появились адресованные студентам-социологам учебники и учебные пособия, в частности, книги Ю.Н. Толстовой [27, 28, 30] и Г.Г. Татаровой [25, 26]. С 1991 г. выпускается журнал «Социология: методология, методы, мате-матическое моделирование» (сокращенно «Социология-4М»). Развитию математических и статистических методов в россий-ской социологии посвящены обзорные работы [21, 29].
Казалось бы, математическая социология развивается нор-мально. Однако всё заметнее проявляются отрицательные тен-денции. Подавляющее большинство социологов остаются неве-жественными в области методов анализа данных. Проявляется это, например, в преклонении перед давно устаревшим запад-ным статистическим пакетом SPSS (анализу статистических пакетов посвящена статья [22]). Полученные еще в 70-е годы ХХ в. научные результаты остаются неизвестными подавляю-щему большинству социологов, а потому, естественно, не при-меняются. Научный инструментарий типичного социолога зачастую соответствует уровню XIX в. В последнее время даже номинальное признание важности математической социологии в виде организации отдельных секций на социологических кон-грессах и конференциях постепенно сходит на нет. Подробнее эти мысли развиты в нашем выступлении [24] в «Дискуссии о социологии» на сайте Российского общества социологов.
Литература
1. Анализ нечисловой информации в социологических исследо-ваниях / Под ред. В. Г. Андреенкова, А. И.Орлова, Ю. Н. Толстовой. - М.: Наука, 1985. - 222 с.
2. БАРСКИЙ Б. В., СОКОЛОВ М. В. Средние величины, инва-риантные относительно допустимых преобразований шка-лы измерения // Заводская лаборатория. Диагностика мате-риалов. - 2006. - Т.72. №1. - С.59-66.
3. ДЕЛИЦЫН Л. Л. Количественные модели распространения нововведений в сфере информационных и телекоммуника-ционных технологий. - М.: МГУКИ, 2009. – 106 с.
4. Математические методы в социологическом исследовании / Под ред. Т. В. Рябушкина и др. - М.: Наука, 1981. – 335 с.
5. Математические методы и модели в социологии / Под ред. В. Н. Варыгина. - М.: Институт социологических исследо-ваний АН СССР, 1977. – 192 с.
6. Математическое моделирование социальных процессов. Вып. 10 / Под ред. А. П. Михайлова. М.: КДУ, 2009. – 524 с.
7. Международный союз математиков предостерегает от неправильного использования статистики цитирований // Полит.ру / Наука. Информационно-политический канал. 16 июня 2008. URL: http://www.polit.ru/news/2008/06/16/mathunion/ (дата обра-щения: 08.01.2013).
8. Методы современной математики и логики в социологиче-ских исследованиях / Под ред. Э. П. Андреева. - М.: Инсти-тут социологических исследований АН СССР, 1977. – 172 с.
9. МИХАЙЛОВ О. В. Цитируемость ученого: важнейший ли это критерий качества его научной деятельности? // Informetrics.ru. Электронный журнал. Статья №1079. URL: http://www.informetrics.ru/articles/sn.php?id=56 (дата обра-щения: 08.01.2013).
10. НАЛИМОВ В. В. О преподавании математики экспери-ментаторам // О преподавании математической статистики экспериментаторам. / Препринт Межфакультетской лабора-тории статистических методов №17. – М.: Изд-во Москов-ского государственного университета им. М.В. Ломоносова, 1971. – С.5-39.
11. НАЛИМОВ В. В., МУЛЬЧЕНКО А. Б. Наукометрия. Изу-чение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
12. Онлайн исследования в России 2.0 / Под ред. А. В. Шашки-на, И. Ф. Девятко, С. Г. Давыдова. – М.: РИЦ «Северо-Восток», 2010. – 336 с.
13. ОРЛОВ А. И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. - 2006. - Т.72. №1. - С.67-70.
14. ОРЛОВ А. И. Менеджмент: организационно-экономическое моделирование. - Ростов-на-Дону: Феникс, 2009. – 475 с.
15. ОРЛОВ А. И. Методологические ошибки ведут к непра-вильным управленческим решениям // Управление больши-ми системами. Вып. 27. - М.: ИПУ РАН, 2009. - С.59-65.
16. ОРЛОВ А. И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. - 2010. - Т.76. №11. - С.64-70.
17. ОРЛОВ А. И. О современных проблемах внедрения приклад-ной статистики и других статистических методов // За-водская лаборатория. Диагностика материалов. - 1992. - Т.58. №1. - С.67-74.
18. ОРЛОВ А. И. Об оценке качества процедур анализа данных // Социологические методы в современной исследователь-ской практике: Сб. статей, посвященный памяти первого декана факультета социологии НИУ ВШЭ А.О. Крышта-новского / Отв. ред. и вступит. ст. О. А. Оберемко; НИУ ВШЭ, ИС РАН, РОС. - М.: НИУ ВШЭ, 2011. - С.7-13.
19. ОРЛОВ А. И. Организационно-экономическое моделирова-ние: учебник : в 3 ч. Ч.1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. 2009. - 541 с.
20. ОРЛОВ А. И. Прикладная статистика. - М.: Экзамен, 2006. – 671 с.
21. ОРЛОВ А. И. Статистические методы в российской со-циологии (тридцать лет спустя) // Социология: методоло-гия, методы, математические модели. - 2005. - №20. - С.32-53.
22. ОРЛОВ А. И. Статистические пакеты – инструменты исследователя // Заводская лаборатория. Диагностика мате-риалов. - 2008. - Т.74. №5. - С.76-78.
23. ОРЛОВ А. И. Тридцать лет статистики объектов нечи-словой природы (обзор) // Заводская лаборатория. Диагно-стика материалов. - 2009. - Т.75. №5. - С.55-64.
24. ОРЛОВ А. И. Черная дыра отечественной социологии // Выступление 09 января 2011 г. в «Дискуссии о социологии» на сайте Российского общества социологов. URL: http://www.ssa-rss.ru/index.php?page_id=19&id=456 (дата об-ращения: 08.01.2013).
25. ТАТАРОВА Г. Г. Методология анализа данных в социоло-гии (введение). - М.: NOTA BENE, 1999. - 224 с.
26. ТАТАРОВА Г. Г. Основы типологического анализа в социо-логических исследованиях. - М.: Издательский Дом «Высшее образование и наука», 2007. – 236 с.
27. ТОЛСТОВА Ю. Н. Анализ социологических данных: мето-дология, дескриптивная статистика, изучение связей ме-жду номинальными признаками. - М.: Научный мир, 2000. – 352 с.
28. ТОЛСТОВА Ю. Н. Измерение в социологии. - М.: Инфра-М, 1998. - 224 с.
29. ТОЛСТОВА Ю. Н. Математические методы в социологии / Социология в России. Под ред. В. А. Ядова. - 2-е изд., пе-рераб. и дополн. - М.: Издательство Института социологии РАН, 1998. - С.83-89, 98-103.
30. ТОЛСТОВА Ю. Н. Основы многомерного шкалирования. - М.: Издательство КДУ, 2006. – 160 с.
31. Управление большими системами / Период. сборник тру-дов. Вып. 27. - М.: ИПУ РАН, 2009. - 324 с. URL: http://ubs.mtas.ru/archive/search_resul ... n_id=17912 (дата обращения: 08.01.2013).
32. ШВЕДОВСКИЙ В. А. Особенности социолого-математического моделирования в исследовании социаль-ных процессов. – М.: АПКиППРО, 2009. – 236 с.
33. ЭПШТЕЙН В. Л. О контрпродуктивности использования наукометрического показателя результативности научной деятельности для будущего России // Проблемы управле-ния. - 2007. - №3. - С.70-72:
34. ADLER R., EWING J. (CHAIR), TAYLOR P. Citation Statis-tics [Электронный ресурс] / A report from the International Mathematical Union (IMU) in cooperation with the Interna-tional Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS) Corrected version, 6/12/08. – Режим доступа: http://www.mathunion.org/fileadmin/IMU/ ... istics.pdf (дата обращения: 08.01.2013).

TWO TYPES OF METHODOLOGICAL ERRORS IN THE MANAGEMENT OF RESEARCH ACTIVITIES

Alexander Ivanovich Orlov, Bauman Moscow State Technical University, Moscow Institute of Physics and Technology (State University), Volga-Dnepr Group, Moscow, DSc (economics), DSc (technics), PhD (mathematics), professor (prof-orlov@mail.ru).

Abstract: Attempts administrative management of research activities are often based on wrong assumptions, and therefore bring harm to the development of science. The article is devoted to a preliminary discussion of two types of methodological errors in the management of research activities. Shows damage methods using the number of publications and citations in scientific journals. Demonstrated the absurdity of the current system of scientific disciplines.

Keywords: science, management, scientometrics, methodological errors, citations of articles, research specialty.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 49


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group
Русская поддержка phpBB