Во вчерашней Nature: Лейденский манифест
Голландский город Лейден известен не только лейденской банкой, но и лейденским рейтингом вузов. С недавних же пор он стал известен еще и лейденским манифестом. На конференции наукометристов в Лейдене в сентябре 2014 года профессор Диана Хикс из Georgia Tech предложила первую версию набора принципов, которые следует соблюдать при наукометрическом анализе организаций, исследовательских групп и индивидуальных исследователей. После нескольких месяцев обсуждения наукометристы пришли к консенсусу и вот 23 апреля 2015 года 10 заповедей принципов наукометрии были опубликованы в журнале Nature. Вот эти 10 принципов.
1. Количественное оценивание должно поддерживать качественную, экспертную оценку.
2. Измеряйте качество с учетом исследовательской миссии организации, исследовательской группы, индивидуального исследователя.
3. Защищайте исследования, лидирующие на местном (региональном) уровне.
4. Используйте открытые, прозрачные и простые процедуры сбора данных и анализа.
5. Давайте возможность проверяемым проверить данные и результаты анализа.
6. Учитывайте вариации в областях наук при анализе публикаций и цитирований.
7. При оценке индивидуального исследователя опирайтесь на качественный анализ его портфолио.
8. Избегайте излишней конкретности и чрезмерной точности оценок.
9. Распознавайте эффекты воздействия оценок и индикаторов на оцениваемую систему.
10. Регулярно обновляйте и меняйте индикаторы.
Эти принципы на первый взгляд кажутся банальными, но почитав разъяснения в Nature, следует признать, что их соблюдение - необходимое условие того, чтобы наукометрическому исследованию можно было бы доверять. Обратите внимание, например, на комментарии к Принципу 3, говорящие о важности специальных индикаторов для оценки исследований, имеющих местное, региональное и национальное значение опубликованных в неанглоязычных журналах. Принцип 9 говорит об опасности оценки по единственному индикатору, приводящей к играм с ним и подмене цели исследования: целью исследования становится измерение.
Прошу прощения за неточность выполненного в спешке перевода. Надо бы опубликовать перевод всей этой короткой заметки, разъясняющей "из первых уст" азы наукометрии и ее применения. Знание их пригодилось бы и научным, и чиновничьим массам.
4 комментарии
Отлично!
Спасибо за важную ссылку.
Нужно распечатать, оформить в позолоченные рамки и развесить на стенах во всех высоких кабинетах ФАНО, МОН и РАН.
Наукометрия необходима только для квалификационных критериев
И тех критериев всего лишь два.
Первый критерий - определяет возможность заниматься исследованиями. Это своеобразный допуск и определяется он по индексу источников. Этот критерий - две-три работы в WoS/Scopus.
Второй критерий - это право вести самостоятельные исследования. Определяется он по индексу ссылок, есть такой аналитический инятрумент SciVal.com. В нем определяются международные компетенции. Есть компетенция - заслужил право.
Этой весной я много побегал по оформлению гранта РФФИ у себя в университете. И каково было мое удивление, что совпадение владельцев компетенций и грантов почти 100%. А кого долговременные компетенции, то это гранты РНФ.
При этом по экспертной российской оценке многие научные школы, в том числе и ведущие, не отражены в компетенциях. Есть и другие вопиющие расхождения.
Также интересно и то, что первый из предложенных мною критериев, в России уже научились преодолевать с легкостью за счет публикаций в журналах с нарушением научной этики. Второй критерий пока не пробит, но я на стаже, слежу за статистикой.
Смена индикаторов
"10. Регулярно обновляйте и меняйте индикаторы."
Мысль конечно понятна. Но страшно подумать, во что этот пункт, взятый вне контекста, может превратиться в руках чиновников. Они-то будут рады обновлять индикаторы, это же как раз для них деятельность - новые индикаторы разработать
Новые индикаторы не нужны
Да, могут, конечно, придумать какой-то самопал, а нас потом заставлять самих считать все, что они напридумают.
На самом деле новые индикаторы не нужны, их и так более, чем достаточно придумано. Речь идет о том, чтобы переходить с одного на другой время от времени, чтобы оцениваемые не успевали приспособиться. Например, представьте, что ученого оценивают по Хиршу и полной цитируемости, или по числу статей в WoS и по числу статей в Q1 в WoS, а что важнее из двух показателей - не говорят. Тогда у тех, кто накручивает индексы нет ориентира!
Подробнее об этом см. например, в статье Gianluka Setti (Fellow, IEEE) Bibliometric Indicators: Why Do We Need More Than One?
Увы, объяснять, чиновникам что такое хорошо и что такое плохо - это тяжелый малопроизводительный труд.
Страницы