Еще раз о библиометрии и экспертизе при оценке ученых: документы

Не буду напоминать о том, что до REF14, было ускоренными темпами проведено RAE08, которое вызвало шквал критики так что программу оценки даже переименовали, что бюрократию в RAE14 уже называют The Kafkan World of the British “Research Excellence Framework”, что в Америке нет аналогов RAE/REF и не буду вслед за многими британскими учеными повторять критику RAE14. Остановимся на позитиве.

Итак, REF14 это программа оценки “research Impact in the broadest sense” у сотрудников Университетов, т.е.:
1. у людей, основной деятельностью которых является работа со студентами
2. у людей, которые внесли весомый вклад в науку и доказали это пройдя жесткий конкурс.
Эта программа призвана, в том числе, стимулировать Университеты оптимизировать свою структуру и начать зарабатывать деньги. Подчеркну, дополнительные деньги, так как основное финансирование идет через оплату обучения (государством и студентами) и через научные грантовые фонды.

Как следствие,  сотрудников оценивают по импакту - Impact in the sense of the REF means “all kinds of social, economic and cultural benefits and impacts beyond academia, arising from excellent research, that have occurred during the period 1 January 2008 to 31 July 2013”. Ключевым в этой фразе является “beyond academia”, так как далее поясняется, что “impact applying simply to another academic subject is not permissible for REF purposes”.

Т.е., для примера, археологи, проводящие плановые раскопки в Новгороде, будут иметь меньший импакт, чем археолог, выдающий разрешение на постройку Охта-центра на месте крепости Нийеншанц. Также это “beyond academia” означает, что Перельман за свои статьи получил бы меньший импакт, чем математик, делающий рутинные расчеты для производства. Подчеркну, что в этом ничего плохого нет, так как это цель одной из программ  и те же археологи или Перельман спокойно получили бы финансирование в научном фонде.

Как следствие из этого “beyond academia”, импакт оценивают по par 105 -  “new materials, devices, images, artefacts, products and buildings; confidential or technical reports; intellectual property, whether in patents or other forms; performances, exhibits or events; work published in non-print media, and other types can be included....Reviews, textbooks or edited works (including editions of texts and translations) may be included if they embody research…” и далее “A confidential report may only be submitted if the HEI has prior permission from the sponsoring organisation that the output may be made available for assessment.” (par 115).

Естественно, что для оценки таких источников библиометрия не нужна, так как она большинство из них просто не считает за публикации. Тем не менее, в отдельных областях знаний цитируемость все-таки учитывается “Some sub-panels will consider the number of times that an output has been cited, as additional information about the academic significance of submitted outputs.” (par 131). Более того, практика как обычно расходится с законами и на местах библиометрию все же используют http://deevybee.blogspot.ru/2013/01/journal-impact-factors-and-ref-2014....

Еще раз подчеркну – программа REF14 направлена на вполне разумные цели развития Университетов и не направлена, например, на развитие фундаментальной науки.

Конечно, если в России закрыть глаза на то, что в Великобритании основное финансирование идет за преподавание и через научные фонды, закрыть глаза на предварительный конкурс с 10-20 претендентами на место, закрыть глаза на принцип “beyond academia” то остаток удовлетворит любого. А именно, если выплеснуть основное, то останется программа оценки ученых  экспертами по 4 работам, возможно даже не прошедшими внешнее рецензирование, по конфиденциальным и техническим сообщениям, внутренним отчетам и т.д. и т.п.   Нужен ли такой остаток  российской науке, вместо реального самоочищения и реального стимулировани действительно  работающих ученых? Предыдущий самооценка институтов РАН показывает, что именно такая профанация и нужна - теперь под прикрытием авторитета британских ученых и одной из программ их оценки.