Экспертиза в РФФИ: болевые точки и возможные решения

Введение

Публикация этого текста на форуме случайно совпала с объявлением РФФИ итогов очередного конкурса. И кому-то из получивших новый грант (к ним относится и автор – в составе коллектива) обсуждаемые здесь проблемы могут показаться несколько надуманными, краски – сгущенными... Это нормально.

Оговорка на всякий случай. В этих заметках я никого не обвиняю и ни в чем не подозреваю. Цель - понять, какой должна быть система экспертизы заявок на гранты в наших условиях. Разумная система мешает плохому и помогает хорошему. Плохому должно быть трудно в ней завестись и еще труднее размножиться, т.е. система должна иметь иммунитет. Он должен работать непрерывно. Ведь гранты – это конкуренция за деньги, а наша реальность навязчиво подсказывает коррупционные механизмы конкуренции.

Главный предмет рассмотрения – экспертиза инициативных проектов РФФИ, так называемых проектов «а». Но сказанное во многом относится и к другим экспертизам (ОФИ, молодежные), где проблем еще больше. Рассматривается и более широкий круг вопросов.

О структуре текста. Разделы 1, 3, 4, 5 имеют справочный характер. В них дана выжимка из нормативных документов РФФИ. Поэтому читателю, желающему скорее добраться до сути – проблем и решений – следует, взглянув раздел 2, сразу переходить к разделу 6.

Список сокращений.

«Устав» – Устав федерального государственного бюджетного учреждения "Российский фонд фундаментальных исследований" (в ред. Постановлений Правительства РФ от 04.05.2012 № 439, от 27.09.2012 № 986).

«Положение об ЭС» – Положение об экспертных советах и экспертах РФФИ (утверждено решением бюро совета РФФИ от 01.07.2011).

«Положение об экспертизе» – Положение о порядке проведения экспертизы в конкурсах РФФИ (утверждено решением бюро совета РФФИ от 01.07.2011).

1. Что такое РФФИ?

Это государственное некоммерческое учреждение, функции и полномочия учредителя которого осуществляет Правительство РФ. Фонд осуществляет свою деятельность во взаимодействии с Министерством образования и науки РФ, иными федеральными органами исполнительной власти, государственными и общественными организациями (п. 7 Устава). Таким образом, общественные организации (вроде ОНР), в соответствии с Уставом, взаимодействуют с Фондом по поводу его деятельности. Хорошо.

Правительство РФ назначает/освобождает директора Фонда, утверждает состав совета Фонда.

Целью и предметом деятельности РФФИ являются финансовая и организационная поддержка фундаментальных научных исследований, … основанная на принципах предоставления ученым права свободы творчества, выбора направлений и методов проведения исследований.

В Уставе перечислены следующие «направления» научных программ и проектов, поддерживаемых Фондом (что отнесено к основным видам его деятельности):

·         инициативные научные проекты;

·         фундаментальные исследования, проводимые молодыми учеными;

·         программы по стабилизации научных коллективов и закреплению в них молодых ученых;

·         ориентированные фундаментальные исследования, в том числе междисциплинарные;

·         развитие экспериментальной базы исследований, включая создание и приобретение приборов, оборудования, программного обеспечения, необходимых для выполнения программ и проектов по грантам Фонда;

·         издание научных трудов, являющихся результатом реализации поддержанных Фондом научных проектов;

·         информационное обеспечение фундаментальных исследований, включая финансирование подписки на зарубежные электронные издания в интересах российских ученых;

·         организация в рамках научных проектов мероприятий (конференций, семинаров и т.д.);

·         проведение экспедиций и полевых исследований, необходимых для выполнения научных проектов, поддержанных Фондом;

·         осуществление регионального и международного научного сотрудничества в области фундаментальных научных исследований.

2. Отступление о трэвел-грантах

Как видим, трэвел-гранты не входят в перечень направлений поддерживаемых проектов. Тем не менее, утверждения представителей РФФИ, что устав Фонда и Закон о науке РФ (где участие в конференциях не отнесено к фундаментальной научной деятельности) не дают Фонду возможности выдавать трэвел-гранты, едва ли основательны. Даже если участие в конференциях, взятое как таковое, не относится Законом к фундаментальным исследованиям, оно существует не в отрыве от них. Оно может быть отнесено к организационной поддержке фундаментальных исследований – тех самых исследований, которые представляются на конференциях. Действительно, появление новых и поддержание обретенных ранее научных контактов – ради чего ученые и ездят на конференции – организационно способствуют развитию исследований; в частности, приводят к кооперации, привлечению новых партнеров. В силу этого поддержка участия в конференциях несомненно является «финансовой и организационной поддержкой фундаментальных научных исследований» (а в этом как раз основная цель Фонда)!

То, что поддержка участия в конференциях не включена в перечисление «основных видов деятельности» Фонда, – тоже не является препятствием. Ведь вся деятельность не исчерпывается ее «основными» видами. И Фонду дано право «пользоваться иными правами, соответствующими условиям, цели и предмету деятельности Фонда и не противоречащими законодательству Российской Федерации». Вот этим правом и можно воспользоваться для восстановления трэвел-грантов.

Устав поддерживает еще одно положение письма, подготовленного ранее ОНР. Так, в Уставе к основным видам деятельности Фонда отнесено опубликование им на своем сайте отчетов о реализации проектов, включающих список публикаций и другие достигнутые результаты.

3. Кто что решает в РФФИ?

Поскольку наша цель – поспособствовать тому, чтобы решения, принимаемые РФФИ, шли максимально на благо науке, прежде всего следует разобраться в механизмах принятия решений в этом фонде.

Органами управления РФФИ являются совет Фонда, бюро совета Фонда, председатель совета Фонда, директор Фонда и дирекция Фонда, включающая руководителей конкурсных отделов. Как они формируются?

Председатель совета Фонда назначается Президентом РФ сроком на 5 лет, но не более двух 5-летних сроков подряд (последнее ограничение распространяется также на директора Фонда и членов совета Фонда). Директор Фонда назначается Правительством РФ.

Совет Фонда – высший коллегиальный орган управления Фонда. В его состав входят 28 членов, в том числе представители федеральных органов исполнительной власти, научных, образовательных, общественных и иных организаций, осуществляющих свою деятельность в научно-технической сфере.

Совет Фонда, в числе прочего,

·         готовит предложения о внесении изменений в устав Фонда;

·         определяет критерии оценки заявок на участие в конкурсах научных проектов, критерии отбора на конкурсной основе таких проектов;

·         определяет объем финансового обеспечения научных проектов, отбор которых осуществлен по результатам конкурса, а также изменение объема такого финансового обеспечения;

·         устанавливает порядок проведения конкурсов научных проектов;

·         утверждает состав бюро совета Фонда и кандидатуры заместителя председателя совета Фонда и ответственного секретаря совета Фонда.

Заседания совета Фонда проводятся по мере необходимости, но не реже 2 раз в год.

Бюро совета Фонда создается в количестве 9 членов совета Фонда, включая председателя совета Фонда, его заместителя и ответственного секретаря совета Фонда, и осуществляет свои полномочия в период между заседаниями совета Фонда.

Бюро совета Фонда, в числе прочего,

·         осуществляет функции конкурсной комиссии по отбору представляемых на конкурс научных проектов;

·         принимает решение о проведении конкурсов научных проектов;

·         утверждает результаты конкурсов научных проектов;

·         утверждает результаты проведенных экспертными советами экспертиз научных проектов;

·         утверждает размер финансирования (гранта) за счет средств Фонда по каждому научному проекту;

·         готовит для утверждения советом Фонда предложения по вопросам, относящимся к компетенции совета Фонда;

·         утверждает составы экспертных советов Фонда и принимает в случае необходимости решение об изменении составов указанных экспертных советов;

·         утверждает положение об экспертных советах Фонда;

·         утверждает положение по видам конкурсов.

Мы видим, что всей текущей деятельность Фонда руководит бюро в составе 9 человек.

Заседания бюро совета Фонда проводятся по мере необходимости, но не реже 1 раза в месяц.

Заседание бюро совета Фонда считается правомочным, если на нем присутствуют более половины его членов (т.е. не меньше 5). Решения бюро совета Фонда по всем вопросам принимаются простым большинством голосов (т.е. не менее 3 голосов – когда на заседании присутствуют 5 членов бюро) и подлежат утверждению на заседании совета Фонда.

Чем же занимается лично председатель совета Фонда?

Он,  в числе прочего,

·         обеспечивает достижение основной цели деятельности Фонда в соответствии с уставом;

·         утверждает по представлению директора Фонда положение о системе оплаты труда и выплате вознаграждений работникам Фонда;

·         представляет на согласование в Министерство образования и науки Российской Федерации кандидатуру директора Фонда и состав совета Фонда;

·         представляет на утверждение совета Фонда состав бюро совета Фонда и кандидатуры заместителя председателя совета Фонда и ответственного секретаря совета Фонда;

·         несет персональную ответственность за выполнение возложенных на Фонд задач и не реже 1 раза в 6 месяцев отчитывается перед Президентом Российской Федерации о проделанной Фондом работе.

Таким образом, председатель совета Фонда сосредотачивает в своих руках всю кадровую инициативу в Фонде. Как мы увидим, выше перечислено даже не всё.

Любопытны также положения Устава, касающиеся дирекции Фонда и его директора.

Дирекция – постоянно действующий исполнительный и распорядительный орган Фонда. Она состоит из директора, его заместителей и руководителей основных подразделений Фонда.

Дирекция Фонда, в числе прочего,

·         разрабатывает и готовит для утверждения советом Фонда и бюро совета Фонда порядок рассмотрения представляемых на конкурс научных проектов (об этом документе мне ничего не известно), а также порядок проведения экспертизы этих проектов;

·         обеспечивает проведение экспертизы научных проектов;

·         разрабатывает предложения по совершенствованию системы управления Фондом и информационного обеспечения деятельности Фонда.

Директор Фонда, в числе прочего,

·         готовит для утверждения председателем совета Фонда положение об оплате труда работников Фонда и о выплате им вознаграждений;

·         утверждает документы, регламентирующие деятельность работников Фонда, за исключением председателя совета Фонда;

·         в соответствии с законодательством Российской Федерации о труде назначает на должность и освобождает от должности работников дирекции Фонда;

·         проводит аттестацию работников Фонда.

4. Как формируются и работают экспертные советы РФФИ?

Экспертные советы являются консультативными органами Фонда. Они осуществляют экспертизу проектов при проведении их конкурсного отбора на всех стадиях реализации проектов и передают результаты экспертизы на рассмотрение и утверждение в бюро совета Фонда для последующего утверждения советом Фонда.

Составы экспертных советов Фонда формируются по основным направлениям деятельности, поддерживаемым Фондом, и утверждаются советом Фонда по представлению председателя совета Фонда. В состав экспертных советов Фонда входят эксперты – представители научного и научно-технического сообщества.

Экспертные советы (ЭС):

·         проводят экспертизу проектов при проведении конкурса и на всех стадиях их реализации;

·         разрабатывают рекомендации, касающиеся объема финансирования отобранных в результате проведения конкурса научных проектов;

·         разрабатывают предложения, касающиеся порядка проведения конкурса научных проектов.

В рамках ЭС формируются секции по разделам данной области знания.

В состав ЭС входят председатель, его заместители, координаторы секций, ученый секретарь (по должности – руководитель соответствующего конкурсного отдела Фонда) и члены совета.

В промежутках между пленарными заседаниями ЭС организацией экспертизы занимается бюро экспертного совета, которое формируется из председателя ЭС, его заместителей, ученого секретаря и координаторов всех секций совета.

В состав ЭС не могут быть включены руководители научных организаций, ведущих фундаментальные исследования, и их заместители, а также ученые, не работавшие ранее экспертами Фонда.

Порядок формирования ЭС:

·         председатель ЭС по области знания утверждается советом Фонда;

·         председатель ЭС предлагает кандидатуры заместителей, координаторов секций совета и совместно с ученым секретарем ЭС вносит предложения в совет РФФИ о составе ЭС;

К компетенции председателя ЭС, его заместителей и координаторов секций относятся:

·         организация распределения проектов по экспертам, если не принят (и утвержден решением бюро совета Фонда) иной механизм распределения;

·         подготовка предложений о составе экспертов;

·         распределение квот финансирования по разделам науки в рамках общей квоты данной области знания, утвержденной советом Фонда;

·         организация многоэтапной экспертизы заявок и отчетов, принятие решений по поддержке, отклонению проектов и объемам финансирования поддержанных проектов;

·         рассмотрение спорных ситуаций, возникших в процессе экспертизы;

·         представление, по запросу членов совета Фонда, мотивации по поводу поддержки или отклонения отдельных проектов.

Порядок проведения заседаний ЭС определяются председателем, а его секций – координаторами. Решения ЭС считаются действительными при наличии на заседании не менее 50% его полного состава.

Экспертом РФФИ может быть признанный авторитетный специалист высшей квалификации из числа активно работающих ученых вне зависимости от места жительства и места работы, обладающий широким научным кругозором в сочетании с наивысшей компетентностью, беспристрастностью и объективной доброжелательностью.

Состав экспертов Фонда утверждается бюро совета Фонда по представлению экспертных советов. Ученый может быть экспертом в нескольких научных дисциплинах, фигурирующих в классификаторе Фонда.

Экспертный совет определяет научные дисциплины, относящиеся к компетенции каждого эксперта в соответствии с классификатором Фонда. Эксперт заполняет личную анкету и получает личный код. В дальнейшем во всех материалах Фонда используются только код эксперта и код соответствующей научной дисциплины.

Ротация экспертов осуществляется ЭС по мере необходимости.

Члены экспертных советов и эксперты Фонда имеют право участвовать в конкурсе в качестве руководителей и исполнителей проектов на общих основаниях, но не принимают участие в экспертизе и обсуждении собственных проектов.

Члены совета Фонда не участвуют в экспертизе проектов, но могут приглашаться на заседания ЭС с правом совещательного голоса.

Вот любопытный пункт о конфиденциальности.

Эксперты Фонда, члены ЭС и члены совета Фонда обязаны соблюдать конфиденциальность информации о работе Фонда, полученной ими в процессе работы. К таковой относятся:

- сведения о содержании проектов;

- сведения о составе ЭС, экспертах и их кодах;

- сведения обо всех этапах прохождения экспертизы, наличии или отсутствии рекомендаций на этих этапах, объемах финансирования отдельных проектов.

В случае возникновения «конфликта интересов» члены ЭС и эксперты обязаны сообщить об этом отделу Фонда и отказаться от рецензирования. Ситуация конфликта интересов возникает, если на объективность экспертизы могут повлиять причины ненаучного характера – например, если эксперт состоит или состоял с руководителем проекта в конфликтных или в партнерских, в финансовых или родственных отношениях, в отношениях научного руководства и т. п. В этом случае решения о замене экспертов принимаются председателем ЭС и координаторами его секций.

5. Как проходит экспертиза проектов?

Решения о поддержке и отклонении проектов принимаются в РФФИ на основании результатов экспертизы, которая представляет собой многоаспектный анализ содержания заявленного исследования для составления объективного заключения о целесообразности его проведения и о возможности достижения предполагаемого результата в заявленные сроки.

Задача экспертизы определяется так: оценка научного уровня проекта, возможностей его выполнения и выработка рекомендаций о целесообразности и объеме его финансирования.

До начала экспертизы совет Фонда принимает решение о распределении квот финансирования по областям знаний и по направлениям конкурсной деятельности.

Проекты поступают на экспертизу только после их регистрации в информационной системе (ИС) РФФИ и получения их печатного экземпляра.

Информация о распределении проектов по экспертам – конфиденциальная; во всех документах, оформляющих прохождение экспертизы, эксперты обозначены их кодами. Доступ к этой информации имеют председатель и координаторы ЭС, причем каждый из координаторов – только по своему разделу классификатора, а также члены совета Фонда – по своей области знаний.

По результатам экспертизы ЭС РФФИ принимают решения о результатах конкурсного отбора (поддержке и отклонении проектов) и объемах финансирования поддержанных проектов, которые затем утверждаются советом Фонда.

Порядок экспертизы заявок на конкурсы инициативных научных проектов

Исходными данными для проведения экспертизы являются:

·         зарегистрированные заявки;

·         решения совета Фонда о распределении квот финансирования по областям знаний и по направлениям конкурсной деятельности;

·         решение ЭС о распределении квот финансирования по видам конкурсов.

Экспертиза проводится в 3 этапа и сочетает в себе индивидуальную работу независимых экспертов и последующее коллективное обсуждение заявок (отчетов) на заседаниях секций ЭС и на пленарном заседании ЭС.

На первом этапе экспертизы каждый проект передается на независимое рассмотрение трем экспертам. В качестве одного из экспертов, как правило, выступает член ЭС, который в дальнейшем представляет проект на заседании секции совета. Решением координатора секции, председателя ЭС или его заместителей число экспертиз может быть увеличено. Если оценки экспертов существенно различаются, координатор секции может направить проект на дополнительную экспертизу. По окончании первого этапа в деле проекта должны быть представлены как минимум три экспертные анкеты с аргументированными решениями.

На втором этапе экспертизы заключения экспертов рассматриваются секциями ЭС. По поручению координатора секции материалы к заседанию готовят члены ЭС. Решение секции ЭС принимается с учётом оценок, выставленных на первом этапе экспертизы. Однако, секция вправе принять во внимание особенности проекта, не отраженные в экспертной анкете – уникальность подхода к решению научной задачи, важность исследований в данной области и т.п. – и поддержать проект с относительно низкими оценками или, наоборот, отклонить проект с высокими оценками, имеющий, по мнению членов ЭС, низкий уровень фундаментальности. Данное решение должно обязательно отображаться в протоколе.

На третьем этапе экспертизы результаты работы экспертов и секций рассматриваются на пленарном заседании ЭС.

Проект может быть направлен на дополнительную экспертизу секцией ЭС, экспертным советом, бюро совета Фонда или советом Фонда.

Распределение проектов по экспертам, если не принят (и утвержден решением совета Фонда или бюро совета Фонда) иной механизм распределения, проводится координаторами секций ЭС или его председателем.

При распределении проектов по экспертам необходимо избегать ситуаций «конфликта интересов». Эксперт обязан сообщить отделу Фонда о возникновении «конфликта интересов» и отказаться от экспертизы. Эксперт может отказаться от рецензирования и по причине несовпадения содержания проекта и научных интересов эксперта. В случае отказа от рецензирования координатором секции ЭС или его председателем назначается новый эксперт. Максимальный срок рецензирования (после получения проекта экспертом) – 2 недели.

Экспертное заключение по проекту формализуется в виде ответов на вопросы экспертной анкеты. В обязательном порядке, эксперт должен высказать содержательное мнение о научной ценности проекта и дать рекомендации по объему финансирования данного проекта.

Процедура экспертизы отчетов

Если проект рассчитан более чем на год, решение о продолжении финансирования (в пределах срока, указанного в исходной заявке) принимается соответствующим ЭС, после чего утверждается советом Фонда.

Основанием для решения являются результаты экспертизы научного и финансового отчетов. Задачи такой экспертизы:

·         оценка значимости полученных за год научных результатов;

·         оценка степени соответствия заявленных в проекте и фактически полученных за год результатов.

На первом этапе отчет рецензируется двумя экспертами, из которых, как правило, один является членом ЭС (в деле должны быть представлены две экспертные анкеты). При необходимости число экспертиз может быть увеличено.

Далее отчеты и заключения экспертов рассматриваются секциями, а затем – на пленарном заседании ЭС.

Списки рекомендованных и отклоненных экспертными советами проектов должны быть представлены членам совета Фонда за две недели до заседания совета (членам бюро совета Фонда – за 2 дня до заседания бюро).

За неделю до заседания совета Фонда его члены могут потребовать, чтобы на заседании совета была доложена научная мотивация, по которой поддержан или отклонен любой проект, поступивший на конкурс. Члены бюро совета Фонда могут потребовать это за 2 дня до заседания бюро. Ответственность за подготовку такого материала возлагается на ученого секретаря соответствующего ЭС.

Особенности процедуры экспертизы заявок по отдельным видам конкурсов

Заявки на конкурсы экстренной поддержки научных исследований проходят экспертизу в ЭС по соответствующей области знаний. В деле проекта должны быть представлена минимум одна экспертная анкета, подготовленная членом ЭС. Рекомендации ЭС по этим проектам рассматриваются бюро совета Фонда.

Заявки на конкурсы организации российских и международных научных мероприятий на территории России и на участие российских ученых в мероприятиях, проводимых за рубежом и на территории России, проходят экспертизу в бюро (или секциях) ЭС по соответствующей области знания. Должна быть представлена одна экспертная анкета.

Заявки на конкурсы проектов научно-популярных статей проходят экспертизу в ЭС по соответствующей области знаний. Должны быть представлены 3 экспертные анкеты.

Решение о поддержке проектов и объемах финансирования принимаются ЭС по соответствующей области знания и утверждается бюро совета Фонда.

Заявки на конкурсы международных проектов и конкурсы со странами СНГ проходят экспертизу в соответствии с процедурой рассмотрения инициативных проектов, проектов организации российских и международных научных мероприятий на территории России и проектов участия российских ученых в научных мероприятиях. Должны быть представлены две экспертные анкеты. Рекомендации экспертных советов оформляются протоколами, содержащими списки проектов с рейтингом по каждому (А1 – рекомендуется поддержать, А2 – возможно поддержать, N – не рекомендуется поддерживать) и рекомендуемыми объемами финансирования проектов с рейтингом А1 и А2. Решение принимает бюро совета Фонда на основании рекомендаций экспертных советов и результатов зарубежной экспертизы.

Экспертиза заявок на конкурсы проектов написания аналитических научных обзоров (ано) проводится двумя экспертами, один из которых является членом ЭС по соответствующему направлению науки, при этом оцениваются потребность в написании предложенного обзора и потенциал автора заявки. Эксперты оценивают обзор и дают рекомендации автору по содержанию и форме обзора. При экспертизе обзора оцениваются глубина и полнота раскрытия научной проблематики и степень соответствия подготовленного обзора заданной теме.

При проведении экспертизы заявок на конкурсы ориентированных фундаментальных исследований (офи) руководствуются «Положением об экспертизе инициативных проектов ориентированных фундаментальных исследований по актуальным междисциплинарным темам» (этот документ обнаружить не удалось! – ПЧ).

Заявки на конкурсы проектов научной работы молодых ученых в ведущих научных организациях Российской Федерации проходят экспертизу в бюро (или секциях) ЭС по соответствующей области знания. Должна быть представлена одна экспертная анкета, подготовленная членом ЭС.

Заявки на конкурсы экстренной поддержки научных исследований проходят экспертизу в соответствии с процедурами рассмотрения заявок конкурсов проектов организации российских и международных научных мероприятий на территории России, конкурсов организации и проведения экспедиций (и полевых исследований) и проектов издания научных трудов.

6. Проблемы и их решения

Прежде всего, отметим, что РФФИ формируется строго сверху вниз. Президент РФ назначает председателя совета Фонда. Последний представляет кандидатуры заместителя председателя совета Фонда, ответственного секретаря совета Фонда и директора Фонда, составы совета Фонда, бюро совета Фонда и экспертных советов. Директор Фонда назначает работников дирекции Фонда.

Выше сказано, что председатель совета Фонда представляет составы экспертных советов (Устав, п. 35). В бόльших деталях это происходит так. Председатель совета Фонда представляет кандидатуры председателей ЭС. Они утверждаются советом Фонда (Положение об ЭС, I.2а). Далее каждый утвержденный председатель ЭС предлагает кандидатуры заместителей, координаторов секций ЭС и совместно с ученым секретарем ЭС вносит предложения в совет РФФИ о составе ЭС (Положение об ЭС, I.2б). Составы ЭС утверждаются то ли бюро совета Фонда (Устав, п. 31), то ли советом Фонда (Устав, п. 35) – тут в Уставе небольшая накладка. Председатель экспертного совета, его заместители и координаторы секций готовят предложения о составе экспертов. Состав экспертов Фонда утверждается бюро совета Фонда (Положение об ЭС, III.2).

В структурах такого рода низший всегда благодарен высшему за назначение и зависим от него. Так, директор Фонда и член совета Фонда могут быть не переназначены на второй срок, член ЭС   может быть выведен из него по представлению его председателя (это относится и к координатору секции), член дирекции (например, руководитель конкурсного отдела) – освобожден от должности директором и т.д.

Проблема 1. Назначение составов ЭС и экспертов сверху и зависимость ЭС от начальства подрывают беспристрастность и эффективность экспертизы.

Формирование ЭС и пула экспертов сверху, из одного источника, зависимость их от начальства вступают в противоречие с самой сутью экспертизы. Она – в учете разнородных независимых квалифицированных мнений. Пусть председателем ЭС – условный Т.Д. Лысенко. И что, разве система заставит его включить в ЭС и пригласить экспертами генетиков? И много ли генетики получат тогда грантов? А если Т.Д. Лысенко – председатель совета всего Фонда, то, вероятно, не поздоровится не только генетике. Это крайний пример, но он показывает: набор экспертов из одного источника опасно ограничивает спектр мнений. Научный уровень экспертов при этом также должным образом не контролируется.

Решение 1. Здесь нужен подход, такой, как при формировании Корпуса экспертов по естественным наукам: http://www.expertcorps.ru/. А именно, ученые, чьи библиометрические показатели выше определенного порога, рекомендуют авторитетных для них коллег в качестве экспертов и дальше работает метод «снежного кома». Полученные так эксперты будут иметь по-настоящему высокий научный уровень, будут независимы от начальства и беспристрастны. Они будут представителями профессиональной научной среды, а не одного-двух начальников. Вне сомнения этот подход нуждается в дальнейшей разработке, чтобы перенести его на все области знания с учетом их специфики. Кстати, не вижу резонов требовать, чтобы эксперты были непременно руководителями поддержанных проектов РФФИ и докторами наук. Это резко ограничивает круг экспертов, которых должно быть гораздо больше. В частности, не позволяет привлекать многих ученых, постоянно работающих за рубежом. Это такая же избыточная роскошь, как если бы журнал ограничивал круг рецензентов своими авторами. Итак: Состав экспертов должен формироваться не назначениями сверху, а рекомендациями научного сообщества.

Для сравнения: РГНФ набирает экспертов на конкурсной основе:

http://www.rfh.ru/index.php/ru/konkursy/konkurs-ekspertov

РФФИ пока делает в этом направлении лишь самые робкие шаги.

Далее, поскольку мы обсуждаем систему, а не конкретных людей, чтобы избежать пустых обид и постоянных оговорок, будем порой говорить о МФФИ – Марсийском фонде фундаментальных исследований, имеющем ту же нормативную базу. Подчеркну: Марсия – это не уход в беллетристику, едва ли уместный при обсуждении реальных проблем, а описание ВОЗМОЖНОГО без лишних оговорок и модальных глаголов.

Проблема 2. Система прекрасно подходит для лоббирования интересов влиятельных лиц.

Предположим, что координаторы некоторых секций ЭС и председатели ЭС МФФИ считают, что если заявку лоббирует влиятельный член Марсийской академии наук, то она должна быть непременно поддержана. Для этого координатор просто направляет заявку своим «карманным» экспертам (благо, он сам их выбирал), и они ставят заявке проходные баллы. Ведь организация распределения проектов по экспертам «относится к компетенции председателя экспертного совета, его заместителей и координаторов секций» (п. I.3a Положения об ЭС).

Решение 2. Проблему отчасти снимает решение проблемы 1. Но лучше иметь двойную надежность. Человек, назначающий заявке трех экспертов, может в существенной мере влиять на результат, поскольку в узкой профессиональной среде более или менее ясно, как кто к чему и к кому относится. Можно выбрать экспертами трех предполагаемых сторонников, можно – предполагаемых противников. Степень влияния здесь ниже, чем в случае проблемы 1, но ее лучше избежать. Могут возразить, что это не отличается от направления статьи на рецензирование членом редколлегии журнала. Отличается – тем, что здесь делят деньги, и мера личной заинтересованности выше. Поэтому следует продумать вариант автоматического случайного выбора экспертов – среди «отвечающих» за соответствующие коды классификатора. Сегодня реализовать это довольно трудно: экспертов мало, и бывает, что даже одного хорошо разбирающегося в теме среди них нет. В некоторых узких областях русскоязычных экспертов – вообще единицы. В частности, и поэтому нужен другой принцип набора экспертов (см. решение 1) и большее их число. Тогда система может работать так (извините за следующий немного занудный абзац)...

Для заявки случайно выбираются три эксперта – из группы, скажем, пяти максимально близких к теме, насколько об этом можно судить по формальным параметрам. В сопроводительном письме – просьба к экспертам отказываться от рецензирования в случае недостаточной компетентности в теме проекта, но при этом обязательно рекомендовать компетентных в ней специалистов высокой квалификации. Лучше – из числа действующих экспертов Фонда (см. решение 7 ниже). Если таких нет, рекомендовать новых. Тогда Фонд может быстро рассмотреть вопрос о включении их в состав экспертов. Рекомендателю за «отказ с рекомендацией» можно платить символическое вознаграждение, равное четверти оплаты рецензии. Смешные деньги, но это просто овеществленное «спасибо». На следующем шаге система на место отказавшегося эксперта выбирает нового – проведя «розыгрыш» между рекомендованными и двумя не задействованными экспертами из исходной 5-ки, которых она по-прежнему считает разбирающимися в теме. Думаю, за две итерации процесс будет сходиться.

До того момента, когда эксперт представил в Фонд свое заключение по проекту, никто в Фонде не должен знать его имени, чтобы не было возможности на него повлиять. Итак: нужно детально проработать возможность использования случайного выбора экспертов для каждой заявки. Экспертам, плохо разбирающимся в теме проекта, Фонд должен рекомендовать отказываться от рецензирования и указывать кандидатуры «на замену» – требуемых узких специалистов высокой квалификации.

Проблема 3. Система позволяет и членам ЭС лоббировать свои интересы. В некоторых ЭС Марсийского фонда это делают так. Как мы помним, процедура экспертизы состоит из трех этапов. На первом работают «внешние» эксперты. На втором заключения экспертов рассматриваются секциями ЭС. На Марсе широко используют следующий дивный пункт (п. II.3 Положения от экспертизе): «Решение секции экспертного совета принимается с учётом оценок, выставленных на первом этапе экспертизы. Однако, секция вправе принять во внимание особенности проекта, не отраженные в экспертной анкете – уникальность подхода к решению научной задачи, важность исследований в данной области и т.п. – и поддержать проект с относительно низкими оценками или, наоборот, отклонить проект с высокими оценками, имеющий, по мнению членов экспертного совета, низкий уровень фундаментальности». Если член секции ЭС чувствует «важность исследований в данной области и т.п.» лично для себя, то обычно его коллеги по секции идут ему навстречу: эту важность коллективно признают и поддерживают заявку даже «с относительно низкими оценками». Если же бывает трудно поддержать все проекты, важные для членов секции, то секция, строго по Положению о экспертизе, признаёт «низкий уровень фундаментальности» некоторых проектов с высокими оценками. Стараясь, разумеется, для приличия подкрепить свои решения некоторыми аргументами.

Решение 3. Уверенные в необходимости второго этапа экспертизы, т.е. рассмотрения заявок на секции ЭС, обычно приводят такой аргумент. Пусть один из «внешних» экспертов ошибся или пристрастен и поэтому поставил проекту низкую оценку. В силу жесткости конкуренции два других эксперта «вытянуть» заявку своими умеренно высокими оценками не смогут. Тогда члены секции ЭС могут разобраться по существу и исправить ситуацию. Возможно. Но как быть с «естественным» желанием марсиян, серийно принимающих решения о поддержке, продвигать интересы свои и своих друзей? Надо ли давать им такую легкую возможность вступать для этого в сговор? Не будет ли вред от этого бόльшим, чем гипотетическая польза от «спасения» заявки, «зарезанной» одним из экспертов (еще большой вопрос, захотят ли они ее спасать – ведь дорогẚ каждая вакансия)? Наконец, для спасения «зарезанных» заявок есть гораздо более надежное средство. Если одна из экспертных оценок значительно ниже других, на втором этапе проведем дополнительную экспертизу. А именно, случайно выбираются еще два эксперта (снова повторим: экспертов должно быть много!). Их можно снабдить анкетами первых трех экспертов, чтобы могли оценить их аргументы – так делают сейчас члены ЭС на втором этапе экспертизы. Они подают свои анкеты, и из пяти оценок отбрасываются две крайние (можно предложить и более тонкий, хотя и более сложный способ обработки), и решение принимается на основании оставшихся.

Итак, предлагаемое решение: упразднить ЭС как эффективный инструмент сговора. В случаях слишком сильного разброса экспертных оценок заявки направлять ее двум дополнительным экспертам.

Закрытие ЭС позволит мгновенно решить еще одну неприятную и практически неразрешимую головоломку: как быть с тем, что через ЭС идут проекты самих членов ЭС и почти всегда поддерживаются?

Обсудим теперь две смежные проблемы 3а и 3б, которые возникнут, если решить проблему 3 упразднением ЭС.

Проблема 3а. Если нет ЭС, то как принимать решения относительно заявок с полупроходным баллом?

Решение 3а. Возможных решений несколько. 1. Уточнение шкалы. Выписать все комбинации оценок, дающие равную сумму в зоне возможного полупроходного балла, и упорядочить их по предпочтительности экспертно. Методом парных сравнений. У меня, например, заявка с двумя довольно низкими оценками и одной запредельной (5, 5, 9) вызывает меньше доверия, чем заявка с более «ровными» оценками (6, 6, 7). Для тех пар троек оценок, для которых экспертное сравнение имеет низкую согласованность, можно признать равноценность соответствующих троек и для сравнения соответствующих проектов 2. Назначить дополнительную экспертизу. Достаточно одного эксперта. Небольшое число заявок с полупроходным баллом может остаться и после реализации этих пп. 1, 2. Тогда Фонд может принять по данной секции ЭС одно из двух решений: 3. Поддержать все заявки с полупроходным баллом или не поддерживать ни одну из них. Первое приведет к небольшому пропорциональному уменьшению суммы поддержки заявок с более высоким баллом, второе – к такому же увеличению. Отметим, что в случае реализации «решения 4» заявки с равным суммарным баллом будут встречаться гораздо реже, и проблема 3а потеряет остроту.

Проблема 3б. Если нет ЭС, и важны только экспертные оценки, то зачем экспертам писать мотивировочную часть анкет?

Решение 3б. Цель написания мотивировочной части анкет – побудить экспертов глубоко разобраться в заявке. Вообще некоторые из сегодняшних экспертов, часто неквалифицированных и перегруженных заявками, работают небрежно. Когда конкурс закончен, каждую экспертную анкету (или хотя бы одну анкету каждого эксперта), совместно с заявкой, стоит направлять на рецензию одному случайно выбранному эксперту (разумеется, не рецензировавшему эту заявку) – не на предмет согласия с оценкой, а на предмет тщательности рецензирования. Анкету эксперта, получившего мотивированную оценку «работал небрежно», – послать еще 1–2 экспертам. Если небрежность подтверждается, – отстранять эксперта от работы. При таком контроле эксперты будут относиться к рецензированию более тщательно. Кроме того, необходимо разработать детальное Положение об апелляции авторов неподдержанных проектов. Апеллировать можно в случаях, когда авторы могут доказать, что утверждения экспертов не соответствуют действительности, либо поставленные оценки не согласованы с мотивировочной частью анкет. Решения по апелляциям принимают внешние эксперты.

Проблема 4. Обратимся к главному элементу экспертной анкеты – заключению эксперта. Заключение может быть таким:

9 — Выдающийся проект исключительно высокого качества

8 — Проект обязательно следует поддержать

7 — Проект обязательно следует поддержать

6 — Поддержка допустима

5 — Поддержка допустима

4 — Проект не заслуживает поддержки ввиду низкого уровня

3 — Проект не заслуживает поддержки ввиду низкого уровня

2 — Проект не заслуживает поддержки ввиду низкого уровня

1 — Проект не следует поддерживать, т.к. он не имеет фундаментального характера

Немало едкого пришлось мне услышать об этом от марсийских экспертов. Вот несколько суждений.

«Эта шкала каждый раз вызывает у меня когнитивный диссонанс. Читаю заявку. Вполне приличная. Но надо ли ее поддерживать, зависит от конкурирующих проектов. Если есть много лучших, то этот поддерживать не надо. А если этот самый лучший, то точно надо. Что написать? 6? Но если все эксперты поставят 6, боюсь, поддержка ему не светит. Так что, ставить 7? Но я не думаю, что «проект обязательно следует поддержать»! И такая ерунда – более чем с половиной заявок.»

«Что за странная шкала? Зачем так растянута нижняя часть? Какая надобность в трех градациях «проект не заслуживает поддержки ввиду низкого уровня»? Логичнее было бы иметь три градации «поддержка допустима». Но – с обязательным заданием разных порогов качества по отношению к мировому уровню. Ведь в категорию «поддержка допустима» попадает большинство проектов. Значит, на большинство проектов отведено только два ранга в 9-балльной шкале! Неудивительно, что сравнение идет так трудно и что в зоне проходного балла так много заявок с равными суммами.»

 «В науке ценно лишь то, что на мировом уровне. Марсийская наука – далеко не лидер общемарсианской. Проекты, хотя бы своим краешком выходящие на передний край науки, составляют примерно четверть. Только они заслуживают оценки 5,6-«поддержка допустима», остальные – в топку. Надеюсь, что другие эксперты считают так же.»

«Государство в неоплатном долгу перед марсийской наукой. Главное – сохранить научные кадры. Поэтому поддерживать надо каждый проект, обещающий элемент новизны. Если в проекте есть хоть что-то, не раздумывая, ставлю 7 или 8.»

Мы видим, что даже эксперты, оценивающие научный уровень проекта одинаково, могут ставить ему совершенно разные оценки, что вносит существенные искажения. В действительности, для принятия решения нужны оценки качества проектов (с учетом их реализуемости). Общие взгляды экспертов по вопросу о том, что надо, а что не надо поддерживать, совершенно ни при чем. Но даже при реалистичной позиции эксперта «поддержать все лучшее, на что хватит денег» (см. 1-е суждение выше) у него возникают большие трудности: ведь он не знает, как присланный ему проект выглядит на фоне остальных. А этим как раз и определяется, «обязательно» надо его поддержать или «поддержка допустима». И выходит, что эксперт, по сути, случайно выбирает между этими двумя градациями, что в очень многих случаях и решает судьбу проекта.

Итак, проблема: заключение эксперта должно быть о научном уровне проекта, а не о зависящей от привходящих обстоятельств «желательности поддержки». Научный уровень надо оценивать, насколько возможно, в объективной шкале: только это обеспечит сопоставимость оценок разных экспертов.

Решение 4. Можно дать эксперту примерно следующую инструкцию.

Представьте себе, что проект реализован – в ожидаемом Вами объеме. Пусть он представляется на крупной ежегодной международной конференции высшего уровня в данной области (200-300 участников). По Вашему опыту оцените ожидаемый уровень данной работы по отношению к качеству работ, представляемых на таких конференциях. Например, если Вы прогнозируете, что работа будет в точности на среднем уровне конференции, укажите 50%; если работа будет абсолютным лидером по научному содержанию, укажите 100%; если работу не примут на конференцию, укажите 0%, если работа не уступит 45% работ и будет хуже 55%, укажите 45%. Постарайтесь указать число с максимально возможной (но не избыточной) точностью.

Такой подход обеспечит сопоставимость оценок разных экспертов. Думаю, что даже если эксперт сам давно не ездил на такие конференции, ему в принципе будет по силам ответить на этот вопрос – ведь он, наверное, просматривает доклады и представляет их уровень. Можно аналогичным образом соотносить данную работу с уровнем статей в журналах WoS в данной области, но может быть непросто оценить весь спектр этих журналов. Достаточно «твердую» базу для сравнения в России, мне кажется, указать трудно.

В качестве дискуссионного можно рассмотреть также следующее предложение. Оно реализует принцип «оценивая конкурентов, сравнивай их друг с другом».

Решение 4*. Каждому эксперту посылается не одна, а две заявки одного направления – по специальной схеме формирования пар, обеспечивающей каждой заявке трех экспертов и три разных заявки, с которыми она сравнивается. Легко видеть, что суммарные трудозатраты всех экспертов при этом остаются теми же. Эксперт сравнивает проекты по шкале с градациями: «0 – примерно равноценны», «±1 – немного лучше», «±2 – заметно лучше», «±3 – абсолютно лучше» (плюс ставится, когда лучше первая, минус – когда вторая). Итоговое упорядочение заявок строится НЕ по суммарному баллу (поскольку одному проекту могли попасться сильные конкуренты, другому – слабые), а по известной процедуре обработки неполных парных сравнений, оценивающей «силы соперников».

Этот подход в чем-то проще для эксперта, чем решение 4, т.к. он не требует знания распределения работ в мире по качеству. Но в чем-то он и сложнее, т.к. эксперт должен разбираться в темах обоих проектов. Было бы интересно совместить эти подходы, т.е. задавать экспертам оба вопроса и агрегировать результаты. На переходный период можно ввести обе новые оценки (по решениям 4 и 4*) как дополнительные, сохранив и старую, и проанализировать результаты.

Проблема 5. Фонд, говоря высоким штилем, служит науке и ученым. Чтобы понять, хорошо ли, и как служить лучше, необходима обратная связь. Сегодня РФФИ выглядит неприступной крепостью: никаких «брешей» для обратной связи не видно. Известны случаи, когда Фонд, в нарушение российского законодательства, не отвечал на официально зарегистрированные обращения.

Решение 5. 1. Учредить при Фонде общественный совет. Разумеется, его члены не должны назначаться председателем совета Фонда – их должна выбирать научная общественность. Члены общественного совета присутствуют на заседаниях совета Фонда с правом совещательного голоса и имеют доступ к документам Фонда, связанным с рецензированием проектов и с финансовой деятельностью. 2. На сайте Фонда открыть раздел обращений. Чтобы любой ученый мог обратиться в Фонд с вопросом, критикой, предложением и чтобы ни одно осмысленное обращение не оставалось без ответа официального представителя Фонда.

Проблема 6. Насколько понимаю, процент поддержанных проектов задается жестко. Будет логично, если он будет зависеть от качества поданных заявок.

Решение 6. Реформа системы оценок (решение 4) позволит сделать шаг в сторону введения постоянного проходного балла поддержки для каждого направления. Если много проектов с высокими оценками, пусть они будут поддержаны все. Если в этом году их мало, пусть им повезет, и они получат больше за счет распределения между ними всей суммы. Этот пункт написан в некотором смысле «по заявке» одного из ответственных сотрудников Фонда.

Проблема 7. Эта проблема –  немного комического свойства. Давно сформулировано, что «суровость российских законов смягчается необязательностью их исполнения» (М.Е. С.-Щ.). Согласно пункту о «конфиденциальности информации о работе Фонда» (Положение об ЭС, IV.3) к секретным отнесены, в частности, «сведения о составе ЭС, экспертах». Это значит, что член ЭС и эксперт обязаны скрывать от всех эти свои роли. Но я как-то не замечал, чтобы кто-то относился к этому запрету с большой серьезностью. Да и легко ли? Что, член ЭС должен, отправляясь на его заседание, говорить жене, что идет в библиотеку? Довольно комично, что сотрудничество с РФФИ в качестве эксперта приравнивается к миссии тайного агента спецслужб. Идея авторов этого положения ясна – они хотели бы, чтобы на экспертов не влияли, – но надо же думать и о реалистичности. РГНФ, организация, по ряду направлений более прогрессивная, чем РФФИ, такого положения в своих документах не имеет.

Далее, к конфиденциальной информации отнесены «сведения об объемах финансирования отдельных проектов». Не совсем понимаю, почему это должно быть секретом. Не для того ли, чтобы скрыть привилегированное положение отдельных проектов?

Решение 7. Не считать секретными сведения об объемах финансирования проектов и принадлежность к составу экспертов и ЭС РФФИ (в отношении ЭС, надеюсь, это станет неактуальным из-за их упразднения). Публиковать список экспертов Фонда.

Обсуждение можно продолжить в том же жанре: Проблема – Решение.