Проблемы научной экспертизы: оценка исследователей, научных групп, проектов, организаций (материалы к ОС ОНР-2014)
1. Задача создания в России научной среды и условий для научной работы, сравнимых с имеющимися в развитых странах, требует систематической работы профессионального экспертного сообщества.
С его помощью необходимо решать, в частности, задачи
1) аттестации научных организаций и научных групп (лабораторий);
2) экспертизы крупных проектов;
3) экспертизы для установления повышенной оплаты труда ученых, достигших высоких результатов;
4) независимой экспертизы диссертационных работ;
5) формирования и выражения позиции научного сообщества по вопросам государственной научной политики и выбора перспективных направлений исследований.
2. Основу экспертного сообщества, способного решать указанные задачи, не может составлять ни Российская академия наук, ни диссертационные и экспертные советы ВАК, ни множество всех обладателей ученых степеней. Таково реальное положение, сложившееся в результате глубоких перекосов в научной политике: никакие членства, степени и звания не гарантируют в России высокого научного уровня их обладателя. Основу экспертного сообщества не может составить и корпус экспертов РФФИ – хотя бы потому, что принадлежность к нему считается конфиденциальной информацией. Профессиональное экспертное сообщество, пользующееся доверием ученых, может быть сформировано лишь «снизу», с использованием демократической процедуры.
3. Приемлемый подход к формированию экспертного сообщества был предложен в рамках проекта «Корпус экспертов по естественным наукам». Состав Корпуса определяется демократической процедурой, причем выборщики должны удовлетворять определенным квалификационным требованиям, формулируемым в терминах цитируемости работ. Принципиальное положение методики состоит в том, что к избираемым требования по цитируемости не предъявляются.
К настоящему моменту Корпус экспертов сформирован в нескольких областях. Формирование его для остальных областей – важнейшая задача, в решении которой ОНР может сыграть ключевую роль. Даже для областей, сегодня слабо представленных в ОНР, Общество может стать базовой площадкой для работ по формированию Корпуса экспертов.
4. Для минимизации лоббирования желательно избегать включения в экспертные комиссии научных администраторов. Привлечение иностранных экспертов в большинстве случаев полезно, но не является универсальным средством, гарантирующим объективную картину. Следует учитывать, что иностранным ученым не всегда легко оценить именно уровень ученых, а не обеспеченность оборудованием и другие привходящие обстоятельства. Наконец, есть языково-зависимые области и другие области, где необходим учет российской научной специфики.
5. Во многих дисциплинах задача оценки научных достижений небольших коллективов и индивидуальных исследователей не имеет адекватного решения в терминах библиометрических индексов. Это связано с тем, что корреляция качества научного результата и индикаторов публикационной активности и цитируемости нередко низка – особенно в гуманитарных, общественных науках и математике. Более того, увлечение числовыми индикаторами разрушает научную мотивацию, вводя ученых в соблазн профанации. В случае профанации корреляция качество–индексы становится отрицательной. В связи с этим задачи развития научной экспертизы и создания профессионального экспертного сообщества приобретают первостепенную важность.
6. Предусмотренный Постановлением Правительства РФ от 1 ноября 2013 г. № 979 подход к оцениванию результативности деятельности научных организаций на основе формальных показателей и к разделению организаций на три категории по отклонению значений показателей от среднего неприемлем. Аттестация организаций должна проводиться на основе профессиональной внешней экспертной оценки деятельности подразделений с содержательным анализом их результатов (а не одних формальных показателей). Экспертиза должна проводиться по четкому утвержденному регламенту, побуждающему экспертов к объективной всесторонней оценке уровня исследований и исключению безответственной вкусовщины. Аттестация должна быть направлена на сохранение всех коллективов, производящих ценное новое знание и на поддержку коллективов, имеющих высокую результативность. Подход, направленный на сохранение только лучших, ошибочен: он ведет к разрушению научной среды. В заключениях экспертов должны присутствовать рекомендации по развитию оцениваемых лабораторий и институтов.
7. Реализация принципа финансирования фундаментальных и поисковых научных исследований преимущественно за счет грантов чревата нежелательными последствиями. Конкурс на грант – всегда отчасти лотерея; неполучение гранта может прервать успешное исследование. В случае впечатляющего результата очередного этапа исследования финансирование следующего этапа должно выделяться автоматически (поддержка по результатам). Обеспечение этого подхода – еще одно направление, где необходима эффективная экспертиза.
8. Задача установления повышенной оплаты труда ученых, достигших высоких результатов, также должна решаться главным образом экспертными методами. Во всяком случае, для дисциплин, где корреляция качества результатов и наукометрических показателей невысока (гуманитарные и общественные науки, математика, информатика и др.). Совершенно неприемлемо оценивать гуманитариев по тем же формальным критериям, что и биологов, химиков и других естественников – с теми же библиометрическими показателями и теми же порогами числа публикаций в журналах, индексируемых WoS и Scopus. Необходимо учитывать особенности публикационной активности и традиции цитирования в разных областях; последнее слово при оценивании должно принадлежать профессиональным экспертам.
9. При установлении повышенной оплаты труда ученых с высокой результативностью общая методика и величина вознаграждения должны быть едиными для государственных организаций разных типов, включая университеты, институты ФАНО и федеральные научные центры. Сегодняшняя ситуация, при которой в вузах уже созданы научные подразделения с зарплатой 100-120 тыс.руб., а в институтах при зарплате 20-30 тыс.руб. речь идет о надбавках не более чем того же уровня, по меньшей мере странна. От применяемого в последние годы принципа – огромные ресурсы «избранным» и более чем скромные остальным – следует отказаться. Несправедливость его усиливается крайне спорными подходами к определению «избранных». Нередко уровень их результатов вовсе не выделяется в лучшую сторону по сравнению с коллективами, имеющими на порядок более низкое финансирование.
10. Экономическая ситуация, складывающаяся в России в 2014 г. (финансовые обязательства, связанные с присоединением Крыма, повышение военных расходов, потери в результате введения экономических санкций и снижения курса рубля и др.) требуют особенно точной и продуманной государственной научной политики. Риск недофинансирования науки при этом становится чрезвычайно высоким. Главная цель – сохранение работоспособных коллективов. Это потребует ликвидации уже возникших неоправданных диспропорций финансирования.
Роль профессиональной научной экспертизы при выработке и реализации разумной научной политики в сложившихся условиях и решении перечисленных выше задач чрезвычайно велика. ОНР может обеспечить решающее продвижение в становлении института такой экспертизы.
Предложения для голосования на ОС ОНР:
1. Необходимо отказаться от предусмотренного Постановлением Правительства РФ от 1 ноября 2013 г. № 979 отнесения к "3-й категории" (с возможной ликвидацией) научных организаций, чьи формальные показатели на 25% ниже средних по референтной группе. Необходима совместная разработка Правительством и научным сообществом иной, в своей основе - экспертной, методики аттестации научных организаций. Цель аттестации - сохранение и оздоровление научной среды в России, что предполагает сохранение всех работоспособных научных коллективов.
2. Порученное Правительству "установление повышенной оплаты труда отдельным категориям научных работников, достигших высоких результатов в научной деятельности" должно проводиться с учетом специфики научных дисциплин, что предполагает использование экспертных методов для дисциплин, где корреляция качества результатов и библиометрических показателей низка: гуманитарные и общественные науки, математика, некоторые другие. В то же время указанное повышение оплаты труда должно быть единым для организаций разной подчиненности: государственных вузов, институтов ФАНО, федеральных научных центров. Соответствующая методика должна разрабатываться совместно Правительством, РАН и научным сообществом, для чего должна быть создана специальная рабочая группа.
3. В случае если вследствие не предусмотренных бюджетом РФ дополнительных расходов (обязательства перед Крымом, компенсация вводимых против России экономических санкций и т.п.) не удастся избежать урезания бюджета науки, приоритетом должна стать не поддержка только "лучших из лучших" (что приведет к разрушению научной среды), а сохранение всех работоспособных научных коллективов. Реализация сформулированного в поручениях Правительству принципа "осуществление финансирования фундаментальных и поисковых научных исследований преимущественно за счёт грантов" не должна привести к установлению более высокого приоритета грантовых обязательств государства перед осуществлением базового финансирования и премирования по результатам.
4. Отмечая актуальность задачи формирования "снизу" профессионального экспертного сообщества России, ОНР считает необходимым в инициативном порядке начать работу по формированию Корпуса экспертов России путем дополнения Корпуса экспертов по естественным наукам экспертными коллегиями по другим дисциплинам. Главный принцип формирования Корпуса экспертов при этом сохраняется: эксперты избираются коллегией выборщиков, к членам которой предъявляются квалификационные требования, вообще говоря, зависящие от дисциплины.
Проблемы научной экспертизы
Полностью поддерживаю постановку вопроса о научной экспертизе, но хочу обратить внимание еще на два момента о которых в тексте явно не говорилось:
даже в слабых научных коллективах могут быть сильные исследователи, не хотелось бы, чтобы они попадали под общую гребенку, можно ли это как-то отследить в экспертизе?
роль научных администраторов (организаторов науки) - надо ли выделять их как особую категорию?
спасибо за вопросы
В правительственной методике предполагается оценка всех лабораторий в ликвидируемых институтах. Но по формальным критериям. В методиках, предлагаемых Комиссией Контроля, оценка - содержательная и доходит до отдельных исследователей.
В науке разделение ролей - не менее отчетливое, чем в муравейнике. Для нормального функционирования, надо, чтобы все роли выполнялись. Система оценки должна это учитывать.
Ответы
Спасибо за Ваши комментарии к моим вопросам! Поддерживаю!
Поддерживаю вас, коллега.
Поддерживаю вас, коллега.
Слайды доклада...
приложены
Презентация.
С большим интересом познакомился с Вашей презентацией и должен сказать, что в целом ее поддерживаю!
Спасибо!
Спасибо!
Периферийные вузы и научно-образовательные центры
Уважаемые коллеги!
Должна отметить, что проблема деления научно-образовательные учреждения на категории требует внимательного подхода. Особенно она не допустима для периферийных вузах. Мы обратились в Роскомнадзор за регистрацией научного журнала и год ждем ответа. У нас есть творческие "пишущие" ученые, но мы не обращаемся в УМО или ведущие журналы, потому что это очень затратно по времени и другим ресурсам. Все эти моменты необходимо учитывать.
Проблема грамотных экспертов тоже назрела. Мы готовы предложить кандидатуры наших опытных специалистов.
С уважением,
Валентина Ивановна Терентьева
Слава богу, что не включили.
Достаточно этого - http://vsoa.esrae.ru/pdf/2014/13/820.pdf. Оперативно, ничего не скажешь. Вот теперь точно включат. И импакт фактор РИНЦ подскочит до ....
А по сути - затратность по времени и другим ресурсам не столь велика. Просто есть ясное понимание того, что пошлют далеко. А тут - свой журнал, статей уровня как указано выше до кучи. И собственные публикации - "Успехи естественных наук". Приемная комиссия, ауууу ...
Благодарность
Уважаемые организаторы проекта!
В целом, хочу сказать, что Вами ведется очень правильная и своевременная работа.
Сотрудники научно-образовательных учреждений в наше время похожи на изгоев общества. Власть забыла, что прогресс цивилизации обеспечивается научными деятелями, в первую очередь. Наблюдаю за организацией "Офицеры России", которая была сформирована, для улучшения качества жизни офицеров и их семей (зарплата, квартиры, решение профессиональных и бытовых проблем офицеров). Их представители вошли в Совет Федерации. Давно пора создавать похожую организацию с идентичными задачами. Ну ведь стыдно же за себя, коллег, что нас по разплате, например, приравняли к среднему рабочему. А пенсионеры-ученые, преподаватели вузов. У нас какие льготы? Молчать устали, быть людьми второго (или третьего?) сорта - тоже. Готова включиться в конструктивную оргработу по отстаиванию прав научных и педагогических работников ВУЗов и НИИ.
С уважением, В.Терентьева
Почти чудо - тандем Google Scholar и Web of Science
Никто в это не верил, но Google Scholar и Web of Science "объединяют бренды". Правда пока лишь частично, но теперь в результатах поиска каждой из систем будет ссылка на другую.
http://wokinfo.com/googlescholar/?elq=4bcde76d380b479c9f715af00e79ba87&e...
Таким образом, без всякой там подписки, любой человек сможет посмотреть какие из данных Google Scholar присутсвуют в Web of Science Core Collection!
Отлично! Аппетиту Брина и Пэйджа можно только позавидовать.
Думаю, что можно ожидать скорую покупку Googl'ом самой Thomson Scientific - наверное, это вопрос только времени и цены. Ну а потом параллельно индексам цитирования строятся индексы количества загрузок полнотекстовых версий статей. Можно будет сравнить - сколько читают и сколько цитируют. Пока это отслеживается только самими журналами, да и то не всегда .
Это хорошая новость, если это
Это хорошая новость, если это приведет к увеличению объема информации, доступной бесплатно.
радует, что опыт - сын ошибок трудных, накапливается
"От применяемого в последние годы принципа –огромные ресурсы «избранным» и более чем скромные остальным – следует отказаться. Несправедливость его усиливается крайне спорными подходами к определению «избранных». Нередко уровень их результатов вовсе не выделяется в лучшую сторону по сравнению с коллективами, имеющими на порядок более низкое финансирование."
Очень правильное наблюдение и отчасти связанное с дефицитом экспертов.
В ОНР ведь тоже попадают не просто так, не проще ли было бы всем членам ОНР дать аффилиацию эксперта и предоставить списки и контакты МИНОБРу и прочим заинтересованным министерствам и ведомствам включая ФАНО? Или разослать письма с обоснованием, рекомендациями и ссылкой на списки http://www.onr-russia.ru/ONR_users
прелесть ситуации в том что в ОНР идут люди неравнодушные и не ради последующего руления финансовыми потоками. Любой направленный отбор в эксперты приведет к накоплению в составе экспертного корпуса людей не только с правильными публикациями, но и с желанием поддерживать "правильные" проекты их правильных ведомств и НИИ.
например, помню из министерства прислали требование сформировать некую группу экспертов так все пошло строго по административной линии директора НИИ, замы и завлабы (правильные) автоматически стали экспертами.
Думаю, будет правильно, если
Думаю, будет правильно, если экспертов будут избирать снизу. Причем - с квалификационными ограничениями для выборщиков. Потом избранных надо просить быть экспертами. Объясняя важность этой миссии для всего научного сообщества. Тогда это будет линия ортогональная административной.
усложнение процедуры снизит количество экспертов
а отсутствие конкуренции за возможность быть экспертом приведет к прохождению в эксперты любого желающего.
легко ли было создать ОНР и привлечь то количество людей которое есть сейчас? А разве с формированием экспертного корпуса будет легче?
Раз уж в ОНР набрали какое-то количество народа руководствуясь квалификационными и репутационным критериями, то почему бы этим и не воспользоваться?
Одна из типичных ошибок ученых, действующих в реальной жизни - склонность к усложнению процессов.
Ага, сначала выберем выборщиков, потом экспертов, потом ..
будет суп с котом.
Есть сложившийся институт экспертов РФФИ. Сейчас складывается круг экспертов РНФ. Вам не кажется, что поезд уже ушел далеко ? Ну и плюс к этому я что-то не вижу толп жаждущих быть экспертами диссертаций и писать отзывы на авторефераты. Вот институт полностью открытой экспертизы - и как-то на защитах слышишь только отзывы от друзей с рефреном секретаря Совета "Все отзывы положительные. замечаний нет ..." Также как нет толп достойных и желающих быть экспертами того же РФФИ.
1. Открытого списка экспертов
1. Открытого списка экспертов РФФИ, если не ошибаюсь, не существуют. А если так, то использовать этот корпус для других целей невозможно.
2. Среди экспертов РФФИ хватает совершенно отстойных персонажей. Говорить о желающих быть экспертами РФФИ трудно, т.к. конкурса не проводят.
3. Новый порядок с вывешиванием диссертаций вводится лишь сейчас; будут ли писать отзывы, говорить пока рано. Знаю яркие примеры отрицательных отзывов со стороны на диссертации.
Если и согласен, то только по п. 2
1. Ага, только РНФ его использует. Все известные мне эксперты РФФИ приглашены сейчас в РНФ.
2. Да, есть. И РФФИ постоянно "чистит" списки.
3. Авторефераты вывешивают сколько лет ? Ну и как-то всплеска отзывов на авторефераты не от своих не видно. Вы думаете. что полные тексты что-то сильно поменяют ?
по п. 3
Хотя авторефераты вывешивают давно, поиск автореферата, вывешенного на сайте одной из тысячи организаций по интересующей эксперта тематике - дело слишком затратное. Новая система: http://vak2.ed.gov.ru/catalogue/index позволяет запустить робот, который сможет рассылать информацию о защитах прямо на почту потенциального эксперта. Собственно это и есть предмет проекта "Научный дозор"
По п. 3
В общем-то сайт ВАКа с объявлениями по защитам давно работает. Посмотреть там названия работ по твоей специальности не сложно. Будет автомат рассылки - подпишусь, хотя просматриваю и так. Время на это потребное не столь и велико ... Вот если потом отзыв писать - то да, затратно будет.
1. РНФ разрешили использовать
1. РНФ разрешили использовать, но этот статус остается секретным, что не позволяет ни привлекать экспертов РФФИ к участию в иных экспертизах (иначе как обращаясь с просьбами к государству), ни оценить уровень этих экспертов.
2. Механизм "чистки" непрозрачен, и достаточных оснований считать его эффективным нет.
3. Уже ответил А.К.Цатурян.
А в чём причины нехватки экспертов?
Едва ли причин много. Будет диагноз - можно определиться и с лечением.
1. Главное.
Кому нужны (востребованность) экспертные заключения конкретного эксперта? Как они (результаты) дальше будут работать?
В стол работать бессмысленно. Механизм использования результов экспертизы проработать, станет ясно - стоит ли в конкретном случае даже начинать. Какие объёмы, на чём сконцентрироваться и т.д. и т.п.
2. Тоже не обойтись.
Откуда взять время (=деньги) на достойную экспертизу?
3. ........
В частности, если о плагиате, очевидно что стоит проверять работ персон, которые "защитили" диссер для "красоты" или из карьерных побуждений: т.е. как учёные в данный момент не функционирующие (да и раньше-то тоже :). Критерии отбора таких работ известны, но стоит их собрать воедино.
Один простой вопрос - вы экспертом работаете ?
РФФИ, МОНа, РНФ ?
Обсуждался вопрос о формировании нового и независимого
"...актуальность задачи формирования "снизу" профессионального экспертного сообщества России, ОНР считает необходимым в инициативном порядке начать работу по формированию Корпуса экспертов России путем дополнения Корпуса экспертов по естественным наукам экспертными коллегиями по другим дисциплинам."
Это пока не голосовалось.
Это пока не голосовалось.
Страницы