Как оценивать результативность работы институтов ФАНО. Частный взгляд участника процесса

Рис. В. Шилова
Рис. В. Шилова
Михаил Фейгельман, докт. физ.-мат. наук, зам. директора Института теоретической физики  им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций
Михаил Фейгельман,
докт. физ.-мат. наук, зам. директора Института теоретической физики им. Л. Д. Ландау РАН, член Рабочей группы ФАНО по определению методики и регламентов оценки результативности деятельности научных организаций

С лета 2014 года действует рабочая группа ФАНО по разработке детальных правил проведения оценки результативности научно-исследовательской деятельности научных организаций, вошедших в состав ФАНО после известных событий лета-осени 2013 года. Задача рабочей группы — создать свод правил, согласующихся с общими положениями, уже утвержденными документами правительства РФ [1], и, несмотря на это, позволяющих проводить оценку осмысленным, с точки зрения работающих в науке людей, образом — то есть учитывая содержание научной и исследовательской работы, а не только комбинации разного рода формальных показателей. В рабочей группе трудится более 20 представителей различных отраслей науки под общим руководством ФАНО. К настоящему времени документация практически полностью готова, во вполне обозримом будущем ожидается ее утверждение. Представляется уместным уже сейчас, перед летними отпусками, рассказать об основных заложенных в нее принципах, чтобы ученые коллеги имели время и возможность обдумать то, что будет происходить, и найти свое место в этом процессе. Вот эти принципы.

  1. Принимается примат экспертной оценки над «нумерологической»: формальные показатели (число статей и/или патентов, объем вырученных от разработок средств, число док-торов наук или аспирантов и многое другое) будут собираться и приниматься во внимание при оценке, но лишь как часть сведений, не-обходимых для профессионального экспертного анализа.
  2. Экспертный анализ может быть профессиональным лишь в том случае, если имеется механизм, позволяющий сопоставить область работы научного коллектива (объекта оценки) и эксперта, призванного эту работу оценивать. Иначе говоря, требуется современный рубрикатор (классификатор) областей научной и научно-технической деятельности. Такой рубрикатор был создан [2], несколько месяцев продолжалось его публичное обсуждение и согласование с отделениями РАН.
  3. Экспертный анализ нескольких сотен научных организаций, входящих в ФАНО, требует большого количества экспертов, причем крайне существенно, чтобы они пользовались доверием коллег именно как достойные эксперты в своей научной области. Поэтому полный корпус экспертов ФАНО будет сформирован путем обращения к ученым (научно-техническим) советам всех организаций ФАНО с предложением выдвинуть экспертов по каждому из научных направлений данной организации (определенных рубрикатором) и предоставить минимально необходимый набор профессиональных сведений о каждом эксперте.
  4. Сравнительная оценка результативности будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.). Рабочей группой ФАНО выработаны предложения по формированию РГ [3].
  5. Для каждой такой референтной группы должен быть сформирован свой экспертный совет (ЭС), организующий процедуры оценки каждой входящей в РГ организации. Основная тяжесть работы ложится именно на эти советы. Общий контроль за процессом и утверждение (или требование коррекции) результатов работы ЭС возлагается на единую комиссию по оценке результативности при ФАНО. Комиссия и ЭС действуют в соответствии с детальным общим регламентом оценки.
  6. Каждый ЭС формируется из числа экспертов ФАНО с научными специализациями, отвечающими данной РГ, путем рейтингового голосования среди всех экспертов, принадлежащих этой РГ. Ожидается, что таким образом из общего числа экспертов, относящихся к данной РГ (примерно 50–100), будет отобрано 10–15 членов ЭС.
  7. Для оценки организации ЭС РГ назначает экспертов по каждому на-правлению работы организации (определенному рубрикатором), а также небольшую экспертную группу для обобщения результатов оценки — из числа всех экспертов, относящихся по специальности к данной РГ. Назначение производится по принципу соответствия научных специализаций и с учетом необходимости исключения конфликта интересов; это понятие определено Регламентом весьма конкретно.
  8. При оценке многопрофильных и междисциплинарных организаций неизбежно часть направлений окажется вне компетенции ЭС РГ, к которой отнесена организация. Эксперты по таким направлениям должны назначаться по рекомендации других, профильных советов.
  9. В ряде случаев (низкие формальные показатели организации, несогласие организации с ее оценкой в целом) должна быть реализована более детальная оценка, включающая экспертизу работы каждого подразделения.

В апреле 2015 года начат одновременный опрос представителей всех естественных наук с целью пополнения «Корпуса экспертов» [4]. За два года, прошедших после последнего специализированного опроса, существенно пополнился и продолжает пополняться список рекомендателей (известных также как «списки Штерна») [5] — сейчас в нем более 7 тыс. человек, и он включает, наряду с работающими в России, также и представителей диаспоры.

В каждую рассылку включается около 500 человек, всего до летних каникул предполагается провести пять рассылок, а затем продолжать опрос осенью. Рассылки формируются в порядке включения рекомендателей в списки [5]. Рекомендации можно дать по почте kor.expert@gmail.com или онлайн, используя полученный код доступа (бессрочный). К сожалению, иногда наши письма не пропускают спам-фильтры.

В мае были также разосланы письма специалистам, уже получившим пять и более рекомендаций коллег, с просьбой о согласии войти в «Корпус экспертов» [4] — он постепенно пополняется.

Обращаем внимание рекомендателей на необходимость очень тщательно определить специализацию — как свою, так и рекомендуемых в эксперты коллег — по Единому научному рубрикатору [2], который будет использоваться ФАНО. Естественные науки — в разделе А, можно указывать коды и из других разделов.

Рабочая группа проекта «Корпус экспертов»

Все эти принципы заложены в созданных проектах документов, причем пути их реализации детально прописаны. Возможно, предложенная процедура многим покажется слишком сложной, особенно из-за некоторых ее витков, вынужденно введенных для соблюдения утвержденных Минобрнауки общих правил оценки. Она может также вызвать раздражение необходимостью представить содержательные сведения для экспертной оценки («еще бумаги… опять бумаги»). Однако следует понимать, что в отсутствие такой четко фиксированной экспертной процедуры оценка научных организаций будет развиваться по сценарию арифметического подсчета формальных показателей, что наверняка не оставит камня на камне от многих еще сохранившихся научных коллективов. Следует также иметь в виду, что привычно-упрощенная организация оценки узким кругом научных администраторов оказалась бы, как это обычно и бывало ранее, лишь имитацией экспертизы.

Соображения по поводу экспертной оценки, использованные при работе над документацией, основаны на восьмилетнем опыте функционирования инициативного проекта «Корпус экспертов по естественным наукам» [4]. Именно на основе данных этого проекта удалось составить первичную версию рубрикатора, оценить различия в публикационной активности и цитировании для разных научных направлений (а не просто для областей знания), представить себе, как на практике может работать процедура выдвижения экспертов и что требуется от регламента экспертизы. Позднее удалось найти коллег из других областей науки (гуманитариев, инженеров, медиков), которые помогли учесть специфику своих областей.

Сложно предсказать, как будет развиваться процесс оценки и в какой степени удастся соблюдать регламент, даже если он будет утвержден без искажений. Но в значительной степени это зависит сейчас от самого «объекта оценки», то есть от всех нас. Прежде всего — и лучше заранее — в каждой научной организации нужно однозначно определить все основные и дополнительные научные направления по рубрикатору, чтобы не оказаться в референтной группе, не соответствующей реальной деятельности организации. Затем необходимо продумать список коллег, которые будут предложены ученым советом как эксперты по всем направлениям работы института. Следует иметь в виду, что в составе каждого ЭС должна быть определенная доля специалистов, работающих вне институтов ФАНО. Поэтому существенно, чтобы ученые советы рекомендовали как экспертов не только сотрудников институтов ФАНО: почти всегда можно отыскать подходящих по профилю и научно авторитетных коллег из вузов или НИИ или же из числа коллег, работающих в настоящее время вне Российской Федерации.

1. http://government.ru/docs/8002/

2. http://rascommission.ru/rubricator

3. http://rascommission.ru/refgroups

4. http://expertcorps.ru

5. http://expertcorps.ru/science/whoiswho

Связанные статьи

18 комментариев

  1. А оценку по лабораториям отстоять не удалось? Был ведь вроде пилотный проект, по крайней мере в биологии под руководством Георгиева.

  2. Меня больше всего смущает, навязанная ФАНО
    «Сравнительная оценка результативности»
    которая
    «будет проводиться внутри так называемых референтных групп (РГ) научных организаций, которые должны быть сформированы по принципу близости областей их научной деятельности и типов получаемых результатов (фундаментальные исследования, технологические разработки, научно-технические услуги и т. п.)».

    Полагаю, что когда эксперты (поди их еще раздобуть для 30-50тыс. НИИ) оценят НИИ,
    то оценка, полученная в неких у.е., в итоге, д.б. количественной.
    Это значит, что д.б. выработаны количественные критерии!!
    Так вот эти количественные критерии совершенно не прописанные в предлагаемом проекте Фейгельмана!!
    Тут нужна, видимо, многолетняя совместная работ всего корпуса экспертов.
    Только тогда возможно сопоставление в референтных группах.
    Кроме того, ничего не сказано,
    по какому уровню оценок НИИ будут признаны малоэффективными, и куда их девать….
    Как ФАНО решит????
    Жду от Раб группы Фейгельмана доработки…
    (еще пару лет, видимо).

  3. Проект перечня РГ, представленный по ссылке [3], весьма несовершенен.
    К примеру, что в нем вообще нет Почвоведения или Палеонтологии, наук в России достаточно сильно развитых. Вся «организменная биология» оказалась в одной РГ с генетикой и вирусологией, да и почвоведам, видимо, придется там же разместиться. Земледелие/сельхознауки (Г) оказались раздроблены на 5 РГ, а исторические науки и искусствоведение (и музыка) оказались в одной…
    Можно себе представить затруднения экспертов, если «экспертная оценка» действительно окажется ведущим показателем. И совсем случится катастрофа, если вирусологов и почвоведов начнут сравнивать по формальной наукометрии.
    В общем сильно недоработан этот проект.

    1. Мягко говоря не самая подробная классификация. И не то чтобы очень удачная. По всей видимости, ставилась задача разбить институты на группы равные по числу. Сравнивать НИИ с факультетами, в общем то логично, но хорошо бы именно с многопрофильными(про которые в6,11,15) И кстати да, вирусологи, генетики и почвоведы с ботаниками в 1 категории это сильно…

      А еще кстати, как то напоминает классификацию «Корпуса экспертов»… Жалко они не стали по лабораториям делать, классификатор «Корпуса» дальше в общем то неплохой.

  4. А вспомни, Зин, мои предложения по экспресс-оценке результативности НИИ.
    Я предлагал оценивать результативность по среднегодовому доходу научных сотрудников (исключая администрацию).
    При этом весь коллектив НИИ следует разбить на группы(лаборатории), для которых и вычисляется средний доход на человека.
    Если, Например, средний доход на раб. душу порядка среднего по региону или выше его, то считай, что коллектив результативен и работоспособен.
    Если средний доход в группе мал, там и надо разбираться почему.

    Правда есть нюанс!
    Обычно средний доход велик у тех, кто имеет гранты и гос. контракты.
    Но ведь известно, что такие (скажем, заказные) работы в научном плане часто малоинтересны!
    Вот такой парадокс: если ученым платят то уж явно не за науку!!!

    Вот и крутись, сочетая заказы и науку.
    Эта суета и называется жизнь!!!!
    А как иначе?
    Не возиться же месяцами с этими «понаехавшими» экспертами,
    которых на всех и вся не явно хватит,
    в тщетных попытках оценить результативность всего НИИ???????

  5. Ученые должны разработать систему оценки деятельности самой ФАНО и ее подразделений.

  6. о!!да, нужно по доходам оценивать результативность научного сотрудника!)) Ура!
    Вот это правильный критерий! Я даже лучших ученых в этой области знаю — достаточно открыть Форбс!

  7. Главный критерий — законность. Соответствие принятых руководством институтов в прежнем статусе решений, уставных документов — нормам ТК, ГК, К РФ, «Закону о науке». Проверить все претензии, обеспечить открытость, гласность проверки. Что до экспертизы — она тоже должна проводиться по ясным правилам, а не в духе: «так я вижу». Нужен грамотно составленный правовой акт, действенный контроль за его применением, не то, что было в предыдущих мониторинга РАН, когда одни (проверяемые) делали вид, что у них всё хорошо, а другие (проверяющие) делали вид, что верят.

  8. Взгляд соучастника процесса…
    Грустно видеть, как люди пытаются «вдохнуть смысл» в бюрократические процедуры.
    Никипелов прав. Это «соучастие в уничтожении науки».
    Трудно представить в роли М.Фейгельмана Л.Ландау.
    Тем более Капицу

    1. Ландау как раз был весьма склонен отклассифицировать кого-нибудь — учёных, женщин, любителей женщин. Причём, на основании экспертной оценки, а не численных параметров. Эту же линию пропагандирует и Фейгельман.

  9. Есть люди,которые охотно берутся искать в черной комнате черного кота, когда заведомо знают, что его там нет. Таких довольно много, но только некоторые страдают таким самомнением и самоуверенностью, что позволяют себе публично восклицать, что не только поймали этого кота лично, но и охотно поделятся с другими самой технологией поимки. Автор статьи позорит ученых в глазах широкой публики. Должны же быть какие-то пределы и приличия….

  10. вот ведь бред. Такую ажурную конструкцию из хитросплетений разных людей мог свить только теоретик, т.е. тот, кто за конечный результат не отвечает.
    Это же абсурд, господа, вот эти комиссии и рубрикаторы создавать.
    Ведь этим снова добиваются только одного, чтобы власть была в руках Фейгельманов, сколько бы и как ты не работал, он придет, и все как «эксперт» решит.
    И выберет он, как всегда он и делал, «своих», лично полезных ему людей.

  11. Удручает то, подход к оценке результативности и эффективности институтов не научный, а формально-бюрократический. На самом деле количественные оценки деятельности научных учреждений давно разработаны, можно было бы не изобретать кривой велосипед с квадратными колесами. Реально объективных критериев два: а) стоимость единицы импакт-фактора и б) стоимость единицы цитирования опубликованных работ. Значения этих величин легко вычисляются за 5-летний период, где в числителе а) сумма импакт-факторов журналов, где опубликованы статьи, и б) общее число ссылок, а в знаменателе — общая сумма госбюджетных средств, затраченных за тот же период на финансирование этого института. Импакт-факторы можно брать как из базы WoS, так и Scopus, это непринципиально, их следует скорректировать стандартной процедурой (как и число ссылок) исходя из места институтских авторов в общем списке. При такой системе расчета не требуется учитывать ни численность сотрудников, ни их распределение по ставкам, возрасту и т.д. Собственно, государство, если оно с мозгами, должно задавать главный вопрос ученым: «- я вам в такой-то институт за такой-то период отвалило столько-то денег — отчитайтесь конкретно, что за эти деньги вы смогли сделать». При таком объективном подходе не нужны и т.наз. «референтные группы», вместо этого достаточно ранжировать институты по доле печатной продукции в рецензируемых журналах (это легко вычислить), а также оценить средний импакт-фактор журналов данной области науки, в которой работает институт. При таком подходе можно вполне объективно сравнивать институты из разных областей науки и даже разных стран.
    Можно согласиться с тем, что экспертная оценка института будет играть главную роль, но и здесь удручает то, что регламент работы экспертов, в отличие от многоуровневой процедуры из назначения, никак не разработан. А это и есть самое важное. Например, один эксперт заявит: » — оборудование в Институте современное, но молодежи мало, Институт бесперспективный». А второй эксперт заявит: » — молодежи в Институте мало, но оборудование современное, Институт надо сохранить». И что дальше — опять окончательное решение будут принимать чиновники ФАНО и МОН, по критериям — кто больше поднесет или больше пообещает? Похоже, что они и лепят свою нелепую «методику оценки эффективности» институтов, чтобы придти к этому желаемому для них финалу. Жаль, что многие вполне приличные ученые согласились быть вольными или невольными соучастниками этой профанации.

    1. Вы предлагаете заведомо неработоспособную схему. Рассмотрим простой пример. Организация №1 занимается исследованием бактериальных инфекций, организация №2 занимается исследованием вирусных инфекций, организация №3 занимается исследованием в области гнойной хирургии, организация №4 занимается исследованием паразитарных инвазий. Все они очевидно попадают в одну и ту же референтную группу. Но что происходит дальше?
      А дальше самое интересное! Импакт-факторы журналов в области вирусологии достигают 10-15, в то время как в бактериологии 5-10, а в хирургии 2-5, а в паразитологии не более 2.
      Ну и как вы собираетесь ранжировать институты? Очевидно НИИ вирусологии окажется впереди планеты всей, бактериологи туда-сюда, гнойные хирурги так себе, а паразитологи никуда не годны?
      И какой вывод будет из такого ранжирования? Все деньги направить на изучение вирусных инфекций, бактериальные инфекции так и быть пусть худо-бедно изучают, гнойную хирургию как специализированное направление закрыть и присоединить к каким-нибудь обычным хирургам-травматологам, а паразитологию как науку ликвидировать к чёртовой бабушке?

      А теперь к вам вопрос, вы не боитесь самому или вашим родным оказаться с гнойным перитонитом от аппендицита в обычной больничке в условиях когда в стране нет гнойной хирургии и нет никакого научного обоснования мониторинга внутрибольничных устойчивых к антибиотикам стафилококков? Вы готовы рискнуть уничтожить в стране целое направление научных исследований только потому, что в этой области цитирование и импакты не так высоки, как в вирусологии? Вы готовы рисковать жизнями?
      А не желаете ли оказаться с малярийным плазмодием в печени устойчивым к хлорохину при отсутствии в стране специалистов по малярийным штаммам? Только представьте, вы с желтухой в больнице под лошадиными дозами хлорохина в тяжёлой лихорадке с отказывающими от гемоглобинурии почками, а доктор вам и говорит: «вот если бы сохранили институт паразитологии, мы бы ваш анализ крови туда отправили, там бы точно выяснили какой у вас штамм плазмодия по коллекции и мы бы начали специализированное лечение. А так могу предложить вам хининчику принять, но возможны осложнения, отказ почек, ишемия, инсульт и летальный исход. Но ничего не поделаешь, голубчик, импакт-фактор паразитологических журналов низковат, закрыли в России паразитологию. Вот если бы вы гриппом заболели или ещё чем вирусным, то мы бы вас, голубчик, в два счёта на ноги поставили, вирусология у нас развита. А с малярией вы… ну как, выписать вам хинину, рискнёте попринимать?»

  12. Все эти разговоры про «корпус экспертов» и их роль в оценке всего и вся от лукавого. Суровая правда в том, что этих «икспертов» используют по старинке, как «полезных идиотов». Их сегодняшняя спесивая болтовня про «агентов и реагентов» и высокомерное всезнайство завтра будут использованы чиновниками против реальных исследователей. Причем использованы совсем не в том смысле, который «научные болтуны» и «ученые стриптезеры» имели в виду. Короче, мы имеем дело с «соучастниками и подельниками».

  13. Изучил подробно рубрикатор по географии. Слишком подробен — число рубрик много больше, нежели число крупных географов. Наряду с реальными крупными направлениями крошечные полусуществующие разделы и вовсе не существующие. Никакой соразмерности нет. Картография представлена 14 рубриками, а культурная и историческая география даны нерасчлененно. «Экономическая география» и «социальная география» рубрицированы абсурдно. Есть гидрология, но нет океанологии. Есть экологическая экспертиза, но нет экологической. Важнейших сложившихся, центральных разделов географии НЕТ ВООБЩЕ — нет общей географии, географического землеведенияя, изучения географической оболочки, географии биосферы, исследований культурного ландшафта. Etc..

  14. Ребята, давайте свои(разумные) рекомендации: что делать.
    А просто критиковать- это маловато для решения вопроса,
    который уже поставлен и решаться будет во что бы то ни стало..
    Мои рекомендации приведены выше.
    А ваши?
    Жду…(ух уж я оттянусь на критике…, шутка)

Добавить комментарий для Г.А. Романов Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *