Оценка результативности

Комиссию по оценке результативности научных институтов ФАНО возглавил российский физик-теоретик, специалист в области физики высоких энергий, квантовой теории поля, физики элементарных частиц и космологии, академик РАН Валерий Рубаков, сообщает ИТАР-ТАСС.

Ведомственная комиссия ФАНО России по оценке результативности научных организаций была сформирована в апреле 2016 года. В ее состав вошли 40 экспертов. Десять из них — это ведущие ученые и представители академических институтов. Еще десять человек делегировано вузами и отраслевыми научными организациями. Следующие десять мест в составе комиссии получили представители РАН, федеральных органов исполнительной власти, научных фондов и бизнес-сообщества. Такое же количество мест закреплено за специалистами ФАНО России.

В 2016 году оценку результативности пройдут порядка 600 научных организаций ФАНО России. В отношении институтов, которые находятся в стадии реструктуризации, оценка проводиться не будет. Полученные результаты учитываются при определении объемов финансового обеспечения институтов.

«На мой взгляд, при оценке результативности научных организаций мнение экспертов должно быть ключевым. Я лояльно отношусь к цифровым показателям, но куда более важно провести адекватную экспертную оценку наших институтов. Это сложная задача. И я думаю, что самая важная задача на сегодня — это сформировать экспертные советы по референтным группам», — заявил Рубаков.

М. Б.

Связанные статьи

18 комментариев

  1. Мельниц в России куда больше, чем Дон Кихотов. И мелют они исправно.

  2. Формальный цифровой показатель предпочтительнее тем, что он устойчивее среднего эксперта к «мнению руководства»

    1. Формальные показатели что дышло, куда повернул — туда и вышло. Результат при таком подходе зависит не от работы института, а от попадания в ту или иную референтную группу. Если сравнивать хирургов-кардиологов с хирургами-онкологами, то у онкологов публикационная активность и цитируемость в разы выше и в результате кардиологи-лохи и кардиология в России не нужна, институт кардиохирургии можно закрывать. А если сравнить хирургов-кардиологов с детскими перинатальными хирургами, то всё наоборот, кардиологи с прекрасными показателями, а детские хирурги-лохи публикуются мало, мало цитируются, перинатальную хирургию нужно закрывать в России, а детям собирать с миру по нитке благотворительными фондами на лечение в Израиле или Германии, где такой глупостью не маются, если конечно больные дети доживут. И абсолютно та же самая ситуация с разными направлениями исследований в физике, химии, математике, биологии, технических и гуманитарных науках. Сама идея формальных показателей по референтным группам — абсурдна. Оценивать нужно не институты между собой, а давать абсолютную оценку по каждому институту, как уникальной научной организации.

      1. «Формальные показатели что дышло … «, а уж экспертное мнение то ! Цифра то вещь упрямая — 5 и есть 5, а не 2. А мнение …

          1. Андрюша, так ведь учили классики Средних веков — «все познается в сравнении». Если квантиль 0.8 для этой отрасли знания — 3, то очень хорошо, если 15, то плохо. Скорость 6 км/час — это хорошо или плохо? Если Вы идете, то прекрасно, если так везет Ваша машина, то плохо.

            1. Три волоса это много или мало? Если на голове — то мало, а если в супе — то много!
              Простой пример, институты в одной референтной группе «Биологические науки» имеют один и тот же индекс хирша =5. Допустим ИОГен РАН, ИЦИГ СО РАН, ИБ УНЦ РАН, Ильменский заповедник УРО РАН, Свердловская селекционная станция садоводства. При этом для ИОГена хирш 5 это очень плохо, потому что в генетике очень быстрое цитирование и высокий индекс журналов, а хорошо для генетики 15-20. Для ИЦИГ хирш 5 это тоже мало, цитологи тоже быстро цитируются и должен быть 10. Для классического биологического института ИБ УНЦ РАН хирш 5 это хороший показатель. Для заповедника хирш 5 это супер! Даже хирш 1 для заповедника очень хорошо! Для станции садоводства даже хирш 1 это недостижимая мечта, о хирше 5 и говорить нечего. Так вот если следовать формальным показателям, то даже самые плохие низкопродуктивные генетики, молекулярщики и цитологи получатся с высоким хиршем и будут завалены деньгами, классические биологи останутся ни с чем, а все заповедники, всю сельхознауку, половину медицины чиновники тупо закроют за низкий индекс Хирша, даже самые прекрасные великолепно работающие институты тупо уничтожат.

              Вот поэтому и должен быть эксперт, который должен сказать чиновникам, хирш 5 для этого конкретного Института это много или мало? Дело ведь не в квартилях, а в том, насколько быстро цитируются статьи в той или иной области науки. Что хорошо для классической генетики — то плохо для молекулярной генетики, что плохо для медицинской генетики — то хорошо для ветеринарной, что мало для генетики и микробиологии — то много для хирургии и дерматологии. Это может сделать только специалист, который знает что почём в данной конкретной научной области!

            2. При этом, предупреждая возможные возражения, что типа референтные группы можно сделать не такими крупными, как «биологические науки», а разделить на 20-30 референтных групп и тогда сравнение внутри них не будет таким абсурдным. На это я отвечу простым примером. Биолог в одной и той же лаборатории изучающий генетику гречихи, льна, сибирского кедра или русской выхухоли никогда не сможет переплюнуть по формальным показателям биолога тут же в той же лаборатории изучающего генетику арабидопсиса, риса или китайской панды, потому что первое актуально для 140 млн россиян, а второе для 2 миллиардов жителей Азии с соответствующей разницей в количестве учёных и цитирований по этим разным темам. Но это же не означает, что нужно закрыть все направления науки актуальные для России и заниматься исключительно исследованиями в интересах США и Китая, только потому, что так легче увеличивать индекс хирша?

            3. Какой из этого может быть реальный выход? Реальный — создать 700 референтных групп для 700 институтов, по одному институту в каждой и сравнивать институт не с другими институтами, а по его абсолютным результатам. Есть достойные результаты — поощрить, результатом не блещет — выяснить в чём причина и помочь, устранить мешающие работе факторы, предоставить новые возможности изменить руководство, организацию работы, структуру, направление, кадры, материальную базу и т.д.

            4. «все познается в сравнении» — снова возникает вопрос о референтной группе, о размере той самой «отрасли знания». О чем собственно и говорил Андрей.

              Причем не понятно даже, на каком уровне с этой самой референтной группой ситуация хуже. На уровне института ситуацию выше обрисовал Андрей. На уровне лабораторий — не сильно лучше, и даже внутри одной могут быть проблемы…

              1. Совершенно верно! Даже внутри лабораторий значимость сотрудников отнюдь не определяется индивидуальными формальными показателями типа индекса Хирша. Лаборатория это работоспособный коллектив, в котором есть «писатели», есть «экспериментаторы», есть «паровозы-грантодобыватели», есть «прикладники-хоздоговорники-навсюлабуденьгизарабатыватели», есть «микрошефы по личному составу» для непосредственной работы с аспирантами и студентами, есть «на все руки мастера», на которых держится всё оборудование и приборы в лаборатории, есть «ходячие энциклопедии» которые экономят другим сотрудникам огромное количество рабочего времени при обработке экспериментальных данных. Так вот в целом это будет работоспособный коллектив. А если из всей лабы оставить только писателей для хирша, а всех остальных уволить, то такая лаба долго не протянет, а неизбежно развалится.

                Ещё раз, оценивать нужно абсолютные результаты коллектива, решение конкретных научных задач, а не маяться глупостями с хиршемерками, квартилями и «в какую бы референтную группу какой институт засунуть, чтобы сподручней ликвидировать и здания забрать».

                Не зря в Британии законодательно запрещено использовать наукометрические параметры при аудите научных организаций.

              2. Да Вы же все не о том. КОНЕЧНО, любая(!) формальная оценка хромает. Но она формальная — цифра. Ей не скажешь, что №№ рекомендовал то то, и уважаемый академик КК его поддержал. И у цифры не бывает конфликта интересов.
                Конечно, нормальное решение — современное общество — с доминированием не вертикальных, а горизонтальных связей. Когда нет государева чиновника решающего все. А формальные критерии — просто способ избавится от волюнтаристского решения этого чиновника, придать ему объективности.
                Все эти реформы … как некогда говаривал сантехник «систему менять надо!»

                1. Формальная оценка просто развязывает руки чиновникам чтобы волюнтаристически вытворять что им угодно, прикрываясь цифрами и манипулируя методикой составления референтных групп и манипулируя интерпретацией сравниваемых цифр. При этом конфликт интересов никуда не девается, всегда можно составить референтную группу таким образом, чтобы институты с дорогостоящей недвижимостью в центре Москвы или тысячами гектаров опытных полей были в числе отстающих, чтобы их уничтожить, а на приватизации недвижимости нарубить бабла. А вот специалисты никогда не позволят разрушать дело их жизни ради воровства и оценивать будут по гамбургскому счёту, потому что хотят, чтобы наука в России развивалась и крепла. А конфликт интересов легко решается тем, что свой собственный институт эксперты оценивать не будут.

                2. Я наберу огромный суммарный импакт, публикуя УГ в плохоньких журнальчиках, паразитирующих на попсовых темах. Вместо того, чтобы долго и тщательно доказывать то, до чего другие не додумались. И что (поэтому) потом никто (почти) не будет цитировать. И публиковать это в специализированных журналах с весьма умеренными импактами. Все мои работы будут заканчиваться там, где серьёзное исследование только начинается. Поэтому у меня не будет неудач, я буду плодовит.
                  А ещё можно минимизировать исследования, пробиться в редколлегии неплохих журналов. Входить в массы статей ежегодно. Побеждать в любых конкурсах, основанных на цифре, особенно МКБ. Академики будут приходить ко мне на поклон, чтобы опубликовать свои статьи в моём журнале. В соавторы будут зазывать. И не только академики.
                  И главное моей цифре нельзя сказать «стыдно». Ну как может быть стыдно, если у меня цифра!

                  1. Печатаясь в плохоньких журнальчиках большой импакт НЕ наберете, особенно если будет серьезно учитываться импакт, а не число публикаций. Больше времени потеряете. И это почти не поможет с Хиршем.

                    1. Вы (наивно) полагаете «НЕ», а я Вам описываю конкретных людей, которые это сделали. Ну разве что не называя имён. Бананльные эмпиреи без возвышенного теоретезирования.
                      Что списанную диссертацию НЕльзя защитить тоже будете предполагать? Или не списанную, но бессмысленную. И ведь тоже — цифра!

                    2. Евгению ниже:

                      Конечно можно, просто знаю людей (да и сам), которые отказались от практики — много статеек в дохленьких жкрналах и в материалах, потому как «нерентабельно». Пусть ту статью написать и протолкнуть в 10 раз легче даже. Так по цитируемости различие то (в среднем) БОЛЕЕ 10 раз.

                    3. Вот вам простой пример, который был описан на страницах ТрВ, Казанский Федеральный Университет опубликовал несколько сотен статей в двух журналах из списка Скопус, чтобы достигнуть формально высокой цифры количество публикаций в Скопус на сотрудника и получить много миллионов рублей налогоплательщиков из госбюджета по госпрограммам, финансируемым минобразнаукой. Однако спустя год сами сотрудники Скопус выяснили, что эти два журнала были фэйковые и напечатали тысячи фэйковых статей без какого-либо научного рецензирования вообще, просто за деньги. Эти два журнала потом из Скопус исключили конечно за нарушение научной этики, но Казанский Федеральный Университет уже этими «статьями» отчитался перед министерством и получил деньги и немалые деньги. И это только один пример, который стал известен только благодаря массовости этого нарушения в погоне за формальной цифрой и деньгами. А сколько «учёных» занимаются подобным накручиванием формальных цифр отчётности в масштабах меньших, чем целый университет, в масштабах лаборатории и индивидуальных! Весь интернет завален предложениями «купить соавторство» в статьях в журналах из списка Скопус и Вэб оф сайенс. И корень этой беды один и тот же — оценивают работу не учёные, не эксперты, а безграмотные алчные чиновники и оценивают не по сути результатов, а по формальным цифрам — в этом беда! Университеты уже поражены этой заразой, сейчас пытаются и Академию вынудить вместо науки продуцировать формальные показатели и оставить наиболее «изобретательных», как Казанский Университет, а честных просто ликвидировать.

Добавить комментарий для Евгений Лысенко Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *