Как оценивать и премировать ученых?

Рис. М. Смагина
Рис. М. Смагина

PavelКак оценить эффективность работы ученого? Как поощрить лучших? Есть ли зарубежный опыт, которым можно разумно воспользоваться? Этим и другим вопросам посвящена статья Павла Чеботарева, докт. физ.-мат. наук, г.н.с. Института проблем управления им. В.А. Трапезникова РАН, члена Общества научных работников.

О попытке выполнить данное не нам поручение

Одним из поручений [1] по итогам заседания Совета по науке и обра­зованию, состоявшегося 20 декабря 2013    года [2], было «представить предложения по установлению по­вышенной оплаты труда отдельным категориям научных работников, до­стигших высоких результатов в на­учной деятельности. Срок — 1 мая 2014   года. Ответственные: Медве­дев Д.А., Фортов В.Е.»

Еще в январе несколько членов ОНР, включая автора этих строк, по­пытались что-то предложить на сей счет. Первой мыслью было взять за отправную точку предложение Сове­та ОНР лета 2012 года [3]. Оно сво­дилось к следующему: на первом этапе поддержать стипендиями по 30 тыс. руб. в месяц сотрудников го­сударственных научных учреждений, опубликовавших за последние 3 года не менее порогового числа статей в журналах и материалах конферен­ций, индексируемых Web of Science.

Расчет тогда показал, что 10 тыс. стипендий получится, если установить порог на уровне примерно 6 статей и из бюджета брать 3,6 млрд руб. в год. Предлагалось также через год про­вести второй этап на основе более детального анализа заявок (заявки ожидались от ученых, за три года опу­бликовавших не менее трех статей, индексируемых WoS). Здесь можно было бы учесть разброс публикацион­ной активности по областям, импакт- факторы журналов и т.п. и выделить еще 10 тыс. стандартных стипендий (30 тыс. руб. в месяц), а также 2 тыс. повышенных стипендий (60 тыс. руб. в месяц) для ученых, имеющих значи­тельное число публикаций в наибо­лее авторитетных высокоимпактных журналах. Финансирование второго этапа (с учетом первого) потребова­ло бы около 8 млрд руб. в год.

При обсуждении этой идеи в ян­варе 2014 года было высказано опа­сение, что второй этап может пасть жертвой начальственного произвола или общей нестабильности, поэтому желательна дифференциация по об­ластям уже на первом этапе — иначе среди его победителей гуманитари­ев почти не будет, а с «коврижками» уйдут в основном биологи, физики и химики. Как не обидеть предста­вителей гуманитарных и социаль­ных наук? Было предложено учесть для них также публикации в журналах, индексируемых Scopus, и в ряде журналов РИНЦ.

Но как выбрать журналы РИНЦ — по импакт-фактору? Тут же были приведе­ны примеры солидных гуманитарных журналов, имеющих очень низкий импакт-фактор РИНЦ, и журналов далеко не солидных, имеющих довольно высо­кий накрученный импакт РИНЦ (в тех же областях). Стало ясно, что журналы РИНЦ надо отбирать экспертно. Однако проведение корректной экспертизы — дело сложное. Ведь многие потенци­альные эксперты входят в редколле­гии различных журналов, а это чревато конфликтом интересов. Другая пробле­ма — в том, что в ряде областей нельзя судить лишь по статьям, так как важны монографии и другие результаты на­учной деятельности. А отбраковывать монографии еще труднее, чем журналы.

В общем, попытка выстроить сба­лансированное универсальное пред­ложение на основе библиометри- ческого подхода натолкнулась на серьезные трудности.

Об эскизе комплексного подхода

Не могли мы забыть и о том, что против библиометрического мери­ла успехов всегда восстают не толь­ко гуманитарии (среди которых осо­бенно решительны философы [4]), но и математики. Причем они не сидят сложа руки, а уже формируют экс­пертные структуры. Так, в декабре 2013 года при Отделении математи­ческих наук РАН был создан Эксперт­ный совет по оценке результативно­сти научных организаций.

В цели Совета входит создание экспертных комиссий для решения конкретных задач, среди которых и оценка успешности отдельных уче­ных. При работе таких комиссий ма­тематики предлагают использовать лучшие черты вводимой сейчас в Великобритании системы аттестации ученых Research Excellence Frame­work (REF) — 2014. В этой системе, ко­торую мы обсудим в последнем раз­деле статьи, учет библиометрических показателей строго ограничен, а для многих наук исключен полностью.

Совершенно очевидно, что навя­зывать библиометрию в тех областях, где ученые не только в один голос заявляют о ее неприемлемости, но и сами создают экспертные структуры, неправильно. Поэтому предложение может быть примерно следующим.

1. Разделить общий премиальный фонд между областями пропорцио­нально количеству научных кадров.

2. Выработать рекомендации по числу уровней стипендии (1, 2 или 3 уровня), величине стипендии каж­дого уровня и процентному соотно­шению количеств премируемых сти­пендиями каждого уровня. Есть резон (хотя и не железный) в равномерно­сти этих значений по областям. А про­ще всего, если уровень один.

3. Каждое профильное Отделение РАН (помним, что ответственный за поручение — В.Е. Фортов) совместно с представителями институтов фор­мирует Конкурсный совет. В тех об­ластях, где имеется Корпус экспер­тов [5], его представители должны составлять не менее 2/3 Совета. Имеет смысл не включать в Совет и его ко­миссии директоров институтов и их заместителей, а также других функ­ционеров, чтобы он не стал инстру­ментом лоббирования.

Каждый Конкурсный совет делает одно из двух: либо вырабатывает на­укометрический критерий присужде­ния стипендии каждого уровня, либо формирует комиссии для экспертно­го присуждения стипендий и выраба­тывает детальный регламент работы этих комиссий. Прообразы некоторых элементов регламента можно найти в документе «Panel criteria and work­ing methods» [6] английской систе­мы аттестации REF-2014. Но нужно учитывать, что это система оценки подразделений, а не отдельных ис­следователей. Как и система [7], не­давно предложенная Комиссией общественного контроля за ходом и результатами реформ в сфере нау­ки; ее имеет смысл использовать в не меньшей степени.

4. Принципиально, чтобы Конкурс­ные советы и экспертные комиссии пользовались доверием научного со­общества. Поэтому наилучший способ формирования их — выборы, гаран­тирующие представительство как РАН, так и научных сотрудников, не имею­щих академических званий. Процеду­ры выдвижения кандидатов, выборов, а также регламент экспертных комис­сий должны быть одобрены профес­сиональной Конференцией научных сотрудников. Такой подход обеспечит решениям легитимность.

Есть ли проход между Сциллой и Харибдой?

Подход, описанный в предыдущем разделе, я предложил тогда коллегам, но поддержки их не получил. Потому что, при всех пороках библиометрии, вовлечение в принятие решений та­кой [экс-]«феодальной» структуры, как РАН, представлялось им еще более по­рочным. Даже если требовать одобре­ния всех принципиальных решений научным сообществом. Ведь в искус­стве взять хорошую идею (например, идею демократии), оставить от нее пу­стую форму и наполнить ее противо­положным (скажем, антидемократи­ческим) содержанием отечественным умельцам нет равных. Единственное, с чем этот номер, возможно, не прой­дет, — простой формальный критерий.

Нужно отметить, правда, что кол­леги — в основном естественники, т.е. представители областей, где корре­ляция библиометрических показа­телей и реальных успехов имеет не­плохой уровень значимости.

Самое плохое, однако, даже не в том, что есть иные области, а в том, что формальные критерии разрушают научную мотивацию. Премирование за число статей провоцирует salami slicing [8]: автор производит small­est publishable units, раскидывает их по реферируемым журналам и лег­ко обгоняет более сильного коллегу, для которого подобные уловки не­приемлемы. Однажды заболевший salami slicing’ом уже вряд ли когда- нибудь возьмется за трудные зада­чи, чреватые потерей скорости ро­ста количества публикаций. Зато он весьма преуспеет в минимизации их удельного качества, т.е. в производ­стве статей, вносящих в науку мини­мально возможный вклад.

Чтобы сохранялась здоровая мо­тивация, нужно, чтобы был возможен следующий сценарий. По результа­там аттестации эксперты заявляют, что ученый X, за 2 года опублико­вавший 1 статью, сделал в ней нечто, имеющее все шансы войти в учебни­ки. И его стоит выдвинуть на премию, а также подумать, как помочь ему развить перспективную идею. А уче­ный Y, опубликовавший 8 «слайсов», пожалуй, соответствует занимаемой должности, но не более того. И он не ухудшил бы впечатление от своей ра­боты, если бы опубликовал всё это в 2-3 статьях.

Но чтобы такой сценарий был воз­можен, как минимум нужна экспертиза.

Немного о новой системе аттестации в Великобритании

Великобритания является, безус­ловно, одним из флагманов западно­го мира в отношении серьезности и продуманности научной политики. Тем интереснее для нас то, как там про­исходит научная аттестация. В этой краткой статье мы можем коснуться лишь нескольких ее особенностей.

Уходящая английская система оце­нивания, RAE (Research Assessment Exercise) [9, 10], главным критерием имела, нет, не количество публика­ций, а качество исследования; она, как и новая, была экспертной. Внедряе­мая сейчас система Research Excel­lence Framework (REF) [6] тоже весь­ма интересуется качеством, но 20% конечной оценки в ней составляет impact (не путать с импакт-фактором журналов), т.е. влияние, воздействие исследования на окружающий мир и, в частности, значение его для разви­тия науки. Ученых вопросы про im­pact раздражают, но налогоплатель­щики хотят знать, на что идут деньги.

Все научные дисциплины в REF можно разделить на те, где библио­метрия не используется при оцени­вании вообще, и те, где она исполь­зуется с большими ограничениями. К первым относятся математические, ин­женерные, гуманитарные, обществен­ные науки, менеджмент и др. Ко вто­рым — науки о жизни, о Земле, химия, физика, информатика и экономика.

«Используется с ограничениями» означает следующее: библиометрические показатели рассматриваются как одно из средств оценивания ка­чества, но не главное (primary) сред­ство. При этом отмечается, что количе­ство цитирований часто ненадежный показатель, например, в случаях при­кладных или свежих исследований.

Цитирования для большинства дис­циплин второго типа подсчитываются по Scopus; могут использоваться и специализированные базы данных, а для информатики — также Google Scholar; WoS ни разу не упоминается.

В целом речь идет о системе экс­пертного оценивания с детально и тщательно проработанными регла­ментами, отличающимися для разных областей знания. И вот что еще инте­ресно: ни для каких дисциплин при оценивании не должны учитывать­ся ни импакт-факторы журналов, ни какие-либо рейтинги журналов или издательств. Конечно, неявным обра­зом всё это учитывается, но в целом, пожалуй, REF несколько ограничи­вает использование библиометрии по сравнению с RAE.

В противоположность системам оценки, для которых чем больше пу­бликаций, тем лучше, в английской системе, как прежней, так и новой, ученый представляет за пятилетний отчетный период не более четырех публикаций! Но — с формулировкой вклада в науку, вносимого каждой из работ, — по сравнению с тем, «что было» [6,10]. Заметим, что при этом нарезание куска салями на 8 «слай­сов» пойдет скорее во вред:половина из них просто не будет учтена. Полез­ность ограничения числа рассматри­ваемых статей не раз отмечалась и в некоторых предложениях ОНР.

Наконец,производит сильное впечатление следующее: система REF разрабатывается с 2007 года. В 2008-2009 годах на базе несколь­ких университетов было проведено пилотное оценивание, результатом которого стал отказ от намечавшего­ся широкого использования библи­ометрии. В 2010 году планируемое введение системы было перенесено на год. Актуальный на сегодняшний день проект регламента опублико­ван в январе 2012 года. Далее поч­ти два года он обсуждался; собрано большое количество стандартизован­ных анкет с отзывами; типичный объ­ем заполненной анкеты — 10 стра­ниц. Оценивание по новой системе начинается в 2014 года; первые его результаты будут объявлены в кон­це года. Таким образом, прошло бо­лее семи лет от начала разработки до первых результатов. Причем это для системы, не принципиально но­вой, а развивающей существующую… Надо бы поучиться этой плавности и продуманности изменений!

Думаю, что было бы полезно переве­сти документ [6] на русский язык и оз­накомить с ним всех заинтересованных лиц в Минобрнауки, ФАНО, РАН, Сове­те по науке и образованию, институтах.

Конечно, Россия не Англия. Но если там считают ненадежным импакт-фактор по WoS, то как мы должны смотреть на импакт-фактор по РИНЦ? А глав­ный аргумент, из-за которого британ­цы построили и совершенствуют имен­но экспертную систему, мало зависит от местных условий. Он состоит в том, что наука — одна из самых содержа­тельных сущностей в мире, и сведение достижений ученых к цифири вводит их в сильный соблазн профанации.

Напоследок необходимо сделать одно замечание. Поручение об «уста­новлении повышенной оплаты труда отдельным категориям научных работ­ников, достигших высоких результа­тов» очень странно рассматривать в отрыве от будущих структуры штатов и системы окладов научных институ­тов, а с этим пока нет никакой ясности.

  1. http://kremlin.ru/assignments/20065
  2. http://kremlin.ru/transcripts/19865
  3. http://onr-russia.ru/content/гранты-стипендии-03072012
  4. http://ubs.mtas.ru/upload/library/UBS4426.pdf
  5. http://expertcorps.ru/
  6. http://www.ref.ac.uk/media/ref/content/pub/panelcriteriaandworkingmethods/01_12.pdf
  7. http://rascommission.ru/index.php/documents/statements/63-otsenka
  8. http://en.wikipedia.org/wiki/Least_publishable_unit
  9. http://rae.ac.uk/
  10. http://ubs.mtas.ru/upload/library/UBS4416.pdf

Связанные статьи

80 комментариев

  1. Что-то сомнительно, что будут премировать реально работающих ученых и учтут предложения ОНР, Павла Чеботарева или опыт Великобритании. Скорее всего, правила составят таким образом, чтобы «научными работниками, до­стигшими высоких результатов» окажутся уже существующие научные феодалы и, может быть, приближенные к ним лица. При этом даже сошлются на систему аттестации в Великобритании. Только, например, добавят пункты по наличию руководства определенным количеством аспирантов и молодых кандидатов.

  2. Что касается предложений ОНР, то предложение платить стипендию ученным, имеющим 6 статей за три года, выгодно прежде всего для экспериментаторов, работающих в больших коллективах. Так, получается, что коллектив из 10 человек, напечатав 6 работ за три года (0,2 статьи в год на человека) следует премировать как успешный, а ученого, в одиночку опубликовавшего 3 статьи за этот период (1 статья в год на человека) — нет. В одиночку или с малым количеством авторов обычно работают физики-теоретики или математики.

    В принципе, с более высоким порогом, это предложение ОНР может быть как раз использовано правительством для определения «научных работников, до­стигших высоких результатов в на­учной деятельности», т.к. при этом научные тузы, руководящие не всегда пересекающимися по составу группами ученых, всегда будут иметь больше публикаций.

    1. Ну разделите число публикаций на число авторов и все ‘экспериментаторы’ уйдут в ноль. Такая практика реализована в МГУ. Вместе с тем оказывается что если нормировать публикации на корень из числа авторов то получаются разумное соотношение между ‘одиночками’ и ‘экспериментаторами’.

      Вот уж о чем надо думать в поcледнюю очередь — так это о том что ‘научные тузы’ что-то получат. Ну получат — и получат.

      Можно поддерживать ученых, а можно забалтывать проблему как это в данном случае и делается. Если есть желание поддерживать — возьмите списки Штерна.
      Все согласны что там на основе библиометрии собраны действительно достойные люди. Да, не вся российская научная активность представлена в этих списках.
      Это не беда — можно организовать другие стипендии для людей не получивших стипендию ‘по Штерну’.

      1. Да, одной формулой для всех не отделаешься. В рамках общей программы с единым финансированием должен быть реализован подход, варьируемый по областям. Это и предлагается.

    2. А вот и «Методические рекомендации по распределению бюджетных ассигнований…» появились. И в них минимум по числу публикаций в WoS за 5 лет для ест. и тех. наук — 10 штук. Распределение по условиям внутреннего отбора. Несложно догадаться, кому это достанется.

    3. мы тут обсуждаем, что будет, а решение будут принимать совсем другие, которых мнение ученых никогда не интересовало и не интересует. Что может измениться в лучшему в науке, если те же директора остаются и бесконтрольно распоряжаются учеными, финансами и пр? Руководители институтов важны -какие они, так как ученые взаимодействуют с ними, от них зависит многое, в том числе -когда и почему ученый может остаться работать…у нас в ин-те много примеров, когда неугодных почему-то лично директору, очень успешных и продуктивных ученых легко увольняли за опоздание на несколько минут на работу … Ученые в России никак не защищены от произвола администрации. Если уникальное новое направление исследований, который можно развивать только в одном институте, ученый оказывается на улице и не из-за причин опоздания…а чтобы основанное им направление присвоить теми, кто его выжил. Повезет, если ученый имеет связи международные -он уедет из страны. Сколько таких русских ученых я встречал там которые именно так уехали на запад с больщой обидой на Россию и на произвол директоров.

      1. Единственный путь борьбы с этим, вероятно, — ВЫБРАТЬ корпус экспертов. Тогда он совместит компетентность и легитимность. Когда он будет за кого-то заступаться, будут откликаться международные профессиональные организации. Это может быть вариант сцепки (локтями). Единства не будет и там, но оно достижимо по кр. мере в вопиющих случаях.

  3. Всё хорошо, прекрасная маркиза! Но…
    Несколько системных моментов:
    1. Нет лучшего способа нейтрализовать дееспособность конкурентов или «противника» в любом понимании этого слова, чем заставить членов его сообщества передраться «внутри себя». Сверху заброшена именно эта идея: выдвиньте-ка лучших из лучших! За эту косточку и начинается нешуточная борьба. Наукометрия или без неё? Директоров включать, или это по определению? А членов бывшей РАН давайте вообще не рассматривать, им и так от 25 до 50-ти тыс. платят ни за что!? Что круче: физика или политология? И вообще, где наука имеет право быть: от Москвы до Урала или ещё и дальше на восток? Передерёмся, коллеги, передерёмся… Что и хотелось бы ре(де)форматорам науки!

    2. Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за зарплатные деньги (они известны и фиксированы, вне зависимости от количества грантов, проектов, и т.п.), а за ПОЗИЦИЮ. Или ты на перманентной позиции в университете (тогда можно в кредиты лезть и ипотеку брать!), или тебя отпустят на все четыре стороны после завершения гранта или контракта через два-три года. А у нас планка уровня существования для учёных никакая не установлена. Депутатам, понятно, нужно минимум 2-4 сотни тысяч р. в месяц. А то они за копейки готовы лоббировать любой закон в Думе. Чиновники от науки в Курчатнике и ИТЭФе себе любые оклады и премиальные наворачивают… А голодранцам из бывшей РАН предлагается ОПРЕДЕЛИТЬ ТЕХ, КОМУ БУДЕТ ДОЗВОЛЕНО ДОЖИТЬ ДО СТАРОСТИ БОЛЕЕ-МЕНЕЕ ХОРОШО, чтобы потом им помереть с голодухи, будучи на пенсии.

    3. Поскольку приказ сверху дан, то драка за вкусную косточку неизбежна. Она уже идёт. Идёт процесс внедрения своих людей из РАН в структуры ФАНО. Деньги теперь там! Важно правильно их переделить! Если интересно о персоналиях, смотрите на сайте бывшей РАН, кто там во всяких репликах и комментах вдруг видит положительные моменты в реформе академии и вообще, наиболее часто пиарится.

    4. В описанной ситуации при любом подходе (английский, американский, китайский…) и в любой организации ФАНО (физики-экономисты-геологи…) должен быть поставлен изначальный фильтр при прочих дальнейших критериях. Это тайное рейтинговое голосование ВСЕХ научных сотрудников (но ни в коем случае нельзя допускать к голосованию только один учёный совет!) по СПИСКУ ИЗ ВСЕХ научных сотрудников. Квота, как правильно отмечено в статье, определяется тем, сколько всего Гарант отвалит на эту милостыню. Поэтому, если все проголосуют за всех на 100 процентов (все мы великие!) — никто ничего не получит в данной конторе. Но этот вариант, по-моему, маловероятен. При общем голосовании в дальнешем конкурсе окажутся люди, которые делают ЛИЦО института. Те, без которых институт — уже не институт. В списке фаворитов наравне с академиком может быть талантливый мэнээс, если всем ясно, что без его консультаций, золотых рук и мозгов не обходится ни один серьёзный эксперимент. Для аналогии вспомним, что такое градообразующее предприятие? По мнению чиновников — это городская администрация. А по мнению работяг — единственный свечной заводик, где ещё платят зарплату. Кому это сравнение интересно — прошу на экскурсию в провинциальную Сибирь или на Урал.

    5. И последнее. Если деньги на подъём благосостояния научной элиты не добавят сверху, а отберут у остальных, то это чревато научным майданом… А может это тоже святая цель ре(де)форматоров?

    1. Пятый пункт у нас вседа основной и определяющий. Никаких оснований надеяться на увеличение финансирования науки ни в ближайшем будущем, ни в отдаленной перспективе нет. Уличшить положение отдельных ученых можно только за счет дальнешего опускания среднего уровня.

    2. 1. Ваше предложение?
      2. «Британская система хороша любая: старая или новая, не важно. Но у нас нет никаких оснований на неё равняться. Причина в том, что там профессор, лектор или ресёчер борется не за…»
      Там результат оценивания определяет деньги, получаемые университетом на исследования.
      Основание использовать опыт есть. Они отработали инструмент оценивания. Он годен для разных целей. С учетом нац. специфики, конечно.
      Да, тузы захотят все взять себе. Надо как минимум указать альтернативу.
      4. Внутриинститутское голосование не решит проблему распределения между институтами. И отразит скорее внутриинститутские мифы, чем анализ работ последних лет.

      1. Про межинститутское распределение за нас и без нас побеспокоятся. Если не будет квот по численности, то окажется, что за границей МКАД вообще выдающихся учёных нету. Потом ещё стон поднимется по поводу закрытых тематик: там априори не публикуются… А ведь закрытые тематики — это и закрытые деньги. Выбрали свою стезю — там и кормитесь. На программу ИТЕР пашите? Там тоже свои деньги немалые, и т.п…
        Только на уровне отдельного института и можно в тайном рейтинговом голосовании в чём-то разобраться более-менее, без указания сверху. Иначе, всё достанется далеко не талантливым бессеребряникам. Деньги липнут к деньгам!
        ПРНД уже сколько лет подсчитывали? Списки публикаций у учёных секретарей имеются. Выложить их на институтский сайт — и смотри-любуйся: кто в Nature «ерунду» опубликовал, а кто — открытие обнародовал в вестнике соседнего педуниверситета… Да директорский корпус этого наведения справедливости не допустит, по понятной причине.
        А скорее всего, будет гораздо проще. Готовьте хоть какие списки, а потом сядет с карандашом небезызвестный членкор из верховного научного Совета, и повычёркивает неугодных. Нет, это будут не отдельные фамилии! Физики меня не полюбили? Всех их… !

  4. Начиная с середины семидесятых годов мне приходилось решать эту задачу в серьезном научном подразделении, работая директором крупного вычислительного центра, председателем кооператива и директором ЗАО. Опыт сорокалетней руководящей работы говорит следующее: повышение квалификации и, соответственно, рост оплаты сотрудника интересует только его руководителя-работодателя, который сидит с ним в одной лодке и его успешность и перспективы зависят от того, какой коллектив он создал. Таким образом, пока руководитель организации (подразделения, лаборатории) не будет настоящим хозяином, все попытки решить частную задачу оценки и премирования будут безуспешными. В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев. Сегодня положение руководителя более зависимое, чем 20 лет назад. Даже финансы, которыми нельзя свободно пользоваться — это условные фантики. Итак: задача разумного решения в масштабах государства невозможна, тенденции неблагоприятные, нужно быть готовым к пустым хлопотам.

    1. «В настоящее время я не вижу возможности появления самостоятельных руководителей-хозяев.»

      Вот с этим как-то неясно. Что тут такого невозможного. Если у лаборатории основное финансирование конкурсно-грантовое, то ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином. Который кровно заинтересован в хорошей оплате своих сотрудников (ибо именно они делают работу, без которой не будет грантов). Да и дирекция обычно в таких случаях не наглеет. Ведь гранты и работы идут и в копилку института. Бардак и рабство научных сотрудников начинается там, где цветет не завязанная на научный результат распределительная система.

      1. «…ее заведующий (обычно он пи-ай в грантах) аккурат является хозяином…»

        ————————————————————————
        Если бы все было так на самом деле, то проблем было бы меньше. Эта модель может работать в очень маленькой группе где один лидер. Из того что мне довелось увидеть пока работал в России, завлабами назначались знакомые дирекции, в том числе для того, чтобы они влияли на голосование за директора. Высокую зарплату завлабам платили по отдельной ведомости, чтобы никто не видел. Мало кто из них вообще занимался серьезной научной работой и получал проекты. Проекты получали другие люди и потом многих из них заставляли писать доверенности на использование средств по проектам на своих завлабов. По существующему позорному порядку вещей без подписи завлаба статья не может пройти ученый совет института и ее официально нельзя направлять в печать. Таких как я, кто все игнорировал и публиковал в зарубежных журналах директор считали своми врагами и всячески мешал работать, в том числе руками своих завлабов. Администрация не допускала появления самостоятельных завлабов.
        Спустя годы я вижу, что эта политика привела к утечке значительного числа активных сотрудников и полной деградации всего института.

  5. 3-й абзац с конца статьи: «Думаю, что было бы полезно перевести документ [6] на русский язык и ознакомить…»
    Документ частично переведен (по инициативе ОМН РАН). Части перевода, а также Заявление Совета по оценке результативности деятельности научных организаций ОМН РАН «Российская экспертная инфраструктура для оценки результатов деятельности научных организаций» приложены к заметке на сайте ОНР:
    http://onr-russia.ru/content/еще-раз-о-библиометрии-и-экспертизе-при-оценке-ученых-документы

  6. Друзья, много слов, но мало дел!
    Вот смотри цитату из начала статьи
    » ….разработать рекомендации по числу и величине уровней стипендии (1, 2 или 3 уровня)..»
    а далее идет говорильня на 2000-3000 знаков!!!
    Столько народу думало, а предложило ухудшенную версию того,
    что предлагая я
    (см ТрВ, гайд-парк от 16.09.2013).
    Я предлагал ввести универсальный индекс П, и по достижении опр. порога
    ( который в каждой науке может быть свой, пусть решат эксперты),
    претендент выдвигает в профильный Уч. совет свои опубликованные работы
    на защиту очередной научной степени! Усек??
    Всего предлагается не 3 (как придумала ув-я комиссия),
    а сразу 7 уч. степеней(цифра подлежит уточнению, как и пороги)
    Профильный Уч. совет
    (а это и есть эксперты, и снова мудрить с их составом нет нужды)
    присуждает соотв. уч. степень по сумме работ.
    Все!!!!!!!!
    Иди в кассу, получай свои надбавки!!
    Просто и честно!
    А теперь, друзья, давайте займемся индексом П.
    Читайте мои предложения (ссылка дана)
    и дискутируйте (2-3 месяца, не более), на своих Уч. советах, на здоровье.
    Итоги, как решение Уч совета — в ПРАН, тот — в ФАНО, а этот — в закон.
    Все. За работу.
    С 1.01.2015 работаем и получаем по новому!!!!

    1. К формуле у нас подходы близкие, включая даже прибавление 1 к импакт-фактору: см. раздел 7 в http://ubs.mtas.ru/upload/library/UBS4401.pdf
      Но есть закавыка. Вы видите различие между наукой и публикационной активностью? Поощряя п.а., мы получим тысячи людей, равнодушных к науке и занятых п.а. как злокачественным бизнесом. Они забьют журналы своей макулатурой, которая будет рецензироваться такими же, как они имитаторами, навсегда забывшими о научном интересе, с головами, забитыми трухой импакт-факторов и хиршей. Про такого sci-дельца не будут спрашивать «что он сделал?», а только «какой у него хирш?»
      Нормальные ученые пошлют эту малину на her и уйдут за Перельманом в arXiv, работая лаборантами и сторожами.

      1. Есть опасения, что, начни я Вам рассказывать, что я сделал, Вы не поймете и оценить не сможете. И я Ваши достижения тоже.

        1. Так и есть. Но у нас и науки разные. Компетентный эксперт — тот, кто, прочитав авторский ответ на вопрос «что нового внесла данная статья в науку» и имея саму статью, может (привлекая, если надо, библиометрию) оценить важность (и новизну) сделанного. При этом он сам должен быть хорошим ученым.
          Не думайте сейчас только о своей науке. Возможно, в ней много можно сказать по Хиршу. Подумайте, например, о социогуманитарных областях, где публикации в журналах WoS и Scopus — редкость. Но автор может публиковать по 25 статей в год в журналах РИНЦ и потому претендовать на лавры. Думаю, Вы согласитесь, что эксперт, полистав эти статьи вместе с авторскими справками по ним, быстро поймет, чего эта деятельность стОит.
          И когда экспериментаторы публикуются огромными коллаборациями, формальные индексы могут зашкаливать, оставляя позади всех оригинальных мыслителей. А при ином учете числа авторов — наоборот. И опять же эксперт, полистав работы, не допустит большого перекоса оценок.

            1. Еще лучше. Но это в своей узкой области. А оценивать придется в более широкой.

              1. В более широкой я как эксперт обращусь к наукометрической статистике и конкретным работам. И меньше всего буду буду обращать внимания на то, что человек заявляет о своих заслугах и достижениях. ИМХО, надо отказываться от порочной практики противопоставления наукометрической статистики и экспертной оценки конкретных результатов. Именно это я и постарался выразить в своей версии регламента оценки, который, надеюсь, мы все же увидим в обсуждении.

                1. Человек пишет не о заслугах и достижениях вообще, а о шаге в науке, сделанном в данной статье. И это информативная вещь, т.к. свидетельствует о его адекватности и кругозоре. А противопоставлять статистику и результаты, конечно, не нужно. Просто статистика служебна и в ряде областей имеет второстепенное значение или малоинформативна.

      2. Кто хочет остается сторожем,
        а кто хочет и может — имеет собственную дачу на Каменном острове или хотя бы собственный публичный дом (менеджмент вконтакте).

      3. Павел, вы читать умеете.
        Я пишу не о пуб. активности,
        а о защите своих работ!!
        В этом суть!

        1. Влад, а Вы умеете писать?
          Из Вашего текста: «Здесь существенно, что платить следует только за фактор П. А все имеющие место научные звания – признать только почетными.»
          При этом фактор П — чистая библиометрия.

          7 степеней… Когда ученый уже доказал свою состоятельность, для него естественно заниматься только умножением и распространением знания. Перед знанием все равны. Лестница вроде армейской или чиновничьей в науке смотрится совершенно не органично. Ученого могут награждать, но он сам себя не должен номинировать на награды.

        2. В другой фразе Вы пишете о надбавках за новые степени (а не за «П»). Но сама эта лестница степеней чрезмерно высока и слишком зависит от библиометрии, ко многим областям применимой слабо и стимулирующей имитационную активность.

  7. «Эксперту профессионалу никаких ответов не нужно. Ему фамилии хватит»
    Я надеюсь, это вы для красного словца загнули..
    У нас как раз наука и больна тем, что «фамилии хватает».
    Вот поэтому коррупция и процветает)))
    Потому что вместо экспертизы есть рейтинг фамилий.
    И все так и останется до тех пор, пока не начнут смотреть на проект или статью, а не на фамилию

    1. Согласен. По фамилии может судить только эксперт, работающий в той же узкой области — тот, кто работы коллег знает еще в виде препринтов.

    2. насчет фамилии «алкоголик» верно сказал.
      Я полагаю, что сейчас в РФФИ
      о качестве заявки судят только по фамилии рук-ля.
      У меня есть прецедент:
      поменял рук-ля. не меняя заявку. и получил полож.реш-е.
      Класс!!

  8. Ученый должен:
    а) вступить в Народный фронт
    б) подчиняться вертикали власти
    в) не иметь своего мнения
    г) скорешиться с властьимущим

    Ваш консультант,
    известный юрист и к.э.н. Путин В.В.

  9. Смотрю я на вас
    и сами понимаете, что думаю.
    Предлагаю же вам:
    не орать друг на друга, не бегать за экспертами,
    а защищать свои публикации
    и получать очередные (оплачиваемые) степени.
    Все в одном флаконе: и пуб. активность и эксперты(Уч. советы)!!
    Чем плохо??
    Напиши!!

    1. Во многих областях жесткий библииометрический фильтр контрпродуктивен, т.к. не может учесть всех типов и амплуа ученых.
      Как я уже писал в ответе на другой Ваш комментарий, 7-ступенчатую лестницу считаю в науке неестественной. Она создает излишнюю дистанцию, чинопочитание. Это нормально в тех областях, где высшие отдают приказы низшим. А в науке аспирант может разобраться в какой-то проблеме лучше всех «главных докторов» и «полных докторов». Тогда он, а не они — главный специалист в этой проблеме. Кстати, «полный доктор» напоминает «полный дурак».

      1. Павел, ваши комментарии моих предложений наглядно демонстрируют
        нежелание разбираться в сути вещей.
        Я говорю о защите своих публикаций.
        Это самый честный путь доказать свою значимость.
        Это замена стороннего эксперта (которого еще и найти надо).
        Он без твоих объяснений(а все работы- разные) явно ошибется в оценке
        (что я замечаю постоянно, даже на примере моих предложений).
        Т.е. процесс оценки вклада ученого — это диалог(защита)!
        Потом,
        почему народ боится 7 степеней??
        ИНЕРЦИЯ.
        БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
        И дело не в чинопочитании, а в уважении труда и достижений.
        Дело в четкой перспективы карьерного роста(иначе молодежь не пойдет)
        Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
        А где различия, где оплата?.
        Вот их и надо ввести!!
        Причем никаких вливаний не требуется.

        1. Почти любой хороший ученый вам скажет: «Я сделал работу. Читайте, изучайте. Хотите, приходите — слушайте на конференциях, семинарах. Мое дело работать, а не что-то вам доказывать. И так на работу времени мало. Я вам не пацан бегать, задрав штаны, за вашими 7 степенями, которых нет нигде в мире. Нормальный ученый думает о тайнах природы, а не о том, чтобы доказывать, что он на самом деле уже не «ведущий доктор», а «главный доктор» а то и «полный доктор».»

          Кстати, по той же причине я убежден, что основные зарплата и премия, а также командировочные ученых должны быть по результатам, а не грантовыми. Гранты нужны в основном на специальное оборудование для новых проектов.
          Но здесь Вы, насколько понимаю, считаете аналогично.

      2. Павел, ваши комментарии моих предложений наглядно демонстрируют
        нежелание разбираться в сути вещей.
        Я говорю о защите своих публикаций.
        Это самый честный путь доказать свою значимость.
        Это замена стороннего эксперта (которого еще и найти надо).
        Он без твоих объяснений(а все работы- разные) явно ошибется в оценке
        (что я замечаю постоянно, даже на примере моих предложений).
        Т.е. процесс оценки вклада ученого — это диалог(защита)!
        Потом,
        почему народ боится 7 степеней??
        ИНЕРЦИЯ.
        БОЯТСЯ ТРУДНОСТЕЙ. ПРОЩЕ ПРОСТО ПОБОЛТАТЬ.
        И дело не в чинопочитании, а в уважении труда и достижений.
        Дело в четкой перспективе карьерного роста(иначе молодежь не пойдет)
        Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции.
        А где различия, где оплата?.
        Вот их и надо ввести!!
        Причем никаких вливаний не требуется.

        1. «Сейчас доктор с 20ю статьями и доктор с 50ю- это 2 совершенно разных уровня компетенции. А где различия, где оплата?.»
          Привет Вам большой, Влад…
          Скажу аккуратно, что в некоторых областях компетенция доктора с 20 статьями может быть несоизмеримо выше, чем у доктора с 50. Поинтересуйтесь, сколько статей у Г.Перельмана, сколько у П.Хиггса…

          1. павел, что странно, вы практически отказываетесь от люього моего предложеня.
            И не только вы.
            А что в результате?
            Трепотня об экспертах, и множественные дискусии.
            Итог- все по старому.
            Вы хотели ввести 3 ранга(но субъективно, через экспертов)
            Я предлагаю ввести столько же и даже больше( 7) рангов и объективно,
            через профильные Уч советы!
            И Гриша Перельман на таком совете давно бы стал «полным доктором»,
            что, как вы понимаете, есть современный академик.
            Шире надо смотреть на вещи.
            И глубже.
            А не бояться новшеств.
            А то что в мире 1 степень, дак это пусть! Там финансирование иного типа.
            Любой наш кандидат наук(через пару лет вживания) там не пропадет,
            а уж доктор- будет блистать…(если приживется).
            там сильны традиции.., блюди их, и ты средний класс!!!!

            1. Почему вы так думаете? Чем ваш совет совет лучше общего собрания РАН? А в РАН заболатировали не только Перельмана, но и вполне встроенного в систему Станислава Смиронова, чьи достижения вполне сопоставимы.

                1. Станислава Смирнова не выбрали под дежурным предлогом, что он работает за границей. А Г.Перельмана вроде ПОМИ Стеклова было готово выдвинуть, но он сам отказался.

                  1. Предлог всегда найти можно. Смирнова выдвигал СПбГУ и он все документы собрал.

                    Про Перельмана, вы думаете, на «полного доктора» и предыдущие ступени предложенные автором он бы документы собрал?

                    1. Довольно трудно представить себе Г.Перельмана, собирающего документы на эти ступени. А вот посылающего куда подальше — легко.

            2. Ну, что же делать, если мнения разные.
              Ни я, ни Вы решения не принимаем.
              Упования на «объективность» меня изумляют. Вот масса тела ученого – объективный показатель. Будем учитывать?
              Стипендия ученого м.б. то выше, то ниже – в зависимости от текущих успехов. А Вы если получили 7-ю степень – то уж навсегда, вероятно? Если же она теряется, и – защита по новой, то еще веселее:)

    2. Уже не смешно когда люди настойчиво предлагают такие несуразные инициативы на уровне детского сада — хорошо себе ведешь получаешь + и т. д. У кого больше + к концу месяца, тот получет приз. Абсурд не имеет предела. Стоит только начать, кто-то догонится до 7-й степени и будут требовать еще и еще. Нужно идти как раз в обраном направлении — оставить толкьо одну степень.

  10. Я бы оценивал так.
    1. Тех, кто смог содержать своих сотрудников и быть небедным в условиях
    20-летней вакханалии назвал бы не эффективными сотрудниками, а ворами.
    Потому что все их хирши и показатели возникли в результате лжи, откатов, воровства.
    2. Не думаю, что бывают чудеса, и вот у Ковальчука открытия как из рога изобилия, а в соседнем корпусе ИК РАН их почему-то нет…
    Думаю, просто Ковальчука гнать нужно. И всех таких, как он.
    На такое сокращение РАН я согласен.
    3. Это, конечно, не относится к тем, кто свои хирши делал за границей, будучи выкинутым туда всеми этими великими учеными типа Алдошина и Фортова, которые присваивали себе все деньги и сейчас продолжают делать это. Никакие прелести и богатства не оправдают тех трагедий, которые происходили с людьми, вынужденными бросить все и работать за границей. Виноваты в этом снова Осипов, Фортов, Алдошин. Почему не несут наказания? «Жизнь сложна»? б..дь
    4. Немедленно расформировал бы все эти стариковские стипендии, переделав их в пенсии. Они так должны называться. И изолировал бы молодежь от этих «учителей»,
    крышевателей науки.
    5. Оставшиеся люди (после разгона Ковальчуков) должны иметь весьма умеренные
    индексы. Реально, например, при существующем финансировании физику экспериментатору за год делать 1-2 статьи. Причем в журналы типа ЖЭТФ и никак не в Nature. Наличие статей в последнюю и прочих бойких достижений нужно рассматривать как брехню. На 1000 долларов в год такие работы не сделаются.
    6. С оставшихся поэтому спросил бы лишь за настойчивость, за продолжение работы. Если видно, что человек свои 1-2 статьи в год регулярно делает, сам , честно и эта работа новая, я бы плюнул на все хирши и именно таких людей поддерживал бы.
    7. Запретил бы вообще поддерживать огромными деньгами приезды великих ученых из за границы, послал бы к черту всю эту цитируемость, разрушенную именно поведением властей.
    А теперь они вдруг за нее и решили спроситЬ! И стал бы поддерживать свои журналы, доведя их до хорошего уровня.

    Вот так и оценивал бы. Ато высосут из пальца какого-то Северинова, то еще какого-то непонятного фрукта найдут, и давай трепаться, как-будто все остальные научники тупые, они не существовали.
    Да они вопреки всему вынесли на своих плечах ваше скотство и воровство.
    Они жертвовали своими индексами, продолжая работать. А теперь их же и гнать???
    20!!! лет относились как к скотам, а теперь вдруг за год решили с них спросить, почему неконкрентоспособны???
    Ну вот где предел свинству?

    1. Могу лишь, если хотите обратную связь, указать в долях 100 примерную степень согласия с Вашими пунктами.
      1. 10
      2. 20
      3. 40
      4. 30
      5. 40
      6. 75
      7. 45
      Заключение. 65

  11. )) спасибо, Павел,
    приходится и здесь с вами согласиться, поскольку некоторые пункты действительно
    от эмоций..но самый дорогой и правильный, на мой взгляд, конечно 6-й, с которым вы в большей степени согласились. Нужно на работу смотреть, на людей, а не на цифры.
    А работу честно делало все эти годы совсем небольшое количество людей. Вовсе никакие не Севериновы и уж тем более не Ливановы.

    Но это все равно все фантазии. Беда сегодняшнего дня, в отличие, от перестроечных 90-х, в том, что в науку хлынуло бескотрольное количество каких-то балбесов. Почувствовали, что там деньги, что болтовней можно хорошо прожить,
    и теперь наука стала «народной».
    Нет отбора, ни контроля. Среди толпы, как и на рынке, так и в академии, научнику делать нечего. Он штучный уникальный продукт. Он не рожден для того, чтоб локтями толкаться и гранты выгрызать. Он ОБЯЗАН посылать на х..всех, кто с такими предложениями к нему приходит. В меру своей аристократичности, конечно))
    И первым среди «народа» научник не окажется. А «контроль» нам уже не восстановить, мне кажется. Честного контроля не будет многие годы..Если только сторонний…

  12. Прежде чем кого-то оценивать нужно как можно точнее знать и фиксировать что и кем было сделано (конечно, это в том случае, если в статьях больше чем один автор). Вот смотрите, o любом кинофильме, например, мы точно знаем кто преложил идею фильма, кто был режисер, оператор и т.д. В науке до сих пор это не сделано ни в России, ни на Западе, несмотря на то что даже еще в 70 -80е годы советские юристы настоятельно рекомендовали внедрить такую систему государственного фиксирования персонального вклада каждого в отдельности ученого. Далее более новое предложение ( смотри rankyourideas.com ): а почему бы нам не оценивать и платить ученым раздельно за их полезные и/или используемые в науке и практике идеи; за качество и скорость разработки идей; за правильные оценки идей и предложений других ученых? Я за сорок лет работы в науке в СССР, России, Европе, США так и не нашел ответа на вопрос: что может быть плохого и нерационального в такой идее? Ведь опять же, в кино почему-то научились поощрять своих работников базируясь на раздельной оценке индивидуального вклада, и считают это правильным, а в науке даже не пытались учиться. Так все и продолжается на уровне полуфеодальных отношений, которые были приняты еще 300 – 400 лет назад. Какие-то там выборы в академии наук, докторские и кандидатские диссертации …. все это уже для многих выглядит так наивно и глупо, работает, в основном, на благо сущесвующего научного истэблишмента и не на благо тех кто платит за науку. Мой вывод: в самом первом приближении, с самого начала, мы должны научиться хорошо защитить идеи всех ( не только высокопоставленных) ученых и изобретателей и затем научиться платить только за идеи, которые действительно были оригинальны, нетривиальны и полезны. Пока эти простые мысли не осознают хотя бы 2-3% процента ученых, или хотя бы парочка высокопоставленных государственных чиновников, разработка новой (даже подобной той что в Англии, Америке, Японии и т.д.), по настоящему, более эффективной системы оценки ученых обречена на провал.

    1. Олег, расскажу Вам, как мы работаем с соавтором. Один пишет короткий набросок, шлет второму. Тот правит его и добавляет свой кусок, снова шлет. На каждой итерации один из нас правит всё написанное до сих пор, делает новые вставки и отсылает другому. После 15-30 итераций статья готова. И как нам прикажете ее делить? Какова единица интеллектуальной собственности? Если идеи А и В высказал я (одну год, другую 5 лет назад), а он догадался их соединить вместе, и получилось нечто новое, то самой ценной может быть идея соединения. Но кроме идеи есть разработка — доказательство, включающее ряд шагов разного происхождения.
      Делить же не только невозможно (как не делится подкрутка в фигурном катании), но и вредно при любом раскладе: (а) взаимное благородство, (б) взаимная жадность, (в) благородство одного и жадность другого.

      1. Мне не понятно что Вам не понятно. Вы сами все уже разделили. Идеи А и В будут в вашей копилке, определяющей Ваш ранг, а объединяющая идея в копилке Вашего соавтора. Относительно разработки и доказательства ваших трех идей все очень просто. За разработку вы оба будете оценены совершенно отдельно. Эта разаботка будет в Вашей и Вашего соавтора копилке ( базах данных может быть лучшее слово), определяющий ваш ранг как раработчиков. В моей практике я не помню ни одного случая где бы после того как нетривиальная идея была высказана, никто не мог или только одна группа могла бы достаточно успешно ее разрабатывать. Как правило, это были десятки или даже, может быть, сотни групп. Эффект Мессбауэра, наверное, один из тех редких случаев когда идея была хорошо известна, но никто не знал как экспериментально зарегестрировать реонансное поглощение без отдачи гамма квантов. История науки даже знает один случай, когда никто из теоретиков физиков не смог воспроизвести математическое доказательство теории автора J. следуя по тому пути который он опубликовал. Те кто хотел проверить его теорию ( О + +) использовали, в связи с этим, совсем другую математику и получили тот же результат. После этого J. получил Нобелевскую премию, а О++ ничего за это не получили. Вы знаете о ком я здесь говорю?

        1. Нет. Думаю, что дух мелочного набирания очков разрушает науку как благородное предприятие. Инициирует постоянный дележ собственности внутри команды, споры, кто что первый сказал на семинаре или в личной беседе, кто начал фразу и кто закончил. Я не хотел бы в этом участвовать. Самое опасное для науки — превращение ее в бизнес.

          1. Никакого мелочного набирания очков не будет просто потому, что, как показыват статистика, большинство ученых скорей всего будут иметь индекс креативности равный или близкий к нулю. Т.е. им не удалось выдать каких либо полезных нетривиальных идей в науке. Многим потому, что еще довольно молоды. Еще какой-то малый процент будут иметь за всю жизнь только одну-две такую идею. И только очень малый процент (наверное, меньше чем 1%) будут иметь достаточно большой их набор.
            И второе, это не имеет значения, что Вы не хотите участвовать. В одной и той же стране можно ввести две или более различных систем оценок эффективности работы ученых с независимым финансированием для разных виртуальных групп. Каждый будет волен выбирать где ему работать. Насильно никого тащить не будут.Затем просто давать денег больше тем группам, которые лучше работают. Это как бы финансировать раздельно тех кто подписался работать в старой полуфеодальной системе, и тех кто подписался работать в новой, по новым правилам.

            1. А кто, интересно, будет решать, являются ли идеи А и В, о которых упомянул Павел (а так же идея их объединения, предложенная его соавтором), нетривиальными, и начисляются ли за них очки? Совершенно неработоспособная система.

              1. По поводу неработоспособности. У меня опубликованы десятки различных идей и все они были работоспособны. И эта — я абсолютно уверен — работоспособная и более того — конкурентоспособная. Я также уверен, что в будущем что-то будет предложено даже лучше чем у меня. Просто над этим сейчас никто не работает и ни у кого нет стимулов изобретать более совершенную систему. Слишком много развелось таких как Вы, которые абсолютно голословно толком не рабобравшись ни в чем, не неся за это никакой ответственности, готовы зарубить любую хорошую идею, если им она чем-то не нравится. Я часто замечал также , что люди с ограниченными способностями мыслить нетривиально, почему то думают, что и все другие не могут предложить выход их какой либо сложной ситуации, если они сами ничего предложить не могут. Это еще называется воинствующая некомпетентность.
                Кто и как будет решать по поводу нетривиальности предложенных идей читайте внимательно мою интернет страничку rankyourideas.com

                1. Ок, вот вам воинствующая компетентность. За границей все не так. Никто не считает ваши достижения, статьи и наукометрию. Вас просто профессор или завлаб взял на работу, либо не взял. И это даже не экспертная оценка, это его заинтересованная оценка. Почему так? Очень просто, если у эксперта нет конфликта интересов, ему наплевать на результат его экспертизы. Таким образом, качество этой экспертизы для него вообще-то не особо существенно. Что касается наукометрии, то она вообще от лени, извинте. Вам не надо возиться с экспертами, взяли цифры посчитали. Недостатками (а их полно) пренебрегли. Это от лени и наплевательства на результат, только и всего. Наилучший выбор среди сотрудников мотивированы делать те, кто хочет получить лучшего сотрудника. Т.е. этот выбор может хорошо небезразлично сделать только завлаб. А по каким критериям — его проблемы. Если он не дурак, то наукометрией он будет пользоваться в последнюю очередь, а в первую постарается оценить что из того, что человек пишет про себя, он реально умеет и как хорошо. Это на Западе работает так везде и в науке и в промышленных компаниях: с людьми проводят собеседования. Если все они такие дураки, а вы умный, то объясните почему.

            2. Очень здравая мысль, полностью поддерживаю. Автор идеи должен иметь более высокий рейтинг и, соответственно, зарплату. Могу сказать, что в той области, где я работаю (физиология), первый автор статьи как правило, является автором идеи. В некоторых иностранных журналах просят расписать вклад каждого соавтора по категориям (автор идеи, сбор материала, обработка данных, написание и обсуждение статьи).

        2. В Nature, NPG журналах, PNAS’e есть раздел где нужно указывать вклады авторов в работу. И когда авторов много, а бывает и по 15-20, это не так просто, хотя все прозрачно. Кто-то всегда недоволен, кто-то пытается записать себя в «главные герои», тех, кто иницировал и продумал концепцию работы, хотя добавился уже под конец. Это сильно портит отношения между соатворами.

    2. В кино научились платить пропорционально. Там побороли феодальную систему. Вау. Ну посмотрите, кто снимается у Тима Бертона или Кристофера Нолана. Это одни и те же люди. Победа над феодальной системой, ура. Посмотрите во сколько раз могут различаться доходы известных и малоизвестных актеров. Наверное малоизвестные актеры тупые … наверное было бы лучше, если бы вместо одного узнаваемого всеми Тома Круза, который уже одним фактом узнаваемости привлекает зрителей, каждый раз появлялся бы кто-то другой. Да их и не нужно много. Решение «проблемы» «несправедливой» оплаты ученых уже решено. Оно очень простое. Все ученые одного статуса получают примерно одинаковую зарплату. Если для их это менее важно, чем занятие наукой, они занимаются наукой. Если их деньги и справедливая оплата волнуют больше, они говорят досвидания, машут ручкой и уходят в индастри, либо открывают свой бизнес и там рубят бабла сколько смогут. Если деньги и пропорциональность так важны для вас, вы просто не годитесь в ученые, только и всего.

  13. Читая статью мне показалось, что это черный юмор. Потом постепенно пришли на ум некоторые сравнения.
    1.Когда-то начали бороться за демократию. Результаты борьбы могут видеть все. И конечно оценивать их, естественно, по-разному.
    2.Когда-то начали бороться за рыночную экономику в стране. Каждый может оценить состояние нашей теперешней экономики (и науки в т.ч.).
    3.Сейчас начинают бороться за оценку деятельности в науке. Мне кажется, что результат будет очевидно таким же, что и в п.1 и 2.
    Вывод. В науке важна система управления. Она может иметь недостатки, но это гораздо лучше, чем не иметь ее вовсе.

  14. Критерии оценки успешности ученого должны быть объективными, не зависящими от субъективности директоров институтов и его окружения. Иначе в число таких успешных всегда будут попадать также, как и попадают после отмены ПРНД, только его приближенные -среди которых отнюдь не самые успешные ученые. ПРНД-хоть и имел недостатки, но все же имелись объективные критерии, которые независимо от симпатий начальников -определяли баллы успешности. После отмены ПРНД ученые, кроме избранного околодиректорского, вообще никаких поощрений не получают.
    При этом также следует иметь ввиду, что а)работы российских ученых цитируются в WoS, Scopus etc только опубликованные после 1996г, и б)конкуренция в высокоимпактных журналах огромная…80 и более %% статей там не принимают сразу, в это число чаще попадают статьи российских ученых из-за несовершенства английского языка в статьях, в)новейшие направления науки публикуют новые журналы, имеющие пока еще низкий импакт-фактор. И главное-для того, чтобы в науку пришли наиболее одаренные и они могли публиковать свои научные результаты в высокорейтинговых журналах также, как американские и др, надо им создать такие же условия финансирования-зарплаты, пенсии, оборудование и пр. Иначе — требовать равной с этими западными учеными успешности при абсолютно неравных условиях жизни и работы в российской науке бесполезно.

    1. Понятно, что со штатниками конкурировать трудно. Вопрос в другом. В том, чтобы наладить конкуренцию хотя бы между собой. Вот тогда наиболее достойным, тем кто потенциально мог бы конкурировать с западными учеными, можно было бы создавать соответствующие условия.

      1. Между собой, игнорируя или не равняясь на штаты или Англию? Это мы в СССР проходили… несмотря на определенный успех, советские ученые не могли быть конкурентноспособными или даже общаться с зарубежными коллегами на равных, так как все методы, и базы данных и анализы -были специфические свои, никто на западе их не применял, потому сопоставимости не было. Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?» Всем известно, что и в РФФИ и в программах РАН экспертами, от которых зависит судьбы проектов -одни и те же лица из когорты междусобойчиков…потому никакой объективности в оценке проектов нет. Зато отвергнутые проекты очень скоро оказываются исполняют те же самые эксперты, давшие отрицательные рецензии. Лично у меня так было. С поощрительными стипендиями будет то же самое. Абсолютная власть директоров институтов по новому проекту ФАНО -превратит институты в бюрократические структуры, где директор-как хозяин будет делать то, что ему хочется…это уже есть в ряде институтов, а теперь усилится. Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.

        1. Пардон, это я неудачно выразился. Речь не о том, что надо строить «суверенную науку» и ни на кого не равняться. Надо пользоваться международными критериями. Но понимать, что мы, грубо говоря сравниваем тех, кто дает 30% и тех, кто дает 3-5%.

          «Я скептически отношусь к такой конкуренции внутри институтов и далее из-за рокового «А судьи кто?» Я тоже. И это самый яркий показатель деградации научной среды и фактическое отсутствие вменяемой экспертизы.

          «Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.» А кто судьи при отборе «авторитетных профильных ученых»???? В том-то и беда. Склонность многих полагаться на наукометрию (проблемы и недостатки которой хорошо известны) как раз не от хорошей жизни. А от сугубой ненадежности практически всех «экспертных» мнений. А при использовании наукометрии (как в ПРНД) есть хоть какой-то независимый элемент.

          1. Казалось бы, известные недостатки наукометрии должны хоть как-то учитываться при её применении. А «реформаторы» из МОН и совета по науке при нём продвигают пороговую систему http://sovet-po-nauke.ru/sites/sovet-po-nauke.ru/data/press20140227/methodical-recommendations.pdf, в которой (грубо говоря) наличие N >> 1 статей в WoS ведёт к повышению зарплаты в разы, а те, у кого на одну статью меньше, остаются в том же положении что и те, у кого всего одна. Причём порог будет устанавливаться не по сущностным соображениям (пресловутый «мировой уровень»), а по финансовым (на сколько хватит денег). При этом никаких конкретных аргументов в пользу подобного порогового учёта наукометрии пока слышно не было.

          2. Denny: «А кто судьи при отборе «авторитетных профильных ученых»???? В том-то и беда».
            Разумен подход «Корпуса экспертов по естеств. наукам». Судьи — ученые с неплохой библиометрией. Статистика показывает, что заметная доля ими избираемых — ученые с низкой библиометрией. Т.е. это работающая комбинация двух подходов.

        2. silver: «Из этого положения есть выход только один: состав экспертов сделать прозрачным (как в NIH US) и ротационным -не более 2-х лет. Экспертизу проводит только авторитетными профильными учеными, а не администраторами науки.»
          Согласен с этими предложениями. При этом РФФИ, если не ошибаюсь, до сих пор делает секрет из списка экспертов и не разрешает им признаваться, что они эксперты.
          Думаю также, что эксперты для каждого объекта оценки должны выбираться среди тематически подходящих случайно и быть неизвестными организаторам экспертизы до ее окончания. Чтобы исключить давление на экспертов.

  15. безнадега с экспертами -вы правы, экспертов тоже будут назначать администраторы науки и понятно как… Хороший был бы вариант -создавать международные экспертные советы по профилям, но в нынешней ситуации с украиной и крымом -вряд ли это получится. Единственное, что можно предложить -выбирать экспертов путем голосования онлайн зарегистрированными (строго) учеными в конкретной области. Список выдвигаемых ученых должен быть свободным-любой ученый может выдвинуть любого, а голосуют за каждого все профильные ученые страны. Созданный таким образом -по рейтингу среди коллег -экспертные Советы могут решать многие проблем, как с оценкой исследовательских проектов, так и по стимулирующим выплатам. Иначе -все будет еще хуже чем есть, напрасная трата денег, которые до конкретных ученых-групп просто не дойдут.

    1. Среди голосующих всё-таки должен быть какой-то ценз — не каждый мнс разбирается, кто из старших товарищей чего стоит. В проекте «корпус экспертов» право голоса предоставляется тем, кого больше других цитируют, а вот те, за кого голосуют, не обязаны удовлетворять этому критерию — главное, что коллеги считают их экспертами. Однако власть имущим (обладающим правом формировать экспертные и прочие советы) такой подход не интересен. Поскольку при его применении в экспертный совет РНФ вряд ли бы попали четыре представителя Курчатника (больше, чем из всех институтов физического отделения РАН вместе взятых).

      1. В современной экспериментальной науке (естественнонаучной) статьи пишутся по результатам исследований не одного года даже, и коллективом автором, так как такие работы проводит коллектив, часто -международный. И как тогда оценивать чей и какой вклад, кому и сколько платить. Удивительно -если начинают придумывать свое в управление наукой, то такое…, не говоря уж -во что в реальности превратится при том полном игнорировании голоса ученого в управлении как было и есть в РФ. Почему не учесть опыт стран, где мозги давно стабильно ценятся?

        1. Думаю, с окончанием моратория нас ждет короткая и злая комедия. При ее просмотре наши попытки придумать мало-мальски справедливую систему будут вспоминаться с грустной улыбкой.

    2. silver: «а голосуют за каждого все профильные ученые страны»
      Либо — удовлетворяющие квалификационному (библиометрическому) критерию, как в «Корпусе экспертов по е.н.».

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *