Наука на фоне мусора. По следам дискуссий на Общем собрании РАН

Недавно президент РАН сделал публичное признание [1] в том, в чем многие из нас не сомневались уже давно. «Коллеги, это прискорбно, но по числу мусорных публикаций Россия лидирует в мире», — сообщил г-н президент и обосновал печальный вывод низкой долей российских публикаций в журналах «первого квартиля» WoS. Дискутировал он с г-ном министром науки, ратовавшим на том же заседании за дальнейшее увеличение числа публикаций.

Можно ли о качестве научных публикаций судить по отнесению их к «квартилям»? Нет, нельзя. Все формальные показатели не без греха, но «квартили» особенно лукавы. Их используют якобы для того, чтобы учесть специфику разных научных направлений. Но направления эти определяют по классификатору Web of Science (WoS), неизменному на протяжении десятилетий и страдающему сильно разной подробностью в разных разделах. По сути, это классификатор журналов, многие из которых имеют крайне расплывчатые тематические границы. Абсурдно его использовать при оценке отдельных научных статей, и про все эти несуразности мы неоднократно писали ранее [2, 3], когда «квартили» еще не были в ходу. За последние годы накопилось много примеров неадекватно заниженной оценки работ, относящихся к узким и редким научным направлениям, поскольку в классификаторе WoS эти направления попадают в какие-то нижние уровни или вовсе отсутствуют. И тогда малые профильные журналы (иногда весьма качественные, но имеющие узкую группу читателей) попадают в одну группу с крупными журналами, ориентированными на гораздо бо́льшую научную аудиторию. «Квартиль» у них получается далеко не первый. Так можно уникальных специалистов списать в мусор, что, впрочем, для российских начальников дело привычное.

Однако с утверждением г-на президента о том, что мусора стало сильно больше, мы согласны. К его массовому производству прямо и повсеместно толкает система оценки людей, коллективов, проектов, а главное диссертаций. Действующие научные работники систематически, почти ежедневно, получают почтой коммерческие предложения приблизительно следующего рода: «поможем опубликовать в журнале, входящем в список ВАК <иногда — в Scopus>, любую чушь за ваши деньги». Именно этот нехитрый «бизнес» ведет к радикальному росту объема того мусора, о коем говорил г-н президент, а отвечает за его существование непосредственно ВАК (и Министерство науки и высшего образования, коему ВАК подчинен). «Элитная» часть этого мусорного потока производится значительным количеством российских журналов из числа недавно подключенных к WoS при помощи RSCI (Российский индекс научного цитирования) — об этом феномене, замеченном при обновлении списков цитирования [4], мы уже сообщали в заметке [5].

Разумеется, мусор следует убирать регулярно и аккуратно, и мы рады, что на этом ответственном участке работает мощная бригада «Диссернета». Однако мирового лидерства, о котором толковал г-н министр [1], от одной лишь уборки мусора не случится. Кто-то должен производить достойную научную продукцию, добывать жемчуг. Даже на замусоренной территории дееспособные научные коллективы всё еще умудряются это делать. Это не всегда замечают государственные фонды и министерство, поскольку крайне сомнительно качество того, что называется у них научной экспертизой (обсуждение этой темы можно найти, например, здесь [6]).

Рис. В. Богорада
Рис. В. Богорада

И мы считаем нужным говорить не столько о мусоре, сколько о жемчуге и его добытчиках.

Если нацпроект «Наука», о котором поминал г-н министр [1], рассматривать в традиционном понимании науки как деятельности для получения новых знаний, то главной задачей этого проекта надо считать поддержку всех специалистов, способных работать на «мировом уровне», и создание условий для того, чтобы они также и воспитывали новые научные кадры.

Решает ли эту задачу давно уже принятая правительством РФ стратегия «точечных» вливаний в виде мегагрантов [7] и крупных грантов РНФ [8]?

С сугубо управленческой точки зрения куда проще выбрать очень малую долю ученых, назначить их «самыми крупными», дать им относительно много денег, и… ждать результатов по развитию науки в РФ. В самом ли деле этот подход чем-то обоснован?

Мы предлагаем реалистичный способ первичной оценки ситуации, основанный на цитировании недавно опубликованных работ российских ученых. В этом качестве мы используем ниже семилетний показатель СI7 (см. комментарий на странице [4]). Это лучше «квартилей», если взять на себя труд разобраться в классификации науки и сравнивать в рамках действительно одних и тех же направлений. Ниже обсудим для примера некоторые сравнения только для трех очень крупных направлений, хотя «на будущее» у нас собран материал и для многих других научных направлений, в том числе малых и трудно поддающихся какой-либо статистической обработке.

Наша цель — на конкретных примерах выяснить, являются ли держатели крупнейших госгрантов наиболее продуктивными в РФ учеными.

Итак, примеры. Мы собрали данные по числу статей в WoS за последние 7 лет и их цитированию для 152 руководителей мегагрантов [7] и 167 сравнимых по объему финансирования проектов РНФ «Проведение исследований научными лабораториями мирового уровня…» [8]. Около 40% этих проектов можно уверенно отнести к материаловедению (mater-sci), физике конденсированного состояния (cond-mat) и молекулярной биологии (mol-bio), см. таблицу 1. Данные по зарубежным руководителям проектов сейчас не рассматриваются, так как мы обсуждаем здесь только российский научный ресурс.

Таблица 1. Общие сведения о числе крупных грантов по обсуждаемым направлениям

 

Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

15

19

28

Руководители:

зарубежные

диаспора

работающие в РФ

6

5

4

6

11

2

8

14

6

Число «больших» грантов РНФ

13

19

37

Руководители:

зарубежные

диаспора

работающие в РФ

0

0

13

1

1

17

0

2

35

Получавшие и «большой» грант РНФ, и мегагрант

1

2

4

В качестве контрольных групп ученых мы рассматривали работающих в РФ специалистов тех же крупных направлений, имеющих наиболее высокое активное цитирование, но не получавших указанных выше крупных грантов. В «первой сотне» по CI7 держатели крупных грантов составляют очевидное меньшинство (таблица 2). Попытаемся понять, действительно ли остальные коллеги из «первой сотни» дают принципиально меньший вклад в количественные и качественные характеристики публикационной активности?

Таблица 2. «Топ-группы» работающих в РФ по СI7 (цитирование работ, опубликованных в последние 7 лет) — первая сотня

 

Mater-sci

Cond-mat

Mol-bio

Число мегагрантов

4

3

4

Число «больших» грантов РНФ

<РНФ+мегагрант>

9

<1>

7

<1>

17

<2>

Остальные — контрольные группы

88

91

81

Число реферируемых в WoS статей (таблица 3) как у держателей крупных грантов, так и в контрольных группах различается в очень широких пределах (иногда достигая 15 статей в год, что кажется уже превосходящим все пределы разумного). Две средние колонки таблицы 3 приводят численность авторов, имеющих более 70 или менее 70 публикаций за 7 лет по каждой из исследованных подгрупп. Как видно из таблицы 3, нет значимых различий между «особо финансируемыми» учеными и контрольными группами по всем трем изученным направлениям исследований.

Еще более нас сейчас интересует не количество публикаций, а их качество. Для очень приблизительной его оценки ниже мы сравниваем типичное среднее (т. е. среднее геометрическое) количество ссылок на работы авторов из каждой изучаемой группы. Выбор в пользу анализа типичного среднего значения вместо обычного среднего арифметического сделан нами для сглаживания эффектов от единичных сильных флуктуаций (в малых подгруппах совсем сгладить не удается). Конкретно мы находили отношение числа ссылок на работы последних 7 лет (CI7) к общему числу (M7) этих статей, опубликованных каждым из авторов, входящих в исследуемые подгруппы. Затем вычисляли среднее геометрическое значение Q отношений ­q=CI7/M7 для каждой из групп: Q = (Πi=1…N qi)1/N. Значения параметра Q для каждой из групп приведены в правой колонке таблицы 3.

Разумеется, выбранный нами параметр Q характеризует не собственно качество научных публикаций, а скорее их востребованность на кратком временном интервале, однако некоторая корреляция между этими параметрами, несомненно, существует. Чтобы выяснить, сколько тут жемчуга, а сколько более рутинной продукции, требуется экспертный анализ. Но на этом предварительном этапе мы не обнаруживаем существенных различий между «финансово выделенными» учеными и гораздо более широкой «контрольной группой».

Кстати, в контрольной группе по cond-mat имеется 7 бывших лауреатов фонда «Династия», и еще двое таких лауреатов в контрольной группе по mater-sci. Их «Династия» в последние годы, к сожалению, уже никак не могла поддержать — а научную продукцию они, однако, всё еще производят.

Таблица 3. Число статей, реферируемых WoS, за последние 7 лет, и среднее цитирование одной статьи за последние 7 лет. Сравнение для держателей крупных грантов и «топ-групп» работающих в РФ, см. пояснения в тексте

 

>70

70

Q

Мегагранты, диаспора

Mater-sci (5)

Cond-mat (11)

Mol-bio (14)

5

8

6

3

8

25*

14

16

Мегагранты, работающие в РФ

Mater-sci (4)

Cond-mat (2)

Mol-bio (6)

4

1

2

1

4

13*

9

12,5

«Большие» гранты РНФ

Mater-sci (13)

Cond-mat (18)

Mol-bio (37)

10

14

22

3

4

15

8,5

7

7,5

Топ-группы работающих в РФ

Mater-sci (88)

Cond-mat (91)

Mol-bio (81)

48

55

31

40

36

50

10

11,5

16

*завышено из-за единичных флуктуаций

Выводы из нашего небольшого исследования таковы.

В стране имеется как минимум в 5–10 раз больше производителей заметного количества вовсе не мусорной научной продукции, чем держателей крупных грантов (на самом деле их, конечно, еще больше — как в трех выбранных для примера крупных областях, так и в других).

Пока бессмысленно ждать от начальства изучения вопроса, каков реальный кадровый ресурс российской науки. Нужно в инициативном порядке, используя грамотную классификацию научных областей, анализировать наукометрические данные и формулировать задачи для экспертной оценки.

Именно поэтому в рамках проекта «Корпус экспертов» мы уже двенадцатый год продолжаем расширять списки цитирования [4], обновлять данные и бороться за максимально точное определение специализаций работающих в науке коллег. Смотрите, пожалуйста, внимательно эти списки, они выводятся сейчас по кодам научного рубрикатора. Будем признательны за исправления и комментарии. Можно писать через личные окна (открываются нажатием на фамилию) или по адресу corr.lists@gmail.com.

В ближайшее время мы планируем серию публикаций по данным, извлекаемым из базы «Корпуса экспертов». В первую очередь попытаемся показать, какие именно научные области еще имеют в РФ достойное представительство и где именно (города, институты) они локализованы.

Михаил Фейгельман, Галина Цирлина

  1. vedomosti.ru/opinion/articles/2019/04/24/800011-rossiya-liderom-musornim
  2. ufn.ru/tribune/trib160512.pdf
  3. expertcorps.ru/static/cms/Bibliometric_excitement.pdf
  4. expertcorps.ru/science/whoiswho
  5. trv-science.ru/2019/01/29/bronya-krepka/
  6. trv-science.ru/2017/10/10/esli-by-direktorom-byl-ya/
  7. p220.ru
  8. rscf.ru

Связанные статьи

112 комментариев

  1. Судя по молниеносному удалению предыдущего комментария все действительно плохо

    1. На самом деле к данной статье, как ни странно, до сих пор все поступившие комментарии ПУБЛИКОВАЛИСЬ БЕЗ ИСКЛЮЧЕНИЯ (и так бывает очень часто, никому без особой необходимости не хочется заниматься какой-то особой «цензурой»). Так что тут разве что какие-то глюки (и вряд ли и коллеги что-то удаляли, иначе осталось бы что-то в корзине и т.д.)
      Но я сознательно оставлял эту странную реплику без комментария (ну типа пусть сами себя пугают страшными модераторами и не торопятся хулиганить :-)) Тем не менее, разумеется, при поступлении откровенного спама или хулиганства что-то сделано все же будет…

      Вообще, мне кажется, у коллег как-то от ставшего нормой сейчас резкого интернет-общения начинается уже какая-то аберрация. Начинают подозревать, что и тут тролли или какие-то чуждые люди со стороны… Да кому ж такие специфические темы-то еще нужны?! На самом деле в таком разговоре участвуют, как погляжу, как раз только «свои», ну вот кому совершенно не все равно, так что не стоит болезненно реагировать на критику и подозревать кого-то в неквалифицированности и некомпетентности…

  2. Какая-то парадоксальная статья. Сначала критикуются используемые сейчас наукометрические показатели на основе данных WoS, как они плодят мусор, а кого-то наоборот ущемляют. Взамен предлагаются… другие наукометрические показатели на основе данных… той же WoS! Эти другие показатели вроде бы дают правильную картину, а прежние — неправильную. Но что это значит? Использование прежних показателей тоже нельзя изначально назвать ошибкой, видимо, когда-то они давали достаточно разумные результаты, потому их и продвигали, за них и агитировали, в том числе в ТрВ. Но это было до того, как они были приняты за руководство к действию, а дальше сработал закон Гудхарта, за несколько лет наукометрия была взломана.

    Вот как довольно резко и спорно об этом пишет А.Ростовцев:
    https://www.facebook.com/andrei.rostovtsev/posts/2262395083822040

    Конечно, можно сейчас придумать что-то, что пока никто не пытался взломать и поэтому оно пока хорошо выглядит, и обосновать его использование тем, что оно пока хорошо выглядит. Но что будет, если оно опять-таки будет принято за правило? Да то же самое, через какое-то время. Никто пока не пытался взломать «Корпус экспертов», пока он остается в роли неуловимого Джо и находится в оппозиции нынешнему руководству науки, но в принципе, все может измениться с точностью до наоборот, и победа может оказаться хуже нынешнего невнимания к предложениям.

    1. Очень разумная мысль высказана. В самом деле, любая система принятая к повсместному директивному использованию, будет обязательно извращена.
      Так на то и мозги, чтобы вовремя предлагать новые системы и отменять испорченные.

      1. От одной испорченной системы к другой = это путь куда-то или в никуда, бег по кругу, отнимающий все больше ресурсов?

        А может, не должно быть никакой системы, повсеместно принятой к директивному использованию?

        1. Это было бы замечательно. Я-то лично был бы только за. Есть ли реализованные примеры (где-либо в мире) ? Расскажите, если знаете.

  3. Уже появился класс преподавателей которые научили студентов науке обходить антиплагиат переписывая одну две статьи и выдавать в платных сборниках и курсах за свои Труды , преподовател
    баллы, студенту сертификат. И диплом в портфолио и повышенная стипендия , научная коррозия набирает обороты

  4. Какой-то странный набор ничем не подтвержденных заявлений.

    Никогда и нигде не заявлялось, что мегагранты даются самым производительным ученым. Ничем не обосновано преимущество предлагаемого критерия перед другими. Тот факт, что критерий не находит значимых различий, может прежде всего свидетельствовать о низком качестве самого критерия. Или о том, что применяется для неподходящей ситуации.

    Краткосрочная цитируемость прежде всего ловит текущий хайп. Выигрывают те, кто умеет держать нос по ветру и ловить волну. При таком подсчете точно так же проседают люди, работающие в узких областях. Даже сильнее, чем при отсеве по журналам. Редакторы серьезных журналов все-таки включают мозг и опираются при решениях не только на ожидаемую краткосрочную цитируемость. Так же как и грантовые панели.

  5. Классификаторы в системе «кто есть кто» очень мало функциональны. Мне эта система дает 19 классификаторв. Половина не в тему вообще. Вторая имеет очень косвенное отношение к моей работе. Я всю жизнь занимаюсь ионными каналами. Но этого понять по классификаторам невозможно. Если кто-то будет рассматривать мою квалификацию, а тем более цитируемость по этим кодам, получится туфта. Ровно то же относится к тем людям, работу которых я хорошо знаю.

    1. Действительно, механическое объединение классификаторов всех статей автора создаёт сильно искажённую картину его научных компетенций. Часто на самом деле классификаторы относятся к соавторам и одна -две статьи по теме ещё не основание считаться экспертом. Проблема в том, что идея «корпуса экспертов» по многим специальностям не доведена до конца. Вторым шагом должен быть опрос высокоцитируемых учёных: кого они считают экспертами по конкретным специальностям и конечно в чём считают экспертами себя. Только эта вторая часть выделяет «корпус экспертов» из множества разнообразных наукометрических классификаций, которые неустойчивы при использовании их в качестве целевого показателя. С другой стороны использование наукометрии в качестве нулевого приближения не худший вариант. Нулевая выборка по административным признакам будет менее устойчива к проникновению фальсификаторов, чему свидетельство экспертные советы ВАК по некоторым специальностям.

      1. Собственно, они именно так и делали. На втором этапе был опрос. Я. к примеру, в списки экспертов не вхожу.

      2. Еще более устойчива к закону Гудхарта будет число случайная выборка, без всякой наукометрии. Или вообще вся генеральная совокупность, которая не так уж велика. Но кто сказал, что нельзя взломать второй этап? До сих пор этого никто не пытался делать, поскольку это никому не было надо (эффект неуловимого Джо). Но если будет заранее известно, что проводятся опросы и они будут иметь последствия, совсем другое дело. Манипуляция людьми, в том числе массовая — это гораздо более древняя история, чем вся наукометрия.

        Кроме того, хотел бы добавить, что сейчас всякие показатели используются для решения локальных вопросов — сколько человеку заплатить премии по итогам года, оставлять ли на текущей должности, брать ли на какую-то должность и т.д. А задача поделить всех ученых на людей первого и второго сорта в масштабах страны — это иная задача, и даже пугающая.

        1. очень хорошая, правильная статья. Если не придираться к мелочам, то главный посыл правильный — система выбора хороших нс в РФ не работает. РАН пытается любые движения в
          сторону использования объективных показателей пресекать, заменяя «экспертными оценками», т.е. ситуацией, когда лучшие будут указываться толстым пальцем жирной тетки.
          И квартили неправильные (согласен), но и эксперты в основном никудышние.
          Это является общей тенденцией стремительного возвращения в АН СССР 80-х.
          Что делать? Ну наверное в нулевом приближении создать свою систему цитирования (раз недовольны чужой), в ней из нулевого приближения (из точной копии) развить и улучшить показатели, сделать систему настраиваемой. Но заменить ее «экспертной оценкой»…да это просто дикость средневековая. Особенно при наших средневековых «экспертах».

          1. >создать свою систему цитирования (раз недовольны чужой)

            Есть своя — РИНЦ, но ею еще больше недовольны.

        2. Математика — малозатратная наука. Возможно для финансирования математики, поддержка всех проектов будет неплохой стратегией. А есть весьма затратные науки; государство не может каждому физику предоставить коллайдер. Неизбежно кто-то должен решать кому выделять деньги на исследования. Поэтому выделение группы экспертов неизбежно. Либо можно устроить «спортлото».
          Массовая манипуляция людьми возможна поскольку подавляющее большинство плохо понимает что происходит. Как раз малой заинтересованной и компетентной группой товарищей трудно манипулировать.
          Мне неизвестно как формируется корпус экспертов РФФИ. Есть подозрение, что там всё гораздо хуже, чем в обсуждаемым в статье списке.

          1. >Неизбежно кто-то должен решать кому выделять деньги на исследования. Поэтому выделение группы экспертов неизбежно.

            Должна быть ротация таких людей, принимающих решения (сменяемость власти), а не устраивать какую-то высшую касту господ.

            >Как раз малой заинтересованной и компетентной группой товарищей трудно манипулировать.

            Да ладно! Если абстрагироваться от ученых и признать, что они тоже люди, можно привести много примеров обратно.

            По тому списку математиков, который представлен, в нем есть люди, которые могли бы без труда организовать себе массовую поддержку среди других участников списка. Просто это пока никому не надо.

            1. Ротация необходима. Насколько я понимаю в РФФИ и РНФ ротации экспертов фактически нет, поскольку экспертов просто мало. Особенно если нужны эксперты из другого города (не из Москвы то есть).
              Примеры манипуляций в малом коллективе конечно есть. При выборах в академию в частности. Но если экспертов кто-то просто назначает, то ему даже тратить усилия на манипуляции не нужно. Когда исходная группа выбирается по независимому признаку и состоит из компетентных индивидов, манипулировать ею сложнее.

              1. Ну, можно, конечно, поддерживать какие-то начинания по принципу: хуже не будет, потому что хуже уже некуда, но на мой взгляд, это сомнительное занятие.

              2. Просто ради конкретики, рассмотрим следующие ситуации. Есть ряд участников списка, находящихся в прямом административном подчинении у другого участника списка. Есть участник списка, руководящий журналом, где печатаются ряд участников списка.

    2. Комментатор Denny может сообщить свое реальное имя и адрес, если желает получить квалифицированный комментарий на тему заявленной претензии. Может быть, что-то удастся поправить ( можно послать мне mvfeigel@gmail.com или на общий адрес КЭ). Комментаторы, пишущие ради пустого времяпровождения, меня не интересуют совсем.

  6. Коллеги, ну не может быть единого критерия деления на козлищ и агнцев. Так не бывает. Каждый критерий имеет ограниченное поле применения. Используемый в системе «кто есть кто» критерий краткосрочной цитируемости имеет свое поле. При наличии планки >100 позволяет сделать первичный отбор активных и цитируемых. для такой задачи этот критерий работает. а при попытке с тем же критерием начать ранжировать крупных ученых он начинает давать погоду в Греции. Ибо крупных ученых надо характеризовать по крупным достижениям. Например по Q1. Ведь почему популярен индекс Хирша, несмотря на его очевидные недостатки? Потому что он дает неплохие оценки в массовом среднем сегменте (примерно от 10 до 30). Вне этих пределов пользоваться Хиршем бессмысленно.

    Фокус в том, что пресловутая наукометрия есть не более чем статистический анализ. Для специфических задач свои специфические критерии. Надо только посмотреть, что именно ловит тот или иной параметр и определить границы применимости.

    1. Может, проблема в том, что применяют статистический анализ (и верят в его силу) как к неодушевленным объектам, как привыкли, потому что физики и химики. У них атомы и молекулы не лгут, не мошенничают, не плетут интриги, не заботятся о своих интересах. А люди — они сложнее. С ними еще как минимум теория игр пригодилась бы.

  7. Заходим на старницу так называемого «корпуса экспертов». Выбираем «Математика». Два раздела, по каждом эспертов ровно 0.

    Корпус, говорите. Экспертов, говорите. Двенадцатый год пополняют они….

    1. Лучше зайти именно на ту страницу, к которой относилось утверждение — то есть в списки [4]. Оттуда легко попасть на страницу математиков http://www.expertcorps.ru/science/whoiswho/c/100283 и увидеть список из 525 человек. Из них 12 лет назад в этих списках (находившихся тогда на scientific) было около 30, а всего их тогда было — с учетом тех, кто сейчас уже в мемориальном списке, к сожалению — около 50.
      В части математики относительное расширение списков заметно больше, чем в среднем по всем специальностям. И опрос цитируемых математиков был в рамках единого большого опроса, но они в основном отвечали скупо, рекомендаций давали мало. Поэтому нет ни одного математика, получившего 5 рекомендаций (что было порогом для списков экспертов, где Вы усмотрели 0). В некоторых экспертизах обращались к математикам, получившим 3 — 4 рекомендации. В базе проекта всего более 800 математиков, т.к. есть еще рекомендованные коллегами, но не переходящие условных порогов цитирования [4]. Как это все оптимизировать — нужно чтобы математики вникли в детали и посоветовали.
      Вообще с порога всегда все ругаются, а потом изредка случается, что ругавшиеся очень помогают этому проекту.

      1. Простите, но я заходил именно по той ссылке которая была в исходной статье (номер 4 в списке) и на страницу о которой Вы упомянули так и не попал, зато двумя разными путями попал на страницу о которой писал
        http://expertcorps.ru/science/experts/branch/math-all/all
        http://expertcorps.ru/science/experts/branch/comp-sci/all
        Не кажется ли Вам, что если человек который хочет получить списки экспертов (или тех кого, Вы в соотвествии с описанной методологией считаете возможным к таковым причислить) не может этого сделать, то что-то с этой страницей не так? Не считаете ли Вы, что коль скоро следуя методологии КЭ, за столько лет не удалось выявить ни одного математика, набравшего нужное число рекомендаций (при том, что в Вашем же списки есть общепризнанные лидеры в своих областях) то с методологией что-то не так? И где можно ознакомиться со спискоми по компьютерным наукам (как я понимаю, там ситуация такая же)?

        1. По ссылке [4] Вы попадаете на страницу «Индексы цитирования российских и других русскоязычных ученых», далее выбрав По коду классификатора — можете смотреть разделы и подразделы разных уровней. Если хотите по верхнему уровню — то
          математика — http://www.expertcorps.ru/science/whoiswho/c/100283
          computer sci — http://www.expertcorps.ru/science/whoiswho/c/100935
          С computer science конечно дело обстоит еще хуже, этого направления вообще раньше в списках не было, потихоньку сейчас собирается. Попадались разумные консультанты, в 2014 возник их классификатор.
          С какой именно методологией не так? — с опросами? Так никто ж не утверждал что этот «снежный ком» работает для любых наук как метод выбора экспертов, тем более при одних и тех же порогах для рекомендателей. Если есть метод лучше/универсальнее — скажите какой… Но как минимум опросы помогли найти публикующихся людей, с одной стороны, и авторитетных, с другой. Иногда эти массивы пересекаются.
          По comp-sci в базе более 600 человек (из них в списках цитирования 135), максимальное число рекомендаций — 3. Разумеется можно опрашивать людей, выбранных не по порогам нынешних списков цитирования, а по более низким. Такой эксперимент был с одним из низкоцитируемых разделов физики, он дал ненулевые результаты, но в реализации был сложным. Нечто подобное может быть организовано по любой науке при единственном условии — нужен опытный профильный консультант с широким кругозором, готовый тратить на это значительное время.

          1. Два небольших замечания по спискам.
            1. При пороге 100 ссылок за 7 лет большую роль могут играть самоцитирования. Некоторые фигуранты списков имеют 9 из 10 своих же ссылок. Несомненно это соответствует формулировке «активно работающий», но не квалификации «эксперт».
            2. Специальности, которые указаны у участников списков, хорошо бы разделить на основные и «второстепенные». Основные — это когда значительная доля статей (например треть) относится к данной специальности. Иначе получается, что в некоторых мелких подразделах большинство в списке составляют люди попавшие в него только благодаря каким-то совместным работам.

            1. 1 — Конечно могут, а может быть просто мейнстримный эффект, но никто же никогда не рассматривал эти списки цитирования в экспертном контексте; это просто список людей, которых заметно по публикациям, причем для ряда областей заведомо неполный при таких порогах. А для некоторых областей — избыточный. Предложить разумные селективные пороги не получится до тех пор, пока не будет сделано написанное ниже в п.2.
              2 — В базе специализации разделены именно таким образом в первом приближении, при желании это можно отразить и в открытых списках; вопрос только в том, как это сделать для всех достаточно аккуратно. Специализации размечались тремя способами — либо человек сам выбирал коды, либо его рекомендатели (это все было при опросах), либо кто-то из профильных консультантов. Во всех случаях неточности возможны. Иногда своей рукой кто-нибудь с размахом выбирает едва ли не половину классификатора, иногда не находит в его структуре нужный код.
              Учтите, что консультанты — явление редкое, не по всем направлениям могут быть найдены (это большие затраты времени). Поэтому и был в прошлом году изменен формат списков, сделан вывод по кодам, и неоднократно была сформулирована просьба к «зрителям» — комментировать, исправлять, дополнять сведения о своих и соседских специализациях. Если хоть несколько десятков человек найдут время вникнуть и посмотреть по своим кодам или по своим институтам (такой формат там тоже есть), уже будет очень полезно.

              1. 2. Если люди сами так себя позиционируют, то имеют право. Посмотрел внимательно и мне кажется, что классификация улучшилась по сравнению с тем что было несколько месяцев назад.

                1. Тем не менее, надо смотреть и дальше. Эта задача может быть решена только общими усилиями (разумеется только тех, кому интересен такой самолет — остальные могут спокойно летать государственным Аэрофлотом).
                  Опыт разных наших экспертных задач показал, что кодов часто недостаточно, бывают нужны ключевые слова (они тоже собраны для многих, но как неупорядоченный массив, при произвольной формулировке, не очень полезны). Значительная часть типичных простых ключевых слов сейчас упорядочена в разделе 400, эти видно в списках. Не меньшая часть ждет когда руки дойдут и консультанты появятся.

                  1. >Эта задача может быть решена только общими усилиями

                    Общими усилиями кого — агнцев и козлищ? Нет уж, пусть кто в списках, позаботятся о себе сами.

      2. Это просто смешно. Нельзя верить в осмысленность опросов, оставляя за скобками вопросы мотивации ответов. Очевидно, что пока результат опроса зависит не от того, кто лучший эксперт, а от того, как люди относятся к проекту. Математики отнеслись с недоверием и остались без экспертов. По тому списку математиков, который представлен, в нем есть люди, которые могли бы без труда организовать себе массовую поддержку среди других участников списка. Было бы не то что 5 рекомендаций, а по 25. Просто это пока никому не надо. А если будет надо, результат будет зависеть от социальных связей, а не от того, кто лучше как эксперт.

        1. Вас почитаешь так получается, что у математиков всё по блату.
          Математики действительно относятся к наукометрии с недоверием. Но по другим причинам.

          1. Наоборот, я хотел сказать, что по блату может быть у всех, если поставить людей в соответствующую ситуацию, в том числе и у математиков.

        2. Следует иметь в виду, что — поскольку «это пока никому не надо» — попыток искусственно «организовать себе поддержку» почти что не наблюдалось. А те редкие, что наблюдались — были нами пресечены (такие попытки несложно заметить). Самое главное, что дОлжно осознать каждому что-то пишушему в связи с этим ли проектом, или другими подобными вопросами: нет никакого абсолютного верного решения. Желающие обсуждать «абсолюты» — благоволят обращаться к представителям религиозных конфессий, а мы здесь бессильны. Мы обсуждаем различные, местами корявые, а местами удачные практические методы, которые иногда могут приносить пользу. Не более того. На всякий случай, кстати, подчеркну: ни рубля бюджетных денег на всю эту нашу историю не пошло (и не пойдет). Предложенный нами метод хорошо сработал для физики конденсированного состояния, хуже для физики высоких энергий, и гораздо хуже — для химии. Таков факт, его происхождение можно исследовать. Но даже и по химии можно, при желании, использовать полученные результаты для подбора разумных экспертов — хотя это и сложнее. Внимание, вопрос: кто-то может предложить что-то другое, при том практически исполнимое ?

          1. Тоже парадоксально, что люди, придумавшие систему, чьи дефекты очевидны на стадии обсуждения, за 12 лет не сочли нужным сами придумать что-то другое, а до сих пор ратуют за ее практическую реализацию в таком виде, возможно, полагая, что нужно дождаться проявления этих дефектов в реализации системы, когда будет нанесен реальный вред, и только после этого перейти к чему-то другому. Чтобы совсем было понятно: если можно заранее рассчитать, что спроектированный самолет не полетит, а упадет, стоит ли предлагать такой самолет в эксплуатацию?

            1. Мне кажется метафора неверная. Скорее так: прежние дирижабли в космос не взлетали и этот далеко от земли не оторвётся. Официальные списки экспертов уже имеются: экспертные советы ВАК, экспертные советы РНФ и т.д. Причём по моему мнению внимание к наукометрии уже положительным образом отразилось на составе экспертного совета ВАК по математике. В интернет были выложены списки предложенных членов экспертного совета и затем утверждённый состав. Люди без достаточной публикационной активности в итоге в совет не попали. И это правильно. А раньше было достаточно просто попасть в список, поданный организацией.

              1. Есть много разных официальных списков, составленных в разных организациях, по разным поводам и разным правилам. И отношение к ним у людей как к очередным официальным документам, никто вокруг танцы с бубном не устраивает.

                Здесь же нам предлагается некий единый список на всю страну, все науки и все случаи жизни. Который противопоставляется всем прежним спискам, как будто несущий Истину. А включенные в него — как Избранные, которым суждено вершить судьбы простых смертных и вести в светлое будущее. Такой ореол нагнетается на протяжении многих лет. И лично у меня это вызывает негативные исторические ассоциации.

                1. Этот проект был затеян, если я не ошибаюсь, году в 2007м. Когда еще совсем худо было с экспертизой. Поскольку дело оказалось невостребованным, довести до ума у них не получилось (насколько я понимаю). Хотя сама затея независимых от какой-то формальной структуры системы экспертов очень недурна.

                    1. Имеет место случай т.н. тролля. Отличительная черта тролля — плохое знание русского языка. В данном случае, имеется очевидное незнакомство автора комментария со значением термина «сектантство». Вероятнее всего, незнакомство — наигранное, поэтому — тролль. Кормить тролля впредь не будем.

          2. Предложить что-то другое многие могут (в том числе и я, например: Лазуткин А.П. Глобальный кризис института рецензирования и сетевая модель его преодоления // Научная периодика: проблемы и решения. 2017. Том 7. № 4. С. 197-213. Свободный доступ: http://spkurdyumov.ru/networks/globalnyj-krizis-instituta-recenzirovaniya-i-setevaya-model-ego-preodoleniya/)
            Проблема не в отсутвии предложений, а в том, что к оценке качества научных публикаций подходят упрощенчески. Снежный ком, антиплагиат, интенсивность цитируемости и прочие упрощенческие инструменты не подходят к оценке качества знания. Но так удобнее тем, кто инициирует использование этих неподходящих инструментов.

  8. Попробую еще выразить, чем мне не нравится «Корпус экспертов», концептуально, кроме того, что было сказано выше. И кроме названия, которое вызывает ассоциации с «Корпусом стражей исламской революции» (в Иране), «орденом меченосцев» (по И.В.Сталину), «внутренней партией» (по Дж.Оруэллу) и т.п. — но это уж может быть, что-то мое.

    Вы занимаетесь централизацией, унификацией и монополизацией того, что централизовать, унифицировать и монополизировать НЕ надо. Поступаете так, как традиционно поступало советское, а ныне российское государство, за что его всегда критиковали и критикуют. Зачем брать пример с государства? Или что-то засело в головах? Как в анекдоте — что ни собирай, получается автомат Калашникова? Что это это за «самоорганизация ученых» такая — на однопартийной основе, когда ВСЕХ всерьез призывают приложить ОБЩИЕ усилия в ВАШЕМ проекте? Это что, всенародная стройка коммунизма, под руководящей и направляющей силой?

    Откуда следует, что должна быть какая-то одна система, для всей страны, по всем наукам, на одной методологии? Да ниоткуда не следует. И провал системы в области математики и компьютерных наук это лишний раз показывает. Правильным в такой ситуации я вижу не призывать математиков исправлять эту систему, работая на нее, а призвать их создать свою собственную, во главе которой должны стоять люди, заслуживающие доверия (среди математиков), которые разбираются в классификации, и которые придумают какую-то свою методологию — продуманную, обсужденную и тоже вызывающую доверие. А не будут пытаться, образно говоря, натянуть сову на глобус, и вмешиваться в то, в чем не разбираются и не понимают. А если не смогут договориться об одной системе и методологии — тоже не беда, пусть будет несколько альтернативных. Этот же призыв можно адресовать специалистам и в других науках. Больше списков — хороших и разных.

    1. Вы, натурально, не поняли сути проекта. Может от того, что среагировали эмоционально на «корпус».
      Не было там отродясь централизации, унификации и монополизации. Они просто хотели создать площадку для самоорганизации. Для еще одного списка. В полном соответствии с концепцией «Больше списков — хороших и разных».

      1. Я не возражаю, что все это делалось и делается с благими намерениями. Но они поставили задачу делать единый список на всю страну, по всем наукам и по общим правилам, т.е. задачу в государственном масштабе и в совершенно государственном же духе, о чем я и пишу. Да, пусть это произошло неосознанно, но пора уже осознать.

        А теперь мы имеем организацию с несменяемыми лидерами, которые желают всем только добра, искренне верят в свою правоту, не терпят критики, и почему-то им должны доверять все остальные, и если кто-то хочет принести пользу в этом направлении — должен идти работать к ним, и если кто-то хочет найти экспертов не из официальных списков — то обращаться к ним.

        1. Господь с вами, да кто ж заставляет им доверять или следовать их правилам (каким правилам)? Они предлагают поучаствовать в этом проекте, ЕСЛИ вам это симпатично. Не более. Не хотим к ним обращаться — не обращаемся. В том и прелесть, что у них нет никаких аппаратных возможностей. И если этот проект выживет, то только потому, что их мнению люди будут доверять. совершенно по своему свободному выбору.

          Если у вас другие идеи формирования независимых клубов (если вам не мил корпус) экспертов — нет проблем. Предложите. Возможно, ваши идеи окажутся конструктивнее. Их идея, как мне представляется, не очень работает.

          1. Я могу напомнить, что совсем недавно борьба с плагиатом была уделом романтических героев без аппаратных возможностей. А теперь система «Антиплагиат» внедряется государством повсеместно, принудительно, используется бездумно, до абсурда. Идеи наукометрии тоже еще недавно выглядели свежо, смело и оппозиционно, а потом были приняты и внедрены государством, и стало не весело. И этот проект, если на него всерьез обратит внимание государство, оно может поглотить и использовать со всеми вытекающими последствиями.

          2. Или вот вы говорите о доверии. Есть разница между профессиональным доверием и непрофессиональным. Допустим, какому-то постороннему человеку, далекому от науки, нужен эксперт по математике или ионным каналам. Он узнает, что есть какой-то «Корпус экспертов», идет на их сайт, видит, что во главе стоят известные ученые, со званиями, должностями, прочими заслугами, думает, что им можно доверять. Он не понимает, что они являются специалистами в своих областях науки, а не по математике или ионным каналам, и не по экспертам в этих областях.

            1. Неубедительно. ЛЮБУЮ хорошую идею, достижение, научное открытие можно при желании и соответствующих ресурсах обратить во зло.

              Но выступать следует против зла, а не против новых идей и открытий. Если в полиции (например) цветет коррупция, то бороться надо с ней, с коррупцией, а не отменять полицию. С бездумным применением антиплагиата и наукометрии, а не с антиплагиатом и наукометрией.

              1. Ну, это вы выводите на классическую тему ответственности ученого за открытия и изобретения, по которой есть разные мнения.

                Вспоминается из Стругацких:
                «Колючки от волков?! Это я, дурак, — от волков… Рудники, рудники оплетать этими колючками… Чтобы не бегали с рудников государственные преступники. А я не хочу!.. Я сам государственный преступник! А меня спросили? Спросили! Колючка, грят? Колючка. От волков, грят? От волков… Хорошо, грят, молодец! Оплетем рудники… Сам дон Рэба и оплел. И мясокрутку мою забрал. Молодец, грит! Голова, грит, у тебя!.. И теперь, значит, в веселой башне нежный фарш делает… Очень, говорят, способствует…

                Знаю, думал Румата. Все знаю. И как кричал ты у дона Рэбы в кабинете, как в ногах у него ползал, молил: «Отдай, не надо!» Поздно было. Завертелась твоя мясокрутка…»

                1. Это не я, а вы. Не перекладывайте с больной головы на здоровую. Это вы написали: «И этот проект, если на него всерьез обратит внимание государство, оно может поглотить и использовать со всеми вытекающими последствиями.»

                  Я же только отметил, что это можно применить к ЛЮБОМУ проекту.

                  Когда вам не удалось приписать авторам проекта «централизацию, унификацию и монополизацию», вы перешли на другой уровень, заявив, что это могут сделать другие. Неубедительно.

                  1. Во-первых, я не собирался обобщать, чтобы не уходить в офф-топ, и говорил только о трех конкретных случаях (кстати, связанных даже персонально). Во-вторых, я никуда не уходил от заявлений о централизации, унификации и монополизации, а только дополнил их. И раз уж зашел разговор абстрактного характера, то мне помнится одна статья В.И.Ленина (задолго до революции), где говорится, что государственно-монополистический капитализм — это последняя стадия перед социализмом. Потому что тогда единственное, что остается — это установить контроль над монополиями, там все к этому готово — приходи и бери. Это гораздо проще, чем установить контроль над множеством мелких частных предприятий.

                    1. Пардон. Я как-то не увидел в ваших претензиях ничего конкретного. От слова совсем. Возможно пропустил или не понял. Пардон. Вы не будете столь любезны напомнить, что КОНКРЕТНО вам не нравится в деятельности организаторов корпуса экспертов?

                    2. Я уже не знаю, что еще сказать, по-моему, сказано достаточно. И с русским языком у меня все в порядке.

                      Впрочем, даже если бы я ничего тут не сказал, остальных комментариев — от вас, В.П. и n11, и их ответов на них, на мой взгляд, более чем достаточно для характеристики их деятельности перед любым непредвзятым читателем.

                    3. У меня серьезных претензий к их деятельности нет. Есть ДВЕ конкретных.

                      1. Мне не нравится их классификатор. ИМХО, он не функционален, по крайней мере в моей области.
                      2. Мне не нравится использование индексов краткосрочной цитируемости для оценки мегагрантинов. Глубоко сомневаюсь в работоспособности этого критерия в области серьезных достижений.

                      Обе претензии к конкретным реализациям, а не к идее корпуса экспертов.

                      Мне искренне жаль, что идея независимого корпуса экспертов не получила (насколько я понимаю) должного развития. Но это не столько упущение организаторов, сколько слабое на сегодня развитие научной общественности.

                    4. Между чистой идеей и практической реализацией бывает много промежуточных этапов — детализация и проработка идеи, проектирование и т.д. Скажем, чистая идея самолета — это «давайте построим штуку с крыльями, которая летает». Кто же против? Все за. Но дальше еще много нюансов и проблем.

                      Так то и я за независимую экспертизу, и мне тоже искренне жаль. Но вот сформулируем не «Корпус экспертов», а «частное консалтинговое агентство по вопросам естественных наук». Вроде бы то же самое, но насколько меньше пафоса и амбиций. Значит, эти пафос и амбиции были изначально заложены и не случайно. Люди хотели не оказывать услуги, а «спасать Россию» (в сфере науки). Они хотели бы, чтобы обращения в «Корпус экспертов» и сотрудничество c ним стали общепринятой практикой, а их методики и оценки — общепризнанной истиной, в масштабах страны. Оказывать услуги по подбору экспертов или делить всех ученых на «козлищ и агнцев» (как вы же сказали), а затем указывать государству, кого следует финансировать, а кого нет, когда никто не спрашивает, — это довольно разные задачи. Может быть, и среди агнцев не все бы хорошо к этому отнеслись и вспомнили Януша Корчака.

                      Более того, хороший ученый и хороший эксперт — это не одно и то же. Хороший ученый — тот, кто увлеченно занимается тем, что ему интересно, и достигает в этом успеха. А хороший эксперт — это тот, кто готов отказаться от того, что ему интересно, и повременить с успехами, а всерьез заняться тем, что просят чужие люди и терпеливо разбираться, может быть, в какой-то ерунде. Разве не так?

                      Теперь по вашим конкретным замечаниям. 1 — разве нормально, что такие недостатки вылезают в проекте, который развивается 12 лет, а не сделан неделю назад на коленке? 2 — именно, «странный набор ничем не подтвержденных заявлений» (по вашему выражению). Именно на подобном наборе построена вся их методика, и еще на магии чисел. Почему нет экспертов по математике? Отвечают: на всех нужно по 5 рекомендаций, а математики ни на кого столько не дали. Ничего не можем поделать, такое правило. Методика превращается в предмет веры. Если реальность ей не соответствует, тем хуже для реальности.

                      Ну и как это все выглядит?

                    5. Ой, да читал я это все, читал. Как и знаменитую статью Ливанова и Гельфанда читал, и много чего еще.

                      По этому поводу есть афоризм (точную формулировку не помню, но примерно): нет такой плохой ситуации, которую бы умные, добрые, честные и смелые люди не могли бы сделать еще хуже.

  9. Мне кажется, иллюстрацией к дискуссии может служить старый советский анекдот про водопроводчика: «Опять протекает! Систему менять надо. (Товарищ, пройдемте … знаем мы про какую Вы систему)»

  10. Уточню свою позицию. Любой алгоритм оценки такой тонкой материи как научная эффективность обречен иногда давать ошибки. При централизованном авторитарном управлении уже поняли, что отдавать решение на откуп «местным уважаемым товарищам» чревато серьезными провалами. Идеологический контроль тоже только вреден. Отсюда попытка найти формализованное стандартизованное решение, опирающееся на авторитет мирового научного сообщества. Так, несомненно, лучше, чем «по решению начальства», но все равно хуже, чем возможные решения в менее жесткой (не авторитарной) системе, с большим выбором возможностей. А вообще, умная профессиональная администрация — это хорошо. Но на всякую власть надо конкуренцию и критику — не только сверху (как в Вертикали), но со всех сторон.

    1. Неавторитарная система с большим выбором возможностей лучше. Несомненно. КОГДА ОНА ЕСТЬ!!! Я лично даже зачатков подобных систем в России не наблюдаю. А вы видите какую-либо РЕАЛЬНУЮ возможность развития науки кроме авторитарного внедрения мировых стандартов работы а ля Петр I?

      1. Конечно, лучше лучшая система оценки, чем худшая (простите за тавтологию). Лучше чем ничего. Но ясно и то, что это — паллиативные методы … чтобы больной меньше страдал. Отнюдь НЕ излечение. И понятна общая ситуация — 1% роста под санкциями — при 4% в среднем по планете — только замедленный коллапс. Который власти пытаются решить бряцая Бомбой — «УБЕРИТЕ санкции — смотрите как плохо получается когда мы скалимся!»

    2. >решение, опирающееся на авторитет мирового научного сообщества.

      А в чем вы видите здесь опору на авторитет мирового научного сообщества?

  11. Вернемся все-таки к тексту статьи и ее выводам. Утверждается, что в стране имеется в 10 раз больше столь же достойных ученых, как ныне получающие крупные гранты, но остальные 9/10 их не получают, и это несправедливо. Каков же выход из этой ситуации? Можно ли надеяться на то, что такие же суммы по грантам станут получать все столь же достойные? Можно ли надеяться, что удастся вытрясти из государства в 10 раз больше денег, шантажируя его обвинениями в несправедливости? (Нормально ли для частного консалтингового агентства по подбору экспертов заниматься таким шантажом, обсуждать здесь не будем.) А то ведь у нас государство имеет имидж очень справедливого и очень боится таких обвинений (это был сарказм). Но даже если бы государство приняло исходный тезис, как бы оно могло восстановить справедливость? Да очень просто, при том же объеме выделяемых денег, уменьшить все упомянутые гранты в 10 раз (правда, они уже не будут «мега») и раздать всем столь же достойным. Но я не думаю, что люди будут этим сильно обрадованы, ведь многие надеялись бы получить большую сумму. И этих уменьшенных сумм просто не хватит на какие-то исследования, на которые действительно нужны крупные суммы. Другой вариант — это повысить требования к получению грантов, так что бы им снова удовлетворяло прежнее количество людей. Подобно тому как при приеме в вуз и фиксированном плане приема и наличии конкурса, при увеличении числа хороших абитуриентов прием не увеличивается — просто повышается проходной балл. Тогда 9/10 ныне достойных, но не получивших гранты, благодаря такой справедливости, все равно ничего не получит.

  12. Кроме того, о несправедливости можно говорить только в тех случаях, когда ученые из «контрольных групп» действительно подавали заявки на мегагранты и гранты РНФ, но эти заявки были отклонены. Люди могли просто не подавать заявок, поэтому ничего и не получили. Это необходимо уточнить.

  13. Что же с ~мусором делать все-таки? Ведь расходы на его производство большие, а доходы получают явно не ~хорошие ученые.

    1. Есть решение тяжелое, но действенное. Отменить бесплатные журналы (то есть публикации за деньги авторов). Мало кто захочет платить за мусор. И эти помоечные журналы пойдут по миру. Но леваки по всему миру, трубящие об общедоступности знания, на это не пойдут. В этом варианте остается только использовать рейтинги типа квартилей и регулярную чистку WOS. Тысяча мусорных публикаций не должна приравниваться к одной в журнале Q1.

      1. по-моему, как раз платные журналы совсем неплохи (plos, sci rep итд). куда больше вопросов вызывают всякие вестники + большинство журналов маик, за публикации в которых вообще платят гонорары. я бы ничего не отменял (нельзя запретить людям издавать журналы, а другим — в них публиковаться), а просто не учитывал бы статьи в журналах с импактом, скажем, <1 (я про биологию), как результат по грантам или по госзаданию, т.е., как результат работы. эта мера сразу бы отсекла массу жуликов от науки, а главное, честным людям стало бы проще жить

        1. Совсем сплеча рубить низкоимпактные публикации тоже нельзя. Есть много людей, честно делающих свое скромное дело. Но некое ранжирование необходимо. Главное, чтобы массой низкоимпактных публикаций нельзя было компенсировать отсутствие высокоимпактных (если принмать импакт за некую условно-приблизительную меру). То есть люди, имеющие ряд публикаций, скажем, в Q1, должны позиционироваться выше, чем те, у кого только Q3 и ниже. Независимо от количества. То есть для высокой планки надо демонстрировать высокие достижения. А более низкий уровень в расчет не идет. А те, у кого достижения более скромные, должны соревноваться между собой. Как разные лиги в футболе. Для людей, претендующих играть в высшей лиге, не идет в зачет число голов, забитых в соревнованиях дворовых команд.

          1. с этим полностью согласен, но совершенно не представляю, как это можно реализовать

        2. Что до ГЗ, то я бы предложил институтам первой категории формировать его статьями Q1 Q2. Для второй категории можно Q3 Q4. А для третьей уже все. При этом переход в более высокую категории возможен только при наличии статей соответствующего уровня.

          То же и с грантами. Крупные гранты должны требовать не большего числа статей, а статей более высокого уровня. Что подойдет для отчета по небольшому РФФИ, нельзя давать в отчет по мегагранту.

          1. >Крупные гранты должны требовать не большего числа статей, а статей более высокого уровня. Что подойдет для отчета по небольшому РФФИ, нельзя давать в отчет по мегагранту.

            А что, на данный момент это не так?

            1. к сожалению, это совсем не так. в рнф условие — n статей (для массовых конкурсов 8) из WoS или scopus, причем Q1 по любой системе (а они разные) приравнивается к 2-м не Q1. в такой системе человек, написавший 3 статьи в Cell — не отчитается, а 8 в тот или иной вестник — формально да. причем, чем больше конкурс («науч. группа» — «лаборатория» — «организация»), тем хуже, на мой взгляд (куда проще прочитать 8 статей, чем 150 для того, чтобы сделать экспертную оценку). в чем преимущество рнф — все открыто, в т.ч. списки публикаций, — можно просто посмотреть.

              в этом смысле я согласен с Denny, что ну никак тысяча мусорных публикаций не должна приравниваться к одной в журнале Q1, хотя настаиваю на том, что некий порог отсечеия должен быть.

              что касается грантов вообще — мне кажется, здорово, когда 25 ученых из 5 стран отчитываются за статью в Cell 10-ю грантами , только и всего. это то, к чему я сам стремлюсь (а не так, что мега — Q1, рффи — Q4).

              1. Да, но и заявки и отчеты по грантам смотрят люди, и они могут отличить уровень журналов и сделать свои выводы, даже если формальные требования выполнены.

                Утверждение статьи было в том, что крупные гранты дают не достаточно большому числу людей, кто этого заслуживает, а вы, получается, хотите ужесточить правила, чтобы их давали еще меньшему числу людей, правильно я понимаю?

  14. И в связи с вышеизложенными предложениями Denny, еще раз перечитал статью.

    В начале речь идет о проблеме мусорных публикаций, потом о проблеме распределения денег по крупным грантам. Внушается впечатление, что между ними есть связь. И такая связь действительно была бы видна, если бы были приведены конкретные примеры того, что какие-то люди получали крупные гранты за мусорные публикации или успешно отчитывались по этим грантам мусорными публикациями. Это было бы гораздо убедительнее абстрактных статистических таблиц. Но таких примеров, по-видимому, нет?

    На самом деле, это мало связанные между собой темы, потому что мусорные публикации производятся в основном вузовскими преподавателями (различная статистика на этот счет публиковалась и в ТрВ), а не сотрудниками научных институтов, и не ради выполнения госзаданий по каким-то категориям, либо заявок или отчетов по грантам, тем более крупным, а ради выживания. Люди работали себе спокойно и не претендовали на игру ни в какой лиге, как вдруг им стали навязывать сверху эту игру, в духе ритуальной игры в мяч у древних майя с человеческими жертвоприношениями. Да, те кто стал в такой ситуации жульничать, виноваты, но в целом тут виноваты и вузы, и государство. Да, некоторые увлеклись и получают большие незаслуженные премии от вузов за свои публикации, но премия — это не грант, она дается ЗА что-то, по формальным критериям, а не НА что-то, как грант. Заявки на гранты и отчеты по ним проходят содержательную, а не наукометрическую оценку (по крайней мере, хотелось бы на это надеяться). И вполне возможно, что есть случаи, когда эту содержательную разницу наукометрией не уловить, как не уловили ее авторы статьи. Это не значит, что ее следует игнорировать, иначе мы возвращаемся к ситуации с премиями. Так или иначе, проблема мусорных публикаций заключается в совершенно другом и требует совсем других решений. Здесь она выглядит притянутой за уши и вызывает впечатление манипуляции.

  15. И еще пару слов о себе, чтобы не создалось впечатление, что своей критикой я преследую какие-то свои интересы. Так вот: с моими публикациями и моей цитируемостью мне по-любому ничего такого не светит ни от нынешнего порядка, ни в случае прихода к власти КЭ (и расстановки им своих «экспертов» на ключевые посты). Я и не жулик с мусором, с которыми следует бороться, и не классово близкий агнец, которого надо выявить и поддержать. Я просто никто, ноль, о котором, с точки зрения КЭ, думать вообще не следует. Государство может унизить меня, не дав грант, если я попрошу (а я не прошу), но оно по крайней мере не унижает меня превентивно какой-то классификацией.

    1. Согласен, что мусорные публикации и отчётность по мегагрантам пока вроде бы не связаны. Примеров не приведено. Это не ошибка экспертов, а недостаток ресурсов, если не все достойные учёные получают гранты.
      А вот с ранжированием мне кажется Вы ошибаетесь. ВАК классифицирует учёных по степеням и званиям. Министерство науки ранжирует по месту проживания. В Новосибирске, например, средняя зарплата чуть больше 30 тыс. Значит достойная зарплата для учёного будет 60 тыс. А в Москве? Я сейчас как раз в Москве, зашёл в ближайший «перекрёсток». Цены там процентов на 20 ниже чем в сам дешёвом магазине в моём новосибирском районе. Конфет купил, не сметану же в Новосибирск везти.
      То что мы с Вами хоть по какой-то классификации оказались в одной лиге мне даже нравится.

      1. >ВАК классифицирует учёных по степеням и званиям.

        На степени и звания люди подают документы, как и на гранты, это происходит по их воле, а не со стороны, людьми, которых никто не спрашивал.

        Средние зарплаты — это тоже не совсем то, что здесь обсуждается.

        1. Насколько я понимаю, в корпус экспертов никого без согласия не записывают. Не слышал, чтобы кто-то был недоволен, что появился в списке высокоцитируемых. Аналогичные списки составляет и владелец WoS фирма Clavirate Analytics, и русскоязычная математическая платформа Mathnet.ru, и elibrary упорядочивает выдачу по числу ссылок. Если попадание/непопадание в КС сейчас ни на что не влияет, то ВАКовские корочки не захочешь а придётся предъявлять при приёме на работу и в массе разных документов (хотя бы для грантов) расставлять соответствующие галочки. Так что ситуация с добровольностью прямо противоположная:.

          1. >Насколько я понимаю, в корпус экспертов никого без согласия не записывают. Не слышал, чтобы кто-то был недоволен, что появился в списке высокоцитируемых.

            Собственно в «эксперты» не записывают. Но предварительные списки высокоцитируемых составляют и вывешивают без их согласия.

            >Аналогичные списки составляет и владелец WoS фирма Clavirate Analytics, и русскоязычная математическая платформа Mathnet.ru, и elibrary упорядочивает выдачу по числу ссылок.

            Одно дело, когда просто идет абстрактное упорядочивание по каким-то числовым показателям, а другое дело, когда людей делят на классы осмысленно, с прицелом на то, что потом «элита» должна получить уважение, власть и деньги.

          2. А разница с государством здесь в том, что оно платит за все это деньги (у нас пока в основном государственные наука и образование) , и за это понятно, что может навязывать какие-то свои условия, и формально оно уполномочено всем этим заниматься. И в отношении государства, понятно, что мы можем что-то и даже многое не одобрять, но когда это делает кто-то частным образом, то это выглядит еще хуже.

          3. Да, справку, что ты ученый, предъявлять надо и с печатью. А то всякие с большими хиршами начинают командовать…

          4. Было два случая отказа (с негодованием) от включения в списки цитирования: один — представитель диаспоры, не желающий иметь ничего общего с исторической родиной (это вполне извинительно); второй — местный гражданин, требовавший повысить его CI до числа, выдаваемого Google Scholar, что невозможно ни технически, ни по существ (да и просто смешно). Разумеется, оба требования были выполнены. Было также с десяток недовольных цифрами, в основном тоже из-за Google Scholar — им предлагалось удалить их фамилии из списков, чтобы исключить публикацию информации, с которой они не согласны. На этом предложении переписка всегда останавливалась, и имена в списках оставались.
            На странице списков имеются, кроме методического комментария, ответы на часто задаваемые вопросы — если все это внимательно прочитать, то будет меньше базара. Например, будет понятна причина наличия в списках Перельмана, имеющего (как и многие другие математики) заметное скрытое цитирование по WoS.

            1. Просто ответьте, какие по-вашему статьи Перельман опубликовал за последние 7 лет (и на которые имеется 3 цитирования). А также давал ли он свое согласие на включение в список.

              1. Не поленился и посмотрел откуда цитирования «свежих» статей Перельмана. Сейчас таких цитирований в WoS уже около 10. В одном случае ошибка даже не в WoS , а на сайте журнала: в литературе к статье год публикации препринта указан 2012 вместо 2002. В другом случае в статье всё правильно, но ссылка на препринт Галины Перельман, а автомат WoS почему-то подменил его на более известный препринт Гриши Перельмана. Ясно, что подобные ошибки имеются и относительно других авторов.

  16. Хорошо бы авторам статьи (экспертам в наукометрии?) знать, что WoS не реферирует статьи, а индексирует.

  17. Интересно о Перельмане на сайте КЭ — http://www.expertcorps.ru/science/lists2/info/42145
    В том числе, ненулевые результаты по цитированию статей, опубликованных за последние 7 лет. Разве он публиковал статьи за последние 7 лет? Вроде бы он ушел из науки гораздо раньше. А свои знаменитые статьи 2002-2003 гг. опубликовал в Архиве, а не в журналах WoS.

  18. А о чем, собственно, сыр-бор? Что любая система оценки такой тонкой материи как научный результат не вполне точна — разве не очевидно? Что при любой формальной системе оценки возникнет тенденция под нее подладиться — разве не так? Хоть кто то из читателей не присутствовал хоть раз на ученом совете или редколлегии где был призыв «помочь правильному индексированию»? Если система оценки ТОЛЬКО по некоему формальному признаку, и если острый дефицит финансирования — не будет ли это ОСОБЕННО провоцировать такую ситуацию? И разве не очевидно, что упор на цитируемость в этой ситуации все же корректнее? Или Вы предпочитаете оценку по числу публикаций, по мнению «директора», «отдела науки ЦК» или «профильного академика»? Последний может быть прекрасным специалистом, но у него — как у всех у нас — будут свои любимые «тараканы». Разве не так? Я полагаю огромным плюсом МинОбра, что при нашей системе Вертикали в оценке «научности» они отстаивают ее некоторую независимость от «Вертикально-административного Мнения» — самого естественного в такой системе? Разве не так?

    1. Устанавливать в государстве какую-то общую систему оценки — это все равно что вешать на все двери замки, к которым подходит один ключ.

  19. Прошел почти месяц с момента обнаружения ошибки в показателях Г.Я.Перельмана (очевидной для любого математика или человека, следящей за событиями в математике), однако она так и не исправлена. Причем это ошибка именно в показателе CI-7, который заявляется авторами как лучший, чтобы по нему решать, кому давать крупные гранты. Серьезно? Очевидно, что подобные ошибки могут быть в отношении любых авторов, у кого есть однофамильцы. Некритичное доверие машине и цифровое крючкотворство.

    1. Поскольку эти ошибки уже в данных WoS, то нужно полагать, что Вы обращаетесь к разработчикам этой базы данных? Мой опыт говорит о том, что из интересных мне баз данных WoS, Scopus, ZMath и MathSciNet, как раз от WoS труднее всего добиться исправления данных. С начала года переписываюсь с более дружественным Scopusoм, но пока не добился, чтобы несколько профилей, соответствующих моему научному руководителю, объединили в один.

      Такие мелкие ошибки, как несколько лишних цитирований Перельмана, присутствуют во всех базах данных в огромном количестве. Полагаю, что при использовании наукометрии всегда нужно предполагать отклонение от истинных данных на несколько процентов.

      1. За те данные, которые показывает WoS, несет ответственность WoS, но за те данные, которые показывает «Корпус экспертов» на своем сайте, должен нести ответственность он сам. По-моему, если они декларируют, что занимаются какой-то осмысленной деятельностью, а не тупо заимствуют чужие цифры, они должны выявлять и исправлять ошибки, в том числе, ошибки из WoS, а не упорствовать в них, как государственные чиновники. Тем более, зная, что эти ошибки могут повлиять на чьи-то судьбы. Иначе это слишком напоминает «Дарью Тимурович» из базы ФМС (если вы не знакомы с этой историей, то например, вот ссылка — https://echo.msk.ru/blog/corruption/1726682-echo/ ). Вы говорите — отклонение на несколько процентов, но кто их считал? Три несуществующих цитирования несуществующих статей Перельмана — это сколько процентов от нуля? И хорошо ли будет, если на основании «мелких ошибок» кому-то дадут грант, а кому-то не дадут? По-моему, ничего хорошего.

        1. 1. Данные, имеющие некоторую статистическую погрешность, часто используются для принятия решений в гораздо более важных случаях чем подбор экспертов. Тем более, что традиционный способ определения экспертов — методом тыка какого-нибудь руководителя, более подвержен не только случайным, но и систематическим ошибкам.
          2. Если «корпус экспертов» получит государственный статус и на его поддержание будут расходоваться бюджетные средства, то будет естественно требовать точности от ответственных за него товарищей и даже составления запросов в исходные базы данных для исправления их ошибок. Пока это только «общественная инициатива», требовать большей точности чем у коммерческой организации, продающий подписку на WoS, представляется преждевременным.

          1. Искать ошибки может быть тяжело, но отказываться от исправления уже найденных ошибок, я считаю, большой грех для любой организации, независимо от ее статуса. Тем более для организации, пытающейся получить признание в обществе, и не очень успешно.

            Что касается вашего пункта 2 — то это самое плохое, что вообще может произойти по данному поводу. И жаль, что вы считаете независимость от государства оправданием плохого качества работы.

            1. Хорошо, был неправ, сформулирую по-другому. Если «корпус экспертов» превратится в коммерческий продукт, то такие претензии станут вполне уместны.

              1. Это можно было бы приветствовать, но я не вижу стремления превратиться в коммерческий продукт. Мне кажется, в таком стремлении надо стараться быть лучше других и требовать от себя больше, чем требуют другие, чтобы достичь успеха. И по-другому относиться к людям. А пока, если уж выбирать, больше похоже на стремление превратиться в очередной государственный орган.

      2. ответ про недавнее цитирование Перельмана очень прост — некоторые его работы воспроизвели («перепечатали») на американском сетевом ресурсе, и на этот ресурс возникли скрытые ссылки; желающие все это могут самостоятельно проверить, если умеют пользоваться соответствующими опциями WoS — это не ошибка WoS!! — это отраженная им реальность, люди же цитируют то, что нашли, и это их право, и тут точно ничего не надо исправлять (WoS в данном случае даже указывает ссылки на источник скрытого цитирования)

        ситуация совершенно ничем не отличается от цитирования, например, посмертных переизданий трудов некоторых ученых через 10-20 и даже 30 лет после их кончины (но только пусть пожалуйста Г. Перельман будет здоров и благополучен, несмотря на такую аналогию…) — «запоздалого» цитирования удостаиваются очень немногие, это просто признак признания

        в чем смысл этого базара о Перельмане — никак не могу понять… чай не совковый академик, а содержательный автор, ну вот такова судьба его трудов, объективно

        что касается ошибок WoS (они конечно бывают), добиться их исправления можно, хотя то длительный процесс; однако ошибки эти не так часты, как в мусорном Scopus (он особенно дик именно в профилях)

        1. Открываем WoS Core Collection , Поиск по пристатейной библиографии. Вводим автор: Perelman G, процитированный год: 2012-2019. Помимо ссылок на работы других авторов с именем Perelman G и нескольких ссылок на препринты Григория Перельмана с ошибочной датой, там имеются две ссылки из статьи Джона Лотта, в которых действительно указан сетевой ресурс.
          Этот ресурс — личная страница Антона Петрунина https://anton-petrunin.github.io/papers/
          где он разместил две рукописи Григория Перельмана начала 90х годов
          https://anton-petrunin.github.io/papers/alexandrov/perelmanASWCBFB2+.pdf
          https://anton-petrunin.github.io/papers/alexandrov/Cstructure.pdf
          которые видимо не были опубликованы. Первая из них — дополнение к известной статье в УМН
          http://www.mathnet.ru/links/eab0c8ca8ab5e9dbfffdb7638a0a6385/rm4489.pdf

          1. У нас в последней загрузке другие ссылки — американские, но Cited Reference Search переформатируется время от времени. Явление такого цитирования достаточно редкое и относится всегда к чем-то выдающимся авторам, большинство из которых уже, увы, в мемориальном списке.

            1. Да, в ссылке в WoS указан другой URL, видимо принадлежащий университету где работает Петрунин, но на нём просто переадресация на его личную страницу.

          2. Непонятно, по какому праву Петрунин вообще это сделал. И без каких-либо комментариев. Есть ли у него разрешение от самого Перельмана, не факт.

        2. А как быть с Галиной Перельман. упомянутой В.П.?

          Смысл в том, что вы сначала рекламируете CI-7 как хороший показатель текущей работы ученого, по которому стоит давать гранты, а потом оказывается, что его можно набрать на однофамильцах и перепечатках, так что даже человек, который уже 15 лет не работает в науке, может обогнать многих действующих математиков.

          1. Любой показатель имеет свою область применения. Наукометрия вообще для середнячков. Перельман же относится … к лиге чемпионов. То есть входит в круг людей, имеющих признанные в мире выдающиеся достижения. Сравнивать его с другими по наукометрическим показателям совершенно бессмысленно.

            1. По части многих других показателей согласен, но не по CI-7. Если вместо написания новых статей считаются перепечатки старых (и насколько это вообще законно?), то их кто угодно может организовать, для этого не надо быть чемпионом. С Перельманом просто наиболее очевидный пример, как врет WoS. Мы не знаем, насколько сильно она врет в других случаях и в целом. Вот такое исследование стоило бы провести, а не исследования на основе данных WoS, постулирующие их как истину, с далеко идущими выводами.

        3. Причем он даже не прилагал к этому усилий, это произошло случайно, а что тут можно устроить сознательно (перепечатками и др.), стоило бы подумать.

Добавить комментарий для Михаил Родкин Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *