Почему «Корпус экспертов» объявил краудфандинг

Эта статья о проекте «Корпус экспертов» (КЭ) [1] – далеко не первая в ТрВ. Читавшие внимательно предыдущее обобщение в 2017 г. [2] сейчас, возможно, обнаружат повторы. Но и новые сведения ниже тоже сообщаются. Объявив краудфандинг для продолжения проекта [3], мы услышали ряд вопросов и комментариев, требующих конкретных ответов.

Заявленная на старте цель проекта — сформировать корпус независимых экспертов, которые могут привлекаться к оценке проектов и научных результатов государственными и частными фондами и организациями. Мы объясним как мы эту цель понимает рабочая группа и какие этапы в ее достижении совершенно неизбежны. Корпус независимых экспертов – это не просто список, сформированный по тому или иному принципу. Это «инструмент», проверенный в деле таким образом, чтобы были понятны его возможности и ограничения. Тут имеется четыре слагаемых:

КЭ = люди + их специализации + экспертная история + координация экспертиз,

и ниже мы обсудим каждое из этих слагаемых по-отдельности.

Люди в базе КЭ

Бытует странное суждение:  будто бы «списки Штерна» [4], которые мы поддерживаем с 2009 года на сайте КЭ – это нечто отдельное от остальных частей проекта, живущее самостоятельной жизнью. Если рассматривать списки [4] как площадку для «меряться хиршами», их, конечно, можно было бы поддерживать без всякого КЭ. Правда, не вполне понятно, откуда при этом брались бы руки на обработку и средства на оплату права публикации данных (напомним, что до заключения договора с Thomson Reuters/Clarivate Analytics «списки Штерна» многократно объявлялись «нелегальными»). Но все это были бы уже проблемы какой-то другой рабочей группы, интересующейся зрелищно-соревновательными проектами.

Рис. 1. Динамика роста списков цитирования [4] и общие сведения о людях в базе проекта КЭ
Рис. 1. Динамика роста списков цитирования [4] и общие сведения о людях в базе проекта КЭ

Наши усилия по пополнению списков [4], выросших за время существования проекта КЭ примерно в 5 раз (рис. 1), мотивировались двумя задачами: (А) как можно больше собрать людей, которые что-то в естественных науках и математике делают на заметном по публикациям уровне; (B) как можно точнее определить специализации этих людей (как иначе, например, обосновать и реализовать очевидную необходимость разных порогов для разных разделов наук?). Обе задачи непосредственно связаны с противодействием безграмотным «формальным показателям», то есть разного рода административным способам формальной оценки. Такое противодействие — одно из важных средств сохранения науки в России, и осуществлять его надо профессионально — это тоже разновидность научной экспертизы.

Как сейчас пополняются списки? В значительной степени путем регулярного обновления данных не только для тех, кто «уже в списках», но и для менее цитируемых коллег, которых в базе проекта более 6 тысяч. Это названные ранее в опросах КЭ, а также введенные нами в базу по признаку принадлежности к каким-то выделенным группам (например, лауреаты конкурсов «Династии», академические персоны с цитированием ниже порогового, а также участники экспертиз, рекомендованные координаторами, см. ниже). С годами многие переходят условные пороги по цитированию и попадают в списки [4]. Общая численность людей в базе, кроме мемориального списка, ежедневно увеличивается и приближается к 20 тысячам. В этот массив входят также «настоящие иностранцы», названные в опросах как возможные эксперты, среди них есть названные многократно.

Сохраняется и традиционный канал дополнения – почтовые сообщения о людях, которых следовало бы ввести в списки [4] после проверки. Но это небольшой поток, в котором выделяется с десяток постоянных энтузиастов-«информаторов». Иногда присылают новые фамилии ученые секретари институтов. Бывают «самозаявления», не все они при проверке оказываются обоснованными.

Крайне важным мы считаем внесение в списки молодых людей, еще «не накопивших» тысячного цитирования, но перешедших порог активного цитирования CI7≥100 (цитирование публикаций последних 7 лет). «Возрастной состав» списков можно в первом приближении характеризовать по году первой публикации (табл. 1). Эти годы изменяются в очень широком интервале – от 1944 (Б.Е. Патон) до 2015 (три человека, все трое работают в России). Самое старшее поколение в значительной степени перешло, увы, в мемориальный список. Остальные поколения представлены более-менее равномерно, при этом число людей, не достигших пенсионного возраста, близко к 50%. По западным стандартам пенсионного возраста, к которым мы стремительно приближаемся, добавляется еще около 20–25% — значительная часть группы, условно названной в таблице «молодые пенсионеры». Эти цифры существенно сдвигаются в сторону омоложения в «активном списке» — 62% и 88% соответственно.

В России работают на постоянной основе 72% людей из списков, 68% из «активного списка» (в том числе 63% из группы молодых ученых и 75% из все еще молодых). Представителей диаспоры, конечно, в базе гораздо меньше, чем могло бы быть по порогам цитирования – их и в списки выводить начали только в 2013 году, ориентируясь в первую очередь на рекомендации в опросах. Никогда не ставилась задача ввести «всю диаспору»; прежде всего изучаются те, кто поддерживает контакты с российскими коллегами и мог бы применить или уже применяет здесь свой опыт научной, педагогической и экспертной работы.

Географическое распределение людей из списков [4], работающих в России, отражает известный перекос в распределении научных организаций по стране. В Москве работают 44%, еще 10% — в подмосковных наукоградах, 14% — в Питере и вблизи него. В Сибири и на Дальнем Востоке – 18%, на Урале и в Поволжье – 7,5%, в европейской части вне столиц  — 6,5%. Десять лет назад столичный перекос был в списках [4] еще сильнее, и общее число городов было куда меньше (сейчас городов около 60, причем Новосибирск выглядит как еще одна научная столица, с «большим отрывом» от других крупных университетских городов).

Таблица 1. «Возрастной состав» списков [4] – по году первой публикации в журналах, индексируемых WoS. Данные на 26.06.2019. Всего в списках 10703 человека, в «активном списке»  7699 человек.

Годы первой публикации по WoS

1965-1974 (пенсионеры)

1975-1984 (молодые пенсионеры)

1985-1994 (зрелые ученые)

1995-2004 (все еще молодые ученые)

2005-2015 (молодые ученые)

Людей в списках

1902

2802

2369

2151

829

Людей в «активном списке», CI7≥100

1083

2012

1896

2088

829

Чтобы вся эта конструкция существовала в актуальном виде, данные более чем о 10 тысячах человек надо обновлять в непрерывном режиме, а данные для всех остальных – по мере приближения к порогам. Сейчас это обходится в ~550 операторских «человекочасов» и продолжалось при обновлении 2018/2019 один год и пять дней. Очередное обновление начинается через 1–2 недели после окончания предыдущего.

Все люди в базе КЭ заметны в науке по тем или иным признакам, и потенциально многие могли бы быть привлечены к тем или иным экспертным задачам. Но для экспериментальной проверки их экспертных возможностей недостаточно рекомендаций, нужно еще выяснить предмет возможной экспертизы для каждого, то есть точно определить специализацию.

Специализации

Страшно вспомнить, как выглядели на старте специализации в списках цитирования. Практически ни для кого, кроме физиков (у них есть PACS) не существовало сбалансированного разделения областей знания даже на крупные направления, не говоря уже о третьем уровне детализации, который совершенно необходим и для экспертной работы, и для вожделенного дифференцирования порогов по формальным показателям…. Мы не будем повторять здесь разъяснения о проблемах рубрикатора WoS, ответственного за неадекватные «квартили» и буквально утаптывающего в пыль некоторые важнейшие специализации, которым не нашлось должного места в его устаревшей структуре.

Задачу о классификации удалось продвинуть в 2014 году, благодаря объединению усилий с КомКоном [5]. Единый научный рубрикатор [6] в жестких дискуссиях родился с участием более сотни специалистов из разных наук. Стимулом для их участия в этой работе, которую нам пришлось координировать (и это особенно страшно вспоминать…), было создание референтных групп для оценки институтов – а в спертой атмосфере МОН витали совершенно чудовищные проекты разделения на такие группы. Эта коллективная работа помогла тогда использовать живые журнальные классификаторы.

В борьбе за то, чтобы в референтных группах не соединяли ежа с ужом, мы неоднократно использовали данные из базы КЭ. На том этапе они относились к куда меньшему массиву, чем сейчас, и к более грубой классификации наук, но уже были вполне убедительны для чиновников в смысле различия формальных показателей для разных специализаций. Наша «Карта полезных ископаемых на территории российской науки» [7] (реакция на бездарную и дорогостоящую «федюкинскую карту») была первой пробной попыткой независимого анализа, и эпиграф к ней остается актуальным: «Спасение ископаемых – дело рук самих ископаемых». Продолжение построения «карты» — одна из центральных экспертных задач, которая важна для очень широкого круга научной публики, даже если публика этого не осознает… Наши «лоты» в краудфандинге (возможные исследования, см. ниже) – кусочки такой карты.

А рубрикатор [6] встроен сейчас в базу КЭ. Мы им пользуемся, вполне отдавая себе отчет в том, что идеальных рубрикаторов не бывает. Важным результатом мы считаем появление в списках [4] (а соответственно и, по рекомендациям – в базе КЭ) представителей наук, которые долго почти не были заметны там из-за традиционно низкого цитирования. Например, сейчас в базе более 800 организменных биологов, более 650 геологов, почти 500 механиков, более 400 географов и специалистов по «немодной» экологии. Очень медленно решается проблема технических наук (самое низкое цитирование, мало рекомендателей), но сейчас их представителей уже более 300. Самое крупное сообщество в базе – специалисты по физике конденсированного состояния (более 3 200), следующее по численности – молекулярные биологи (2 600).

Еще более тяжелой, чем составление рубрикатора, является задача правильного указания его рубрик для каждого человека. Помогли консультанты-добровольцы, а в ходе опросов коллег просили определять по рубрикатору специализацию как собственную, так и рекомендуемую.  Повысить точность сведений о специализациях можно только общими усилиями, поэтому сейчас мы выводим списки [4] в формате рубрикатора (наряду с традиционными форматами) и надеемся на «помощь зала» в уточнении кодов, как своих, так и соседских.

Экспертная история

Обсуждая это слагаемое, мы вынуждены использовать операцию вычитания. Уже на стартовом этапе из общего числа потенциальных заказчиков экспертизы пришлось вычесть крупные госструктуры, в которых экспертиза проводится за две недели, и регламент ее экспертам в деталях не сообщается, хотя такие заказчики подавали сигналы многократно и использовали списки экспертов на сайте. Обращения к экспертам были, были и согласия, но об этом мы знаем по косвенным данным, и не можем оценить эффективности. С большими госфондами – тоже проблемы, на себе проверяли [8].

Экспертную историю КЭ мы исчисляем по тем задачам, которые выполняли от начала до конца, то есть от этапа составления регламента до итоговых заключений.  Исключения допускались если заказчик экспертизы с очевидностью разделял наши взгляды на независимую экспертизу, и составленные им регламенты не вызывали протеста – это касается конкурсов Династии, а также проводившихся в период 2012–2017 конкурсов работ молодых ученых МГУ (самое массовое использование базы КЭ, более 400 человек). Но с такими заказчиками контрактов не было – это была апробация «за бесплатно». Как и в единственном частном случае взаимодействия с РФФИ при экспертизе проектов офи-м по разделу «Криогенные наноструктуры».

В качестве экспертов привлекались специалисты, получившие 3 и более рекомендации (порог для публикации в списках экспертов на сайте КЭ – 5, но он по многим направлениям не достигался из-за ограниченного числа рекомендателей). Кроме того, координаторам, привлекаемым из числа входящих в списки экспертов, всегда предоставлялась возможность назначать экспертов по своему выбору/опыту, это был аналог рекомендаций.

Наш первый контракт был с образовательным отделом Роснано (2011–2012): оценка эффективности ранее поддержанных образовательных «нанопроектов». К работе были привлечены 24 эксперта КЭ. Отчет в форме презентации на открытом семинаре [9] не вызвал восторга у заказчика, но был с большим интересом встречен почти сотней собравшихся – он неизбежно касался не только «нанообразования», но и общей направленности производственных проектов Роснано. До этого, начиная с 2008 года, мы на общественных началах совершали много попыток добиться грамотной научно-технологической экспертизы в Роснано, что было наивно, но дало немалый опыт. В этот же период была недолго экспертная  работа для компании «Тройка-Диалог».

Затем в течение почти трех лет материальную поддержку проекта КЭ обеспечивал контракт с отделом экспертизы Российской венчурной компании (РВК). РВК – «фонд фондов», и каждый фонд проводит экспертизу самостоятельно, а отдел экспертизы и его субподрядчики осуществляют подбор экспертов. Фонды были разные, один из них мы вспоминаем тепло до сих пор и даже организовывали для него экспериментальную экспертизу (это абсолютно необходимо для ряда технологических проектов, но очень редко случается в России). Основная часть работы с РВК была экспертно-аналитической, связанной с подготовкой сведений о специалистах в разных актуальных узких направлениях.  Около 50 экспертов КЭ привлекались для консультативной помощи в этой работе. По предложению РВК был создан инструмент поиска специалистов по ключевым словам в названиях статей (в базе КЭ – сотни тысяч статей,  и это немалый ресурс) – но конечно это инструмент для грамотного пользователя… Потом дело сдвинулось в направлении т. н. «Национальной технологической инициативы», и пришлось РВК тоже вычесть.

В 2016–2017 годах, после смены руководства Сколтеха, возникли обращения за экспертной помощью из этой новой «точки роста». Сначала была экспертиза проектов Сколтех-MIT (73 эксперта), а затем – аудит подразделений Сколтеха (72 эксперта). Аудит включал этап панельного обсуждения результатов, и в этом смысле был совершенно новым опытом. Всё это была англоязычная экспертиза с участием значительного числа «настоящих иностранцев». Для Сколтеха выполнялась, вплоть до 2018 года, и экспертно-аналитическая работа, связанная со структурированием научных направлений.

Следует упомянуть еще два контракта на работу существенно иного рода – с одним из крупных институтов РАН (анализ публикаций сотрудников) и с МФТИ (анализ профессиональных судеб выпускников одного из факультетов). Эта работа не предполагала прямого участия экспертов, но позволила расширить круг инструментов в базе КЭ и создать методики, которые безусловно могут быть востребованы заинтересованными организациями.

Весь наш опыт в целом показал, что большинство специалистов, выбранных по рекомендательному алгоритму КЭ, выполняют экспертные функции корректно и эффективно. Но иное тоже бывало в единичных случаях, это и есть экспертная история, которую уже никому не удастся переписать. Полученный опыт также показал, что располагающие средствами заказчики экспертиз, даже когда «хотят хорошего» (Ф. Искандер), воспринимают результат оценки через призму необходимости вложения средств в заданном размере. Мы не всегда были согласны с заказчиками, в итоге поддержавшими не только хорошие, но и достаточно невнятные проекты/коллективы. Однако похоже, что заказчиков иного типа в стране сейчас нет. Прецеденты проведенных экспертиз считаем полезными независимо от масштаба. Масштабировать можно при благоприятных обстоятельствах. На которые, однако, пока надеяться не приходится. А вот в малых масштабах для квалифицированного заказчика – уже понятно как можно сделать по уму. Или без всякого заказчика – случаются ведь и экстренные экспертные задачи… Был у нас и такой опыт [10].

Координация экспертиз

Главная нагрузка во всех экспертных процессах ложилась на плечи координаторов – наиболее опытных экспертов, многократно рекомендованных коллегами и согласившихся на эту нелегкую долю. Некоторые координаторы прошли с нами весь путь, другие участвовали в экспертных процессах 1–2 раза. Их работа оплачивалась заказчиками экспертиз (как и работа экспертов), но объем головной боли никогда не компенсировался этой оплатой.

Случалось, что был необходим координатор из малоцитируемой области, по которой список экспертов по признаку 5+ рекомендаций сформировать просто не удалось. В таких случаях мы советовались с наиболее часто рекомендованными из данной области, и общими усилиями находили координатора (иногда – из диаспоры). Этот опыт был до сих пор всегда положительным.

База КЭ оказалась полезным подспорьем для координаторов, т. к. из нее можно быстро извлечь сведения о публикациях как приглашаемых экспертов, так и «объектов/субъектов оценки». Нам кажется, что первоначальная методика «снежного кома» для многих наук себя исчерпала на этапе ранних опросов, сыграв важнейшую роль в расширении базы. А далее – нужно побольше координаторов, которые сами будут расширять корпус экспертов, с параллельно действующим механизмом сбора и анализа экспертной истории (он имеется в базе КЭ). Мы не изобретали этот велосипед, а просто проверяли, можно ли на нем ездить по нашим дорогам. Можно, хотя и не очень легко.

Забавное из рутины КЭ

Ночной кошмар любого оператора – однофамильцы (сейчас 129 Ивановых, 70 Кузнецовых, 66 Смирновых и т.п… и ничуть не проще с Браунами или Кимами, хотя их в базе куда меньше…). Удивительным образом однофамильцы с одинаковыми инициалами норовят работать в одной и той же области науки. Есть полные тезки из одной области, у которых совпадает год и даже дата рождения. Есть полные тезки (родственники), у которых один e-mail на двоих. То есть никакие идентификаторы не абсолютны. Есть еще примеры смены фамилий и даже имен джентельменами, и вовсе не при вступлении в брак. А уж дамы меняют фамилии почти как перчатки. И все это надо как-то учесть при актуализации данных о публикациях. Часто справляемся, а бывает – ошибаемся. Публичность списков цитирования – основа исправления ошибок, проект всегда открыт для обоснованных исправлений.

Справка о самообеспечении КЭ

После прекращения поддержки проекта КЭ фондом «Династия» все расходы на оплату труда технических сотрудников и договора с Thomson Reuters/Clarivate Analytics осуществлялись из средств контрактов на экспертную и аналитическую работу, оформляемых через Независимый Московский Университет. В проекте на оплачиваемых полных и неполных ставках постоянно работают: администратор (переписка, общая координация); сетевой администратор (поддержка и развитие базы); специалист, кандидат наук (обработка данных, подготовка материалов в рамках контрактов); два оператора (первичная обработка данных при обновлении списков, ввод новых людей в базу).  В этом году право на публикацию данных WoS стоит 500 000 руб., необходимый фонд зарплаты заведомо превышает 500 000 руб. Объявленный в рамках краудфандинга [3] сбор 1 000 000 руб.  очень поможет, хотя не решит полностью проблемы финансирования проекта даже на год.

Наши «лоты»

Согласившись на краудфандинг КЭ, фонд «Эволюция» прислал нам инструкцию, в которой мы не поняли многих слов. В том числе слова «лот», которое устойчиво ассоциируется с министерством и вызывает поэтому тоску. Или с азартными играми, что тоже нам не близко. Однако нам объяснили, что «лот» — это возможность предоставить поддержавшему проект человеку что-то, что ему было бы полезно или интересно. И тогда мы объявили всякие «лоты», из которых пока наибольшей популярностью пользуются, в основном в части физики и биологии, вот эти:

 

Объявленных «лотов» гораздо больше [3]. Многие уже поддержавшие проект не указали конкретного «лота», но мы будем очень рады если публика в ходе краудфандинга проголосует за те или иные конкретные исследования, полезные для оздоровления нашей общей научной территории. В [11] (разделы 4.3, 5) мы формулировали задачи, которые на старте придется решить в случае возможности профессионально реформировать науку и образование в России. Часть этих задач можно решать без госстатистики, с использованием инструментов и методик КЭ.

Спасибо всем уже поддержавшим проект «Корпус экспертов».

Михаил Фейгельман, докт. физ.-мат. наук,
Галина Цирлина, докт. хим. наук

  1. expertcorps.ru/
  2. trv-science.ru/2017/10/24/popytka-samoorganizacii/
  3. crowd-expertcorps.ru/
  4. expertcorps.ru/science/whoiswho
  5. rascommission.ru/
  6. rascommission.ru/rubricator
  7. expertcorps.ru/static/cms/MAP_final.pdf
  8. trv-science.ru/2014/06/17/pokayannoe-zametki-ob-ehkspertize-proektov-v-rnf/
  9. expertcorps.ru/static/cms/Expertise_Rosnano.pdf
  10. rascommission.ru/protection/urgent/85-pabsi
  11. trv-science.ru/2017/10/10/esli-by-direktorom-byl-ya/

Связанные статьи

18 комментариев

  1. 1. Авторы противопоставляют свой вроде бы «грамотный» подход «безграмотным «формальным показателям», то есть разного рода административным способам формальной оценки». Однако в любом случае все базируется на одних и тех же данных и показателях WoS, где полно ошибок, которые никто не хочет исправлять. Показатели могут как завышенными, за счет однофамильцев и перепечаток статей, так и заниженными, за счет ошибок при вводе и передаче данных в WoS, ошибок цитирующих авторов и др.

    Так, на сайте КЭ был указан заимствованный из WoS показатель Г.Я.Перельмана CI-7 (число цитирований работ, опубликованных в последние 7 лет), равный 3, в то время как всем известно, что он давно ничего не писал и ушел из науки. Но по мнению Г.Цирлиной, это не ошибка, а «отраженная реальность». Возникает вопрос, насколько можно верить остальным цифрам.

    2. Авторы говорят про «очевидную необходимость разных порогов для разных разделов наук» и немного позже публикуют таблицу 1 «перешедших порог активного цитирования CI7≥100», без различия наук и с порогом, выбранным по принципу круглого числа (очень грамотно и научно). Таким образом, таблица бессмысленна, что заставляет задуматься и о том, насколько осмыслено все остальное.

    3. О грамотности принято говорить в отношении, например, языка, когда существуют зафиксированные или общепринятые правила. В данном случае лидеры КЭ сами придумали себе правила, поверили в них и стали их придерживаться, со стороны же все это вовсе не кажется убедительным. В российском научном сообществе на этот счет нет единого языка и нет никакого консенсуса по отношению к наукометрии, а существует широкий спектр мнений, от апологетики до полного отрицания. Таким образом, это скорее манипуляция, чем истина.

    4. Все время видны попытки выделить какую-то группу избранных, какую-то «соль земли», и противопоставить ее остальным. Как будто ставится задача, кого пустить в бункер в случае атомной войны или кого увезти на космическом корабле от глобальной катастрофы. Вряд ли можно одобрить такой взгляд на действительность и тем более поддержать рублем.

    5. КЭ ставилась задача оказывать платные услуги по экспертизе государственным и частным организациям. Проблема в том, что как выяснилось, эти организация такие услуги заказывать у КЭ просто НЕ ХОТЯТ. На них нет спроса. Крупные заказы были единичными и эпизодическими, прошлые успехи закрепить не удалось. Одно дело, когда что-то навязывает государство, другое дело — рынок. Тут важно уважение и доверие. Если это есть среди коллег, друзей и знакомых, то не значит, что автоматически распространится и на чужих людей по всей стране. Тут нужно прилагать усилия не в цифровой казуистике, а в общении с людьми. А с этим есть большие проблемы.

    6. Лидеры КЭ могут получить симпатии простодушных людей за счет декларируемой независимости и оппозиционности режиму (в данном случае, Минобрнауки). Однако все это очень условно. Все они вполне системные товарищи. И вряд ли неудачи КЭ можно списать на козни властей. Наконец, мы все помним, что не так давно очень смелыми и оппозиционными были идеи — «Антиплагиат», наукометрия и реформа РАН, и все мы видим, к чему это привело. Стоит ли наступать на одни грабли в четвертый раз? На данный момент нам навязаны услуги «Антиплагиата», WoS, РИНЦ и др. Не хотелось бы, чтобы со временем так же вышло и с КЭ.

  2. Увы, текст не отвечает на вопрос, вынесенный в заголовок. А ответ представляется простым. Проект, ориентированный на предоставление экспертных услуг, за немалые годы своего существования так и не вышел на простую самоокупаемость и вынужден прибегнуть к краудфандингу. Значит что-то пошло не так… Вот эти причины и стоило бы проанализировать.

    1. Видимо отсутствие реальной потребности в такого рода деятельности. Что совершенно не удивительно на общем фоне. Кому нужна объективная картина? Никому, только настроение портить.

        1. Есть ли способ посмотреть на более объективную картину, если сам не эксперт?

          1. А есть ли способ посмотреть на объективную картину, даже если сам эксперт?

            1. Полагаю, что да. Рассмотрим ситуацию, когда преподаватели выносят суждения о знаниях учеников. Если у нас 4х семестровый курс, с 4мя экзаменами и зачётами, по несколько контрольных и коллоквиумов в семестре, то как правило к его окончанию у преподавателей складывается аналогичное мнение о конкретных студентах. То же самое бывает, когда люди много лет работают в одной области, достаточно узкой чтобы знать большинство работ всех своих коллег. Конечно мнение относительно своего места в процессе бывает аномальным, а в остальном картины получаются изоморфными. Если дисперсия мала, то картину можно считать объективной.

              1. Ну и сразу видно, что с КЭ не тот случай, люди вышли далеко за пределы своей компетентности. Но и в ваших примерах не все гладко. Субъективность преподавателей к студентам — давняя тема. А в науке вместо выравнивания мнений может происходить образования враждебных групп с противоположными мнениями. Наконец, выровненное мнение — не обязательно правильно, бывают и массовые заблуждения. Возможно, в будущем к современной наукометрии будут относиться не лучше чем к астрологии.

                1. Необъективность преподавателей — это чаще всего разные критерии. Когда-то я преподавал в колледже, там были классные журналы. Почти по всем предметам преподаватели оценивали студентов в двубальной системе. Только одни использовали оценки 2 и 3, а другие 4 и 5. Кроме того, эксперт конечно может банально врать по каким-то личным мотивам.
                  Я лишь утверждаю, что объективная= правильная оценка возможна. Постмодернистское предположение о том, что все мнения и оценки в равной степени ценны неверно.

                  1. Есть разница, изучать атомы и молекулы и судить о них, или изучать людей и судить о них. Тут люди из естественных наук влезли глубоко в гуманитарщину, как Фоменко в историю. Я говорю не о том, чтобы врать, а о том, как на исследование влияет взгляд человека на мир. В гуманитарных науках для этого есть понятие «оптика» и т.д. Давно это все известно и изучается. Да, люди вынуждены по жизни принимать различные решения, в том числе преподаватели — что поставить студенту, руководители — кого взять на работу или уволить, но это личные человеческие решения, а не проявления научной истины. И да, любые утверждения лидеров КЭ за пределами их профессиональной деятельности, о том кто хороший ученый, а кто плохой — это не более чем мнения.

                    1. Если бы преподаватель не мог выставить объективную оценку студенту, то все экзамены до введения анонимных тестов не имели бы смысла. Аналогично в пределах своей научной компетенции эксперт может определять научный уровень работ своих коллег. И при отсутствии конфликта интересов его оценке даже можно доверять. Например, так работает система рецензирования в научных журналах. В случае, когда круг авторов и рецензентов очень узок она плохо работает, потому что получается сплошной конфликт интересов. Поэтому в узкоспециализированных англоязычных журналах рецензирование в среднем гораздо лучше.
                      Вообще «всё познаётся в сравнении».
                      Что Вы скажете о непубликуемом списке экспертов РФФИ?

                    2. Вы перечисляете системы общепринятые, общественно приемлемые или навязанные государством, к которым люди привыкли и с которыми смирились, но ни одной из них нельзя доверять или считать «правильной» (или ее решения считать таковыми) в том смысле, как мы считаем правильной математическую теорему или работу в области естественных наук. Если предлагается какая-то новая система, нет оснований априорно смириться с ней, в том числе по принципу «меньшего зла». В истории бывало, что меньшее зло оборачивалось большим.

                    3. Добавлю еще один момент. Вот посмотрит какой-нибудь чиновник на таблицу 1 и скажет — отлично, вот у нас есть 7699 лучших активных ученых, их и оставим, а остальных уволим. Что из этого выйдет? Сможет ли эта «лучшая» часть научного сообщества нормально существовать без остальной части? Как вообще устроена наука? Это сложное социальное явление. Люди — не атомы. Ни один человек — не остров. Неявно предполагается, что наукометрические показатели людей — это их личные заслуги, но в какой мере это так, а в какой мере — это заслуги других людей, не попавших в списки? Считают ссылки на «лучших», но никто не смотрит ссылки «лучших» на других, на какие-то может быть не очень сильные работы, не очень сильных авторов, но без которых сильные не смогли бы достичь своего успеха.

                    4. И это опять-таки к вопросу о том, какова «объективная картина» науки — это некая связная пирамида, или это «верхушка», чудесно парящая в небесах, и биомусор внизу, или что-то третье?

                    5. Ваши опасения понятны, но две «иерархии» в науке лучше чем одна. Уже своим существованием наличие двух иерархий намекает на то, что ни одна из них не абсолютная.
                      Традиционный российский порядок «я — начальник, ты-дурак» был вполне эффективным, когда за свои ошибки начальник отвечал головой. В наше менее жестокое время такой порядок имеет печальные для развития науки последствия. Подсчёт наукометрических показателей, особенно тех которые нельзя быстро фальсифицировать, как минимум способствует росту самоуважения научных сотрудников, необременённых чинами.

                    6. >как минимум способствует росту самоуважения научных сотрудников,

                      Либо наоборот, у кого как идет.

                    7. Имхо, весьма важное замечание. Помнится, в одной из первых переводных книжек Норберт Винер писал о пропорции 5/95 в процентах, и что те, которых около 5, не смогут обойтись без остальных как среды и «питательного бульона».
                      Л.К.

              2. Заодно напомню случай Гайфуллина, обсуждавшийся в том числе здесь:

                https://trv-science.ru/2016/12/06/khirshemaniya-i-khirshefobiya/

                https://trv-science.ru/2016/12/20/razbor-matematicheskikh-poletov-po-indeksu-khirsha/

                Кто тут был объективен, на чьей стороне правда? И на чьей стороне здесь лидеры КЭ? Гайфуллина они в свой список не взяли, цитированием не вышел.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *