Эту заметку я начал писать в аэропорту американского Сент-Луиса, после Международного рабочего совещания в Миссурийском ботаническом саду. Тема его была амбициозна — создание «Онлайновой флоры мира» (World flora online). Но не об этом сейчас речь. Я о другом, всё о том же… Об импакт-факторах, индексе Хирша и тому подобных показателях. Потому что на упомянутом совещании (с чего бы это!) зашла речь и об этих показателях.
В последнее время публикуется немало аналитических обзоров о состоянии российской науки и ее месте в науке мировой. Выводы делаются разные, но за основу обычно принимаются данные популярных наукометрических систем Web of Science и Scopus. Предполагается, что они максимально полно отражают продукцию мирового научного сообщества, а их показатели (импакт-факторы, индексы цитирований и т.п.) достаточно универсальны, чтобы на их основании делать далеко идущие выводы и принимать кардинальные решения. Так ли это?
Моя специальность — систематика растений. Основная задача систематика — исследовать разнообразие конкретного таксона (семейства, рода) на определенной территории, а лучше — в полном объеме. Результаты, как и положено, отражаются в статьях. Но не только. Важнейший продукт деятельности систематика — монография таксона (или региональный обзор) — большая публикация, как правило книга, которая может быть делом всей жизни ученого.
Мне неоднократно приходилось принимать участие в различных международных совещаниях и заседаниях рабочих групп. И я ни разу не услышал от коллег-систематиков (как растений, так и животных) что-нибудь позитивное о системе оценок, построенной на импакт-факторах и индексах цитирования, хотя всем с ней приходится считаться. В лучшем случае эта система воспринимается как неизбежное зло (что-то вроде похода нашего ученого в райком перед зарубежной поездкой при советской власти), в худшем — бывает удостоена почти нецензурных выражений.
Отмечу сразу: я полностью признаю необходимость публиковаться в «приличных» журналах, категорически против захватившего нашу науку «тезисописания» (тезисы сейчас часто называют «материалами конференций», но суть от этого обычно не меняется) и являюсь горячим сторонником перехода российской науки преимущественно на английский язык публикаций. В то же время для меня очевидно, что оценка деятельности систематика только по публикациям в «импактных» журналах и величине индекса Хирша нанесет весьма серьезный вред нашей науке. Вижу опасность и в том, что «современную науку» все больше и больше стремятся ограничить только тем, что отражено в Web of Science, Scopus и т.п.
Систематика имеет ряд особенностей. В ней сохраняют научную актуальность (по крайней мере в отношении вопросов номенклатуры) все публикации, появившиеся с середины XVIII века. А публикации 10-15-летней давности для нас являются сравнительно свежими. Из этого можно понять, что сам принцип подсчета импакт-фактора ставит журналы по систематике в заведомо проигрышное положение по сравнению, скажем, с биоинформатикой.
Для примера взял свою статью (в соавторстве с зарубежными коллегами), появившуюся в журнале, реферируемом Web of Science. В ней 19 ссылок, временной диапазон — 1879-2011 годы. Только две из них прореферированы в той же Web of Science.
Вряд ли подлежит сомнению, что выявление полного разнообразия организмов — важнейшая научная задача. Соответственно, публикации, содержащие описания новых таксонов, крайне важны. Однако на такие публикации, как правило, отсутствуют немедленные ссылки, за исключением случаев, когда коллега опубликовал очевидную глупость. Если описанный мною вид принимает другой систематик, он приведет ссылку только в так называемом номенклатурном абзаце, а первоисточник не попадет в список литературы.
Естественно, что импакт-факторы таксономических журналов невысоки и обычно не превышают 2.5, а нередко и не дотягивают до 2. Если прямо следовать наиболее ретивым поклонникам импакт-фактора, то систематику надо вообще закрыть, а соответствующие институты разогнать. Хранящиеся в них ценнейшие научные коллекции, надо, очевидно, отдать школьникам (говорят, это предлагал Н. С. Хрущев, рассерженный на «непослушных» ботаников и зоологов, ополчившихся против Т. Д. Лысенко).
Вызывает удивление и отбор журналов для популярных библиоме-трических систем. Можно понять отсутствие многих наших русскоязычных журналов, хотя и тут логика не очевидна: Web of Science, например, реферирует «Микологию и фитопатологию», но игнорирует «Ботанический журнал», хотя уровень обоих журналов кардинально не различается. Но за пределами Web of Science остались такие авторитетные международные издания по систематике как KewBulletin, Feddes Repertorium, Taiwania, Edinburgh Journal of Botany, Willdenowia и др. Scopus несколько более лоялен и у него набор журналов по систематике больше, — но эта система не рассчитывает импакт-фактор.
На совещаниях, организованных в рамках проекта «Европейский распределенный институт систематики» (European distributed institute of taxonomy — EDIT), в котором наш институт принимал участие, приводились следующие факты: около 60 % описаний новых видов морских беспозвоночных публикуется в журналах без импакт-фактора, примерно такая же ситуация с новыми видами насекомых. По растениям подсчеты не проводились, но показатели должны быть близки. Надо также иметь в виду, что значительная часть статей по систематике публикуется в ежегодниках, которые Web of Science и Scopus вообще игнорируют как вид научных изданий.
Несколько слов о таксономических монографиях, число которых в последнее время неуклонно снижается, хотя, казалось бы, ситуация должна быть обратной: наличие многочисленных интернет-ресурсов снимает многие ранее существовавшие препятствия: (доступ к классической литературе, важнейшим коллекциям и т.п.). На специальном семинаре, состоявшемся в этом году в Словакии, в числе причин такой ситуации (в числе прочих) называлась и система оценок, построенная на все тех же импакт-факторах и цитированиях. К сожалению, ни одна из наукометрических систем цитируемость монографий, насколько мне известно, не учитывает.
Мировая наука все больше оказывается разделенной на «им-пактную» и «неимпактную» части, причем подразумевается, что последняя явно «второй свежести». С моей точки зрения, это тревожная тенденция. Будет очень плохо, если общество и лиц, принимающих решения, убедят в том, что всё, не вписывающееся в прокрустово ложе двухтрех показателей, не является наукой и должно поскорее исчезнуть.
Дмитрий Гельтман,
зам. директора Ботанического института им. В.Л. Комарова РАН
Полностью согласен с автором, при том что работаю в совершенно другой области науки. По целому ряду направлений именно научная монография, а не циклы научных статей становятся итогом серьезного исследования.
Конечно, «прогибаясь» под требования чиновников или просто поддаваясь современным веяниям, некоторые ученые пытаются отдельные главы выпускать в качестве статей. Однако тот же РИНЦ, где сейчас можно (хотя и очень приблизительно — не хочу здесь обсуждать недостатки РИНЦ) одновременно отследить цитирование и книг, и статей в русскоязычном сегменте, показывает важность монографий в ряде научных дисциплин. Именно базовые монографии таких ученых цитируются намного чаще, чем их же статьи в авторитетных журналах, выпущенные на основе глав из этих книг.
«наукометрических систем цитируемость монографий, насколько мне известно, не учитывает» — Google Scholar считает.
«Из этого можно понять, что сам принцип подсчета импакт-фактора ставит журналы по систематике в заведомо проигрышное положение по сравнению, скажем, с биоинформатикой» — в наукометрии это давно известно, поэтому для каждой научной области (математика, физика, медицина, кибернетика,…) есть свои корректирующие коэффициенты.
По-моему, единственный разумный критерий полезности чего бы то ни было — востребованность. Цитируемость означает востребованность в среде самих же учёных. Это всё равно, что оценивать качество китайского шивпотреба по объёму его продаж в самом Китае. Индекс востребованости должен строится реальными потребителями.
А ничего, что перед созданием атомной бомбы из научной печати исчезли статьи по ядерной физике? Получается так: «нет статьи — нулевая цитируемость — неинтересная тематика». Но ведь это чушь собачья! Далее, Вам знакомо такое понятие как «открытия, опередившие свое время»? Ну были себе спокойненько радиоволны, а потом — бац! — и новое средство связи, взрыв популярности.
ИТОГО: цитируемость — не показатель истинности. А наука — это социальный институт по добыванию истинности, а вовсе не «полезности» или «востребованности» (Вы путаете науку с бизнесом).
Наука в современном мире — это средство производства: как станок, как прокатный стан. Меня лично задолбали уже песни про «часть культуры» и «социальный институт». Проституция — это тоже часть культуры и социальный институт.
Цитируемость — это вообще не показатель чего-либо вразумительного. Цитируемость показывает востребованность в среде самих же учёных. Это всё равно, что рейтинг телепередачи подсчитывать по количеству откликов на неё от команды её создателей и их коллег из других телестудий.
Науку востребует в первую очередь промышленность, а, шире говоря, — общество в целом. Обществу требуется точное и достоверное знание. Вот его и поставляет наука как средство производства. По степени удовлетворения этой потребности общества в точном и достоверном знании и нужно оценивать значимость научных результатов.
От того, что у Вас аллергия на понятие «социальный институт», оно не становится менее эвристически плодотворным (кстати, насчет проституции: если она существует так долго, то, может, она для чего-то нужна? Хотя, конечно, морализаторы мгновенно сказали бы, что это просто рудимент древности). А в чем его плодотворность заключается? В том, что оно позволяет избежать излишней коммерциализации.
Вот вы говорите, что востребованность должен оценивать потребитель. Вопрос: кто является потребителем научной информации? Промышленность? Да, отчасти. Но главным потребителем научной информации являются сами ученые. Именно поэтому оценка ученых (я не идеализирую библиометрические показатели, но как некоторая основа для работы сгодится) должны доминировать над оценкой со стороны олигархов.
Предвижу следующее возражение: ученым (ну, не считая тех, кто работает в НИОКРовских подразделениях корпораций) платит государство, значит, и оценки научного продукта должны быть государственными, а не внутринаучными. И поскольку основная задача государства — создавать условия для развития экономики (локомотивом которой является промышленность), постольку оценивать труд ученых надо по прибыли от реализации наукоемкой продукции.
Могу сказать только одно: жалко денег — не платите. Вот будет отличный социологический эксперимент — обнуление госрасходов на науку. Тогда через короткое время (по историческим меркам короткое) этот эксперимент станет вполне себе политологическим с однозначным последствием: исчезновением такого государства с карты мира: полным географическим или же частичным — исчезновением как геополитического субъекта (и переход в разряд страны третьего мира). Страшно? Так страшно, что продолжаете платить? Отлично, ну а раз платите — не занимайтесь сексом с нашими мозгами, пожалуйста.
А, если у Вас аллергия на коммерциализацию, то это тоже не значит, что она а-приори гибельна. В остальном мире наука большей частью содержится частным капиталом, который привык вкладывать деньги с умом. Советская же по-настоящему свободная наука держалась на партийной дисциплине. Нельзя учёным требовать себе статуса консерватории: наука в современном мире — это средство производства. Вот у себя в гараже — оно пожалуйста сколько угодно, а на народные деньги извольте ориентироваться на результат народом востребованный, а не для личного пользования.
Востребованость результата определяет того, кто платит. Государство лишь выступает от имени общества в целом. Если результат востребован только самими учёными, то пусть они сами и финансируют эти исследования.
Денег-то не жалко, деньги есть. Просто психология тунеядства очень опасна: труд не только создал человека, без труда человек деградирует и государство вместе с ним. Давать деньги на мартышкин труд для государства даже опаснее, чем не давать денег вообще (ибо тунеядцы множатся по экспоненте, а не полиномиально).
между прочим, консерватория-то как раз хорошие бабки заколачивает на элитных концертах (а если говорить о музыкальной индустрии в целом, то поп- и рок-звезды довольно богаты, нэ? Музыка — прекрасное средство производства денег)
у себя в гараже и на свои деньги учеными были совершены открытия и сделаны изобретения, которые сформировали лик современной цивилизации. Вам не кажется, что она могла бы быть более благодарной к ним, а главное — что это свидетельствует об успешности стратегии свободы научного поиска без непосредственных требований к производству коммерчески выгодного продукта?
Однажды канцлер казначейства посетил Институт и в сопровождении Фарадея совершал по лабораториям экскурсию, которая завершилась демонстрацией классического эксперимента по электричеству. Конечно же, он задал вопрос: «Но Фарадей, мой дорогой, какая от всего этого польза?» Ученый тут же сказал в ответ свои знаменитые слова: «Сэр, вполне вероятно, что Вы в скором времени сможете обложить это налогом!»
http://www.gazetaprotestant.ru/2009/05/majkl-faradej-%E2%80%93-uchenyj-i-xristianin/
Это уже другая большая тема. Статья лишь о критериях оценки качества, а не о месте науки.
Наука не всегда была тем, чем она стала сейчас (средством производства). А при советской власти, как я упомянул выше, наука вообще получила невиданное ранее в истории качество и статус.
Свобода творчества всегда идёт на пользу. Но свобода творчества и любимое дело — это одно, а работа, её польза и ценность — это совсем другое. Работа учёного такая же, как и у станка: нудно, трудно, устаёшь и постоянно требуется выдать готовую продукцию. Критерии оценки должны быть такими же. Сейчас, однако, они у нас пещерные в двадцать первом-то веке.
Надо работать на международном уровне. Тогда и «Хирш» будет нормальным.
Цитируемость — это слишком формальный подход, который отражает популярность автора в его же профессиональном сообществе.Известно множество научных направлений, в которых профессиональное сообщество может включать менее 10 исследователей (на весь мир!). Сколько они «нацитируют» друг друга?
При этом популярность может быть как позитивной, так и негативной (как в анекдоте про позитивный-негативный-божественный и ложный…). В исторической науке мы имеем даже синдром Фоменко, когда исключительно псевдонаучные «результаты исследований» вызывают широкий интерес и критику, а как результат — рост показателей по уровню цитируемости автора. В результате некоторые «исследователи» ради популярности и роста сомнительного «рейтинга» начинают ориентироваться в своей научной работе не на результат, а на общественный резонанс в научных и околонаучных кругах. Поэтому результаты научной деятельности должны оцениваться грантодателями/заказчиками НИР/благотворителями/прочие по той методике, которая им нравится.
В 21-м веке наладить смычку производитель-протребитель не так уж и трудно: информационные системы такого рода создаются давно. Учёный не должен работать в никуда — в публикации, в отчёты, которые никто не читает. Информационная система должна суметь дать чёткий ответ на вопрос «кем, когда и как на данный момент востребован данный результат? (научный продукт любого вида: монография, публикация, отчёт, доклад, лекция, диспут).» Сводная статистика такой востребованности со стороны потребителей (не столько количественный показатель, сколько качественный; причём, ещё и ранжированный — подобный алгоритмам поисковиков) и должна определять ценность научного результата и ранг учёного. Цитируемость тут вообще не есть показатель чего-либо значимого.
А разве цитируемость не является «сводной статистикой такой востребованности со стороны потребителей»? Как еще востребованность научной работы можно оценить?
Хирш скоро будет знаменит не индексом, а тем, что одним из первых восстал против теории сверхпроводимости БКШ, считая ее бредом Бардина Купера Шриффера.
Индекс Хирша самого Хирша серьезно страдает от «дырочной теории сверхпроводимости Хирша».
Нет в жизни счастья, особенно у офисного планктона :(
при советской власти, наука вообще получила невиданное ранее в истории качество и статус. ntgthm новые власти это угробили но хирш их не спасет
Маленькое пояснение для автора — импакт-фактор по Scopus для всех журналов, в него входящих, можно посмотреть на сайте http://www.scimagojr.com.
Да, а Ботанический журнал хорошо бы подготовить по требованиям систем цитирования, да и заявить в Scopus. Все зависит от редактора. Жалко, что его там нет (если не ошибаюсь).
Ольга — шалишь!!!
А как же Р. В. Камелин?)))))
«К сожалению, ни одна из наукометрических систем цитируемость монографий, насколько мне известно, не учитывает.»
Это не так. Цитиремость книг и глав в книгах легко можно посмотреть в Web of Science, использовав опцию Cited Reference Search. Для этого надо знать первого автора книги (или главы/статьи в сборнике), год публикации и название.
Если же пользоваться опцией Search (в Web of Science), то, действительно, книг и ссылок на них не найти.
разумно. В статье я не увидел конструктива в смысле «что делать»
Гугл Школар трекает больше журналов и таким образом у меня там получается на 20% больше цитирований, там также есть монографии в том числе на русском языке. Система только развивается, может быть можно будет альтернативный показатель показывать — Гугл Хирш.
Моя старшая коллега очень активно публиковалась в сборнике «Новости систематики низших растений» с 1970-ых. Но когда я пробила ее фамилию, то ее индекс цитирования был равен нулю! Даже пришлось ее успокаивать. Но это неправда, что ее не знают. Знают, цитировали и будут цитировать, и у нас, и за рубежом. Или другой пример, когда я сама до 2005 года публиковалась за рубежом под одной фамилией, а после 2005 — под другой, потому что изменилась одна (!) буква в имени и одна буква в фамилии. И система не может высчитать мой индекс по статьям до 2005 года. Хотя до 2005 года я уже опубликовала порядка 10 статей в очень хороших журналах, включая «Journal of Cell Science» с импакт-фактором 6,11. Таким образом мой индекс цитирования равен 5, потому что программа не в состоянии включить статьи до 2005 года и высчитала годы 2005-2012. Но и за этот отрывок времени вошли не все статьи. 7 статей на англ. языке в очень хорошем, старом, рецензируемом журнале (все цитируются и лежат в открытом доступе в интернете) тоже не вошли в подсчет. Очень много проблем с этим индексом. Надо как-то по-другому оценивать ученых, а они на Западе пусть высчитывают по Хиршу.
Татьяна, таки нечего было фамилию с именем менять и все было бы путем. Что касается индексов, то деньги на исследования выделяются не только правительством, но и представителями бизнесса, которых волнует не абстрактное развитие науки и поиск истины, а вполне земные вопросы (как заработать больше бабок). Естественно они должны как-то ориентироваться в науке. Вот этим товарищам и нужны всякие индексы. Самостоятельно же оценить качество работы ученого они не в состоянии, а нанимать кого-то — лишняя трата денег. К тому же эти индексы позволяют отсечь большую часть тех, кто реальной наукой не занимается вообще.
вот только в нашей стране, если бизнес и финансирует науку, то на индексы вообще не смотрит, т.к. даже не знает где и как их смотреть, а доверяет только личным рекомендациям:( А за рубежом тоже на индексы не смотрят, т.к. проводят открытый тендер и конкурентные переговоры, выбрав же исполнителя НИР, потом мониторят результаты чуть ли не в ежедневном режиме и, если что-то покажется странным и неудовлетворительным, прекратят финансирование в один день…