За открытую науку: как публиковать статьи по-новому

Рис. М. Смагина
Рис. М. Смагина

Наука переживает период турбулентности: устоявшиеся принципы организации научной работы постоянно подвергаются улучшению и совершенствованию, появляются новые форматы доступа к научному знанию и результатам исследований, возникают новые подходы распространения информации и обучения (например, массовое онлайн-обучение), обсуждаются новые варианты рецензирования научных работ. Большая часть этих процессов происходит под флагом «движения за открытую науку».

Но что такое «открытая наука»? Это собирательный термин, который включает ­разнообразные инициативы, цель которых — повышение качества научных исследований. Среди таких инициатив — движение за открытые данные, открытое программное обеспечение для исследований, открытые публикации и многое другое1.

Препринты начинают и выигрывают

Исторически одной из первых целей движения за открытую науку стало обеспечение свободного доступа к научному знанию. Многих не устраивало, что коммерческие издательства (такие, как Elsevier или Springer) извлекали огромную прибыль из публикаций научных статей — в среднем за одну статью они просили около 30–40 долл. Когда люди захотели изменить эту ситуацию, стали появляться полулегальные сервисы2, с помощью которых статьи этих издательств можно было скачивать бесплатно. Другим вариантом решения проблемы стало появление сервисов типа arXiv.org, где авторы могли свободно выкладывать препринты собственных статей. Сервис arXiv.org изначально развивался в среде математиков и физиков, но в последние годы распространился и на другие дисциплины: биологию, психологию3.

Проблема доступа к знаниям обсуждалась и более официально. На профессиональных академических конференциях появлялись круглые столы, посвященные поиску того, как можно исправить дело. Надо сказать, что усилия ученых не прошли бесследно — совсем недавно Евросоюз принял так называемый план S, согласно которому к 2020 году в Европе должна радикально измениться система научной коммуникации и публикации статей4.

Доступ для всех

Конфронтация с издательствами стала важным доказательством того, что общественные инициативы ученых могут влиять на происходящее. В борьбе за свободные публикации приверженцы открытой науки начали осознавать, что и многие другие составляющие научной работы должны быть более доступны. В первую очередь это касается организации доступа к собираемым учеными данным (хотя концепция открытого доступа к данным начала формулироваться и раньше, в конце ­1960-х). Для поддержки подобных инициатив сейчас проходят международные мероприятия — среди таких инициатив ежегодный День открытых данных5, в 2019 году он проходил 2 марта. Очень важно также отметить движение в сторону обязательного депонирования данных в открытых источниках: например, некоторые российские журналы в области биологии и генетики, по примеру аналогичных англоязычных журналов, требуют от авторов выкладывать первичные данные генетических исследований в открытые базы данных типа NCBI6.

Не пытайтесь повторить в домашних условиях

Среди проблем, активно обсуждаемых в рамках представлений об открытой науке, одной из важнейших можно считать проблему воспроизводимости научного знания. Это не новая для науки проблема. Еще в XVII веке Роберт Бойль в споре с Томасом Гоббсом ссылался на воспроизводимость результата как на основной критерий получаемого результата. В ХХI веке одним из первых о проблемах воспроизводимости вновь заговорил медицинский статистик Джон Иоаннидис (J. Ioannidis), опубликовавший в 2005 году статью с названием“Why most published research are false”7. Он показал, что большинство публикуемых в настоящее время данных в области медицины часто не воспроизводятся в независимых исследованиях. Позже этот результат был подтвержден на практике компанией Bayer, которая сообщила, что в своих лабораториях не смогла воспроизвести примерно 2/3 из 67 исследований в сфере биотехнологий, опубликованных в рецензируемых журналах с высоким рейтингом8.

В начале 2010-х годов группа исследователей-психологов под руководством Брайана Нозека запустила проект по воспроизведению сотни отобранных экспертами психологических исследований. В 2015 году эта инициатива завершилась резонансной и неутешительной публикацией9. Авторам не удалось воспроизвести больше половины из выбранных экспериментов, а в половине воспроизведенных работ размер полученных эффектов был примерно вдвое меньше, чем в оригинальных публикациях.

Болезнь века

С точки зрения исследователей, придерживающихся принципов открытой науки, проблема воспроизводимости — системная болезнь существующей организации научной работы. Развитие этой болезни связывают с ростом во второй половине XX века числа ученых и появлением многочисленных институтов, где наука существовала отдельно от высшего образования. Сложившаяся система поддержки исследований с помощью грантов и выход на первый план публикационной активности как мерила качественности научной работы привели к движению по кругу: «грант — сбор материала — исследование — публикация — грант».

У проблемы воспроизводимости можно выделить четыре основных предпосылки. Первая и наиболее важная — это так называемый публикационный сдвиг (publication bias) — стремление журналов публиковать в первую очередь (или исключительно) результаты тех работ, где получены положительные результаты, т. е. где авторы смогли подтвердить выдвинутую ими гипотезу. Следующая проблема — p-hacking — набор методов «взлома» статистических выводов в рамках парадигмы проверки гипотез, т. е. «манипуляций с данными и расчетами для достижения формальной статистической значимости результатов». Далее следует HARKing — что буквально означает «выдвижение гипотез, когда результаты известны» (Hypothesis After Results are Known — HARK): подведение гипотез своего исследования к получившимся результатам, что ведет к искажению интерпретации статистических выводов10.

На последнем месте стоит проблема низкой статистической мощности экспериментов, характерная для большинства исследований, в которых данные получены в работе с живыми организмами. Эти упущения могут быть как частью сознательного обмана, к которому, к сожалению, прибегает значимая часть исследователей11, так и частью неотрефлексированных ошибок в анализе данных. Однако в любом случае все они ведут к снижению адекватности и достоверности получаемых в научной работе выводов.

Важно отметить, что многие из этих проблемных мест современной науки сложились и были отмечены в том или ином виде еще в 1970-е годы. Так, к вопросу о publication bias, также называемом file drawer problem, обращается Стерлинг12; проблеме недостатка статистической мощности большого числа исследований посвящена классическая работа Коэна13; экономические и политические мотивы увеличения числа публикаций в ущерб надежности результатов раскрывает в своем эссе Форшер14; развивает эту мысль Мил в тексте о хорошо публикуемых неожиданных, порой ­контринтуитивных анекдотических результатах15; о проблеме применения индукции в научных работах и слабом теоретическом обеспечении пишет Платт, и, наконец, Лайккен16, обобщая многое из перечисленного, еще в 1968 году заявил о необходимости внимания к методологии, о бессмысленности статистических выводов per se, в отрыве от научного процесса, и обозначил потребность науки в репликации ключевых исследований17.

Новый век

Одним из результатов многочисленных дискуссий о проблеме воспроизводимости научного знания стало появление нового формата научных публикаций. По-английски этот формат получил название preregistered studies. В качестве кальки с английского в русском языке этот формат часто называют «пререгистрированные исследования», хотя нам кажется более удачным термин «заявленные исследования».

Заявленные исследования — попытка одновременно решить все четыре проблемы. Суть этого подхода заключается в изменении способа взаимодействия журнала и автора. Если в классическом варианте автор посылает в журнал уже готовую работу, которая затем рецензируется независимыми экспертами, то в случае заявленных исследований этап рецензирования происходит раньше — на этапе планирования эксперимента. Кроме обоснования актуальности и новизны исследования, рецензированию подвергается дизайн эксперимента, размер выборки, количество повторностей и планируемая статистическая обработка данных. Если эксперты оценивают эти пункты как соответствующие поставленной цели и отвечающие нормам данной области знания, журнал выдает авторам «принципиальное согласие на публикацию» (in-principle-acceptance), т. е. обещание напечатать статью, если работа будет проведена в соответствии с принятым планом. В таком случае и у авторов, и у журналов пропадает необходимость публиковать работы только с положительными результатами (снижение публикационного сдвига), все гипотезы выдвинуты заранее (исчезает HARKing), процедура анализа утверждена — т. е. остается меньше возможностей для p-hacking, повышается статистическая мощность исследований.

Конечно, работа часто выходит за границы заранее намеченного плана и может требовать и нового сбора данных, и новых методов анализа. Формат заявленных исследований не предполагает, что никаких изменений по ходу работы над статьей вносить нельзя. Выходящие за план исследования пункты также включаются в статью, только уже в отдельном пункте — «эксплораторное исследование». Его результаты могут оказываться даже важнее основной части. Но подчеркивается их предварительность — т. е. необходимость перепроверить результаты в отдельном исследовании, которое также может быть выполнено в формате заявленной работы.

Практическое применение

Сегодня публикации в форме заявленных исследований доступны уже более чем в ста международных журналах (полный список регулярно обновляется18). В 2018 году вместе с другими инициативными учеными мы попробовали претворить этот формат в жизнь и в российском журнале. Третий выпуск журнала «Теоретическая и экспериментальная психология» за 2018 год был целиком посвящен именно такому типу исследований. Подготовка специального выпуска состояла из нескольких этапов. Выпуск рекламировался в соцсетях, на профильных мероприятиях (школах, конференциях) и с помощью рассылок внутри профессиональных сообществ. К участию приглашались ученые, занимающиеся психологическими исследованиями. Первоначальную заявку на участие в проекте подали около 30 команд. На первый этап — слепое рецензирование текстов заявок — было подано 15 работ. На втором этапе авторам заявок, получивших рецензии (и изменивших в соответствии с ними свои первоначальные планы), было дано примерно полгода на проведение исследований. В итоге из 15 заявок только восемь коллективов предоставили результаты исследований, которые и были опубликованы в данном выпуске.

Ценность таких работ, опубликованных в экспериментальном формате, покажет только время и будущая оценка со стороны научного сообщества. Однако уже сейчас видно, что этот подход дает исследователям как минимум бо́льшую свободу заявлять о своих неудачах. Из всех проектов, реализованных авторами спецвыпуска, примерно 50% результатов оказались отрицательными (что вполне согласуется с представлениями о наличии публикационного сдвига). Возможно, это позволит сэкономить время будущим исследователям, которым не придется наступать на кем-то уже проверенные грабли. Но главное, что таким образом процесс получения знания становится более прозрачным и честным.

Ученые всех стран, объединяйтесь!

Хотя заявленные исследования ведут к увеличению количества исследований, гипотезы которых не подтверждаются, в целом принципы открытой науки дают вполне положительные результаты. Так, например, опубликованные статьи с открытым доступом коррелируют с количеством цитирований19, а еще такие статьи привлекают больше внимания медиа20. Публикация статей в виде препринтов может приводить к более тщательному анализу слабых областей исследований и тем самым улучшать их качество. Кроме того, практики открытой науки помогают увеличить воспроизводимость исследований и формировать горизонтальные научные связи между учеными21. Некоторые апологеты этого движения даже считают, что открытая наука повышает творческий потенциал ученых, освобождая их от жестких рамок современной научной бюрократии22.

Мы верим, что принципы открытой науки могут оказаться полезными для ученых с очень разными задачами и бэкграундом. Этой статьей мы предлагаем объединяться тем, кто верит в этот принцип. Осенью 2019 года планируется проведение серии встреч, посвященных развитию инициатив открытой науки среди ученых в России. Хотите участвовать в таких встречах — пишите на openscience.russia@gmail.com.

Илья Захаров, cт. науч. сотр. Психологического института РАО;
Илья Гордеев, ст. науч. сотр. ВНИРО, МГУ им. Ломоносова;
Тимофей Чернов, ст. науч. сотр. Почвенного института им. Докучаева


1 Munafò M. R., Nosek B. A., Bishop D. V. M., Button K. S., Chambers C. D., Percie du Sert N.,… Ioannidis J. P. A. A manifesto for reproducible science // Nature Human Behaviour. 2017. Vol. 1(1). 0021 — doi.org/10.1038/s41562-016-0021.

2 Напр. sci-hub.se, gen.lib.rus.ec, unpaywall.org

3 biorxiv.org, psyarxiv.com

4 trv-science.ru/10-principov-plana-s-eu/

5 opendataday.org

6 ncbi.nlm.nih.gov

7 Ioannidis J. P. A. Why most published research findings are false // PLOS Medicine. 2005. Vol. 2(8). e124 — doi.org/10.1371/journal.pmed.0020124

8 Prinz F., Schlange T., & Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? // Nature Reviews Drug Discovery. 2011. Vol. 10(9). P. 712 — doi.org/10.1038/nrd3439-c1

9 Collaborators (270). Open Science Collaboration. Estimating the reproducibility of psychological science // Science. 2015. Vol. 349(6251) — doi.org/10.1126/science.aac4716

10 Kerr N. L. HARKing: Hypothesizing after the results are known // Personality and Social Psychology Review. 1998. Vol. 2(3). P. 196–217 — doi.org/10.1207/s15327957pspr0203_4
doi.org/10.1037/gpr0000128

11 Rubin M. When does HARKing hurt? Identifying when different types of undisclosed post hoc hypothesizing harm scientific progress // Review of General Psychology. 2017. Vol. 21(4). P. 308–320 — doi.org/10.1016/j.tics.2014.02.010

12 Ioannidis J. P. A., Munafò M. R., Fusar-Poli P., Nosek B. A., & David S. P. Publication and other reporting biases in cognitive sciences: detection, prevalence, and prevention // Trends in Cognitive Sciences. 2014. Vol. 18(5). P. 235–241 — doi.org/10.2307/2282137
Sterling T. D. Publication decisions and their possible effects on inferences drawn from tests of significance — or vice versa // Journal of the American Statistical Association. 1959.Vol. 54(285).P. 30–34 — doi.org/10.1037/0033-2909.86.3.638

13 Rosenthal R. The file drawer problem and tolerance for null results // Psychological Bulletin. 1979. Vol. 86(3). P. 638–641 — doi.org/10.1037/h0045186

14 Cohen J. The statistical power of abnormal-social psychological research: A review // The Journal of Abnormal and Social Psychology. 1962. Vol. 65(3). P. 145–153 — doi.org/10.1126/science.142.3590

15 Forscher B. K. Chaos in the Brickyard // Science. 1963. Vol. 142(3590). P. 339 — doi.org/10.1086/288135

16 Meehl P. E. Theory-testing in psychology and physics: A methodological paradox // Philosophy of Science. 1967. Vol. 34(2). P. 103–115 — doi.org/10.1126/science.146.3642.347

17 Platt J. R. Strong Inference: Certain systematic methods of scientific thinking may produce much more rapid progress than others // Science. 1964. Vol. 146(3642). P. 347–353 — doi. org/10.1126/science.146.3642.347.
Lykken D. T. Statistical significance in psychological research // Psychological Bulletin. 1968. Vol. 70(3). P. 151–159.

18 cos.io/rr/

19 McKiernan E. C., Bourne P. E., Brown C. T., Buck S., Kenall A., Lin J.,… & Spies J. R. Point of view: How open science helps researchers succeed // Elife. 2016. 5. e16800.

20 Adie E. Attention! A study of open access vs non-open access articles // Figshare. 2014.

21 Allen C., & Mehler D. M. Open science challenges, benefits and tips in early career and beyond // PLoS biology. 2019. 17(5). DOI: 10.1371/journal.pbio.3000246.

22 Frankenhuis W. E., & Nettle D. Open science is liberating and can foster creativity // Perspectives on Psychological Science. 2018. 13(4). P. 439–447.

Связанные статьи

80 комментариев

    1. Согласен с Вами. Универсальные рецепты ка правило исходят от людей с весьма незначительным научным кругозором.

  1. «Подвергаются улучшению и совершенствованию» — это прекрасно. Стало быть, раз я/ты/он этого не замечают…

    Турбулентность не та среда, в которой можно всерьез говорить о направлении движения.

  2. Честно говоря, мне вообще не понятно, причем тут журналы и воспроизводимость. Она зависит не от того, где и как ты что то опубликуешь, а от организации самого научного процесса и сообщества. Например, у нас в археологии пока не будет открыт свободный доступ к коллекциям и отчетам, даже говорить о чем то похожем не имеет смысла, и никакой экспертизы объективной невозможно, не то что перепроверки выводов. А причем тут журналы, вообще не догоняю

  3. По моему глубокому убеждению это тот случай, когда лекарство хуже болезни. В моей области любят говорить, что когда работа закончена, становится ясно, как ее надо было делать с самого начала. Обычно исследование ведется пошагово, то есть результаты одних экспериментов определяют дизайн следующих. Как можно заранее знать объем выборки? Иногда эффект очевиден, и хватает пяти опытов. А если объект ведет себя сложным образом, надо ставить сотню опытов.

    Но это еще цветочки. Принципиальный порок предлагаемого подхода в том, что исчезает нацеленность на результат вообще. Если план утвердили, становится неважно, что вообще получится. И можно совсем ничего не делать, написать любую лабуду и сделать вывод, что ничего особенного не вышло. Зато статья в кармане. Все равно отрицательный результат никто перепроверять не станет. А даже если станет, я не виноват. Это рецензенты план утвердили.

    Это вообще классический стиль бюрократии. Главное — план работ и смета. Утвердили, деньги освоили, а что там на самом деле было и что на выходе получилось, никому не интересно.

    На самом деле современная система вполне сбалансирована. Заявленное исследование — это же грант в классическом виде. Он именно так пишется и оценивается. Но это на входе. а на выходе все-таки результат, который оценивают редакторы и рецензенты в журналах. И это создает некий баланс. Авторы идеи предлагают результат просто убрать из рассмотрения. Спасибо.

    1. «Как можно заранее знать объем выборки? » Элементарно, объем выборки может браться косвенно (ошибка первого/второго рода не более такой-то величины, общий объем выборки не менее такой-то). «Обычно исследование ведется пошагово, то есть результаты одних экспериментов определяют дизайн следующих. » каждое исследование — отдельный результат (статья). Проблема решена. «Если план утвердили, становится неважно, что вообще получится. И можно совсем ничего не делать, написать любую лабуду и сделать вывод, что ничего особенного не вышло.» Во-первых, лабуду можно писать и без утверждения (так и делают многие), во-вторых, в процессе анализа требуется проверить и ценность результата. Зачем делать исследование, коль на выходе лабуду. В-третьих, «… если исследование выполнялось как было заявлено»…

      1. Флаг в руки решать такие проблемы и писать такие статьи. У ученых обычно хватает и научных проблем. Не вижу абсолютно никакого смысла в двойном бумагомарании. Сначала писать план, потом по нему отчет-статью. Особенно если нет результата. ИМХО, такое может быть интересно тем, у кого дефицит научных результатов.

  4. Формат «preregistered studies» выглядит все же очень неоднозначно. Согласен с комментариями выше – такой подход будет слабо ориентирован на положительный результат. Сейчас наука больше ориентирована на положительный результат, что порождает издержки (вплоть до намеренных искажений), но, одновременно, заставляет искать решение (оценивать проблему с разных сторон, модифицировать гипотезы и методы проверки и т.д.). А система «preregistered studies» будет ориентирована скорее на формальное следование заявленному; т.е. слабеет мотивация что-то корректировать, предварительно проверять десятки вариантов экспериментов, пока не найдешь рабочий… По-крайней мере, если результат работы в фундаментальной области – по-прежнему, научная статья (и это важный фактор для получения финансирования), то статьи можно будет получать просто предлагая красивый и обоснованный план, а затем – последовательно его выполняя, пусть даже будет видно, что это ни к чему не ведет.

    В результате, вероятно, уменьшится количество преднамеренных и непреднамеренных искажений. Зато вырастет количество «пустой» работы. Понятно, что «отрицательный результат, тоже результат». Но если таких результатов станет слишком много, такого рода работы оттянут на себя большое количество ресурсов и будут скорее замедлять развитие науки. На мой взгляд, получается дилемма – либо все развивается быстро, но со значительными издержками и искажениями, либо с высокой степенью надежности, но намного медленнее.

    Есть еще один важный момент. Формат «preregistered studies» почти наверняка обрежет возможность для исследований, выходящих за принятые рамки. Например, длительное время эффект малых доз радиации был слабо исследованным. Казалось бы – построили дозовую кривую, дошли до отсутствия эффекта, какой-либо необходимости исследовать влияние более низких доз нет. Однако временами появлялись работы, где эту область исследовали. Такие работы воспринимались скептически, но все равно – иногда они проходили и постепенно меняли общие представления. Проходили потому, что обоснование – зачем исследовать этот диапазон – могло быть не очень убедительным, но наличие эффекта придавало исследованию определенный «вес». Если бы действовал принцип «preregistered studies», то такие исследования просто бы не пропускались рецензентами, причем вполне оправданно (трудно обосновать исследования в области, где эффекта вроде как быть не должно).

    Таким образом, «preregistered studies» выглядит весьма опасным лекарством…

    1. И еще мне совершенно непонятно, зачем эта морока самому ученому. Если человек нормально ведет исследования и получает приличные результаты, для него все эти заявленные исследования — просто лишний геморрой и дополнительные ограничения.

      1. А цель здесь, похоже, и не ученый. Скорее попытка придумать идеальные правила, направленные на то, чтобы любой ценой исключить осознанную или неосознанную некорректность исследований. Тут мне кажется – есть развилка в понимании, что ключевое в науке: минимизация риска, что кто-то сделает что-то некорректно или все-таки развитие, получение положительного результата (с закономерными издержками – в виде риска некорректных вещей).

        Здесь интересно взглянуть с точки зрения людей вне науки. Конечно, им не нужны неадекватные результаты; но получение новых положительных результатов с перспективами прикладного применения – такое даже очень нужно. А вот создание системы, где можно тратить ресурсы, стабильно получая отрицательные результаты…. Какая польза от этого людям не из науки – непонятно. А именно эти люди и платят налоги…

        1. Эти идеи (пардон) типичны для леваков-социалистов. Корень описываемых ими вполне реальных проблем в конкурентности науки. Да, во всех конкурентных сферах не все играют по правилам fair play. Или по-разному их понимают. Лево-социалистический подход к решению таких проблем в том, чтобы убить саму конкурентную среду.

          1. Но после убийства конкурентной среды — возникает застой, а не идеальная среда для развития науки. Хорошо вижу на примере университета, где работаю. Значительное число неглупых людей годами доводят до идеала ту или иную работу. При этом не пытаются публиковаться в приличных журналах, ибо сложно и «недостаточно уверены в надежности своих результатов».

            И возникает парадоксальная ситуация — довольно-таки неуклюжие действия министерства и университетского руководства, направленные на то, чтобы заставить активнее публиковаться — играют благую роль: заставляют людей как-то выйти из «башни из слоновой кости» и воплотить результат в публикацию.

            1. 100% согласен. Отсутствие конкуренции убивает научный поиск и способствует только росту пустой работы по типу план-отчет. От этих пустых работ с бесконечным пережевыванием одного и того же уже тошнит. Борьба за результат и признание оного всегда сопряжена с известными издержками. Но тут результат в конечном итоге хоть появляется.

  5. Здесь вот еще какой фактор. Распределение рисков и пряников. Когда ученый затевает какое-то исследование, он понимает, что в случае успеха это будет его результат и он получит с этого причитающиеся пряники. Но если ничего не выйдет, его работа уйдет в мусор. Предлагаемая модель перекладывает риски на редакторов и рецензентов. А ученый все равно свою статейку получит. Редакторам оно надо? В этом режиме они будут брать только те планируемые работы, где результат гарантирован. Но с публикацией таких работ и сейчас нет проблем.

    1. Denny, мне вспоминаются Ваши тезисы о том, что бюрократия сама по себе не может эффективно решать сложные проблемы, в том числе научные.
      И здесь происходит то же самое: главная цель, а именно проверка альтернативных гипотез, спорных моментов и новых подходов, плавно утекла сквозь пальцы. Анализируем, составляем план и публикуемся по нему. А неожиданные и спорные результаты, возникающие во время исследований, будут отбрасываться с еще большим рвением, чем при действующей системе. Мол, по плану не входит, а затягивать и ковыряться смысла нет.

  6. Присоединяюсь к предыдущим комментаторам — Владимиру, Denny и Tony.

  7. Очень интересная статья. И по-моему, актуальная. Научные журналы, действительно, озаботились проблемой воспроизводимости данных. Мы недавно столкнулись с требованиями журнала поместить полученные данные в открытом репозитории. И предложением и опубликовать репринт статьи. Более того, есть публикации типа «10 способов (принципов) сделать ваши даные открытыми)».

  8. Спасибо всем большое за комментарии к статье!
    Хочется на них ответить, чтобы картина получилась более полной. Во-первых, конечно, формат preregistered Studies не для всех областей подходит, в разных сферах будут свои особенности. Но уверен, что в тех областях, которые касаются не только психологии, но и биологии и медицины — это полезное дело (именно поэтому у статьи авторы из трех разных областей).
    Во-вторых, про то, что не все возможно предсказать заранее. Все, конечно, невозможно, но вот как раз размер выборки оценить можно, для этого существуют разные подходы, в которых на основании или предыдущих данных, или экспертных оценок это сделать как раз можно и для этого есть доступные для исследователей инструменты (например, автоматический калькулятор мощности GPower — http://www.gpower.hhu.de/). В-третьих, стоит еще уточнить, что формат не запрещает делать ничего сверх заявленного заранее. Это допустимо, и даже может быть необходимо, но должно быть описано в отдельной части статьи, которая будет называться exploratory study/analysis. Там можно описать любые вещи, которые стали понятны только в ходе работы и анализа. Разделить preregistered и exploratory как раз и стоит для того, чтобы в будущих исследованиях неожиданно сработавшая часть была перепроверена. Ну и про то, что пропадет нацеленность на результат — кажется, такая проблема есть и сейчас, когда для большого количества ученых (и фондов) результат — это в первую очередь публикация статьи, а не реальное научное знание или технология.
    В любом случае, спасибо всем за критические замечания! Если кому-то будет интересно продолжить обсуждение — мы планируем осенью организовать оффлайн-встречи, где это можно будет сделать, как раз с учетом специфики разных областей науки, особенностей занятий наукой в России и т.п.

    1. Дело не в области науки (я сам биолог). Дело в направленности конкретного исследования. Предлагаемый формат подходит для ОПИСАТЕЛЬНЫХ работ. Когда надо, точно следуя методике, описать некоторый круг явлений. Систематически набрать и обработать большой материал. Такие работы, несмотря на неказистый вид, бывают очень полезны. Ценность таких работ не в новациях, а именно в масштабе и системности. Возможно, предлагаемый подход к публикациям займет эту нишу, в которой действительно работать тяжело. ИМХО, было бы неплохо журналам иметь такую секцию, одна-две статьи в номере.

      Но вот для аналитических и поисковых работ это не годится. От слова совсем.

      1. Я абсолютно согласен, что это не формат на все случаи жизни. Но в нашей сфере он кажется очень подходящим как раз для поисковых работ, потому что мотивирует исследователей более корректно и подробно описывать, как именно поиск происходил. К тому же, такой формат может помочь фиксировать, как именно уже пробовали искать и не получилось, чтобы люди не наступали на грабли, на которые кто-то уже наступил.

        1. Поисковая работа, в которой ничего не нашли — это и есть описательная работа. ИМХО, Вы просто не видите, как это будет работать на практике. На практике, если ввести такую обязаловку, люди будут просто составлять «план» заявки по уже выполненной работе. То есть будут делать просто двойную работу.

          1. Это если исследователи захотят получать смысловой результат. Или хуже — будут писать план работ, заведомо понимая, что скорее всего ничего не получится. Если какой-то положительный результат с них требовать не будут.

          2. Сейчас иаенно такая ситуация с грантами рффи и рнф. Составляется по уже выполненной работе. Иначе эксперты скажут… да у ниъ же нет задела

            1. Ну я бы не стал смешивать задел и написание результатов в заявке по уже выполненной работе.

              Задел — означает, что у исследователя есть опыт работы в близкой сфере. Причем степень близости может варьировать. В принципе — задел может быть не так уж велик, задел может быть — в несколько других областях. В конце концов — задел демонстрирует не только, что сделано по этой конкретной теме, но скорее — насколько исследователи успешно работают в области, так или иначе связанной с заявленной темой, насколько получают публикабельные результаты.

              А писать план работ по уже выполненной работе — это другое. Тут обратная ситуация — если есть выполненные работы, которые планируется включить в результаты гранта — то их точно не нужно в задел. Ну и делают так (далеко не все и не всегда) — скорее для надежности, чтобы гарантировано получить результат (в первый год или вообще). Но делать так — совершенно не обязательно.

    2. Согласен с предыдущим комментарием, насчет применимости такой системы для описательных работ, а не для аналитических и поисковых работ.

      Кроме того был бы интересен ответ авторов на то возражение, касающееся сильно неожиданных результатов, про которые писал выше на примере малых доз радиации.

      Если кратко — есть результаты, которых вообще сложно ожидать в рамках текущей парадигмы. Например, что дозы и концентрации ниже минимально действующей на дозовой (концентрационной) кривой могут тоже действовать, причем очень по разному. До появления представления о малых дозах — это казалось скорее ересью.

      Однако, если исследователь по каким-то причинам все-таки изучил эту область (мотивация может быть какая угодно, вплоть до наития, неважно) и получил результат, у него был какой-то шанс опубликоваться. Ибо результаты говорили сами за себя и могли — хотя бы в некоторых случаях — убедить рецензентов. Если же исследователь заявляет план работ, который выходит за рамки парадигмы, его закономерно отвергают. Просто потому, что строго обосновать необходимость этого — практически невозможно. Т.е. в новой системе останется лишь совсем уж отчаянно «маневрировать». Например — для малых доз — заявлять изучение в обычных дозах, потом — писать, что по какой-то причине залезли в малые — и получили результат. В рамках секции «exploratory study/analysis». Подозреваю, исследователи справятся и с этим, просто будет еще больше лукавства в логике изложения результатов (не в самих результатах, надеюсь).

        1. Вообще-то гормезис активно изучается, получаются результаты на разных объектах, проводятся более или менее успешные попытки мета-анализа…

          Совсем «навскидку»:
          https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5343816/
          Или еще интересный исторический обзор по дискуссии о модели действия радиации в низких дозах:
          https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5187834/#B97-ijms-17-02034

          Ну и от себя (хотя я не специалист в этой области) — в случае эффекта с экстремумом и при наличии посредника (АФК, например), как мне кажется, с помощью достаточно простой математической модели можно показать, что эффект будет казаться слабым или отсутствующим при одном дизайне эксперимента, но будет очень хорошо виден — при другом.

          В общем — утверждение про «ересь» и отсутствие воспроизводимых данных мне кажется скорее неверным.

      1. Продублирую здесь про поисковые работы
        Вот пример того, как могут выглядеть поисковые исследования в таком формате
        https://www.sciencedirect.com/…/pii/S0010945217302393
        И вот более подробные обсуждения этого вопроса
        https://twitter.com/chrisdc77/status/1156118518464700416?s=19

        А про неожиданные результаты — заявленные исследования не запрещают описывать неожиданные результаты, в данном случае акцент на том, чтобы помещать ожидаемое и неожиданное в разные части статьи. Чтобы другим исследователям было понятнее, какую часть работы имеет смысл тщательно перепроверять и воспроизводить в независимых условиях.

        1. Просмотрел статью, на которую ссылаются в обсуждении:
          https://www.sciencedirect.com/science/article/pii/S0010945219302424?via%3Dihub#tbl1
          До конца не понял — в чем принципиальные отличия от обычной статьи? Только не анализируют статистическую значимость различий, особо; например, не оценивают достоверность корреляций Пирсона (хотя здесь — вроде ничего не мешает).

          В общей же статье (McIntosh, 2017) — очень смутно даются контуры этих исследовательских статей. С одной стороны — все должно быть более строгим, с другой — просто высокого уровня значимости различий недостаточно и от него вообще лучше отказаться («Compelling evidence is not satisfied merely by small p-values. Indeed, conventional significance testing is arguably meaningless in the exploratory mode, and we would welcome submissions with no p values at all. Instead, we urge authors to show their data as fully as possible, using visualisation to allow the reader into the detail of the dataset (Tukey, 1970), and parameter estimation to aid confirmatory follow-ups (Cumming, 2014)»). Много подчеркивается вариативность путей получения знаний…

          В общем — рецензентам таких статей — не позавидуешь; думаю, все будет еще сильнее зависеть от личных представлений о научности редактора и рецензентов. Что хорошо согласуется и с фразой из правил для авторов по такой форме статьи ( «These
          guidelines are indicative only, and the criteria for publication may be weighted differently in
          different cases»).

          В целом же — есть некий эксперимент с форматами статей, причем с очень смутными контурами нового формата. Учитывая, что с 2017 г. — если ничего не пропустил — в том же Cortex было опубликовано 9 Registered Reports (1 — 2017, 4 — 2018, 4 — 2019 г) и 1 Exploratory Report на сотни обычных Research Reports, статистика такого эксперимента крайне ограничена. К сожалению, сейчас нет «под рукой» доступа в WoS, чтобы сравнив со статьями тех же выпусков — оценить стала лучше ли цитируемость у таких статей (для «грубой» оценки качества)? Попытался еще оценить долю Registered Reports в BMC-Biology и BMC-Medicine — там оказалось, что такой статус вообще не находится в списке статей (возможно, не указывают).

          Будут ли эти экспериментальные форматы чем-то лучше классического формата — большой вопрос. В принципе — поиск новых решений — дело, возможно, имеющее смысл, но дальше все должно быть эволюционно. Если за какой-то разумный срок такие статьи окажутся в среднем более цитируемыми нежели аналогичные (в том же журнале, примерно в том же направлении), если они будут востребованы авторами — одна ситуация. А если это решение окажется неэффективным (как и большинство новых идей и решений) — другая ситуация. Возможно, впрочем, так и будет — ибо издателям вряд ли нужны форматы статей, снижающие импакт-факторы их изданий, а значит — и уменьшающие их коммерческую эффективность…

        2. Это как раз пример того как происходит подмена понятий….
          Рекламируя свои работы в социальных сетях ты больше людей привлекаешь, чем просто опубликовав статью. Они несколько лет к этому ресурсу шли. Когда увидели, что в архиве статьи перестали получать необходимый отклик… придумали другой критерий. Вот если правильные доценты упомянули какую то статью в этом ресурсе…. тогда она хорошая.
          Парадоксальная ситуация возникает. Интернет вроде должен рушить границы и давать возможность открытости. Вместо этого постоянно идёт создание новых ограничений.
          Постоянно появляются новые критерии оценки. Вот если там не упомянули.. то статьи нет….

          1. Как уже говорилось — нужен фильтр. Детально разбираться со всем подряд (даже в своей, относительно «узкой» области) — не хватит времени. А журнал выполняет роль первичного фильтра. Неидеального и именно первичного, дальше оцениваешь по существу.

  9. Авторы ни словом не обмолвились о еще одном набирающем силу направлении повышения надежности полученных результатов. Сейчас наиболее важные выводы перепроверяются во многих независимых исследованиях, а затем проводится мета-анализ, позволяющий с уверенностью сказать, насколько высока надежность результата. Этот метод особенно широко используется в психологии. Об этом методе авторы должны были знать, поскольку один из авторов — психолог.

    1. Верно! Метаанализ хорош ещё тем, что делает написание обзоров довольно осмысленным занятием и обеспечивает преемственность знаний и целостность науки. Но он и труден конечно же, особенно для ленивых и увлекающихся экспериментаторов, которым легче наворотить своего, чем читать чужое (сужу по себе) :) Для темы статьи важно ещё то, что само планирование эксперимента вполне может основываться на результатах метаанализа: например, имеет смысл предварительно оценивать возможную величину эффекта по результатам ранее выполненных исследований и, исходя из её оценки, закладывать размер выборки/число измерений.
      Также в работе странно расставлены акценты, так что складывается впечатление, что <> — что-то плохое. На самом деле под отрицательным результатом в подавляющем большинстве случаев подразумевают ситуацию, когда нет оснований отвергать нулевую гипотезу. Многие исследования как раз и направлены на то, чтобы показать, что различий нет — взять хотя бы классический четырёхклеточный план с повторными измерениями на контрольной и экспериментальной выборках. В идеале в этом случае экспериментальной выборке изменения есть, а в контрольной их нет. Ну или наоборот. Однако ситуация, в которой экспериментальная группа не отличается от контрольной, тоже важна (например, при тестировании фуфломицинов или сомнительных психотерапевтических практик), и именно здесь особую ценность приобретает планирование эксперимента — обеспечил ли исследователь достаточную мощность сиречь чувствительность применяемого критерия, чтобы он мог обнаружить различия, когда они действительно есть? Это конечно хакается запредельным увеличением выборки — рано или поздно значимый эффект возникнет — но тут в бой вступает \textbf{величина эффекта}, которая при действительном отсутствии различий с огромной вероятностью окажется чрезвычайно малой и не заслуживающей рассмотрения. Да и просто видно, что выборка слишком большая, к чему бы? Всё это давно уже является классикой, взять хотя бы работы Дж. Коэна 80-х годов, так и не изданные на русском языке к сожалению. Так что нежелательность отрицательного результата — это какая-то архаика, да простят меня авторы, с одним из которых — Ильёй — я кажется пересекался на ECVP:)
      Статья, безусловно, очень ценная, и подход к исследованиям, предложенный в ней, является для биологии, медицины и психологии намного меньшим злом, чем сложившиеся практики погони за p-уровнями и <>. К сожалению, он пока довольно плохо разработан и не универсален — например, для многих типов эксперимента просто не существует общепринятых методов планирования. Попробуйте тем же вышеупомянутым G*Powerом оценить мощность дисперсионного анализа с более чем 2-я зависимыми измерениями… Математикам вся эта возня, как кажется, уже давно до лампочки, а вот большинству психологов например будет сложновато сделать Монте-Карло-симуляцию будущего эксперимента на компьютере. С точки зрения изложенного подхода становятся сомнительными и многие классические приёмы измерений на малой выборке, выработанные той же психофизикой… Однако решение у обозначенных проблем есть, и оно в основном техническое (и отчасти математическое), так что подход себя оправдает. Со временем:)

      1. Сорри! Двойные латеховские (из стрелочек) кавычки использовал зачем-то, а они обрезались при публикации комментария вместе с содержимым до одинарных стрелочек. В первых по тексту были слова «отрицательный результат», во вторых — «техасской стрельбой».

  10. Ну не знаю… сейчас по мне так нет открытости в науке. Архив публикует только своих.
    Вообще говоря ничего сложного нет чтоб открыть ресурс — где любой может выкладывать свои статьи и получать их оценку. А уже по рейтингу люди бы понимали насколько ценна эта работа.
    Почему оценивать работу должны обязательно какие то выбранные пару людей? Это ведь крайне предвзятая оценка по любому?
    К тому же если взять архив и журналы… очень большое количество людей просто в принципе исключаются. Там перед публикацией — каждый автор проходит фейс контроль…. иногда кажется, что такой подход выгоден самим учёным. Такие статьи больше смахивают на обман и введение в заблуждения. Мол мы за свободу…. ну очень ограниченную свободу…. свободу не для всех.
    Если бы правда хотели сделать то о чём говорят. Сделали бы давно. Сколько можно болтать на эту тему?
    Мне кажется, что людям это не выгодно. Публикации напрямую увязаны с финансами. Если каждый начнёт публиковать и его будут оценивать…. это резко увеличит конкуренцию. И кому это надо?
    Чем меньше продавцов на рынке… тем дороже можно продать товар.

    1. Так ведь «Есть же такая партия». Есть блоговые платформы и соцсети, где легко (не обладая никакими компьютерными навыками) можно размещать что угодно (не нарушающее законодательство). ФБ или WordPress.com, к примеру. Пользуйтесь. Да вы и пользуетесь. Однако вменяемые читатели предпочитают ресурсы, хоть сколько-то очищаемые от мусора и спама (как, кстати, и этот ресурс, где стоит защита от спама и предпринимаются какие-то минимальные действия по блокированию чуши, самопиара, непрошенных ссылок). Собственно, ровно для этого (в своем смысле) разрабатывают и свои хитрые алгоритмы поисковики — чтобы не допустить очевидных злоупотреблений, в результате которых «в топе» окажется вовсе не самое стОящее, а то, для продвижения чего используются самые беспринципные методы (см. «оптимизаторы»). Именно поэтому «просто весь интернет» не воспринимается никем в качестве сборника научных работ, а ученые (да и просто любые держатели разумных ресурсов) всегда как-то что-то фильтруют. И чем более массовой становится аудитория пишущих (например, в Википедии), тем более изощренные правила такой фильтрации и отбора… (Иногда, может, и с ошибками и перехлестами.)

      Причем ценность всей этой фильтрации и зарабатывания репутации прекрасно понимают и все фрики, которые почему-то всеми силами рвутся именно на такие «огороженные ресурсы», вместо того, чтобы довольствоваться соцсетями или же создавать свои сверхзамечательные «открытые для всех» ресурсы. Потому что только так они и могут быть «услышаны», поскольку внимание может привлечь лишь публикация на площадке, заработавшей до этого репутацию своим разумным отбором.

      1. Разумный отбор… наверное подразумевает отбор по разуму. Сейчас идёт же подмена понятий… идёт отбор по степенью правильности доцента. И такой отбор не закрывает от публикации откровенного вранья и бреда. Плохо тут другое. Всё таки человек слаб … и всегда себе создаёт авторитетов.
        И такой отбор да… в правильном месте публикация считается априори верной и правильной… в не правильном месте публикация не верна. И приходится приложить усилия чтоб доказать её верность….
        Вообще то не надо преувеличивать стремление людей попасть на эти правильные ресурсы. Это раньше все получали информацию с одного места. Интернет многое изменил. С точки зрения распространения информации… на правильном ресурсе прочитают человек 20. А в не правильном на десятки тысяч раз больше….
        Тут проблема в другом. Не в том чтоб информацию донести. А то, что с этой информацией будет потом. Формальный подход говорит, что вот если ты свой результат на правильном ресурсе не разместил… то ничего нет. Он не существует. В этом проблема.
        Если ты работаешь в теме. То понять есть ли в работе какая та ценность и верна ли она вообще… для этого достаточно самому прочитать. Ничего нет сложного понять…. проблема не в том чтоб разобраться и написать комментарий к статье где там ошибки. Другие люди отзывы почитают и поймут.
        Как утюг хороший продать… метод этот работает, а как статью… так почему то плохой?
        Нас просто обманывают. Не в мусоре дело. От мусора можно легко и всегда избавиться. Проблема в приоритете и в авторитете. Всегда лучше конкурировать со 100 людьми чем с десятками миллионов. Со 100 в крайнем случае всегда можно договориться….

        1. Ваши гениальные труды не публикует arxiv? Можно совершить тактический манёвр. Arxiv без проблем публикует ординарные статьи студентов. Сочините что-нибудь банальное , выложите в arxive 5-10 таких статей, замаскируйтесь под обыкновенного начинающего автора. А когда редакторы arxiva перестанут обращать пристальное внимание и осуществлять предварительную проверку Ваших обновлений, туда можно будет запостить всё что Вам хочется.

          1. Вы наверное не знакомы с методами публикации там. Требует архив подтверждение личности. Причём не просто от какого то доцента, а от правильного доцента. И такой метод не работает очень давно.
            Как то студенты ВШЭ такой метод применили несколько лет назад. И закончилось это тем, что забанили там всю вышку.
            По идеи интернет создавался как место где могли обсуждаться любые идеи. А закончилось тем, что он разделился на группы со своей идеологически правильной картиной мира (внутри неё). Любой человек с не той идеологией из группы изгоняется и баниться.
            Буквально на глазах возникла такая жёсткая цензура… которая никогда вообще не была. Да, что архив. Зайдите на фейсбук или другие ресурсы или журналы онлайн. Не обязательно взять науку… можно рассмотреть любую область взаимоотношений. Люди стали кучковаться по своим правильным для себя картинам мира. И не важно, что она не верна на 97%…. для их круга это истина. Все попытки как то вразумить их и просто даже обсудить не к чему не приводят. Человека просто банят и слушают самих себя…
            И примеры развития некоторых лженаучных теорий как раз подтверждают это… как движение антипрививочников и сторонников плоской Земли. Именно благодаря возможности изоляции своих идей от критики — их влияние на умы достигло таких масштабов, что уже необходимо применять меры планетарного уровня чтоб их ограничить….
            Критика и конкуренция важна. Если их исключим … всегда будут проблемы. Рано или поздно. А вот как сделать её разумной… вот это и есть самая большая проблема. Чтоб вместе с грязной водой не вылить ребёнка.
            Нужен наверное новый механизм который давал бы возможность появление нового. Знания слишком ценная вещь — чтоб смотреть на то откуда они пришли….

            1. На самом деле есть сообщества с разными правилами. И сервисы практически никогда не бывают в единственном числе, и площадки, форумы, соцсети, и тем более научные и ненаучные издания. Фактически они и проходят непрерывный отбор, и время решит, чья тактика окажется самой эффективной, к чему читатели и авторы больше тянутся. Не говоря уж о том, что за каждым таким случаем стоит некий коллектив людей, в котором свои разборки, личности с разными установками и темпераментами, свои случаи, пробы, ошибки, изменения подходов со временем… Я множество раз наблюдал подобную самоорганизацию и обсуждения, как неизбежно приходит какой-то негативный опыт, после чего, например, становится ясно, что единственный способ не потерять время и нервы — это сцепив зубы «отправлять явных неадекватов в игнор». И если этого не делать, то нормальная работа будет просто разрушаться. Людям благодушным и открытым (но стремящимся что-то реальное сделать) требуется несколько раз серьезно обжечься, чтобы это понять с очевидностью. Ровно так же и в обычной жизни вы должны понимать, что не со всеми людьми можно иметь дело и отзываться на любое обращение, особенно на улице.

              Другое дело, что остается все же некая серая зона, где разные люди и коллективы могут принимать разные решения — кто-то строже, кто-то либеральнее. Соответственно, могут несколько варьироваться и корректироваться эти политики. Может быть и разброс «по настроению» или сугубо субъективные решения, которых желательно избегать. Но сам принцип фильтрации явного хлама и неадекватов — это вопрос выживания.

            2. «Подтверждение личности» обычно требуют при регистрации, это фактически просто проверка адреса электронной почты. Если у модератора arxiva есть сомнение в адекватности присланного текста, он посылает письмо постоянному участнику, предложенному автором, чтобы тот подтвердил что статья вообще о математике. Мне случалось подтверждать это, в случае когда статья была на русском и не содержала формул. Моим студентам как-то без подтверждений верили, можетбыть потому что пишут по английски.

              1. Не знаю — странно часто тут читать некоторые комменты…. заходим в Википедию и там написано, что….
                —- В январе 2004 года в архиве была введена система предварительного подтверждения (англ. endorsement), в соответствии с которой автор, направляющий статью, должен обладать статусом «поручителя» (endorser) или статья должна быть рекомендована другим поручителем; статус поручителя получают автоматически авторы из признанных академических учреждений.
                Это значит, что посторонний не может ничего разместить.
                Понятно, что от хлама надо избавляться, но иметь возможность опубликовать статью… потому, что у тебя есть друган крутой…. по моему через чур…..

                1. Да, Вы правы, в википедии так написано. Что ж, значит студентам НГУ верят на слово. Не запрашивают же они справки с печатью из деканата…

                2. Посторонний, если имеет диплом о высшем образовании, может устроиться на работу в «признанное академическое учреждение», каковых очень много — пожалуй, гораздо больше, чем непризнанных. А если почему-либо не может — то найти «рекомендателя», ну не может не быть у человека, занятого наукой, ни единого знакомого коллеги в академической среде, она безмерна. И уж точно трудно в нынешней жизни указать что-либо более демократическое, чем arxiv — с журнальной точки зрения arxiv просто бесконечно терпим к тому, чего терпеть не следовало бы. Он защищен только одним обстоятельством — масса здоровых публикаций там сильно выше критической. А попытки создания аналогов arxiv в более примитивных (менее точных) науках немедленно приводят либо к полной помойке буквально на уровне wiki, либо к последующему введению гораздо более жестких правил. Отношение к этому зависит от цели. Если цель профессиональная, то есть получение полезного нового знания, то проходной двор неуместен. Если цель — самовыражение, то соцсети и далее везде.

                  1. Никто не говорит, что нужен именно проходной двор. К тому же новое обнаруживается в самых неожиданных местах.
                    Например вот сейчас получило популярность доставка продукции клиенту на место. И там было несколько проблем с оптимизации. Когда обратились к математикам… они решали эти проблемы крайне сложно. Для бизнеса не применимы их методы. Пришлось придумать свои алгоритмы. Они оказались почти оптимальными. И курьер с минимумом вычислений справляется с задачей….
                    Идеи появляются везде и у всех. Прийти и сказать, что мы всех посторонних исключим, а оставим только идеи которые возникают в признанных учебных заведениях… это приведёт только к тормозу прогресса. Сейчас колоссальное количество частных компаний ведут собственные разработки для продвижения собственной продукции. Их потенциал превышает в сотни раз потенциал ВУЗов….
                    Должен быть другой критерий который бы позволил информации пройти. Вот для меня барьер стоит в виде правильного доцента. Он говорит, что формулы нет и быть не может. Сколько ему формулу не показывай… он всё равно будет говорить, что её нет… потому, что она ему не нравиться.
                    Сколько не объясняй всё бесполезно. Они решили, что её быть не может… значит не может.
                    Если хотите как то избавляться от мусора. Нужен какой то другой критерий. Может разместить статью на ресурсе — например в песочнице. И если она получит какое то число одобрений — тогда уже переноситься в открытый доступ всем. Так публикация не будет зависеть от одного человека…. уговорить одного легче …

                    1. Вообще-то «правильных доцентов», то есть людей чьи публикации реферировались в MathReview более полумиллиона.

                    2. Публикация никогда не зависит от одного человека. То есть если Вы нарвались на «площадку», на которой она зависит от одного своеобразного доцента — это совершенно не означает что не существует других «площадок», журнальных в том числе. Единичные примеры никогда ничего не доказывают. В хорошо организованных журналах обычно возможны и диалоги, и более широкие дискуссии. Они могут кончиться не в Вашу (или не в мою) пользу, но на основе аргументов, а не утверждений «быть не может». А если в каком-то случае кончились такими утверждениями — ну так есть другой журнал, третий, десятый… Поиск журналов — это поиск аудитории, лучше и быстрее понимающей результаты в конкретной области. Если область узкая — поиск с нуля сложнее конечно, но это же не приговор, а просто повод для оттачивания своих аргументов.
                      И противопоставлять нас и научные разработки в бизнесе не нужно, их мир живет совершенно по тем же правилам. У многих из нас есть коллабораторы или просто дружественные коллеги, работающие в R&D подразделениях компаний, они публикуются на тех же «площадках» (если считают нужным вообще что-то публиковать), и обычно делают это очень грамотно. А при проведении своих разработок очень часто обращаются в академический сектор за всякой мелочью. И кадры оттуда переманивают, что очень хорошо. Это сообщающиеся сосуды.

                    3. Г.Ц.! Два вопроса к Вам.
                      Вот эта сравнительно недавняя статья в Новой:
                      https://www.novayagazeta.ru/articles/2019/07/29/81409-kak-nayti-eksperta
                      она, эта статья, инициирована в частности Вами?
                      И второй вопрос, довелось ли Вам читать относительно недавно переведенную книгу эмигранта Эдуарда Френкеля «Любовь и математика. Сердце скрытой реальности», в частности страницу 92 главы 6 о математических публикациях в бывшем СССР?
                      Л.К.

                    4. 1 — нет, не мною;
                      2 — ситуация бывшего СССР находится вне системы открытой науки, обсуждаемой выше.

                    5. Я думаю коммент оторван от реальной жизни. Во первых журналов не много где стоит публиковаться. Одно дело когда нужна публикация для гранта, а другое дело когда серьёзное обсуждение. Тут количество журналов резко сокращается.
                      Даже не в очень узкой области… все друг друга знают. Может не лично, но школы точно. И если в этом кругу чьи то идеи считать не правильными…. то об этом знают все. Никто не пропустит.
                      А в Российских журналов к этому ещё накладывается необходимое условие правильности доцента. Если он не правильный то дальше редактора не проходит.
                      Почему доценты упорно говорят о процедуре публикации которой в реальности нет? В этом есть их личная заинтересованность. Если все узнают как там на самом деле происходит — в первую очередь по ним ударит.

                    6. Журналов очень много, гораздо больше, чем было бы нужно. [Разумеется, не российских — эти вообще вне обсуждения.]
                      Фактор привычного конечно важен, но не критичен. Либо аргументы есть — либо нет. Адекватные редакторы, при наличии веских аргументов, публикуют даже несмотря на возражения рецензентов, иногда с редакционным Note.
                      Ответ «мне не встречались такие журналы и такие редакторы» — не проходит. Боюсь что тут одно из двух — либо по принятой в науке системе peer-review, либо на «форуме у М…». Это несовместимые пути.

                    7. Понимаете в чём дело. Перед публикацией автор проходит процесс регистрации. В каждом журнале основная функция редактора понять кто и что за автор. Если он не подходит по стандартам — публикация исключена. Можно сколько угодно говорить. что есть какие то эфимерные хорошие журналы, но это не так. Можно опубликовать на каком нибудь помоечном ресурсе, но в приличный журнал никаких шансов — от слова совсем. Дальше редактора ничего не проходит. Чаще всего он даже рецензенту не отправляет статью.
                      Поэтому в современном мире форумы и остаются единственным способом чего то донести. Кстати… сейчас это стало модным направлением. У тебя есть доступ к журналу. Надо там опубликовать статью по некой теме. Тему делишь на части — по ключевым вопросам. Вопросы размещаешь на форумах. Потом ответы обрабатываешь и оформляешь статью.
                      Так, что эти пути совместимы. Идея всё равно попадает в журнал.

                  2. Госпожа Цирлина!
                    Вынужден взять под защиту господина Лощинина, поскольку, имхо, Вы совершенно не правы, выдавая собственное счастье и везенье (возможно даже при выдающихся научных заслугах) за свод правил для других. Есть примеры математиков мирового класса господ Гротендика и Перельмана, напрочь отвергнутых математическим сообществом в разное время. Есть противоположные прмеры Пола Эрдеша, физика Фреда Хойла и графиста, криптографа, великого антифашиста Уильяма Томаса Татта, который, кстати, начинал как химик (кажется, органик) в предвоенном Кембридже, и лишь стараниями лидера канадской математики Г.С.М. Кокстера стал в Торонто (провинция Онтарио) великим графистом и комбинаторщиком (простите за слэнг!).
                    В эпоху сталинской «целесообразности» и холодной войны двух систем И.М. Виноградов требовал рассмотрения в Стекловке работ ферматистофф, всех до единого, даже написанных на чернильных промокашках.
                    Не худо бы, г-жа Цирлина получше познакомиться с историей точного знания в недавнем СССР / России.
                    Л.К.

                    1. Это Гротендик и Перельман отвергли математическое сообщество, а не наоборот. Видимо у них были на это причины. Как всем известно, тому и другому пытались вручить высшую награду этого сообщества — филдсовскую медаль.

                    2. VNP! Имхо, Вы — не правы.
                      И первого — Гротендика, и второго — Г.Я. Перельмана по сути выгнали, точнее, выдавили с мест работы (о первом написано в «Мозге математика» Давида Рюэля, о втором — выдавливание из питерской Стеклоффки — общепризнанный, общеизвестный факт).
                      Л.К.

                    3. Насчёт » общепризнанности» уже обсуждали. Вы полагаете, что при желании Перельмана его не приняли бы на место профессора в почти любом западном университете?

                    4. Его, Г.Я. Перельмана, выдавили внаглую с насиженного рабочего места, из той обстановки, где ему несказанно везло в постижении истины / смысла. В Вашей жизни случалось, уверен, подобное.
                      Л.К.
                      Про Гротендика прошу Вас прочесть из книжки позднего Рюэля.
                      К.

        2. Где-то собирались провертеть дыру сквозь Землю. Проект обсуждался прямо на улице при большом скоплении народа, чертежи рисовали мелком на стенах и на тротуаре. (c) Стругацкие, Понедельник начинается в субботу

        3. Дело в том, что утюг предназначен для использования в миллионах домохозяйств. Вот там миллионы его и оценивают по достоинству. А научная статья предназначена обычно для довольно узкого круга профессионалов. Мнение миллионов домохозяек значения не имеет.

          То же самое и с конкуренцией. Спортсмены высокого уровня конкурируют с ограниченным кругом соперников такого же уровня. А не с миллионами дворовых футбольных команд. Чемпионами становятся те, кто победил на чемпионате, то есть в правильном месте, куда не так легко попасть.

          1. Нет. Ничего подобного. Спорт как раз сильно отличается от науки. Там есть чёткие параметры для конкуренции. Там человек конкурирует не с миллионами, а с миллиардами. Можешь быстрей пробежать, прыгнуть, ударить…. ты проходишь отбор и конкуренцию. Очень много было примеров когда человек никому не известный за короткое время становился чемпионом….
            В спорте построена мощная система отбора. Принцип простой. Хочешь принять участие в соревновании? Выиграй предыдущее по квалификации. Потом иди на следующий уровень. Каждый уровень исключает претендентов в несколько раз. Система простая, но даёт возможность принимать участие всему населению планеты. И хорошо отсеивает слабых.
            И там никто не смотрит на то какую бумажку ты показываешь…. и на сколько ты заслуженный спортсмен.

            1. Как раз во всем этом наука и спорт похожи. Есть определенные, признанные виды спорта, с определенными правилами. В них надо участвовать и побеждать по правилам. В математике, например, есть проблемы Гильберта, есть «проблемы тысячелетия», одну из которых решил Перельман, и много есть других разных задач, в решении которых математики соревнуются между собой, и кто первым решит, тому и слава, а иногда и премия. Если бы и вы занимались нормальными, общепризнанными задачами и смогли решить какую-то из них, то и вам было бы хорошо. Но вы упорно играете в несуществующий, непризнанный вид спорта и возмущаетесь, что вас не признают чемпионом.

            2. В спорте все то же самое. Чтобы пройти на следующий уровень, нужна бумажка, подтверждающая, что вы прошли предыдущий. На котором судьи оценивают и фиксируют ваш результат и тот факт, что он был достигнут в соответствии с правилами. А без бумажки заслуженного спортсмена — только во дворе… Там все равны и все великие спортсмены.

              Так что все просто. Выиграйте для начала районные соревнования. Получите диплом. Тогда вас пустят играть с большими мальчиками.

              1. Все эти нововведения были бы ничего, но, «…забыли про овраги». Уровень рецензирования падает. Точнее он «коммерциализируется». Выталкивание конкурентов, рассмотрение статей под углом пропуска в гранты, политизирование — много много чего добавилось в последние годы. Здесь можно было бы процитировать десяток комичных отзывов, вспомнить, как молодой паренек теоретик из МIT, только что защитившийся по Дираковским конусам, рецензирует нашу экспериментальную статью по магнетизму и др. Индус молодой перечисляет в отрицательной рецензии: а вы вот этим и этим и этим прибором не измеряли…статью он не читал, но не одобряет)) и на Луну вы не летали))
                И вот проблема в этом. Остальные приспособы возникают такими неловкими и странными потому, что уровень проблемы не понят. Она заключается в механизмах допуска людей до рецензирования. Ну вот, чтобы не вешать собак на других людей, ставлю в пример себя. В магнетизм я пришел лет 10 назад. Статьи были плохие, на ощупь обучался в процессе..Кто-то скажет, что и сейчас они плохие))). Но сейчас я стал понимать, что и 10 лет назад. когда я вообще ничего не знал, мне приходили приглашения быть рецензентом из многих уважаемых журналов. По глупости и невежеству я брался, рецензировал, высказывал свое дурацкое мнение, за которое теперь стыдно)) И вот вопрос в том, какой дурак мне позволил быть рецензентом??? Кому нужно, чтобы без году неделя специалист «честно» рецензировал статьи?
                И вот эта трещина в системе приводит ко всему остальному…Так что все обсуждаемые попытки менять систему — это прикладывать подорожник раковому больному. Тупая категоричность 50-60% рецензентов, научная политизированность, связь грантов с публикациями — это проблема. Хотя и непонятно, как ее решать, попытки припудривать наукометрией заведут в еще худшие дебри, как и новая мода, чтобы я испросил у молодого индуса разрешение на то, можно ли мне вольтметром тыкнуть вот сюда..смешно.

                1. Уточните — какая может быть политизированность в магнетизме?

                  1. Думаю, речь идет о взаимной конкуренции между школами, направлениями, конторами. ИМХО, это важно при распределении грантов. А что касается статей, журналов много. Не зайдет в один, попадет в другой… ведь рецензии пишут те же самые люди, что и статьи. И ничто человеческое им не чуждо.

                  2. не всегда, но бывает и магнетизме))) это когда я одну и ту же статью посылаю с русским коллективом и она отражается еще эдитором без рецензирования, а затем ее же от французов с их участием, и она принимается (JMMM). Это когда эдитор пишет, «вы предлагаете только русских рецензентов», не заглядывая в предложенный список (он уверен в этом только по моей аффилиации). Затем с удивлением обнаруживает, что это не так (EPJ — ушло несколько месяцев на разборки). Это когда статья висит у эдитора до месяца и не отправляется рецензенту с мотивацией «статьи от российских авторов требуют длительной обработки» JMMM.
                    Здесь везде есть отпечаток от предыдущих авторов, создавших увы репутацию до меня…однако кому от этого легче?))) это политизированностью я называю (ну не нацизм же?)))

                2. “Прогресс науки обратно пропорционален числу выходящих журналов.” С качеством рецензирования – то же самое.

          1. Для господина Лощинина в виде «извинения действием»:
            http://lib.mexmat.ru/books/33097/s2
            Обратите внимание на творчество, кажется, румынского по происхождению математика Флорина Люса(ы), также прошу справиться об источнике:
            Вестник Сыктывкарского университета, Сер.1, Вып. 5, стр. 5 — 10.
            С уважением к Вам и Вашим работам,
            Л.К.

            1. Ничего не открывается. И не понятно, что имели ввиду давая ссылки.
              Можете дать более подробные или ссылку на какой нибудь ресурс где можно спокойно обсудить?

                1. Буржуиновые языки я не понимаю, но там судя по всему какая та примитивная линейная система… я пошёл дальше. Умею решать нелинейные системы уравнений.
                  Давайте лучше поговорим на эту тему у Морозова на дискуссионном форуме. Там спокойно и никто не будет мешать.
                  И покажу, что и какого прогресса удалось добиться.

                  1. Уважаемый господин Лощинин!
                    Это, имхо, как в случае тяжелой болезни — Вам нужно искать специалиста. Коим я по так называемому «диофантову анализу» (сокр. «диофантике») не являюсь.
                    Хотя, было дело, использовал в работе — диофантовы неравенства специального вида. Ныне — далеко от моих насущных интересов. Посему — не обессудьте.
                    Л.К.

  11. Если печататься в англоязычных журналах, то там почти всегда квартили высокие. Интересно другое, совершенно, иногда, разная оценка статьи автором и читателями. Вот автору кажется, его статья великая, а цитируют другую, которую он считает проходной. Пазл ))

Добавить комментарий для Владимир Отменить ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *