Отзывчивый проект.

Давненько я не брался за наукометрию, равно как и общедоступные базы данных не анализировал. Но вот, решил вспомнить былые навыки, поковырял базу retractiondatabase.org. Это база, в которой ведётся учёт отзыва статей (retractions) в научных журналах, в которых нашли недочёты сами авторы или доброхоты. Это не всегда признак того, что данные были подделаны, иногда просто добросовестные авторы сами нашли ошибку и заботясь о своей научной репутации предпочитают отозвать статью, пока этого не сделало издательство по просьбам других учёных. Процесс отзыва статей непрозрачный, зависит от внутренней кухни издательств, может занимать годы. Например, статью про мышьяковую жизнь отозвали спустя 15 лет после публикации, хотя о том, что авторы ошиблись стало известно научной общественности сразу после публикации. Статью про безопасность глифосата отозвали только спустя 25 лет. Я знаю примеры статей в самых престижных журналах, которые до сих пор не отозваны, хотя научная общественность уже поняла, что выводам авторов верить нельзя. И на них продолжают ссылаться (кто в курсе, те в отрицательном ключе :) — поэтому топовые журналы (обычно, речь идёт про тройку NSC — Nature, Science, Cell) отзывают статьи очень неохотно, по количеству ссылок ведь определяется рейтинг журнала (impact factor, например, самый популярный до сих пор индекс, несмотря на всю его критику).

В последние десятилетие-два в научной периодике появились новые игроки, которые основывают свою публикационную деятельность на моделях открытого доступа (OA, Open Access) и активно конкурируют с журналами с долгой историей, которые исторически работали по модели подписки на журнал (Subscription model). Эта конкуренция была довольно успешной, что привело к тому, что издательства топовых журналов стали давать возможность опубликоваться в их журналах по модели ОА (Hybrid model) или открыли новые дочерние журналы, работающие только по модели ОА. Консерваторы от научной периодики обычно поливают грязью работающих по открытой модели китайское издательство MDPI, швейцарский издательский дом Frontiers и американские журналы PLoS. Критика состоит в том, что за деньги учёных эти издательства публикуют откровенно плохие работы. Это частично может отражаться на динамике количества отзывов статей (хотя, конечно, сильно зависит от того, насколько охотно издательство отзывает статьи в случае их критики-запросов на ретракт). Так что я решил построить немного инфографики на основе данных из базы отзывов статей, вдруг будут видны какие-то тренды.

Оказалось, что абсолютные значения отзывов малоинформативны, так как журналы отличаются по количеству публикуемых статей в год на два порядка. Больше всех статей публикует Scientific Reports — в 2024 году в нём вышло 31238 статей, за ним идёт c большим отрывом PLoS One с 17646 статьями за тот же год. Сравните с NSC: Nature — 3763, Science — 1758, Cell — 537 за 2024 год (данные взяты отсюда). Поэтому пришлось данные ретрактов нормализовать на общее количество публикуемых журналом статей. Получившийся индекс отзывов (IR, Index of Retractions) оказался весьма низким — около 1% статей отзывается в год во всех научных журналах (имеются в виду статьи за все прошедшие годы издания). Это немного, по сравнению с тем, какие цифры плохой науки озвучивают критики-алармисты. Но, это только отзывы, которые, как мы уже обсудили выше, сильно заниженный показатель реально неверных статей.

Ну что же, а теперь обещанные слайды. Для начала я построил гистограммы отзывов в NSC и журналов тех же издательств, работающих по модели открытого доступа:

Индекс отзыва статей в научных журналах NSC.

Здесь мы видим, что из тройки NSC хуже всех отзывает статьи Nature, вровень с ней идут её OA дочка Nature Communications и ОА дочка Science, журнал Science Advances. Самый плодовитый ОА журнал Scientific Reports (который тоже дочка Нейчи для не самых выдающихся научных работ, в наших кругах обычно считающийся публикационной помойкой) отзывает статьи в той же пропорции, что и престижные Science и Cell. Что же, посмотрим теперь на индекс отзывов у проклинаемых консерваторами MDPI:

Индекс отзыва статей в научных журналах MDPI.

Так как журналы MDPI не имеют давней истории, то динамика отзывов у них растущая. Из взятых мной в анализ журналов (популярные Q1), больше всех отзывает статьи Biology. За последние три года его IF упал в полтора раза, что говорит о том, что  ссылаться на статьи в нём стали меньше, чем раньше — видимо журнал испортил себе репутацию. По сравнению с предыдущей картинкой, видно, что в последние годы (ранее на MDPI смотреть нечего) индекс отзывов у ОА журналов NSC сопоставим с журналами MDPI. Интересно будет посмотреть на дальнейшую динамику — корпус статей журналов MDPI большой и растущий, критика старых статей и долгий процесс отзыва (по моему опыту, больше года даже в случае явного misconduct'а) может привести к тому, что рост индекса отзывов будет продолжаться.

Перейдём к ещё двум важным игрокам в публикации научных статей (обычно менее порицаемых, по сравнению с MDPI), Frontiers и PLoS:

Индекс отзыва статей в научных журналах Frontiers, eLife и eNeuro.

Индекс отзыва статей в научных журналах PLoS.

Обратите внимание на значения по ординате: и PLoS, и Frontiers отзывают гораздо больше статей (IR 0.2 – 1), по сравнению с NSC и MDPI (IR 0.05 – 0.2). Это может отражать как разницу в политике отзыва статей журналами, так и качество статей в них (если второе хотя бы отчасти верно, то MDPI оказывается критичнее к статьям, которые принимает к публикации, чем Frontiers и PLoS). Журнал PLoS Computational Biology не отозвал ни одной статьи c 2012 года, что заставляет задуматься о его текущей политике ретрактов. Журналы eLife и eNeuro (ещё два разных ОА издательства) также почти не отзывают статей. Динамика отзывов в журнале Frontiers in Psychology должна бы призвать его редакцию задуматься.

Напоследок ещё сводная гистограмма популярных мультидисциплинарных ОА журналов разных издательств, показывающая, что по индексу отзыва статей, самым помоечным журналом является с большим отрывом PLoS One, за ним Scientific Reports.

Индекс отзыва статей в научных журналах разных ОА издательств.

Также мне было интересно посмотреть, есть ли какая-то зависимость IR от импакт фактора или общего количества публикуемых статей — оказалось что нет:

Зависимость индекса отзыва статей от импакт фактора.

Зависимость индекса отзыва статей от общего количества публикуемых статей.

Долгая жизнь статьи как валидной хотя и уменьшает вероятность отзыва, но вовсе не гарантирует, что её не отзовут через годы или даже десятилетия:

Зависимость времени жизни статей до отзыва от импакт фактора.

На случай, если кому интересно поанализировать более свежую базу данных ретрактов или продолжить анализ каких-то других факторов, выкладываю скрипт на свой GitHub, пользуйтесь.