Состоялся второй в этом учебном году семинар проектно-учебной группы «Когнитивная психометрика»
31 октября состоялся второй в этом учебном году семинар проектно-учебной группы «Когнитивная психометрика». Семинар был посвящен проблеме роста числа отзывов (retraction) научных статей по всем научным дисциплинам и психологии в частности.
На семинаре проектно-учебной группы «Когнитивная психометрика», состоявшемся 31 октября, обсуждалась проблема отзыва (retraction) научных статей из журналов и увеличения количества таких случаев.
Денисов Илья начал семинар с освещения ситуации с отзывом статей во всех областях науки и в психологии в частности. Так, на основе материалов статей Craig et al. (2020), Koo & Lin (2024) и сайта Retraction Watch (базы данных по отозванным статьям) были представлены выводы о том, что число отзывов растёт, в первую очередь из-за проблем с данными и манипуляций с ними, и подобные проблемы характерны в том числе для влиятельных и популярных журналов (эта особенность характерна именно для журналов по психологии). Что касается общего числа отозванных статей, то, по данным статьи, опубликованной в журнале Nature в декабре 2023 года, в 2023 году таких статей было более 10000 тысяч. При этом, лидерами по числу отозванных статей являются Саудовская Аравия, Пакистан и Россия.
Вызывает также беспокойство то, что число цитирований у статей со статусом ‘retracted’ продолжает расти - это может привести к распространению фальсифицированных данных и принятию решений на их основе.
Далее на семинаре был представлен случай отзыва статьи “High replicability of newly discovered social-behavioural findings is achievable” (Protzko et al., 2023) и дискуссии, развернувшийся вокруг нее и ее отзыва.
Статья “High replicability of newly discovered social-behavioural findings is achievable” была опубликована в ноябре 2023 года в журнале Nature Human Behavior. Cоавторами статьи являются крупные ученые, известные своими работами в области движения за открытую науку и преодоление репликационного кризиса (например, Brian Nosek, Co-founder and Executive Director for Center of Open Science). В статье были представлены результаты долгосрочного проекта, в котором четыре независимых лаборатории проводили репликационные исследования различных эффектов, обнаруженных в ходе своей работы. Каждая лаборатория представила четыре эффекта (например, эффект лейблинга), для каждого из эффектов было проведено конфирматорное исследование на большой выборке и три репликационных исследования другими лабораториями. Авторы статьи посчитали, что таким образом было проведено 64 репликационных исследования. В целом процент репликации был выше среднего и составил 86%. Авторы статьи связывают более высокую реплицируемость, полученную в данном проекте, с тем, что они применяют более строгие научные методы, к которым они отнесли: конфирматорные тесты, большие выборки, пререгистрацию и методологическую прозрачность.
Практически сразу после выхода статьи стали появляться критические замечания в адрес, как методологии, так и представленных результатов исследования. Исследователи из Колумбийского университета и Университета Айдахо, Joe Bak-Coleman и Berna Devezer, опубликовали сначала препринт, а затем и статью «Claims about scientific rigour require rigour», в которых разобрали основные недостатки опубликованной статьи. В частности, они обратили внимание на то, что авторы используют отличающуюся от общепринятой операционализацию термина «репликация». Они также подчеркнули, что в оригинальной статье основным предметом исследования был феномен снижения размера эффекта (decline effect), а не реплицируемость и оказываемый на нее эффект различных исследовательских практик. Но главное, хотя авторы статьи “High replicability…” заявляли о том, что использовали протокол пререгистрации, представленные материалы говорят о том, что никакой пререгистрации не было. В целом, по мнению Bak-Coleman и Devezer, исследование не смогло представить надежных доказательств высокой реплицируемости и роли каких-либо исследовательских практик в улучшении реплицируемости эффектов. В ответ на критику статьи в декабре 2023 года в журнале появилось примечание, что претензии к статье рассматриваются редакторами.
Тем временем, к обсуждению статьи подключилось большое количество исследователей, специалистов в области анализа данных и исследовательского дизайна. Некоторые из них, такие как Andrew Gelman (professor of statistics and political science at Columbia University), высказывались в том ключе, что перечисленных в статье практик (конфирматорные тесты, большие выборки, пререгистрация и методологическая прозрачность) недостаточно для обеспечения реплицируемости. Более того, ни одна из этих практик не сделает плохое исследование хорошим, если изначально есть проблемы в формулировке гипотез, разработке экспериментального дизайна, процедуре сбора данных и т.п.
Обсуждение статьи о репликационном успехе не утихало очень долго. К обсуждению подключились и другие исследователи. Например, Jessica Hullman (Ginni Rometty Professor of Computer Science, Northwestern University) пришла к следующим выводам:
- текст статьи противоречит выложенным авторами статьи материалам (протоколам, описанию дизайна и пр.);
- пререгистрация не была проведена, хотя является важным моментом в статье;
- авторы манипулировали результатами и опубликовали только те, которые соответствовали их гипотезе (которая к тому же была изменена по сравнению с изначальным планом исследовательского проекта).
После достаточно долгого разбирательства, в сентябре 2024 года, статья была отозвана. В ремарке об отзыве статьи редакторы журнала указали, что статья отозвана в ответ на замечания, касающиеся прозрачности и некорректной спецификации гипотез, отсутствия пререгистрации и недостаточного анализа для подтверждения основного тезиса статьи, выборочного использования измерений и результатов, неполной демонстрации результатов. При этом авторы были приглашены прислать новую статью для рассмотрения в случае, если они учтут высказанные замечания. Авторы статьи согласились с ретракцией по причине отсутствия пререгистрации, но все остальные замечания отвергли. На настоящий момент неясно, будут ли авторы оригинальной статьи публиковать откорректированный вариант с учетом высказанных замечаний.
Этот кейс демонстрирует, с одной стороны, уязвимость авторов, открывающих свои данные и материалы к статье (большая часть замечаний основана на сопоставлении материалов к статье и текста статьи, а также предыдущих выступлений авторов с материалами, на которых основана статья). С другой стороны, также можно увидеть, что любой исследователь, даже обладающий большим авторитетом и ратующий за методологическую ясность, может совершать ошибки. Нужно ли за это отзывать статьи? Как высказался Andrew Gelman: “... if lack of justification of causal claims, missing preregistration, inconsistencies, overinterpretation of statistical power calculations, and internal contradictions were enough to get a paper retracted, then they’d be retracting zillions of papers every month”. Существует ли хотя бы одна статья, полностью лишенная недостатков и отвечающая самым строгим критериям научной точности? Возможно, при желании, можно найти какие-то недостатки в любой статье.
Тем не менее, другие критики считают, что авторы статьи, противореча собственному призыву к методологической чистоте и ясности, по сути, применили сомнительные исследовательские практики: фальсификация, HARKing и т.п., (Joe Bak-Coleman). И, как заметила Jessica Hullman, подобные ошибки могут ставить под сомнение “чистоту” всего движения за открытую науку и преодоление репликационного кризиса: “I’m now doubtful that the flurry of research on fixing the so-called replication crisis is truly interested in engaging deeply with concepts like statistical power or replicability. I’m left wondering how many other empirical pro-open science papers are rhetorical feats to “keep up the momentum” regardless of what can actually be concluded from the data”.
Надо отметить, что рассматриваемый кейс затрагивает множество проблем в науке: репликационный кризис, сомнительные исследовательские практики, проблема измерений, теоретический кризис и многие другие. Участники семинара решили в будущем еще вернуться к обсуждению ретракций и связанных с этим проблем в науке.
Craig, R., Cox, A., Tourish, D., & Thorpe, A. (2020). Using retracted journal articles in psychology to understand research misconduct in the social sciences: What is to be done?. Research policy, 49(4), 103930.
Koo, M., & Lin, S. C. (2024). Retracted articles in scientific literature: A bibliometric analysis from 2003 to 2022 using the Web of Science. Heliyon, 10(20).
Top 10 most highly cited retracted papers’ URL: https://retractionwatch.com/the-retraction-watch-leaderboard/top-10-most-highly-cited-retracted-papers/
Protzko, J., Krosnick, J., Nelson, L., Nosek, B. A., Axt, J., Berent, M., ... & Schooler, J. W. (2024). High replicability of newly discovered social-behavioural findings is achievable. Nature Human Behaviour, 8(2), 311-319.
Bak-Coleman, J., & Devezer, B. (2024). Claims about scientific rigour require rigour. Nature Human Behaviour, 1-2.