Первый семинар проектной группы «Когнитивная психометрика» в этом учебном году
26 сентября состоялся первый в этом учебном году семинар проектной группы «Когнитивная психометрика». Семинар был посвящен концептуальным проблемам измерений, связанным с распространенной практикой агрегирования данных в психологических исследованиях.
Обсуждение строилось вокруг статьи Джона Рихтерса “Невероятная полезность: потерянные причины и причинные дебри психологической науки” (Incredible utility: The lost causes and causal debris of psychological science), опубликованной в 2021 году в журнале Basic and Applied Social Psychology. Про основные идеи статьи рассказали участники группы Ю.В. Судоргина и Ю.А. Тюменева.
Невероятная полезность - понятие из патентного законодательства, которое обозначает полностью неработоспособные, бесполезные и потому непатентоспособные изобретения. Например, невероятной полезностью считается вечный двигатель, который невозможно изобрести в реальности.
Рихтерс считает, что невероятной полезностью в психологии является парадигма индивидуальных различий, в основе которой лежит допущение о психологической гомогенности. Психологическая гомогенность предполагает, что психологические феномены качественно одинаковы у всех индивидов и реализуются одинаковым образом. Следствие этого допущения – использование статистических методов анализа, которые основаны на агрегированных данных (например, средние показатели для выборки или каких-то групп). Действительно, если люди в своих психологических феноменах качественно не отличимы, ничто не мешает объединять данные от разных людей, применять к собранным данным статистический анализ, а потом делать выводы об индивидуальных психологических механизмах.
Но, по мнению Рихтерса, предполагать психологическую гомогенность как минимум странно, учитывая безграничное разнообразие условий, в которых могут существовать люди. Напротив, характеристика психологического – гетерогенность. Он аргументирует это, во-первых, особенностями эволюционного развития человеческого мозга, который в функциональном отношении мало детерминирован генетически (по сравнению с другими органами, например, сердце или печень, имеющими строго определенные функции в организме) и развивается под влиянием опыта, который может быть очень разнообразным и непохожим у разных людей. Во-вторых, он говорит о свойственной психологическим функциям и поведению человека эквифинальности (различные психологические структуры и процессы используются для достижения одного и того же поведенческого результата) и мультифинальности (одни и те же психологические структуры и процессы используются для достижения различных поведенческих результатов). В свою очередь, это требует большей тщательности в изучении причин психологических феноменов и поведения, так как одни и те же факторы могут играть качественно разные роли, что не учитывается в практике анализа агрегированных данных.
Рихтерс иллюстрирует это положение на примере корреляции между разногласиями между родителями и антисоциальным поведением ребенка – распространенного феномена, за который “отвечают” несколько различных гипотетических механизмов. В одном случае это антисоциальное поведение выступает как прямое следствие разногласий в семье, в другом – опосредуется тревожностью, в третьем – действует в обратном направлении, так, что родительские разногласия выступают следствием антисоциального поведения ребенка, в четвертом этот обратный эффект опосредуется другими факторами, в пятом имеет место двунаправленное взаимоподкрепляющее влияние, и т.д. Задачей, которая обычно декларируется психологами-исследователями, является вскрытие этих механизмов (каузальных, медиационных, факторов-модераторов и пр.), и решается эта задача, как правило, через статистическое моделирование агрегированных данных (например, с помощью путевого анализа).
Напомним, что такой способ был бы адекватен, если бы переменные-кандидаты на роль причины/медиатора/модератора и т.д. выступали в этой роли для всех членов выборки, то есть только в рамках парадигмы психологической гомогенности. Но поскольку мы живем в мире, где такой гомогенности нет, то методы статистической обработки, даже самые сложные, в принципе не способны выявить психологические факторы – они либо недооценивают или переоценивают какое-либо влияние (причем без возможности понять размер и направление искажения), либо, как в случае кластерного анализа, не имеют достаточных данных, релевантных гипотетическим механизмам, и потому бесполезны. Иными словами, статистический анализ агрегированных данных является для Рихтерса образцом “невероятной полезности” – он выявляет закономерности при условии гомогенности людей, чего нет, и поэтому такой подход к исследованию психологических механизмов бесполезен.
Вы можете познакомиться с аргументацией Рихтерса более подробно, обратившись к его статье: Richters, J. E. (2021). Incredible utility: The lost causes and causal debris of psychological science. Basic and Applied Social Psychology, 43(6), 366-405. https://doi.org/10.1080/01973533.2021.1979003
Дискуссия, состоявшаяся после основного выступления Юлии Судоргиной и Юлии Тюменевой, быстро перешла на… более общие вопросы: задачи и предмет психологии как науки, наличие схожей проблематики в ряде других наук, интерпретация результатов статистических исследований, поиск альтернатив и пр. К сожалению, а может к счастью, отведенное на семинар время закончилось раньше, чем смогли высказаться все желающие. Но и в том, что было сказано, вы найдете много интересного (ссылка на запись семинара появится позже).
Мы также предлагаем вам список статей, в которых обсуждается вопрос использования агрегированных данных, а также связанные с этим темы: репликационный кризис и кризис генерализации, психологическая гетерогенность и революция гетерогенности. По некоторым из этих статей у нас планируются посты в нашем канале. Следите за обновлениями!
Fisher, A. J., Medaglia, J. D., & Jeronimus, B. F. (2018). Lack of group-to-individual generalizability is a threat to human subjects research. Proceedings of the National Academy of Sciences, 115(27), E6106-E6115.
Kim Shaw (09 May 2024): ‘We are all alike’: Composite Portraits, CONVICTS, and the Ethics of Representation, Australian Historical Studies, DOI: 10.1080/1031461X.2024.2328095
Krammer, G. (2023). A cautionary note on aggregation in educational psychology and beyond. Theory & Psychology, 33(5), 681-700.
Lamiell, J. (2018). From psychology to psychodemography: How the adoption of population-level statistical methods transformed psychological science. The American Journal of Psychology, 131(4), 471-475.
McManus, R. M., Young, L., & Sweetman, J. (2023). Psychology is a property of persons, not averages or distributions: Confronting the group-to-person generalizability problem in experimental psychology. Advances in Methods and Practices in Psychological Science, 6(3), 25152459231186615.
Moeller, J., Dietrich, J., Neubauer, A. B., Brose, A., Kühnel, J., Dehne, M., ... & Pekrun, R. (2022). Generalizability crisis meets heterogeneity revolution: Determining under which boundary conditions findings replicate and generalize.
Molenaar, P. C. (2008). On the implications of the classical ergodic theorems: Analysis of developmental processes has to focus on intra‐individual variation. Developmental Psychobiology: The Journal of the International Society for Developmental Psychobiology, 50(1), 60-69.
Oppong, S. (2021). On Simpson’s paradox: To remain or not to remain a population-based science. Theory & Psychology, 31(3), 460-464. https://doi.org/10.1177/09593543211011525
Speelman, C. P., Parker, L., Rapley, B. J., & McGann, M. (2024). Most psychological researchers assume their samples are ergodic: Evidence from a year of articles in three major journals. Collabra: Psychology, 10(1).
van Geert, P., & van Dijk, M. (2021). Thirty years of focus on individual variability and the dynamics of processes. Theory & Psychology, 31(3), 405-410.