Отчет о Международной встрече Психометрического общества (IMPS) 2026 года

С огромной радостью я узнал, что моя заявка на участие в этой конференции была одобрена. Международная конференция Психометрического общества (IMPS) — это крупнейшее ежегодное собрание исследователей, работающих на стыке статистики, машинного обучения, образования и психологии, где специалисты-практики обсуждают новые идеи и результаты исследований. Кроме того, это важная платформа для налаживания профессиональных контактов, особенно для начинающих исследователей, у которых появляется возможность встретиться и пообщаться с ведущими экспертами в данной области. Помимо индивидуальных докладов или презентаций постеров, начинающие исследователи также получают ценные отзывы, а порой и конструктивную критику, которая способствует усовершенствованию их работы.

В этом году конференция прошла в Университете Ёнсе в Сеуле, Республика Корея, с 21 по 24 июля 2026 года. Конференция была тщательно спланирована и включала насыщенную программу мероприятий, в том числе симпозиумы, основные доклады, приглашенные лекции, а также индивидуальные доклады и презентации постеров. Поскольку многие мероприятия проходили параллельно, я выбрал сессии, наиболее тесно связанные с моими исследованиями, а также с другими областями психометрии, о которых я хотел узнать больше. В частности, я посетил сессии, посвящённые автоматическому генерации тестовых заданий (AIG) с использованием крупных языковых моделей (LLM), теории ответа на тестовые задания (IRT), когнитивным диагностическим моделям (CDM) и компьютеризированному адаптивному тестированию, среди прочего.

В среду, 22 июля, я начал с приглашенной лекции профессора Юци Гу из Колумбийского университета, посвященной новым горизонтам статистики в области когнитивных диагностических моделей (CDM). Она представила три направления исследований, расширяющих основы CDM, в которых используются несколько уровней дискретных латентных переменных для отражения иерархических когнитивных структур, а также новую парадигму идентифицируемых CDM, учитывающую общие типы ответов, выходящие за рамки категориальных вопросов. Эта лекция показала мне, насколько быстро развиваются статистические методы, лежащие в основе диагностической оценки.

В рамках сессии «Когнитивные диагностические модели» особое внимание привлекли два доклада. Цзя Лю и коллеги (Колумбийский университет) применили методы психометрии к самому ИИ, адаптировав когнитивные диагностические модели (CDM) для оценки крупных языковых моделей: вместо приблизительных результатов тестирования их масштабируемый метод оценки позволяет получать детализированные многомерные профили возможностей крупных языковых моделей, используя априорные распределения, основанные на вложениях текста, для стабилизации оценки Q-матрицы в масштабе тестовых наборов. В связи с этим Сяо и его коллеги (Педагогический колледж Колумбийского университета) представили TRACE-Q — многоагентный конвейер для LLM, который строит Q-матрицы непосредственно на основе текста заданий без каких-либо данных ответов; на каждом этапе комитеты агентов LLM проводят голосование, формируя отслеживаемые обоснования для каждого сопоставления задания и атрибута, а полученная в результате Q-матрица демонстрирует качество подгонки модели, сопоставимое с моделями, построенными экспертами, или превосходящее их. Позже в тот же день Соррел и коллеги (Автономный университет Мадрида) сравнили классификации, полученные с помощью IRT, с прямыми диагнозами атрибутов по методу CDM в сложных условиях, таких как неверная спецификация Q-матрицы и небольшие выборки, показав, что выбор модели на основе перекрестной валидации, ориентированный на обобщаемость, в целом эффективен для определения подходящей моделирующей структуры. В рамках сессии, посвящённой компьютеризированному адаптивному тестированию, Вальквист и Вайс (Университет Миннесоты) представили применение метода последовательного обнаружения точек перелома на основе критерия правдоподобия к процедуре «Адаптивной оценки изменения», ответив тем самым на опасения относительно того, что поправка Бенджамини-Хохберга непропорционально снижает долю истинных положительных результатов при парных сравнениях между различными моментами измерения.

Симпозиум по искусственному интеллекту и машинному обучению, состоявшийся в среду вечером, был особенно близок к моим собственным исследованиям. Рудольф Дебелак (Цюрихский университет/EPFL) и Расмус Йенсен представили агентную архитектуру искусственного интеллекта для автоматического генерации тестовых заданий, которая выходит за рамки простого подсказывания и переходит к структурированному многоагентному рабочему процессу: Модели-«генераторы» создают тестовые задания, которые проходят автоматизированные проверки с учетом специфики предметной области и цикл «критики и доработки» со стороны агентов-«критиков», в то время как модели машинного обучения прогнозируют параметры сложности по модели IRT на основе характеристик заданий. Их результаты, полученные в ходе крупномасштабной швейцарской аттестации, показали, что прогнозируемая сложность хорошо согласуется с эмпирическими оценками — это убедительное доказательство того, что агентская парадигма, которой придерживается наша собственная команда, является направлением, в котором развивается данная область.

В четверг, 23 июля, я посетил сессию, посвященную искусственному интеллекту и большим языковым моделям (LLM). Квон (HMH) и Чой (Университет Джорджа Вашингтона) представили Item Ontology Template Agent (IOTA) — фреймворк GenAI, который генерирует психометрически эквивалентные задания, основанные на онтологии учебной программы, в сочетании с агентом Q-matrix, который автоматизирует вывод Q-матрицы для диагностических моделей и итеративно анализирует сгенерированные задания до тех пор, пока они не будут соответствовать строгим стандартам — это совместный агентный рабочий процесс, имеющий явные параллели с нашей работой в НИУ ВШЭ. Ким и Ли (Университет Ёнсе) продемонстрировали автоматизированную оценку эссе на основе графовых нейронных сетей (GNN), которая достигла квадратичного взвешенного коэффициента каппа 0,76 на наборе данных ASAP, что близко к эталонному показателю оценки человеком (0,80), и, что примечательно, использовала GNNExplainer — метод объяснимого ИИ — для генерации диагностической обратной связи, а не просто оценок. Наконец, Чо (Университет Хосо) занялся прогнозированием сложности заданий для важнейшего корейского экзамена CSAT в рамках классической теории тестирования, показав, что агрегирование прогнозов LLM с открытым весом на основе самосогласованности дало умеренную положительную корреляцию с наблюдаемой сложностью (коэффициент Спирмена rho примерно 0,38) — это дает трезвую, но честную картину того, на каком этапе в настоящее время находится прогнозирование сложности на основе LLM в условиях реальных экзаменов с высокими ставками.

Слушая эти различные доклады, я обратил внимание на две вещи. Во-первых, научные исследования не могут ограничиваться одним местом: я увидел, что идеи, которые наша исследовательская группа в НИУ «Высшая школа экономики» обсуждала и планировала воплотить в жизнь, уже изучались в других местах. В то же время мне было приятно убедиться, что наши исследования соответствуют международным стандартам. Во-вторых, искусственный интеллект проникает во все сферы научных исследований, и психометрия не остается в стороне. Я увидел множество докладов о применении ИИ во многих аспектах нашей дисциплины. Меня также воодушевило то, что ведущие специалисты в области психометрии активно выступают за интеграцию ИИ в психометрию, а некоторые университеты уже создают курсы по ИИ в рамках программ по психометрии, чтобы обучать студентов эффективному использованию ИИ в своих исследованиях. Это было хорошо отражено в лекции, прочитанной лауреатом премии «За жизненные достижения» этого года, профессором Хуа-Хуа Чанг из Университета Пердью, бывшим президентом Общества, которая представила различные области, в которых ИИ может быть интегрирован в психометрию — от адаптивного тестирования до персонализированных траекторий обучения.

В пятницу, 24 июля, в ходе сессии, посвящённой искусственному интеллекту, валидности и надёжности, я первым выступил с докладом о нашем исследовании «Агентные крупномасштабные языковые модели для генерации мультимодальных заданий по физике и автоматизированной проверки заданий». Сессия собрала большое количество участников, интересующихся этой темой, и вызвала оживлённую дискуссию с обнадёживающими комментариями. Во время своего выступления я представил пакет R, разработанный нашей командой в Центре психометрии и измерения в образовании. Идея, лежащая в основе этого пакета, была тепло воспринята и получила признание со стороны многих. Это привело к дальнейшим обсуждениям после сессии: несколько участников подошли ко мне, чтобы задать дополнительные вопросы о программном обеспечении и о том, как получить к нему доступ. Я верю, что это приведет к будущему сотрудничеству между Университетом ВШЭ и другими ведущими университетами по всему миру. Кроме того, я принял участие в плодотворных дискуссиях с коллегами в ходе сессии для аспирантов, где мы поделились важными соображениями о наших исследованиях и опыте в качестве молодых ученых.

Подводя итоги, можно сказать, что конференция собрала большое количество участников — около 800 человек из 40 стран. Она завершилась банкетом в непринуждённой атмосфере, где гостей ждал разнообразный выбор блюд и музыкальные выступления корейских артистов. Я расстался с новыми друзьями и коллегами, с которыми познакомился во время встречи, пообещав им продолжить сотрудничество и встретиться снова на конференции в Канаде в следующем году, а также на других предстоящих мероприятиях, посвящённых конкретным направлениям психометрии.

Я хочу поблагодарить факультет социальных наук и Институт образования Университета НИУ «Высшая школа экономики» за то, что они сделали моё участие возможным. Особую благодарность я выражаю Ксении, директору нашего Центра психометрии и измерения в образовании, за спонсирование моего участия в этой замечательной конференции. Я также глубоко благодарен своему научному руководителю Елене Ю. Кардановой за её поддержку.

 

• Омопекунола Мозес Олуоке, аспирант Института образования

Научная комиссия ФСН предоставляет финансовую поддержку на участие в научных мероприятиях. Условия получения тревел-грантов размещены на сайте комиссии.