• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Новости

Прогноз частичных неответов с помощью наивного байесовского классификатора и логистической регрессии: сравнение результатов

В рамках дистанционного семинара аспирантка НИУ ВШЭ Александрова Марина рассказала о применении машинного обучения к прогнозированию неответов (пропусков) на данных исследований ESS.

Причины неответов: свойства как респондента (из-за незнания, отсутствия выраженного мнения или нежелания отвечать), так и вопроса (сложные предложения, сложные слова, сензитивные темы).



В своей работе Марина работает с формулировками вопросов, с целью понять, что может вызывать частичные неответы. Для этого она использует методы работы с текстами и методы машинного обучения: мультиномиальный наивный байесовский классификатор и логистическую регрессию на основе частот слов и TF-IDF, сравнивая два метода. Предполагается, что наивный байесовский классификатор позволяет получать качественные результаты и на небольших выборках и устойчив к переобучению. 



После построения моделей Марина приходит к выводу, что респонденты менее охотно отвечают на вопросы, связанные с сензитивными темами. Также некоторые слова из инструкции к вопросам, вероятно, могут приводить к росту отказа от ответа (использование карточек, необходимость что-то оценить «в целом»).



После доклада были обсуждены вопросы интерпретации полученных результатов. Что коэффициенты при словах говорят о влиянии слов на вероятность неответа? Коллеги из научного коллектива также высказали предположения о необходимости дополнительной проверки прогностического качества полученных моделей и их непереобученности.