Инструменты диагностики механизма пропусков: проблематизация, обзор, Little's MCAR test by Chi-squareИнструменты диагностики механизма пропусков
В течение 10 семинаров участники и гости научного коллектива слушают доклады об инструментах диагностики механизма пропусков и обсуждали услышанное. В этом материале и ряде последующих предлагаем вам ознакомиться с тезисами этих докладов и обсуждений
Общий обзор и проблематизация
В науке разработаны надёжные инструменты (не) отнесения пропусков к механизму MCAR. Но эти инструменты играют сравнительно небольшую практическую роль, поскольку на практике данные почти никогда не пропадают случайно – т.е. пропуски атрибутируются как не MCAR
Если пропуск атрибутирован как не MCAR, то он должен быть далее атрибутирован как MAR или MNAR. Главная проблема диагностики: строгое отнесение пропусков к механизму потребует сравнить распределение изучаемой переменной на наблюдаемой совокупности и на всей совокупности (включающей объекты, содержащие пропуски по этой переменной) – что невозможно в реальной (а не экспериментальной) ситуации
Одним из подходов к решению этой проблемы служит обоснование отнесения пропусков к MAR или MNAR содержанием изучаемой переменной
Инструменты, ориентированные на различение между MAR и MNAR, различают их не как качественно самостоятельные состояния, а как точки континнуума (скажем, «пропуск в такой-то мере может быть отнесён к MAR и в такой-то к MNAR»)
Обзор конкретных инструментов
Little's MCAR test by Chi-square
Little R.J.A. A Test of Missing Completely at Random for Multivariate Data with Missing Values // Journal of the American Statistical Association. 1988. Vol. 83. P. 1200-1202
MCAR от остальных
Наследует ограничения критерия Хи-квадрат: большая совокупность, нормально распределённые переменные
SPSS: Analyze -> Missing Values Analysis -> EM (expectation-maximization); R: LittleMCAR в пакете BaylorEdPsych
Алгоритм:
1. Создаётся бинарная индикаторная переменная в пару целевой изучаемой переменной (‘0’, если объект имеет валидное значение и ‘1’, если он имеет пропуск)
2. Вспомогательно применяется подход listwise deletion ко всем изучаемым переменным (в контексте целевой переменной или исследования в целом) для последующего отбора среди них наиболее связанных с целевой переменной посредством коэффициента корреляции (хотя можно и других мер парной связи)
3. Подход listwise deletion | pairwise deletion отключается, после чего выполняется поиск связи комбинаций значений (в том числе пропущенных) отобранных переменных (назовём их «проверочными») со значениями индикаторной переменной
4. Если связи нет, то пропуски в целевой переменной атрибутируются как MCAR