Что делает экспертов надежными?

В октябрьском выпуске журнала Research & Politics выходит статья доцента департамента политики и управления Кайла Маркварта "What makes experts reliable? Expert reliability and the estimation of latent traits" (в соавторстве). Если мы привлекаем экспертные оценки для замеров тех или иных показателей, описывающих политическую реальность, то как оценить надежность этих оценок?

Для сравнительных исследований большое значение имеют массивы политологических данных. При этом одни показатели более-менее легко поддаются объективным замерам, для других же по разным причинам приходится прибегать к экспертным оценкам. В этом случае перед исследователями всегда встает вопрос доверия к данным, полученным от экспертов. Действительно, эксперты могут быть недостаточно осведомлены, предвзяты и т.д. Решения здесь применяются разные и с разной степенью успешности. Иногда исследователи вовсе исключают экспертную компоненту (Индекс демократизации Ванханена, Индекс человеческого развития ПРООН), иногда стараются свести ее к минимуму (Политический атлас современности), иногда, наоборот, радикально увеличивают число оцениваемых экспертами параметров с целью снизить фактор субъективности (Проекты «Freedom House»). Кайл Маркварт и его соавторы (Daniel Pemstein, Brigitte Seim, Yi-ting Wang) подходят к проблеме с другой стороны — они пытаются найти способ оценивать и предсказывать надежность самих экспертов.

Аннотация статьи: 

Experts code latent quantities for many influential political science datasets. Although scholars are aware of the importance of accounting for variation in expert reliability when aggregating such data, they have not systematically explored either the factors affecting expert reliability or the degree to which these factors influence estimates of latent concepts. Here we provide a template for examining potential correlates of expert reliability, using coder-level data for six randomly selected variables from a cross-national panel dataset. We aggregate these data with an ordinal item response theory model that parameterizes expert reliability, and regress the resulting reliability estimates on both expert demographic characteristics and measures of their coding behavior. We find little evidence of a consistent substantial relationship between most expert characteristics and reliability, and these null results extend to potentially problematic sources of bias in estimates, such as gender. The exceptions to these results are intuitive, and provide baseline guidance for expert recruitment and retention in future expert coding projects: attentive and confident experts who have contextual knowledge tend to be more reliable. Taken as a whole, these findings reinforce arguments that item response theory models are a relatively safe method for aggregating expert-coded data.

Читать:

What makes experts reliable? Expert reliability and the estimation of latent traits