• A
  • A
  • A
  • АБB
  • АБB
  • АБB
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта
Контакты

Адрес: 101000, г. Москва, ул. Мясницкая, д. 11, комн. 512

Телефоны:
+7(495) 772-9590 доп. 22717
+7(495) 772-9590 доп. 11345

Факс:
+7(495) 772 9590 доп. 11308

Email: IOrlov@hse.ru, vprokofiev@hse.ru

Руководство
Заместитель руководителя Орлов Игорь Борисович
Заместитель руководителя Прокофьев Вадим Николаевич
Книга
Ответ российского бизнеса на пандемию COVID-19

Под науч. редакцией: А. А. Яковлев, Ю. В. Симачев, Н. В. Акиндинова и др.

М.: Издательский дом НИУ ВШЭ, 2021.

Глава в книге
Революционные события в Мали (1960–2021 гг.)

Коротаев А. В., Лиокумович Я. Б., Хохлова А. А.

В кн.: Системный мониторинг глобальных и региональных рисков. Т. 12: Революционные процессы в афразийской макрозоне нестабильности и их глобальный контекст. Издательство "Учитель", 2021. Гл. 12. С. 329-370.

Препринт
Privacy Versus Security in Trying Times: Evidence from Russian Public Opinion

Chmel K., Marques II I., Mironyuk M. et al.

Higher School of Economics Research Paper. WP BRP 82/PS/2021. Higher School of Economics, 2021

Что делает экспертов надежными?

В октябрьском выпуске журнала Research & Politics выходит статья доцента департамента политики и управления Кайла Маркварта "What makes experts reliable? Expert reliability and the estimation of latent traits" (в соавторстве). Если мы привлекаем экспертные оценки для замеров тех или иных показателей, описывающих политическую реальность, то как оценить надежность этих оценок?

Для сравнительных исследований большое значение имеют массивы политологических данных. При этом одни показатели более-менее легко поддаются объективным замерам, для других же по разным причинам приходится прибегать к экспертным оценкам. В этом случае перед исследователями всегда встает вопрос доверия к данным, полученным от экспертов. Действительно, эксперты могут быть недостаточно осведомлены, предвзяты и т.д. Решения здесь применяются разные и с разной степенью успешности. Иногда исследователи вовсе исключают экспертную компоненту (Индекс демократизации Ванханена, Индекс человеческого развития ПРООН), иногда стараются свести ее к минимуму (Политический атлас современности), иногда, наоборот, радикально увеличивают число оцениваемых экспертами параметров с целью снизить фактор субъективности (Проекты «Freedom House»). Кайл Маркварт и его соавторы (Daniel Pemstein, Brigitte Seim, Yi-ting Wang) подходят к проблеме с другой стороны — они пытаются найти способ оценивать и предсказывать надежность самих экспертов.

Аннотация статьи: 

Experts code latent quantities for many influential political science datasets. Although scholars are aware of the importance of accounting for variation in expert reliability when aggregating such data, they have not systematically explored either the factors affecting expert reliability or the degree to which these factors influence estimates of latent concepts. Here we provide a template for examining potential correlates of expert reliability, using coder-level data for six randomly selected variables from a cross-national panel dataset. We aggregate these data with an ordinal item response theory model that parameterizes expert reliability, and regress the resulting reliability estimates on both expert demographic characteristics and measures of their coding behavior. We find little evidence of a consistent substantial relationship between most expert characteristics and reliability, and these null results extend to potentially problematic sources of bias in estimates, such as gender. The exceptions to these results are intuitive, and provide baseline guidance for expert recruitment and retention in future expert coding projects: attentive and confident experts who have contextual knowledge tend to be more reliable. Taken as a whole, these findings reinforce arguments that item response theory models are a relatively safe method for aggregating expert-coded data.

Читать:

What makes experts reliable? Expert reliability and the estimation of latent traits