Выездная сессия НУГ по онлайн-исследованиям в Мангейме

Состоялась выездная сессия НУГ по онлайн-исследованиям на конференции “Modes, Measurement, Modelling: Achieving Equivalence in Quantitative Research” 24-25 октября 2014 (г. Мангейм, Германия). На сессии под руководством Девятко И.Ф. и Мавлетовой А.М. участники рассказали об экспериментах и исследованиях, проведенных в рамках научно-учебной группы.

Состоялась выездная сессия НУГ по онлайн-исследованиям на конференции “Modes, Measurement, Modelling: Achieving Equivalence in Quantitative Research” 24-25 октября 2014 (г. Мангейм, Германия). На сессии под руководством Девятко И.Ф. и Мавлетовой А.М. участники рассказали об экспериментах и исследованиях, проведенных в рамках научно-учебной группы.

Ниже приводим описания главных результатов представленных экспериментов.

Кирилл Гаврилов “The Effect of Acquaintanceship with the Invitation Initiator on Web Survey Response Rate”

Предлагаемое исследование относится к работам, в центре внимания которых – способы повышения доли ответивших на приглашения поучаствовать в онлайн-опросе. В настоящее время остается открытым вопрос, как влияет фактор знакомства на готовность отвечать на вопросы анкеты. Хотя при проведении массовых опросов этот фактор трудно контролировать, при изучении специфических целевых групп этот фактор можно использовать. В частности, при опросе студентов, поскольку имеющаяся информация о них позволяет формировать приглашения с учетом того, с кем они персонально знакомы.

В исследовании изучается влияние фактора знакомства респондентов с отправителем приглашения. Механизм действия этого фактора подобен тому, который наблюдается в случае отправки персонализированных приглашений и, в меньшей степени, в случае, когда приглашение подписывает статусная персона.

Поскольку часть опрошенных – это студенты-социологи, то было решено также изучить влияние другого фактора (который может оказаться смешивающим) – «профессиональный интерес» респондентов. Речь идет о том, что для социологов-исследователей наиболее доступной категорией респондентов являются студенты-социологи, мотивация которых может отличаться от других категорий респондентов.

Для проведения эксперимента была составлена база данных из 250 студентов 2 курса двух факультетов НИУ ВШЭ:

·​ факультета социологии (129).

·​ Международного института экономики и финансов (МИЭФ) (121).

Всего на вопросы анкеты ответили 79 студентов (32%). Приглашения рассылались от имени трех преподавателей, один из которых ведет курс в МИЭФ, другой – у социологов, а третий – ни в одной из групп. При этом важно отметить, что первые два преподавателя – социологи, а третий – нет.

Проведение дисперсионного анализа показало отсутствие значимых эффектов для обоих рассмотренных факторов. Для фактора «Профессиональный интерес» F(1,249)=1,4; p=0,24,для фактора «Знакомство с отправителем» F(1,249)=1,6; p=0,3.

В то же время использование другой зависимой переменной – готовность участвовать в других экспериментах исследовательской группы – показало наличие значимых различий: студенты-социологи с большей вероятностью согласны участвовать в других экспериментах (19%) по сравнению со студентами МИЭФ (10%), а те, которые были приглашены знакомым преподавателем (23%) по сравнению с теми, которых приглашал незнакомый исследователь (10%). Наличие этих различий позволяет надеяться, что в оба указанных фактора могут значимо влиять на уровень откликов при увеличении объема выборки.

Презентация: Gavrilov Mannheim 24.10.pdf

Евгений Терентьев “Increasing response rate by changing e-mail invitations in web surveys”

(в соавторстве с Натальей Малошонок и Айгуль Мавлетовой)

Были представлены результаты методических экспериментов, посвященных исследованию влияния разных элементов электронного приглашения на отклик в онлайн опросах. Проверялось влияние семи факторов: (1) наличие персонального обращения к респонденту; (2) указание на значимость участия в опросе определенных групп; (3) указание на то, что респондент был отобран для ответа на специальный блок вопросов; (4) возможность получения результатов опроса; (5) отправитель приглашения; (6) тема письма; (7) наличие изменений в тексте повторных напоминаний. Эксперименты проводились в рамках опросов абитуриентов, студентов и выпускников НИУ ВШЭ и студентов двух российских вузов. Результаты показали, что наиболее значимым является фактор отправителя приглашения: использование приглашения от имени декана факультета вдвое увеличило отклик на опрос по сравнению с приглашением от имени центра институциональных исследований. Для некоторых групп респондентов было обнаружено положительное влияние таких факторов как обращение к респонденту по имени и отчеству, а также указание на специальный отбор. Кроме того, результаты исследования демонстрируют значимость изучения взаимодействия разных факторов. Так, было выявлено, что указание на значимость получения ответов от определенной группы и возможность ознакомиться с результатами значимо увеличило долю откликов. Кроме того, взаимодействие таких факторов как обращение по имени и отчеству и получение приглашения с темой «Опрос ведущих вузов в области экономики и менеджмента» также увеличило долю откликов.

Презентация: Increasing Response Rate_Terentyev.pptx

Станислав Моисеев “Dynamics and quality of WebRDS”

(в соавторстве с Юлией Савинковой)

Презентация была посвящена результатам экспериментов с использованием технологии RDS для построения выборки в онлайн-опросах студентов НИУ ВШЭ (WebRDS). В этом исследовании проверялось соответствует ли WebRDS необходимым базовым допущениям: реципрокность связей между респондентами, случайный отбор респондентов и способность респондентов правильно оценить размер своей эго-сети. Второй исследовательский вопрос касался изучения влияния знакомства семян (т.е. первых респондентов RDS) на динамику и качество итоговой выборки.

Шесть семян первого этапа были отобраны среди студентов НИУ ВШЭ, которые выразили свое желание принять участие в эксперименте. Пять семян второго этапа был были отобраны среди студентов НИУ ВШЭ, которые являлись друзьями или знакомыми исследователей.

Оказалось, что обе выборки соответствуют базовым допущениям о реципрокности связей между респондентами и возможности последних оценить размер своей эго-сети. Однако анализ показал повышенное значение гомофилии для отдельных групп респондентов, т.е. они отбирали друг друга не случайно. Например, участники женского пола чаще рекрутировали женщин, студенты общежитий своих «соседей» и т.п.

Динамика роста WebRDS-2 оказалась более эффективной по сравнению с Web-RDS-1: вторая выборка завершила свой рост за более короткий период времени; во втором случае исследователям не пришлось прибегать к напоминаниям о необходимости пройти опрос/рекрутировать респондентов для семян и последующих участников исследования. При этом, WebRDS-1 и WebRDS-2 получились очень похожими друг на друга с точки зрения сетевых параметров: размер самого большого связанного компонента (56 и 56), диаметр сети (13 и 12), среднее расстояние между узлами сети (5,2 и 5,8).

Однако, качество полученных выборок не советует главному критерию – способности репрезентировать генеральную совокупность. Согласно полученным данным, по одним параметрам лучшую оценку генеральной совокупности дает Web-RDS-1, по другим Web-RDS-2, на основании чего результат можно считать случайным.

В ходе обсуждения представленного исследования участники конференции предлагали способы преодоления существующих недостатков WebRDS, например, выдвинули идею о разработке технологии рандомизации процедуры рекрутирования каждого нового респондента исследования.

Презентация: EQMC2014_Moiseev.pptx

 

Айгуль Мавлетова «Grouping of Items in Mobile Web Surveys” 

Айгуль Мавлетова представила результаты эксперимента в области мобильных веб-опросов, проведенного в сотрудничестве с профессором Мичиганского университета Миком Купером. Ранее Мавлетова и Купер показали, что скроллинговая версия мобильной анкеты сокращает количество незавершенных интервью и время заполнения опроса (см. Mavletova A., Couper M. Mobile web survey design: scrolling versus paging, SMS versus e-mail invitations. Journal of Survey Statistics and Methodology, online first). Однако ими была протестирована только одна версия скроллинговой анкеты. В представленном эксперименте авторы сфоркусировались на поиске оптимального числа вопросов, изображенного на одном экране в скроллинговой версии анкеты, которое приводит к меньшему количеству незавершенных интервью в мобильных веб-опросах. Авторы протестировали три версии анкеты (30 вопросов): (a) 5 вопросов на экране; (b) 15 вопросов  на  экране; (с) 30 вопросов на экране. Кроме того, тестирование осуществлялось на двух типах анкет – простая анкета, не имеющая вопросов-фильтров (вопросов-переходы), и более сложная, содержащая вопросы-переходы.

Результаты эксперимента не выявили значимых различий в доле незавершенных интервью между разными версиями анкет. Однако, учитывая такие факторы как доля пропущенных данных, доля незавершенных интервью и время прохождения опроса, оптимальное число вопросов, изображенное на одном экране в скроллинговой версии анкеты, различается для простой анкеты, не имеющей вопросов-фильтров (вопросов-переходы), и для анкеты,  содержащей вопросы-переходы.

Mavletova A. M., Couper M. P. Grouping of Items in Mobile Web Questionnaires  // Field Methods. 2014 (accepted for publication).

Презентация: Mavletova_ESA RN21_EQMC_2014.pdf

Кроме того, Андрей Быков и Инна Феликсовна Девятко выступили с докладом в рамках сессии "Experimental Designs in the Social Sciences: Types, Modes and Equivalence":

Андрей Быков, Инна Девятко "It takes all sorts to make a (survey) world: Differential effects of survey mode for the factorial vignettes and a self-report personality inventory"

Исследование посвящено сравнению эффекта способа проведения исследования - использования онлайн-опросника или традиционного бумажного опросника - на оценки испытуемыми факторных виньеток, а так же на их баллы по шкале самооценки альтруизма. Хотя методологический эксперимент не выявил разницы в средних оценках виньеток, испытуемые, заполнявшие опросник онлайн, показали более высокие баллы по шкале альтруизма, по сравнению с теми, кто заполнял опросник в бумажной форме. Кроме того, исследование выявило различие между двумя способами проведения в среднем времени, которое испытуемые затрачивали на заполнение опросника, а также в их оценках субъективной сложности работы с факторными виньетками. Факторная структура шкалы по самооценке альтруизма также оказалась заметно различающейся для двух типов выборок. Авторы сравнивают свои результаты с предыдущими исследованиями, а также предлагают объяснения выявленных эффектов.

Презентация: Bykov, Deviatko_Mannheim, 2014.pptx