Семинар «Инструменты для упрощения сбора и анализа данных: чат-бот для фиксирования квот в рамках уличного выборочного опроса и приложение для чистки данных географических наименований»

25 июня состоялся заключительный семинар проектной группы "Бонус за миграцию? Влияние опыта внутристрановой миграции на разные аспекты качества жизни мигрантов" в текущем учебном году. Семинар был посвящён обсуждению инструментов, которые упрощают сбор и анализ данных для исследователей.

Участники научного семинара

© Фото: Анна Воронцова // Высшая школа экономики

В качестве спикеров выступили участница проектной группы Максимова Татьяна, аспирантка 2-го года обучения кафедры демографии, и приглашенный спикер Мигунов Никита, студент 2-го курса магистерской программы «Демография». В первой части семинара Максимова Татьяна представила разработанный чат-бот для фиксирования квот в рамках уличного опроса, который решал одну из главных проблем этого метода сбора данных — координацию действий интервьюеров внутри исследовательской команды. При бумажном или разрозненном учёте сложно в режиме реального времени понимать, сколько наблюдений уже собрано и по каким квотам есть недобор. Главная функция чат-бота — подсчёт оставшихся квот в режиме реального времени. По мере проведения опроса интервьюеры вносят в бот информацию об опрошенных респондентах и отказах, и он ведёт статистику по собранным данным, позволяет посмотреть оставшиеся квоты и уведомляет о закрытии выборки. Все данные записываются ботом в отдельный CSV-файл, с которым можно легко работать после завершения опроса.

 

Часть слушателей семинара уже имела возможность опробовать чат-бот в поле и отзывалась о нём исключительно положительно. Однако также были затронуты некоторые ограничения в работе бота, с которыми сталкивались пользователи. В условиях блокировки интернета, которые сегодня происходят во многих регионах, чат-бот использовать затруднительно, так как в данный момент он работает в Telegram, который включён Роскомнадзором в перечень запрещённых мессенджеров . Для решения этой проблемы есть планы перенести бот в социальную сеть «ВКонтакте», которая включена в «белые списки» и поэтому работает даже в условиях блокировки интернета.

 

Во второй части семинара Мигунов Никита представил слушателям разработанный им валидатор топонимов, позволяющий очищать данные географических наименований. Спикер подробно рассказал, как устроен код приложения, и на реальных примерах показал, как он помогает заполнять данные о топонимах. Программа выполняет нормализацию данных и сопоставляет их с эталонным справочником топонимов. При этом для каждого уровня административного деления программа рассчитывает степень сходства между исходным названием и возможными вариантами из справочника. При полном или достаточно близком совпадении запись автоматически подтверждается, в ином случае программа предлагает на выбор наиболее подходящие варианты из справочника.

 

После выступления слушатели обсуждали, как программа работает в спорных случаях, например, когда одно название имеют множество населённых пунктов, которые даже могут находиться в одном районе, или когда данное наименование встречается не только в России. Также обсуждалась необходимость сборки полного справочника географических наименований, который содержал бы актуальную информацию обо всех населённых пунктах, так как нынешний справочник содержит не все наименования и нуждается в доработке.