Продолжение работы с парсингом: первые содержательные результаты
В субботу 15 сентября прошел открытый семинар научно-учебной группы, в рамках которого участницы НУГ Родионова Мария и Воробьева Марья поделились первыми результатами своих исследований, проведенных с применением изученных методов парсинга сайтов.
Сбор данных с помощью парсинга сайтов, который участники НУГ активно изучают с апреля, позволил получить первые содержательные результаты. Родионова Мария, продолжая тему своих предыдущих исследований о насилии в парах, изучила локальное BDSM-сообщество при помощи сайта для поисков BDSM-партнера. Другая участница НУГ, Воробьева Марья, сосредоточилась на изучении социальных детерминант выбора кинофильма, собрав данные с сайта IMDb.
Проанализировав содержание 98 тысяч профилей пользователей сайта, в своем исследовании Родионова Мария попыталась составить первичный портрет пользователей и пришла к следующим содержательным результатам. Так, оказалось, что 80% аудитории сайта составляют мужчины и лишь остальные 20% – женщины. С этим Мария связывает высокую популярность женских профилей: регрессионная модель показала, что принадлежность пользователя к женскому полу при прочих равных условиях увеличивает количество просмотров страницы на 104 единицы. Другими факторами, увеличивающими популярность профиля, оказались количество фотографий и выбор доминирующей (а не подчиняющейся) позиции. При этом большинство мужчин и женщин позиционируют себя как подчиняющиеся: 46% и 53% соответственно. Мария отмечает существование дефицита доминирующих женщин: на 31% доминирующих женщин приходится 46% подчиняющихся мужчин, и это при условии, что мужчин присутствует на сайте в четыре раза больше, чем женщин. Марии также удалось выяснить, что финансовую поддержку потенциальному партнеру в большей степени готовы оказать мужчины, а также пользователи, имеющие Gold-аккаунт. В дальнейшем Мария планирует провести анализ фотографий с сайта и выявить наиболее характерные атрибуты, присутствующие на фотографиях членов BDSM-сообщества.
Исследование Воробьевой Марьи, посвященное выявлению социальных детерминант выбора кинофильма и проводимое на базе сайта IMDb, показало, что пользовательские оценки и количество наград и номинаций у фильма увеличивают популярность фильма, в то время как год выпуска и рейтинг кинокритиков ее уменьшают. Все гипотезы, заложенные изначально на основе обзора литературы, подтвердились. Так, предполагалось, что потребители склонны основываться на рекомендациях других людей при выборе кинофильма. В одном из предыдущих исследований (Wallentin E., «Demand for cinema and diverging tastes of critics and audiences») подчеркивалось, что зрители и критики зачастую ценят разные качества в фильмах. Марье удалось это подтвердить: по результатам анализа можно сказать, что чем выше кинокритики оценивают фильм, тем меньше «обычных» пользователей его просматривает. Также Марья выявила кумулятивный эффект года: оказалось, что чем раньше вышел фильм, тем он популярнее. Во время своего доклада Марья уделила внимание проблемам, с которыми можно столкнуться при парсинге сайтов. В частности, она рассказала о проблеме присутствия на странице текстовых блоков, которые мешают корректно извлекать данные, содержащиеся в них (для решения этой проблемы Марья обратилась к применению селекторов и сбору базы в несколько этапов). Другой проблемой стало изменение шаблона некоторых страниц фильмов, с которых собиралась информация – для решения этой проблемы участница НУГ предложила искать те элементы, которые присутствуют на каждой странице, и извлекать информацию с помощью них. Марья подчеркнула, что процесс получения данных с помощью парсинга сайтов не так прост, как это может показаться на первый взгляд – он требует постоянного внимания к базе и проверки результатов на каждом этапе.