Научный проект: "Вычислительная модель, симулирующая зрительную стабильность при движении глаз и внимание"

Современные исследования зрительной стабильности строятся вокруг изучения таких специфических аспектов данного феномена, как предсказательный ремаппинг, сакадическое подавление и саккадическое сжатие пространства. Несмотря на очевидные преимущества такого редукционистского подхода при объяснении различных механизмов работы зрительной системы в целом, результаты, полученные с его помощью, сложно объединить в одну общую теорию. Доминирующие в настоящий момент времени теории рассматривают зрительную стабильность либо как глобальный зрительный механизм (Deubel, 1998), либо как низкоуровневый локальный механизм, объединяющий саккадическую информацию на уровне нейронов (например, ремаппинг, Wurtz, 2008). Мы предполагаем, что одним из способов проверки этих теорий может стать создание крупномасштабной модели, объясняющей работу окуломоторной системы и внимания. В первую очередь мы смоделируем работу зрительной системы с ориентацией на внешние (перцептивная заметность, восходящий процесс) и внутренние (когнитивное состояние, нисходящий процесс) источники информации, после чего перейдем к созданию полноценного симулятора зрительной системы, построенного на основе как новых, так и ранее собранных экспериментальных данных.

Гипотеза 1. Понимание вычислительной модели как модулярной системы дает возможность использовать различные алгоритмы моделирования одновременно. Например, симуляция саккад при первичном тестировании будет реализована через диффузионное моделирование, которое в дальнейшем будет заменено на нейронные сети глубинного обучения для повышения биологического правдоподобия (Krizhevsky, Sutskever, & Hinton, 2012). Две данные модели будут сопоставлены как с точки зрения их предсказательной точности, так и с точки зрения того, насколько хорошо они отражают известные когнитивные и биологические процессы.

Гипотеза 2. Итоговая версия модели будет протестирована с использованием одного из классических экспериментов с движением глаз, в котором она будет играть роль симулятора, генерирующего саккады, что позволит нам определить, насколько результаты симулятора отличаются от результатов реальных испытуемых. Симуляция различных аспектов зрительных и пространственных сетей даст нам возможность определить, какие модели зрительной стабильности наиболее точно отражают эмпирические данные и данные нейровизуализации – локальные или глобальные.

Проект реализован в течение 2017 г.

Цели и задачи проекта

1. Создание интегрированной модели зрительных систем внимания.
   1.1. Интеграция лучших из известных вычислительных моделей, в том числе моделей восходящей перцептивной заметности в первичной стриарной коре, нисходящей модуляции пространственного внимания в задней теменной коре, генерации саккад в верхнем двухолмии и саккадического контроля в фронтальных зрительных полях.
   1.2. Тестирование интегрированной модели в качестве симулятора зрительной активности человека в сравнении с данными реальных экспериментов.
2. Переход от ранее известных алгоритмов к новым подходам в машинном обучении.
   2.1. Реализация модели генерации саккад.
   2.2. Замена диффузионной модели новой моделью.
   2.3. Сравнение эффективности двух моделей с точки зрения того, насколько точно они предсказывают результаты экспериментов и совпадают с современными теориями зрительной стабильности
3. Разработка новых экспериментальных планов.
   3.1. Создание планов новых экспериментов для проверки глобальных и локальных теорий зрительной стабильности на основе данных моделирования.
   Эксперименты направлены на тестирование (3.2) саккадического подавления смещения и (3.3) предсказательного ремаппинга и (3.4) сравнение данных о ремаппинге с результатами интерференции в аналогичные структуры модели и мозга посредством транскраниальной магнитной стимуляции (ТМС).

Результаты исследования и их практическое применение

1. Создана модуляризованная версия модели зрительной заметности Итти и Коха (Koch & Ullman, 1985; Itti & Koch, 2000; Walther & Koch, 2006), позволяющая заменять компоненты модели (заметность, временной компонент, торможение возврата и т.д.) другими алгоритмами. Карта заметности модели (Salience Map, SM) заменена слоем ограниченной машины Больцмана (RBM), слой «интегрировать-и-сработать» (leaky integrate-and-fire, LIF) заменен его улучшенной версией, а также диффузионной моделью. Также слой торможения возврата (памяти) был заменен ограниченной машиной Больцмана, но данная модификация не привела к улучшению модели.
   Модель протестирована на экспериментальных данных, отображающих активность внимания, генерацию саккад и зрительную стабильность. Результаты тестирования показали преимущество диффузионной модели над слоем «интегрировать-и-сработать» во временном аспекте симуляции ориентировки внимания.
2. Созданы множественные версии улучшенной модели. Тестирование эффективности модификаций модели показало, что улучшенные параметры слоя «интегрировать-и-сработать» симулируют генерацию саккад лучше, чем стандартная версия слоя, а временная диффузионная модель симулирует зрительную активность лучше, чем обычная диффузионная модель и слой «интегрировать-и-сработать».
3. Проведено 6 новых поведенческих, айтрекинг-и ТМС-экспериментов:
   (а) два айтрекинг-эксперимента на саккадическое подавление смещения и предсказательный ремаппинг;
   (б) айтрекинг-эксперимент на пространственную ориентировку внимания с использованием модифицированных версий парадигмы экзогенной ориентировки внимания (Posner et al., 1980) с саккадическим временем реакции;
   (в) поведенческий эксперименты на пространственную ориентировку внимания с использованием модифицированных версий парадигмы экзогенной ориентировки внимания (Posner et al., 1980) с мануальным временем реакции;
   (г) ТМС- и айтрекинг-эксперимент с заданием на саккады-антисаккады;
   (д) поведенческий эксперимент на идентификацию объектов.
   Данные, полученные в ходе экспериментов, использованы для тестирования разработанной модели, а также сами по себе являются вкладом в развитие исследований зрительного восприятия и пространственного внимания.

Практическое использование создаваемой нами модели возможно в сферах, занимающихся развитием машинного зрения и технологии распознавания лиц, а также в оптимизации устройств исходя из особенностей зрительного внимания и зрительной системы человека в целом. Несмотря на то, что задачи, на решение которых направлены вычислительные модели зрительных систем, отличаются от задач, стоящих перед более прикладными областями, и в первом, и во втором случае зачастую используются схожие техники и алгоритмы. Модели, симулирующие работу зрительной системы, дадут возможность связать психофизиологическую составляющую с практическими запросами гораздо быстрее, чем использование исключительно экспериментальных данных.

Всего на основе полученных результатов подготовлено 5 публикаций, из них 2 англоязычных статьи находятся в печати и 3 англоязычных рукописи находятся на стадии подготовки и скоро будут поданы в журналы.

Участники выступили с 21 докладом на семинарах и мастер-классах НУГ и с 4 докладами и 8 постерными докладами на международных научных конференциях. Тезисы постерных докладов, поданных на ECVP-2017, будут опубликованы в журнале Perception.