МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ОБРАЗОВАНИЯ

«НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ»

Кафедра «Систем сбора и обработки данных»

КУРСОВАЯ РАБОТА

«ТЕХНОЛОГИЯ АЙТРЕКИНГА»
по дисциплине «Технологии реабилитации с применением технических
средств»

Выполнила: Черненко Анастасия Преподаватель: Педонова З.Н.

Факультет: АВТ
Группа: АОМ-20

Новосибирск 2021
 Содержание

Введение.........................................................................................................3

1.Глазодвигательная активность..................................................................4

2.Методы регистрации движений глаз........................................................7

3.Технология айтрекинга............................................................................11

Заключение..................................................................................................18

Список литературы.....................................................................................19
 Введение

Современная медицина становится все более высокотехнологичной.

Лучшие научные и инженерные достижения регулярно реализуются в новых
аппаратах, инструментах и лечебно-диагностических методах, существенно
повышая их эффективность. В полной мере это относится и к реабилитации.
Современные реабилитационные технологии позволяют начать работать с
пациентами в первые дни после операции, травмы, инфаркта миокарда или
инсульта. Они открывают возможности для восстановления или замещения
функций самым сложным пациентам, страдающим тяжелыми формами ДЦП,
имеющим выраженные нарушения сознания или мышления, утратившим
речь и способность к движению.

Современные реабилитационные центры среди множества методов

коррекции двигательных нарушений широко используют современные
роботизированные и компьютеризированные тренажеры, системы со
встроенными функциями контроля и биологической обратной связи (БОС).
Активное применение новых технологий в области реабилитации в огромной
степени повышает ее эффективность. Например, технология айтрекинга
(управление компьютерной мышью движениями глаз) позволяет пациентам с
минимальными двигательными возможностями самостоятельно пользоваться
компьютером, а значит, читать, работать, слушать музыку, писать, смотреть
фильмы, играть. Данная технология активно используется в
специализированных медицинских центрах. Она помогает установить связь с
пациентами, имеющими моторные или речевые нарушения вследствие травм,
сосудистых и неврологических катастроф, состояний разного генеза
характеризующиеся обездвиженностью, врожденными патологиями, а также
детьми с расстройствами аутистического спектра. Огромное число людей,
перенесших тяжелые заболевания или травмы, благодаря этой технологии
могут жить полноценно и качественно.

3
 1. Глазодвигательная активность

Человеческий глаз является парным органом, воспринимающим

электромагнитное излучение в световом диапазоне и обеспечивающим
восприятие окружающего нас мира. На рисунке 1 представлена схема
строения глаза.

Рисунок 1 – Схема строения глаза

Свет преломляется в первую очередь роговицей - прозрачной передней

оболочкой глаза, которая действует как объектив камеры. Радужка глаза, как
диафрагма камеры, контролирует количество света, достигающее заднего
сегмента глаза, автоматически регулируя размер зрачка, благодаря круговым
мышцам, сужающим зрачок, и радиальным, расширяющим его. Хрусталик
глаза расположен непосредственно за зрачком и делит глазное яблоко на два
отдела: передний и задний. Хрусталик составляет важную часть
светопреломляющего и светопроводящего аппарата глаза благодаря своим
уникальным особенностям, а именно прозрачностью и эластичностью. Его
основная функция — это светопреломление. Благодаря процессу,
называемому аккомодацией, хрусталик изменяет преломляющую силу
оптической системы глаза и обеспечивает ясное виденье посредством
автофокусировки изображения на структурах заднего полюса глаза. Свет,
сфокусированный роговицей и хрусталиком, достигает сетчатки,
4
светочувствительной внутренней оболочки заднего полюса глаза. Сетчатка
действует как электронный датчик изображения цифровой камеры, здесь
происходит непосредственное восприятие света, биохимические
превращения зрительных пигментов, изменение электрических свойств
нейронов и передача сигнала по зрительному нерву в зрительную кору
больших полушарий головного мозга, отвечающую за обработку визуальной
информации [1].

Основные виды движения глаз: фиксации, саккады, вергенции, плавное

отслеживание, вестибулоокулярный рефлекс.

Фиксации – наиболее распространенный вид глазодвигательной

активности, который анализируется исследователями при изучении
когнитивных процессов человека. Во время фиксации наши глаза перестают
сканировать визуальное пространство и статично удерживают фовеальное
зрение, чтобы визуальная система смогла получить подробную информацию
о предмете восприятия. Фиксация состоит из более медленных и мгновенных
движений (микросаккады, нистагм и дрейфы), которые помогают глазу
зафиксироваться на объекте и избежать ухудшения восприятия; их
длительность варьируется от 50 до 600 мс (однако, сообщалось и о более
длительных фиксациях); минимальная длительность необходимая для приема
информации зависит от задачи и стимула.

Саккады – это быстрые движения глаз, которые позволяют нам

сканировать визуальную сцену. Глаз фокусируется на объекте только на
короткое мгновение, прежде чем быстро перейти к следующему. Саккада
может быть вызвана как произвольно, так и непроизвольно; оба глаза
двигаются в одном направлении; время «планирования» саккады (время
ожидания) зависит от задачи и варьируется в пределах 100-1000 мс; средняя
продолжительность саккады 20-40 мс; длительность саккады и ее амплитуда
линейно коррелируют между собой (чем больше скачок, тем больше

5
длительность); конечная точка саккады не может быть изменена в процессе
движения; саккады не обязательно имеют простые линейные траектории.

Вестибулоокулярный рефлекс позволяет нам ясно видеть даже при

движении головой. Например, когда мы идем, наша голова много двигается,
и вестибуло-глазные движения компенсируют это движение, не спуская глаз
с намеченной зрительной цели. Если бы этот процесс не происходил, мы
могли бы изменить направление взгляда, только двигая головой.
Вестибулоокулярные движения генерируются в результате деятельности
вестибулярной системы.

Плавное отслеживание в отличие от быстрых резких движений саккад,

предполагает, что глаза следят за стимулом линейным образом. Оно не
может быть произвольно запущено при отсутствии движущейся цели.

Вергентные движения – сведение (конвергенция) или разведение

(дивергенция) оптических осей глаз. Они включены в процесс
бинокулярного зрения, обеспечивая необходимое соответствие проекций
объекта на сетчатках обоих глаз: при фиксации зрительные оси пересекаются
на наблюдаемом объекте [2].

6
 2. Методы регистрации движений глаз

В настоящее время известен ряд способов измерения и оценки

направленности взора человека, среди которых наиболее разработаны
видеосъемка, электроокулография, фотооптический, фотоэлектрический и
электромагнитный методы.

Видеосъемка включала три взаимосвязанные процедуры:

 киносъемку лица испытуемого в процессе решения

познавательных и/или двигательных задач;
 покадровый анализ пленки для определения направленности глаз;
 наложение маршрута перемещений глаз на экспонируемый
объект или тестовую ситуацию.

Источником информации об окуломоторной активности служили

смещения изображения контролируемого элемента глаза (край или центр
зрачка, кровеносный сосуд склеры, роговичный блик и т. п.) относительно
неподвижной части лица или оборудования. Траектория (маршрут) движений
глаз устанавливалась путем сопоставления относительного положения
контролируемого элемента в смежных кадрах, а длительность движений – по
соответствующему ему числу кадров.

Фотооптический метод базируется на принципе «оптических

рычагов»: узкий пучок света, направленный на глазное яблоко, отражается от
установленного на нем миниатюрного зеркальца и поступает на вход
фоторегистрирующего устройства, например, шлейфового осциллографа или
фотопластинку. Перемещение глаза преобразуется в соответствующее
перемещение светового луча, которое может быть развернуто как в
пространстве, так и во времени. Ключевым звеном данного метода является
способ крепления зеркальца к глазному яблоку (рисунок 2).

7
 Рисунок 2 – Схематическое изображение боковой (а) и центральной (б)
присосок (Ярбус, 1965)

1 – корпус присоски; 2 – пустотелый цилиндрический отросток; 3 –

канал, 4 – выемка, 5 – зеркало

В распространенной методике А. Л. Ярбуса в качестве посредника

использовалась легкая вакуумная присоска, которая крепилась либо к
височной части склеры (боковая присоска), либо к ее центральной части, не
касаясь роговицы (центральная присоска). Устойчивость присоски на глазу
обеспечивалась путем создания (с помощью специального пустотелого
цилиндрического отростка) пониженного давления в камере, образованной
корпусом присоски и внешней поверхностью глаза. В отличие от
киносъемки, фотооптический метод позволяет раскрыть функциональную
организацию окуломоторной активности и более тонкие опосредствованные
связи движений глаз с процессами познания и деятельности [3].

Фотоэлектрический метод позволяет преобразовать отраженный от

роговицы пучок света (как правило, инфракрасного диапазона) в
электрический сигнал. Чаще всего на фотоэлектрический датчик
проецируется изображение переднего участка глаза, имеющего резкий
перепад отражающей способности (например, край зрачка, лимб роговицы).
При перемещении глаз меняется количество отраженного света и
соответственно сила тока в цепи. Усилив сигнал, можно получить запись
глазодвигательной активности на ленте самописца или иного регистратора
данных. По существу, фотоэлектрический способ регистрации

8
окуломоторной активности представляет своего рода гибрид, сочетающий
свойства видеорегистрации и фотооптического метода. Он обеспечивает
монокулярное измерение как статических (длительность, последовательность
и частоту фиксаций), так и динамических (скорость, ускорения, частоту
колебаний) параметров макродвижений глаз (чаще всего их горизонтальную
составляющую). Метод полезен при анализе механизмов управления
движениями глаз, зрительных эффектов, сопровождающих окуломоторную
активность, и особенностей деятельности операторов-наблюдателей [2].

В основе электроокулографии лежит использование собственных

электрических свойств глазного яблока (рисунок 3).

Рисунок 3 – Установка электродов при регистрации

электроокулограммы

По своей физической природе оно является диполем, в котором

роговица относительно сетчатки электроположительна. Электрическая ось
глаза примерно совпадает с оптической осью и, следовательно, может
служить индикатором направленности взора. Изменение разности
потенциалов между роговицей и сетчаткой, сопровождающее перемещение
глаз, обнаруживается через изменение потенциала в тканях, прилегающих к
глазнице. Окуломоторная активность отслеживается с помощью электродов,
которые устанавливаются крестообразно вокруг глазной впадины.
Электроды, расположенные около височных углов глазной щели,
9
регистрируют горизонтальную составляющую движений глаз, а электроды,
расположенные около верхнего и нижнего края глазной впадины, –
вертикальную составляющую движений глаз. Электрический сигнал,
возникающий в ходе поворота глаз, может быть усилен с помощью
усилителей переменного или постоянного тока. [4]

В основу электромагнитного метода положен принцип изменения

напряженности электромагнитного поля при изменении расстояния между
излучателем и приемником (рисунок 4). Излучатель крепится на глазном
яблоке (с помощью центральной присоски, контактной линзы или кольца),
создавая переменное электромагнитное поле у приемных катушек,
установленных неподвижно относительно головы. Сигнал, вызываемый
перемещением излучателя, усиливается и передается на регистрирующее
устройство (осциллограф, координатный самописец, ПК и др.). Таким
образом, любая направленность/поворот глаз преобразуется в эквивалентное
напряжение в приемных катушках, становясь доступным для тонкого
измерения, магнитной фиксации и преобразований [2].

Рисунок 4 – Схема установки для электромагнитной регистрации

движений глаз (а); присоски и излучатель, использовавшиеся в
исследованиях Н. Ю. Вергилеса (б)

1 – приемные катушки-антенны; 2 – индукционный излучатель-датчик;

3 – экран с тестовым изображением; 4 – усилители сигналов; 5 –
регистрирующий осциллограф
10
 3. Технология айтрекинга

Технология айтрекинга представляет собой программное обеспечение

для людей с минимальными двигательными возможностями, позволяет
самостоятельно пользоваться компьютером, а именно читать, работать,
слушать музыку, писать, смотреть фильмы или играть. Для ее реализации
необходима камера, отслеживающая центр зрачка и отраженный свет от
роговицы.

Точность измерения движений глаз напрямую зависит от четкого

разделения определения зрачка и определения отражения от роговицы.
Видимый спектр с большой вероятностью создаст нежелательное зеркальное
отражение, в то время как освещение глаза с помощью инфракрасного света
(не воспринимаемого человеческим глазом) делает разделение зрачка и
радужной оболочки простой задачей. Когда в зрачок напрямую проникает
свет, он просто отражается от радужной оболочки. Это означает, что
происходит четкое отражение (с небольшими помехами) и таким образом его
легко зафиксировать.

Существует две различные настройки освещения, которые можно

использовать для отслеживания глаз, с помощью детекции светлого зрачка,
когда осветитель помещается близко к оптической оси устройства
формирования изображения, в результате чего зрачок выглядит освещенным
(это явление приводит к появлению красных глаз на фотографиях) и
детекции темного зрачка, когда осветитель размещается вдали от оптической
оси, в результате чего зрачок выглядит темнее радужной оболочки (рисунок
2).

Основным инструментом является устройство айтрекер, которое

распознает и записывает позиции зрачка и движения глаза. Айтрекинг можно
разделить на три категории: отслеживание движений глаз на экране (также
называемое стационарным или настольным отслеживанием), мобильное

11
отслеживание (с помощью очков) и виртуальное отслеживание (в гарнитуре
виртуальной реальности).

Рисунок 2 – Верхний рисунок: детекция темного зрачка; нижний

рисунок: детекция светлого зрачка

В настольной установке айтрекер располагается рядом с

отслеживаемым объектом, обычно это экран (монитор или проектор), а
пациенты будут находиться в статичном положении перед системой
айтрекинга (рисунок 3).

Рисунок 3 – Стационарный айтрекер

12
 В мобильной установке, когда пациенты находятся в естественной
среде и им приходится перемещаться, чтобы запечатлеть объекты под
разными углами, движения глаз отслеживаются с помощью айтрекеров-
очков, в которых ИК камеры и ИК осветители установлены возле глаз
(рисунок 4) [1].

Рисунок 4 – Мобильный айтрекер

Большинство современных систем слежения за глазами требуют

относительно небольшой настройки. Средства для обнаружения зрачка и
удаления артефактов теперь автоматизированы и постоянно регулируются.
Системы айтрекинга достаточно хорошо адаптируются к разному цвету,
размеру, форме и межзрачковому расстоянию глаз.

Системы слежения за глазами требуют калибровки, которая

представляет собой метод алгоритмического связывания физического
положения глаза с точкой в пространстве, на которую смотрит человек. Это
связано с тем, что существуют некоторые различия в размере глаз,
положении центральной ямки сетчатки и общей физиологии, которые
необходимо учитывать для каждого человека. Калибровка обычно
предполагает, что человек смотрит на фиксированные известные точки в

13
поле зрения. Они могут отображаться на экране компьютера для экранной
системы слежения за глазами или отображаться в физическом мире для очков
слежения за глазами. Алгоритм осуществляет математическое
преобразование между положением глаза и положением взгляда для каждой
цели, а затем создает матрицу для покрытия всей области калибровки. Чем
больше используется целей, тем выше и равномернее будет точность по
всему полю зрения. Область калибровки определяет наиболее точную часть
диапазона системы слежения за глазами, при этом точность падает, если глаз
перемещается под углом, большим, чем используемые точки. Некоторые
очень продвинутые системы могут выполнять самокалибровку, создавая
сложные модели глаза и пассивно измеряя характеристики у каждого
человека.

В основном оборудование для айтрекинга использует схожие методы

отслеживания взгляда, однако есть ряд возможных отличий между данными
устройствами.

Интерфейс: наиболее очевидное различие между устройствами

отслеживания взгляда заключается в том, как они взаимодействуют с
пользователем и окружающей средой. Некоторые системы требуют
стабилизации головы с помощью опоры для подбородка или прикуса.
Остальные приспособления встроены в повязку на голову или очки. Самый
распространенный тип устройств вообще не касается человека и отслеживает
взгляд на расстоянии. Существуют и более инвазивные методы отслеживания
взгляда (например, системы склеральных поисковых катушек).

Область слежения: большинство устройств слежения за глазами

используют экран компьютера в качестве области слежения и не фиксируют
движения глаз за его пределами. Некоторые предназначены для
отслеживания в условиях “реального мира”, т.е. практически всего, на что
смотрит человек [5].

14
 Технические характеристики: пространственное разрешение, точность,
частота дискретизации и пр. Важной технической характеристикой считается
точность регистрации – это степень соответствия направления на объект,
который воспринимает человек, направлению, которое измеряется прибором.
Если при проведении калибровки все калибровочные метки имеют
одинаковую проекцию на фовеальную зону, то точность регистрации будет
составлять менее 0,5 градуса.

Следующая характеристика – регистрирующая способность, т.е.

насколько мелкие движения могут быть зарегистрированы системой.
Фактически это сколько пикселей будет в изображении глаз приходиться на
зону зрачка. Чем больше пикселей, тем лучше разрешение системы. У
наиболее совершенных систем оно составляет около 0,01 градуса.

Третьей характеристикой является частота дискретизации видеокамеры

– скорость съемки. В зависимости от этого параметра все системы делятся
на:

 очень медленные – частота 25 Гц;

 среднескоростные – частота 50–100 Гц;
 скоростные – частота 250 –500 Гц;
 высокоскоростные видеосистемы регистрации (частота 1000–
2000 Гц).

Только скоростные системы могут детектировать скорость саккад и

только с помощью них можно проводить анализ движений глаз в режиме
реального времени.

Четвертая характеристика – уровень и постоянство

латентности/задержки системы в процессе записи и кодирования данных.
Под этим подразумевается время, которое необходимо системе, чтобы
соотнести регистрацию камерой фиксации и координаты взора. В лучших

15
системах это время занимает менее 3 мс для 1000 Гц системы. Важно не
только время задержки, но и периодичность возникновения задержек. Лучше,
если задержки возникают через равное количество времени. Но этот
показатель зависит и от оперативной памяти компьютера, и от объема
жесткого диска.

Пятая характеристика – угол регистрации – отражает пределы точного

регистрирования направления взора [6].

Специфика айтректинга состоит в том, что обработка данных

выполняется в несколько этапов. Исходные данные, получаемые в ходе
видеорегистрации движений глаз, представляют собой изображения глаз
наблюдателя, на которых определяются позиции зрачка и роговичного блика.
Далее выполняется переход к координатам взора, привязанным к
поверхности рассматриваемого изображения.

Изображение, поступающее с видеокамеры, регистрирующей движения

глаз, может быть подвергнуто предварительной фильтрации с целью
устранения шумов. Следующий этап обработки данных – определение на
видеоизображении координат центра зрачка и роговичного блика и расчет на
их основании координат взора наблюдателя, привязанных к устройству
визуализации, на котором выполнялась процедура калибровки. Координаты
взора наблюдателя могут быть подвергнуты дальнейшей фильтрации с целью
сглаживания «шума». Возможным решением данной задачи является
использование логических фильтров, основанных на шаблонах.

Первичные данные, содержащие координаты взора наблюдателя с

дискретностью, определяемой частотой работы регистрирующего устройства
(от 30 до 2000 Гц), как правило, подвергаются дальнейшей обработке с целью
выделения последовательности фиксаций и саккад. При выполнении данного
этапа необходимо помнить, что получаемый результат существенно зависит
от используемого способа детекции и значений параметров настройки.

16
Наибольшее распространение получил алгоритм детекции, основанный на
пороговой дисперсии (Dispersion Threshold Identification, I-DT),
применяемый, как правило, при обработке данных, записанных с низкой
частотой. Алгоритм имеет два настроечных параметра: минимальную
продолжительность фиксации и пороговую дисперсию. Фиксациями
считаются фрагменты данных, продолжительность которых не меньше
минимальной заданной, а дисперсия не больше максимального порога.
Остальные данные относятся к саккадам.

Близким по принципу работы к алгоритму I-DT является алгоритм,

основанный на построении минимального остовного дерева (Minimum
Spanning Trees Identification, I-MST), т. е. для набора вершин графа строится
связанный подграф минимально возможной длины (используя алгоритм
Дейкстры – Прима или алгоритм Краскела). Саккадам в остовном дереве
будут соответствовать ребра, длина которых превышает заданный порог.
Фрагменты дерева, не разделенные саккадами, рассматриваются как
фиксации. Недостатком I–MST является то, что он игнорирует информацию
о фактическом порядке следования данных.

Детекция саккад также может быть выполнена с помощью фильтра

Калмана (Kalman Filter Identification, I-KF). Фильтр Калмана представляет
глаз как систему, имеющую две характеристики: положение и скорость. На
основании данных о положении глаз фильтр предсказывает скорость.
Предсказанная скорость сопоставляется с фактической, вычисленной на
основе эмпирических данных. Интервалы, для которых фактическая скорость
значимо отличается от предсказанной (по критерию χ²) рассматриваются как
саккады [2].

17
 Заключение

Технология айтрекинга в последнее время совершила огромный шаг

вперед. Это привело к расширению сферы применения отслеживания глаз: от
медицинских исследований в области нейрофизиологии и офтальмологии к
более разнообразному применению как в медицине, так и далеко за ее
пределами – анализ поведения и психологии, исследования рынка,
развлекательная индустрия, возможность управления техникой путем
отслеживания глаз, что позволяет общаться людям с нарушениями
двигательной функции, и многое другое. Это перспективное направление в
развитии современной техники, чья область применения и уровень развития,
вероятно, в будущем будут только расти.

18
 Список литературы

1. Шелепин Е.Ю., Шелепин К.Ю., Скуратова К.А. Айтрекинг.

Методическое пособие по применению. – СПб.: Скифия-принт,
2019. – 52 с.
2. Барабанщиков В. А., Жегалло А. В. Айтрекинг: Методы регистрации
движений глаз в психологических исследованиях и практике. – М.:
Когито-Центр, 2014. – 128 с.
3. Ярбус А. Л. Роль движений глаз в процессе зрения. Наука, 1965
4. Барабанщиков В. А., Жегалло А. В. Методы регистрации движений
глаз: теория и практика. – Психологическая наука и образование. –
2010. – № 5. – С. 240-254.
5. Айтрекинг [Электронный ресурс] – Режим доступа :
https://cmi.to/%D0%B0%D0%B9%D1%82%D1%80%D0%B5%D0%B
A%D0%B8%D0%BD%D0%B3/
6. Полевая А.В., Демарева В.А., Парин С.Б., Полевая С.А. Практикум
по методу eye-tracking: учебно-методическое пособие. – Нижний
Новгород: Нижегородский госуниверситет, 2017 – 41 с.

19