Министерство образования и науки Российской Федерации

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

“САНКТ-ПЕТЕРБУРГСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ

УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ,
МЕХАНИКИ И ОПТИКИ”

ПОЯСНИТЕЛЬНАЯ ЗАПИСКА
ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЫ

«ИССЛЕДОВАНИЕ МЕТОДОВ АВТОМАТИЧЕСКОГО ДЕТЕКТИРОВАНИЯ

ЛИНИИ СИММЕТРИИ ЛИЦА НА ЦИФРОВОМ ИЗОБРАЖЕНИИ ДЛЯ
СИСТЕМ ФОТОПЛЕТИЗМОГРАФИИ»

Автор Кравченко Иван Степанович _______________

(Фамилия, Имя, Отчество) (Подпись)

Направление подготовки (специальность) 09.03.03 _

Квалификация бакалавр _
(бакалавр, инженер, магистр)

Руководитель Петерсон М. В., ассистент, к.т.н. _________

(Фамилия, И., О., ученое звание, степень) (Подпись)

К защите допустить

Зав. кафедрой Гуров И. П., профессор, д.т.н ______________

(Фамилия, И., О., ученое звание, степень) (Подпись)

“___”__________________ 2017 г.

Санкт-Петербург, 2017 г.
Студент_Кравченко И.С. Группа V3416____Кафедра__КФиВИ_____Факультет__ФФиОИ__
(ФИО)

Направленность (профиль), специализация 09.03.03, Прикладная информатика в информационной

сфере

Консультант(ы):
а) ________________________________________________________________ _______________
(Фамилия, И., О., ученое звание, степень) (Подпись)

б) ________________________________________________________________ _______________
(Фамилия, И., О., ученое звание, степень) (Подпись)

Квалификационная работа выполнена с оценкой _______________________________

Дата защиты “____”________________________20 ____г.

Секретарь ГЭК ___________________________________ Принято “___”____________20 ____г.

Листов хранения ___________________________________

Демонстрационных материалов/Чертежей хранения _________________________________

 Министерство образования и науки Российской Федерации
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

“САНКТ-ПЕТЕРБУРГСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ

УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ,
МЕХАНИКИ И ОПТИКИ”

УТВЕРЖДАЮ
Зав. кафедрой___________________
_______________________________
(ФИО) (подпись)
«____» «_______________» 20___ г.

ЗАДАНИЕ
НА ВЫПУСКНУЮ КВАЛИФИКАЦИОННУЮ РАБОТУ

Студенту_______________Группа________Кафедра_________Факультет_______________
Кравченко И.С. V3416 КФиВИ ФФиОИ
__Руководитель_________________________________________________________________
Петерсон Максим Владимирович, к.т.н., Университет ИТМО, ассистент
____
(ФИО, ученое звание, степень, место работы, должность)
1 Наименование Исследование методов автоматического детектирования линии симметрии
темы:_____________________________________________________________
лица на цифровом изображении для систем фотоплетизмографии
________________________________________________________________________________
__
________________________________________________________________________________
__ Прикладная информатика
Направление подготовки (специальность)
___________________________________________
Прикладная информатика в информационной сфере
Направленность (профиль)
_________________________________________________________
бакалавр
Квалификация
____________________________________________________________________
(бакалавр, магистр, специалист, инженер)

2 Срок сдачи студентом законченной работы «___»

20 «__________________»
апреля 2017 г.
3 Техническое задание и исходные данные к работе
Исследование и разработка методов детектирования линии симметрии лица на цифровых
изображениях
________________________________________________________________________________
Исходные
__ данные: Цифровые снимки лиц диагностируемых пациентов.

4
________________________________________________________________________________
__

4 Содержание выпускной квалификационной работы (перечень подлежащих

разработке вопросов)
4.1 Исследование методов детектирования линии симметрии объектов на изображении.
4.2 Программная реализация исследованных методов
4.3 Разработка методики оценки качества результатов работы реализованных методов
4.4 Получение и анализ экспериментальных данных
_____________________________________________________________________________
_____________________________________________________________________________

5 Перечень графического материала (с указанием обязательного материала)

_____________________________________________________________________________
Цифровые изображения лиц
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
_____________________________________________________________________________
6 Исходные материалы и пособия
_____________________________________________________________________________
Kamshilin, A.A, Volynsky, M.A., Sidorov, I.S., Mamontov, O.V. Video-Based Measurements of
Blood Pulsations Delay in Human Faces // Optics InfoBase Conference Papers – 2016 - No. F7-
_____________________________________________________________________________
COSI – pp. CM2B.3;
_____________________________________________________________________________
_____________________________________________________________________________
Loy G., Eklundh JO Detecting Symmetry and Symmetric Constellations of Features / Leonardis
A., Bischof H., Pinz A. // Computer Vision. Lecture Notes in Computer Science – 2006 – V.
_____________________________________________________________________________
_____________________________________________________________________________
3952;
_____________________________________________________________________________
_____________________________________________________________________________
КАЛЕНДАРНЫЙ ПЛАН
№№ Наименование этапов выпускной Срок Отметка о
п/п квалификационной работы выполнения выполнении,
этапов работы подпись руков.
1 Исследование методов детектирования линии 20.02.2017
симметрии объектов на изображении
2 Программная реализация исследованных методов 01.03.2017
3 Разработка методики оценки качества результатов 20.03.2017
работы реализованных методов
4 Получение и анализ экспериментальных данных 07.04.2017
5 Оформление пояснительной записки 20.04.2017

8 Дата выдачи задания «____»

08 «_________________»
февраля 2017 г.
Руководитель__________________________
(подпись)
Задание принял к исполнению___________________ «____»
08 «______________»
февраля 2017 г.
(подпись)
Министерство образования и науки Российской Федерации
5
 ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

“САНКТ-ПЕТЕРБУРГСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ

УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ,
МЕХАНИКИ И ОПТИКИ”

АН Н О ТАЦ И Я
ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЫ

Студент Кравченко Иван Степанович _

(ФИО)

Наименование темы ВКР: Исследование методов автоматического детектирования линии

симметрии лица на цифровом изображении для систем фотоплетизмографии _
Наименование организации, где выполнена ВКР: Университет ИТМО _

ХАРАКТЕРИСТИКА ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЫ

1 Цель исследования – разработка надежного метода автоматического детектирования линии

лицевой симметрии на цифровом изображении _
2 Задачи, решаемые в ВКР:
- исследование существующих подходов к детектированию линии симметрии на
изображении в общем случае;
- разработка метода автоматического детектирования линии лицевой симметрии на
цифровом изображении;
- разработка критерия оптимальности результата детектирования линии лицевой
симметрии;
- тестирование реализации исследованных методов.
3 Число источников, использованных при составлении обзора 6 _
4 Полное число источников, использованных в работе 16 _
5 В том числе источников по годам
Отечественных Иностранных
Последние От Более Последние От Более
5 лет 5 до 10 лет 10 лет 5 лет 5 до 10 лет 10 лет
0 0 1 2 0 13

6 Использование информационных ресурсов Internet нет _

( Д а , н е т , ч и с л о с с ы л о к в с п и с к е л и т е р а т ур ы )

7 Использование современных пакетов компьютерных программ и технологий____________

(Указать, какие именно, и в каком разделе работы)
Глава 2, раздел 1, Open Source Computer Vision Library (OpenCV С++ 2.4.13) _
Глава 2, раздел 2, Dlib C++ toolkit _

8 Краткая характеристика полученных результатов

6
Полученные в рамаках данной работы результаты позволяют сделать выводы о сферах
применимости обоих исследованных методов. _
9 Полученные гранты, при выполнении работы _______________________________________
( Название гранта)
________________________________________________________________________________

10 Наличие публикаций и выступлений на конференциях по теме выпускной работы да _

а) Кравченко И.С., Петерсон М.В. Исследование методов детектирования линии симметрии

лица для систем фотоплетизмографии // Сборник тезисов докладов конгресса молодых _
ученых. Электронное издание [Электронный ресурс]. - Режим доступа: _
http://kmu.ifmo.ru/collections_article/5318/issledovanie_metodov_detektirovaniya_linii_simmetrii_lic
a_dlya_sistem_fotopletizmografii.htm, своб. _
(Библиографическое описание публикаций)

б) Кравченко И.С. Исследование методов детектирования линии симметрии лица для систем
фотоплетизмографии. В кн.: VI Всероссийский конгресс молодых ученых, Санкт-Петербург,
2017: материалы. Санкт-Петербург: Университет ИТМО, 2017. _
(Библиографическое описание выступлений на конференциях)

Выпускник__________________________ _________________
(ФИО) (подпись)

Руководитель________________________ _________________
(ФИО) (подпись)

“__________”________________20___г.

7
 Министерство образования и науки Российской Федерации
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

“САНКТ-ПЕТЕРБУРГСКИЙ НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ

УНИВЕРСИТЕТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ,
МЕХАНИКИ И ОПТИКИ”

ОТЗЫВ РУКОВОДИТЕЛЯ
О ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЕ

Студент Кравченко И. С. Группа V3416 Кафедра КФиВИ Факультет ФФиОИ

_
(ФИО)
Квалификация бакалавр
_
(бакалавр, магистр, специалист, инженер)
Направление подготовки (специальность) 09.03.03 - Прикладная информатика
Направленность (профиль) Прикладная информатика в информационной сфере
_
Наименование темы: Исследование методов автоматического детектирования линии _
симметрии лица на цифровом изображении для систем фотоплетизмографии
_
Руководитель Петерсон М.В., Университет ИТМО, ассистент, к.т.н. _
( Фамилия, И., О., место работы, должность, ученое звание, степень )

ПОКАЗАТЕЛИ ОЦЕНКИ ВЫПУСКНОЙ КВАЛИФИКАЦИОННОЙ РАБОТЫ

№ Оценка
Показатели
5 4 3 0*
1 Оригинальность и новизна полученных результатов, научных,
Профессиональн

+
конструкторских и технологических решений
2 Степень полноты обзора, обобщения, анализа, систематизации +
3 Степень самостоятельного и творческого участия студента в работе +
4 Корректность формулирования цели и задачи исследования и разработки +
5 Уровень и корректность использования в работе современных методов
+
ая

исследований, математического моделирования, инженерных расчетов

6 Степень комплексности работы. Применение в ней знаний
информационна

естественнонаучных, социально-гуманитарных и экономических, +

Справочно-

общепрофессиональных и специальных дисциплин

7 Использование современных пакетов компьютерных программ и
я

+
технологий
8 Наличие публикаций, участие в н.-т. конференциях, награды за участие в
+
конкурсах
9 Ясность, четкость, последовательность и обоснованность изложения
Оформительска

+
пояснительной записки
10 Качество оформления пояснительной записки (общий уровень
грамотности, стиль изложения, качество иллюстраций, соответствие +
я

требованиям стандарта)
11 Объем и качество выполнения графического материала, его соответствие
+
тексту записки и стандартам
ИТОГОВАЯ ОЦЕНКА отлично
* - не оценивается (трудно оценить)

8
Отмеченные достоинства: Оригинальность и новизна полученных результатов и
технологических решений, продемонстрирована способность формулирования цели и задач
исследования, высокая степень самостоятельного участия студента в работе, использование
современных пакетов компьютерных программ и технологий, апробация результатов работы
на «VI Всероссийском конгрессе молодых ученых», Санкт-Петербург, 2017 г.

Отмеченные недостатки:
Степень полноты обзора существующих результатов в исследуемой области.
Относительно небольшой размер экспертной группы, которая участвовала в исследовании.

Заключение: Считаю, что ВКР студента Кравченко И. С. на тему «Исследование методов

автоматического детектирования линии симметрии лица на цифровом изображении для
систем фотоплетизмографии» соответствует требованиям Университета ИТМО,
предъявляемым к ВКР и заслуживает оценки «отлично» , а её автор присуждения
квалификации бакалавра по направлению подготовки (специальности) 09.03.03 -
Прикладная информатика .

Руководитель _______________ ___________________ «____» «______________» 20

г.
(подпись) (ФИО)

С отзывом ознакомлен_____________ __________________ «____» «______________» 20

г.
(подпись) (ФИО)

Принято «____» «___________» 20__г. Секретарь ГЭК ______________ ________________

(ФИО) (подпись)

9
Содержание
Содержание ........................................................................................... 4

Введение ................................................................................................. 5

Глава 1. Обзор предметной области ................................................. 8

1.1 Основные определения ........................................................ 8

1.1.1 Фотоплетизмография .................................................. 8
1.1.2 Гистограмма направленных градиентов (HOG) ....... 9
1.1.3 Scale-invariant feature transform (SIFT) .................... 10
1.2 Обзор существующих методов ......................................... 12

Глава 2. Описание алгоритмов ....................................................... 14

2.1 Метод на основе SIFT-признаков ..................................... 15

2.2 Метод на основе HOG-признаков ..................................... 21

Глава 3. Методика тестирования и результаты .......................... 22

3.1 Методика тестирования .................................................... 22

3.2 Результаты тестирования .................................................. 28

Заключение .......................................................................................... 35

Список литературы............................................................................. 37

10
Введение
Мигрень – распространенное неврологическое заболевание, точные
механизмы которого до сих пор остаются по существу не изученными. Уже в
ранних исследованиях причиной этого недуга называли нарушения работы
сердечно-сосудистой системы. Одним из стандартных признаков мигрени
является односторонний характер головных болей. На сегодняшний день при
лечении этого заболевания асимметричным изменениям лицевого кровотока
уделяется слишком мало внимания. В классических исследованиях на тему
мигрени [1] отмечают тенденцию расширения височной артерии с той стороны
головы, на которой пациент ощущает пульсирующую боль. Тем не менее,
асинхронность лицевых пульсаций крови остается не изученной в
подробностях [2].
Для исследования изменения лицевого кровотока при мигрени может
применяться методика ФПГ (фотоплетизмографии) благодаря своей простоте и
потенциально низкой цене реализации.
В процессе проведения ФПГ-исследования появляется необходимость в
разметке оси лицевой симметрии на анализируемых снимках пациентов. В
настоящее время этой разметкой занимаются вручную [3], что имеет ряд
недостатков:
- увеличивается количество времени, затрачиваемого на обработку
снимков;
- возникает вероятность возникновения ошибок из-за человеческого
фактора, так как человек плохо воспринимает изменения в локальных лицевых
признаках при разных ориентациях лица, о чем, например, свидетельствует
существование так называемого эффекта Тэтчер [4].
Следовательно, появляется необходимость в разработке надежного
метода автоматического детектирования линии лицевой симметрии, что

11
является целью данной работы. В связи с этим, основные задачи работы
заключаются в:
- исследовании существующих подходов к детектированию линии
симметрии на изображении в общем случае;
- разработке метода автоматического детектирования линии лицевой
симметрии на цифровом изображении;
- разработке критерия оптимальности результата детектирования линии
лицевой симметрии;
- тестировании реализации исследованных методов.
Проблема детектирования симметрии в общем случае уже изучалась на
протяжении долгого времени, и существуют методы, предназначенные для
решения подобных задач. Однако ряд отличительных характеристик входных
данных в области ФПГ накладывают определенные ограничения на их
использование. На обрабатываемых снимках глаза пациентов закрыты темными
очками, при этом пациент может лежать на боку. Кроме того, масштаб и
положение лиц на снимках не фиксированы.
Данная работа посвящена разработке и исследованию двух методов
решения поставленной задачи. Один из методов был предложен ранее и
является более универсальным. А второй был разработан в рамках данной
работы с учетом особенностей обрабатываемых изображений. Подробное
описание обоих методов можно найти во второй главе. Также были собраны
экспертные оценки и разработана методика тестирования работы
реализованных методов. С процессом тестирования и полученными
результатами можно ознакомиться в третьей главе.
Апробация результатов исследования данной работы осуществлялась на
уровне академического сообщества в рамках всероссийского мероприятия “VI
Конгресс молодых ученых” в г. Санкт-Петербурге в 2017 г. Тезис доклада был
опубликован в сборнике “Сборник тезисов докладов конгресса молодых
ученых. Электронное издание. – СПб: Университет ИТМО, 2017” в рубрике

12
“Оптико-электронное приборостроение” раздела “ Фотоника, наноматериалы и
оптотехника”.

13
Глава 1. Обзор предметной области
В данной главе приводятся необходимые определения, постановка
задачи, проводится обзор существующих алгоритмов ее решения.

1.1 Основные определения

Введем необходимые формальные определения, которые будут

использоваться в дальнейшем.

1.1.1 Фотоплетизмография

Фотоплетизмография - основанный на измерении оптической плотности

метод непрерывной графической регистрации изменений объема, отражающих
динамику кровенаполнения сосудов исследуемых частей тела человека или
животного. Эта техника подходит для мониторинга частоты сердцебиения,
измерения его вариативности и примерной оценки насыщенности крови
кислородом. Для более подробного анализа ФПГ можно применять во время
одновременного проведения записи ЭКГ пациента в целях поиска соответствия
между пиками на кардиограмме и изображением [5].
Стоит упомянуть о некоторых характерных особенностях входных
данных, вызванных спецификой поставленной задачи:
- на глаза пациентов надеты темные непрозрачные очки, что затрудняет
задачу распознавания лица, а значит и искомой линии симметрии;
- подаваемое изображение может иметь одну из трех возможных
ориентаций, то есть лица на картинках не обязательно расположены
вертикально, а могут лежать на левом или правом боку;
- положение и масштаб лиц на снимках не фиксирован.
Все это делает решение задачи простыми методами, основанными на
оценке корреляции, невозможным. Три описанных особенности можно
пронаблюдать на рис. 1.1.

14
 Рис. 1.1 – Примеры входных изображений лиц пациентов в трех возможных
ориентациях.
При проведении исследования пациента просят занять комфортное для
него сидячее положение и поместить голову на специально настроенную опору,
надев защитные темные очки. Лицо человека, освещенное зеленым светом
заданной длины волны, записывается на камеру с одноканальным
фотоприемником. После синхронизации с записанными показаниями ЭКГ
видео обрабатывается при помощи специального программного обеспечения.
Алгоритм оценивает степень корреляции между кардиоциклами ФПГ и ЭКГ в
разных частях лица [5]. В результате анализа изображения выделяются области,
характеризующие синхронность и симметричность лицевого кровотока
пациента. Пример при ручном построении линии оси симметрии показан на
рис. 1.2.

15
 Рис. 1.2 – Пример анализируемого изображения в системе ФПГ.

Линия оси симметрии лица в данном случае строится вручную. В

выделенных областях количество кардиоциклов ФПГ и ЭКГ совпадает. Числа
показывают задержку между пиками кардиограммы и минимумами ФПГ,
усредненную по группам одного цвета.

1.1.2 Гистограмма направленных градиентов (HOG)

The Histogram of Oriented Gradients (HOG) – это дескриптор признаков,

используемый в компьютерном зрении для решения задач детектирования
объектов. HOG-метод основан на запоминании и дальнейшем сравнении
совпадающих направлений градиента в локальных областях распознаваемого
объекта. В отличие от метода гистограммы направленных краев, SIFT и
контекста форм, дескриптор HOG вычисляется на плотной сетке равномерно
распределенных ячеек и использует нормализацию перекрывающегося
локального контраста для увеличения точности [6].
При использовании HOG-дескрипторов делается предположение о том,
что локальная форма детектируемого на изображении объекта может быть
описана при помощи распределения градиентов интенсивности или
направлений его краев. Картинка разделяется на небольшие соединенные

16
участки, называемые ячейками, для пикселей каждой ячейки генерируется
гистограмма направлений градиента. Дескриптор представляет из себя
совокупность таких гистограмм. После измерения перепада яркости в пределах
большего участка картинки, называемого блоком, локальные гистограммы
нормализуются по уровню. После этой нормализации результат детектирования
значительно меньше зависит от изменений затенения и освещенности
обрабатываемого изображения [7].
HOG-дескриптор имеет ряд ключевых преимуществ. Поскольку HOG
работает на локальных промежутках, метод инвариантен к небольшим
геометрическим и фотометрическим искажениям, так как такие искажения
значительно больше проявляют себя на крупных участках изображения. Однако
метод не инвариантен к изменению ориентации распознаваемого объекта.
Метод подходит для детектирования людей, так как сильная фотометрическая
нормализация позволяет пренебрегать движениями пешеходов, если они
поддерживают вертикальную ориентацию тела [8].

На рис. 1.3 схематично показан принцип выделения признаков в методе

HOG.

17
 b c
d

Рис. 1.3 – Схема принципа выделения HOG-признаков.

a – исходное изображение, b – распределение градиентов интенсивности, c – суммарная

ориентация градиентов, d – HOG.

1.1.3 Scale-invariant feature transform (SIFT)

Scale-invariant feature transform (SIFT) – это метод компьютерного зрения,

позволяющий детектировать и описывать локальные признаки объектов на
цифровых изображениях [9].
Обнаруженные на изображении из обучающей выборки признаки могут
быть использованы для нахождения подобного объекта среди многих других
изображений тестовой выборки. Для надежного распознавания важно, чтобы
извлеченные из обучающего изображения ключевые точки, были детектируемы
даже после изменения масштаба, зашумленности и освещенности снимка.
Обычно такие точки лежат в зонах резкого перепада яркости, таких как
контуры объектов [10].
Выбранные признаки также должны отвечать еще одному важному
критерию: их взаимное расположение не должно сильно меняться от
изображения к изображению. Например, если бы признаками были выбраны
18
точки на углах дверного проема, они бы работали вне зависимости от того,
закрыта ли она, а если бы были взяты еще и точки, расположенные ближе к
центру, в некоторых случаях распознавание могло бы не работать, так как
внешний вид окружающих их областей сильно меняется при смене положения
двери. Аналогично, признаки, выделенные из гибких, складных объектов, не
сработают, если между двумя обрабатываемыми картинками произойдет
изменение состояния этих объектов. Однако на практике SIFT детектирует
довольно большое количество признаков на изображениях, что приводит к
понижению влияния ошибок, спровоцированных подобными локальными
искажениями, на конечный результат распознавания
SIFT может надежно идентифицировать объекты даже при наличии шума
на изображении и при их частичной загороженности, так как дескрипторы
SIFT-признаков инвариантны к масштабированию, повороту, небольшим
аффинным искажениям и изменениям освещенности [11].

1.2 Обзор существующих методов выделения линии симметрии

Проблема детектирования симметрии изучалась на протяжении долгого

времени. Ранние работы на эту тему базировались на простом подходе,
основанном на методе анализа гистограмм направленных градиентов [12] и на
его усовершенствованной версии с использованием преобразования Фурье [13].
Чем симметричнее объект на изображении, тем более симметричную
гистограмму ориентированных градиентов он образует, при условии,
разумеется, если этот объект занимает большую часть изображения или фон
однотонен. В статье [14] был представлен алгоритм детектирования оси
лицевой симметрии на цветных изображениях. Область лица выделялась с
помощью хроматической модели цвета, а линия симметрии находилась с
использованием гистограмм разности уровня оттенков для зон слева и справа
от мнимой оси симметрии. В статье [15] был представлен пример признаков на
основе локальных градиентов. Выделялся набор локальных SIFT-признаков, и

19
каждый из них отображался зеркально. Далее, отображенный и
неотображенный признаки сопоставлялись, в результате давая набор
потенциально симметричных пар признаков. Была введена функция магнитуды
симметрии, отражающая степень двусторонней симметричности пары
локальных признаков. Наконец, информация о линии симметрии изображения
собиралась при помощи преобразования Хафа и находилась ось симметрии.
Этот метод будет подробнее описан во второй главе, так как он был применен к
решению поставленной задачи и протестирован.
Поскольку в данном случае мы имеем дело с изображениями с заранее
известным содержанием, появляется возможность сконцентрироваться на
выделении конкретных локальных признаков, определяющих положение оси
симметрии. В подавляющем большинстве случаев искомая линия соединяет
вершину переносицы с центром губ. Разумеется, из-за личных особенностей
пациента нет гарантии, что эти области будут выглядеть симметричными.
Самым явным и постоянным признаком на этих картинках, скорее всего, можно
считать область переносицы и черных очков, обладающую характерной
параболической формой на карте интенсивности градиента. Стоит отметить,
что большая часть людей из экспертной группы, выполнявших ручную
разметку этих изображений, утверждали, что руководствовались положением
именно этой зоны. На этих наблюдениях основан второй примененный в
данной работе метод, разработанный с опорой на характерные особенности
обрабатываемых изображений. Метод подробнее описан во второй главе.
Широко применяемые методы, основанные на оценке корреляции, не
могут быть использованы в решаемой задаче, так как из-за аффинных и
проекционных искажений корреляционный узор оказывается в значительной
степени подавленным. Задачу также усложняют перепады освещения
помещения, в котором производится съемка, и варьирование настроек
сенсоров. Кроме того, при сопоставлении возникает проблема в том, что
одинаково ориентированные изображения, снятые с разных ракурсов, могут

20
иметь локальные взаимные искажения. В таких случаях представляется
возможным только сравнение примерных взаимных расположений
соответствующих областей объектов, что больше присуще структурному
сопоставлению.

21
Глава 2. Описание исследуемых методов
В этой главе будут описаны исследованные методы. В начале главы будет
описана реализация уже существующего метода на основе SIFT-признаков, а
вторая часть будет посвящена методу, впервые разработанному для решения
представленной в первой главе задачи.

2.1 Метод на основе SIFT-признаков

Для реализации этого метода детектирования линии симметрии подходит
любой стабильный инвариантный к повороту метод выделения признаков. При
выполнении этой работы был выбран метод SIFT, описанный в первой главе,
так как он удовлетворяет указанным выше требованиям.
Каждый выделенный признак представляет из себя вектор
pi  ( xi , yi , φi , si ) , где xi и yi – положение признака, φi – его ориентация, а si –

масштаб. В отличие от ориентации, являющейся ключевым параметром при

выявлении оптимальной линии симметрии, четвертый параметр, описывающий
масштаб, можно опустить, если используемый метод не инвариантен к
масштабированию. Далее для каждой выделенной ключевой точки
генерируется дескриптор ki, отражающий локальную область вокруг нее, после
этого его ориентация нормализуется. На рис. 2.1 показан пример выделения
признаков на простом изображении.

22
 Рис. 2.1 – Пример выделения признаков на простом изображении, слева – исходное
изображение, справа – изображение с размеченными признаками.

Затем, необходимо сгенерировать зеркальные дескрипторы mi, для этого

исходное изображение зеркально отображается, и на нем снова выделяются
признаки тем же методом. На рис. 2.2 можно увидеть, что при запуске
алгоритма на простом изображении зеркальные признаки почти полностью
соответствуют исходным.

Рис. 2.2 – Пример выделения зеркальных признаков на простом изображении, слева –

исходное изображение, справа – изображение с размеченными признаками.

Далее исходные признаки сопоставляются таким образом, что каждому

дескриптору ki соответствует один дескриптор mi. Полученные таким образом
пары признаков (pi, pj), представляют собой потенциально симметричные

23
области объекта, изображенного на картинке. На рис. 2.3 можно увидеть
результат такого сопоставления признаков на примере простого изображения.
Стоит заметить, что каждому исходному признаку в данном случае
действительно соответствует его зеркально отображенная версия.

Рис. 2.3 – Пример сопоставления пар признаков на простом изображении, слева –

дескрипторы ki, справа – дескрипторы mi.

На рис. 2.4 показана общая схема алгоритма выделения пар симметричных

признаков.

Рис. 2.4 – Схема алгоритма выделения пар симметричных признаков (pi, pj).

24
 Симметричность каждой пары задана как функция ее относительного
положения, ориентации и масштаба ее признаков pi и pj. А взвешивающий
коэффициент угловой симметрии определен как функция, описанная формулой:

Φij  1  cos(φi  φ j  2θij )   1, 1 (1)

где углы φi, φj и θij выбраны согласно схеме, изображенной на рис. 2.5.

Рис. 2.5 – Схема выбора углов при вычислении

коэффициента угловой симметрии ij .

Коэффициент масштабирования вычисляется по формуле:

2
  | si  s j | 
Sij  exp   S   0, 1
 σ s  si  s j   , ij (2)
 
где si и sj – масштабы соответствующих дескрипторов пары, а σs –
взвешивающая константа, ее значение было равно 1 при проведении
экспериментов данной работы. Коэффициент Гауссового расстояния, дающий
приоритет парам, расположенным ближе к оси симметрии, вычисляется по
формуле:

 d 2 
Dij  exp  2  , Dij   0, 1 (3)
 2σ d 

25
где d – расстояние между признаками рассматриваемой пары. Данный
коэффициент введен, так как, согласно психофизическим наблюдениям,
ключевые точки, расположенные близко к линии симметрии рассматриваемого
объекта, вносят больший вклад в человеческое восприятие симметрии, нежели
периферийные.
Итоговая формула магнитуды симметрии включает в себя все
вышеперечисленные коэффициенты:

 ij Sij Dij , если  ij  0

M ij   (4)
 иначе 0
Магнитуда симметрии отражает степень симметричности отдельно взятой пары
ключевых точек. Теперь задача состоит в том, чтобы, собрав информацию о
степени симметричности всех пар, получить преобладающую на изображении
ось симметрии. Каждая пара точек описывает линию, проходящую через центр
отрезка, соединяющего признаки этой пары, и перпендикулярную ему,
представляющую из себя потенциальную ось симметрии. Эти потенциальные
оси могут быть представлены в полярных координатах, как показано в
формуле:
rij  xc cos(θij )  yc sin(θij ) (5)
где xc и yc - координаты отрезка, соединяющего признаки пары, а θij – угол, под
которым он пересекает ось абсцисс. После этого может быть применено
линейное преобразование Хафа, где каждая пара (pi, pj) “голосует” за
определенное расположение линии симметрии, определяемое параметрами
(rij, θij). К результирующему полю Хафа применяется Гауссово размытие, и
найденный после этого максимум показывает искомую преобладающую на
изображении ось симметрии.
Описанный выше алгоритм был применен к решению данной задачи.
Конкретные результаты экспериментов будут даны в третьей главе. На рис. 2.6
– 2.8 представлен пример работы алгоритма на снимке пациента.

26
 Рис. 2.6 – Пример выделения признаков на изображении лица.

Рис. 2.7 – Пример сопоставления признаков на изображении лица.

27
 Рис 2.8 – Пример проведения линии симметрии на изображении лица.

Стоит обратить внимание на то, что, как видно на рис. 2.7, в отличие от
примера с простым изображением, при сопоставлении признаков на более
сложном примере алгоритмом были допущены ошибки, которые, однако, не
сильно сказались на результате, показанном на рис. 2.8. Это произошло из-за
того, что при выделении признаков на зеркальном изображении положение
некоторых точек сильно отличалось от исходного.

2.2 Метод на основе HOG-признаков

В отличие от метода на основе SIFT-признаков, данный метод основан на

предположении, что входное изображение не является случайной картинкой, а
имеет ряд характерных свойств, приняв во внимание которые, можно
детектировать ось лицевой симметрии с большей точностью. Исходя из

28
априорной информации, был создан алгоритм детектирования оси лицевой
симметрии, основанный на том, что на корректном входном изображении
всегда можно обнаружить две однотипные области, опираясь на расположение
которых, можно построить искомую линию. Одной из этих областей является
область губ (рис. 2.10, 2.11), а второй – область соприкосновения очков с
переносицей, напоминающая по форме параболу (рис. 2.12, 2.13). О пользе
применения данных областей свидетельствует еще и тот факт, что люди,
которых попросили провести искомую линию “на глаз”, зачастую строили ось
симметрии, проходящую именно через две вышеуказанные точки. На рис. 2.9
показан пример проведения линии симметрии путем соединения центров этих
двух ключевых зон.

Рис 2.9 – Примеры проведения линии симметрии путем соединения центров областей
переносицы и губ.

29
 Для детектирования этих двух областей были обучены два детектора,
основанные на методе HOG, описанном в первой главе. Результаты обучения и
тестирования можно увидеть на рис. 2.10-2.13.

Рис 2.10 – Результат обучения детектора области переносицы, слева – примеры

обучающих изображений, справа – направления матрицы градиентов обученного детектора.

Рис 2.11 – Примеры детектирования области переносицы.

Стоит обратить внимание на то, что, как видно из рис. 2.12, обучающие
изображения для детектора области губ включают в себя нижнюю часть носа.
Это сделано ввиду того, что сама по себе область губ не обладает достаточно
характерной формой. В процессе разработки метода детектор изначально был

30
обучен без учета этого факта и зачастую детектировал брови и другие объекты
продолговатой формы.

Рис 2.12 – Результат обучения детектора области губ, слева – примеры обучающих
изображений, справа – направления матрицы градиентов обученного детектора.

Рис 2.13 – Примеры детектирования области губ.

Однако перед тем как детектировать две интересующие зоны необходимо

знать ориентацию лица на обрабатываемом изображении, так как HOG-
детекторы чувствительны к повороту. Иначе в лучшем случае алгоритму
придется обрабатывать все три возможных ориентации картинки обоими
детекторами, что займет дополнительное время, а в худшем – есть риск

31
ложного детектирования. Для решения этой проблемы был обучен
дополнительный HOG-детектор, направленный на детектирование темных
очков на лице пациента. Результат обучения показан на рис. 2.14.

Рис 2.14 – Результат обучения детектора темных очков, слева – пример обучающего
изображения, справа – направления матрицы градиентов обученного детектора.

Также было замечено, что на одних фотографиях пациенты освещены

таким образом, что очки абсолютно черные, а на других просвечивают
настолько, что хорошо различимы глаза, а значит в некоторых случаях вершину
переносицы и центр губ можно найти, сначала детектировав лицо целиком. Для
этого применялся уже заранее обученный HOG-детектор, предоставляемый
вместе с используемой в этой работе библиотекой Dlib. При успешном
детектировании есть возможность получить массив ключевых точек лица,
среди которых есть и две искомые: вершина переносицы и центр губ. Результат
можно увидеть на рис. 2.15.

32
 Рис 2.15 – Пример детектирования лица целиком при помощи детектора Dlib.

В итоговом алгоритме используется четыре описанных выше

HOG-детектора:
- детектор вершины переносицы;
- детектор центра губ;
- детектор темных очков;
- заранее обученный детектор лиц Dlib.
33
 Итоговый алгоритм с самого начала пытается детектировать лицо
целиком, так как тестирование показало, что в случае успеха линия симметрии
будет построена с меньшим средним отклонением от экспертной оценки,
нежели в случае, когда для построения искомой оси программа опирается лишь
на результаты двух обученных детекторов ключевых точек. В случае неудачи,
программа пытается детектировать темные очки с целью определить, в какой из
трех возможных ориентаций находится обрабатываемое изображение, чтобы не
запускать оба детектора трижды для каждой из возможных ориентаций. Затем,
наконец, детектируются вершина переносицы и центр губ.
В конце, вне зависимости от того, было ли распознано лицо целиком или
только две ключевые зоны, алгоритм производит соединение двух ключевых
точек, проводя таким образом искомую линию лицевой симметрии.
На рис. 2.16 представлена блок-схема, описывающая итоговый метод.

Рис 2.16 – Блок-схема работы алгоритма на основе HOG-признаков.

34
 Глава 3. Методика тестирования и результаты
В этой главе будет описана методика, использованная при тестировании
исследуемых методов, и полученные результаты.

3.1 Методика тестирования

Для того, чтобы оценить применимость и надежность исследуемых
методов, необходимо ввести общий критерий оценки качества результата
работы обоих алгоритмов. Но, как известно, человеческое лицо не обладает
идеальной симметрией. Более того, лица, запечатленные на обрабатываемых
снимках, дополнительно искажены из-за положений, принимаемых пациентами
при фотографировании. Получается, что на картинках невозможно построить
единственную объективно правильную линию симметрии. Но, поскольку от
искомого метода автоматического детектирования требуется лишь стабильно
подражать человеку, занимающемуся ручной разметкой, она и не требуется. В
связи с этим было принято решение при оценке работы алгоритмов опираться
на отличие их результирующих линий от линий, полученных экспертами при
ручной разметке.
Для сбора экспертных оценок была написана программа, позволяющая
пользователю вручную расставить две ключевые точки, через которые, по его
мнению, проходит оптимальная линия симметрии. На рис. 3.1 показан
интерфейс программы.
Примерно треть имеющихся картинок была выделена под обучающую
выборку, на которой обучались детекторы, описанные во второй главе.
Остальные изображения представляли из себя тестовую выборку.

35
 Рис 3.1 – Интерфейс программы для разметки экспертных оценок.

Каждое изображение тестовой выборки подавалось каждому эксперту.

После завершения разметки всех изображений программа сохраняла все
полученные линии в текстовый файл. Каждая линия в нем была представлена в
виде номера размеченной картинки и параметров прямой.
Для оценки полученных в результате работы алгоритмов линий
симметрии был применен принцип, описанный далее. Из обеих
детектированных ключевых точек опускался перпендикуляр на линию
экспертной оценки, находилось среднее арифметическое длин получившихся
отрезков, итоговая величина представляла из себя искомое отклонение. Этот
принцип показан на рис. 3.2.

36
 a pa

pb b

l1
l2
Рис 3.2 – Схема вычисления отклонения от экспертной оценки,
где a, b – расстояние от выделенных ключевых точек pa и pb (переносица, губы) до линии
экспертной оценки, l1 – результат работы алгоритма, l2 – экспертная оценка.

Программы, реализующие оба исследуемых алгоритма, были снабжены

парсером файлов экспертных оценок. По завершении обработки каждого
изображения программы вычисляли отклонение результирующей прямой от
прямой экспертной оценки, полученная величина усреднялась по всем
экспертам и тестовым изображениям.

3.2 Результаты тестирования

Программы, реализующие оба исследуемых алгоритма, были написаны на

языке C++. Для реализации метода на основе SIFT-признаков использовалась
библиотека компьютерного зрения OpenCV. А для реализации метода на основе
HOG-признаков использовалась библиотека Dlib, предназначенная для
использования в сфере машинного обучения. Обе библиотеки являются
проектами с открытым исходным кодом.

37
 При выполнении данной работы использовалось 90 входных
изображений, анализируемых в системах ФПГ. 30 из них составляли
обучающую выборку, а остальные 60 использовались для тестирования. Были
собраны экспертные оценки 15-ти экспертов. Оба исследуемых алгоритма были
запущены на всех изображениях тестовой выборки. Результаты тестирования
приведены ниже.
Первым был протестирован метод на основе SIFT-признаков. При запуске
на некоторых картинках алгоритм давал очень далекие от ожидаемого
результаты. После подробного разбора стало понятно, что причиной этому
являлось то, что функции, выделяющей SIFT-признаки из обрабатываемого
изображения, не удавалось детектировать достаточное количество ключевых
точек. Из-за этого алгоритму недоставало данных для нахождения хотя бы
приблизительно корректной линии симметрии. Картинки, на которых не
сработал алгоритм на основе SIFT-признаков, составляли 30% от всех картинок
тестовой выборки. Примеры таких изображений приведены на рис. 3.3.

Рис 3.3 – Примеры изображений, на которых SIFT-метод не определил достаточное

количество признаков. Зеленый – экспертная оценка, Красный – SIFT-метод.

38
На остальных 70% изображений метод работал со средним отклонением в 7
пикселей и СКО, равным 12-ти пикселям. В среднем, на черно-белых
изображениях размером 752 на 480 пикселей алгоритм работал 0,09 с. На рис.
3.4 можно увидеть примеры успешной работы алгоритма.

Рис 3.4 – Примеры изображений, на которых SIFT-метод успешно определил достаточное

количество признаков. Зеленый – экспертная оценка, красный – SIFT-метод.

В отличие от метода на основе SIFT-признаков, метод с использованием

HOG-признаков не давал полных провалов, работал со средним отклонением и
СКО, равными 5-ти пикселям. В среднем, на черно-белых изображениях
размером 752 на 480 пикселей алгоритм работал 0,87 с. На рис. 3.5 можно
увидеть примеры результатов работы алгоритма в сравнении с экспертной
оценкой и методом на основе SIFT-признаков.

39
 Рис 3.5 – Сравнение результатов работы двух методов с экспертной оценкой. Зеленый –
экспертная оценка, красный – HOG-метод, синий – SIFT-метод.

В среднем, по всем критериям, кроме времени работы, метод на основе

HOG-признаков показал лучшие результаты, чем метод на основе SIFT-
признаков.
Итоговые результаты тестирования обоих методов приведены в таблице
ниже:

SIFT HOG

Процент полных провалов, % 30 0

СКО, пикселы 12 5

Среднее время работы, с 0,09 0,87

40
Оба алгоритма были запущены на компьютере со следующими
характеристиками:

OS: Windows 10 64-bit

Processor: Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz

Installed Physical Memory (RAM): 8 GB

Таким образом, можно заключить, что каждый из протестированных

методов имеет свои специфические особенности и рекомендации к
применению.

41
Заключение
Как показали результаты данной работы, задача автоматического
детектирования линии лицевой симметрии на цифровом изображении может
быть эффективно решена при помощи методов, основывающихся на разных
видах детекторов. Было исследовано два алгоритма для нахождения искомой
оси симметрии при разметке анализируемых в системах ФПГ снимков. В
процессе исследования была предложена методика определения качества
работы алгоритмов на основе экспертных оценок.
Первый из методов, метод на основе инвариантных к масштабированию и
повороту признаков SIFT, в среднем показал менее точные результаты, нежели
второй, основанный на HOG-признаках. В некоторых случаях им было
распознано недостаточное количество ключевых точек для проведения линии
лицевой симметрии, в достаточной степени приближенной к экспертной
оценке. Тем не менее, алгоритм на основе SIFT-признаков в среднем работал
примерно в десять раз быстрее, чем HOG-метод, что указывает на то, что, если
при помощи дополнительных модификаций удастся избавиться от случаев
извлечения недостаточного количества признаков из обрабатываемого
изображения, этот метод сможет составить конкуренцию второму
исследованному алгоритму.
Метод на основе гистограмм направленных градиентов, в среднем,
показал более стабильный результат. При тестировании он не только не
демонстрировал полных провалов, но и проводил линию симметрии,
положение которой было более приближено к линии экспертной оценки. Но
применяемые в рамках реализации этого алгоритма детекторы являются
чувствительными к повороту и масштабированию детектируемых зон.
Добавление инвариантности к таким преобразованием увеличивает время его
работы. Во-первых, из-за чувствительности к повороту перед нахождением
непосредственно интересующих ключевых точек приходится определять

42
ориентацию лица на поданном на вход изображении. Во-вторых, из-за
чувствительности к масштабированию при каждой попытке детектирования
только одного прохода скользящим окном недостаточно, поскольку масштаб
искомой области на обрабатываемых снимках не фиксирован.
Стоит предположить, что причиной полученных результатов мог служить
тот факт, что метод на основе HOG-признаков разрабатывался на основе
априорной информации о входных данных, описывающей специфические
особенности подаваемых на вход алгоритма изображений. Но это также делает
его менее универсальным, применимым только в контексте разметки ФПГ-
снимков.

43
Список литературы
1. Wolff H. G. Headache and other head pain. // New York: Oxford University
Press – 1963. – N 8.
2. Asynchronicity of Facial Blood Perfusion in Migraine / N. Zaproudina, V.
Teplov, M. Na ̈ rhi, P. A. Karjalainen, E. Nippolainen, R. Giniatullin, J. A.
Lipponen, A. A. Kamshilin. // PLOS ONE – 2003. – December Vol. 8 – Issue
12, e80189.
3. N. A. Kamshilin, M. A. Volynsky, I. S. Sidorov, O. V. Mamontov. Time delay
in facial blood pulsations. // ESGCO, Programme and abstracts, Lancaster, UK
– 2016. – April.
4. P. Thompson Margaret Thatcher: A New Illusion // Perception – 1980. –Vol. 9.
– Issue 4. – pp. 483 – 484.
5. Плетизмография // Энциклопедический словарь Брокгауза и Ефрона : в 86
т. (82 т. и 4 доп.). – СПб., 1890 – 1907.
6. Пат. 4050242 США. Multiple bypass – duct turbofan and method of operating
same / D.J. Dusa. Опубл. 27.09.77.
7. William T. Freeman, Michal Roth, "Orientation Histograms for Hand Gesture
Recognition", Tech. Rep. TR94-03, Mitsubishi Electric Research Laboratories,
Cambridge, MA, December 1994.
8. N. Dalal B. Triggs Histograms of oriented gradients for human detection //
Proc. IEEE Conf. Comput. Vis. Pattern Recognit – 2016. – Jun . – C. 1-8.
9. Пат. 6711293 США. Method and apparatus for identifying scale invariant
features in an image and use of same for locating an object in an image / D.
Lowe. Опубл. 23.03.2004.
10. Lowe, David G.Object recognition from local scale-invariant features //
Proceedings of the International Conference on Computer Vision. – 1999. –
Vol. 2. – C. 1150–1157.
11. Lowe, David G. Distinctive Image Features from Scale-Invariant Keypoints //
International Journal of Computer Vision. – 2004. – N 60 (2): 91–110.

44
12. Sun C. Symmetry detection using gradient information // Pattern Recognition
Letters. – 1995. – Т. 16. – №. 9. – С. 987-996.
13. Sun C., Si D. Fast reflectional symmetry detection using orientation histograms
//Real-Time Imaging. – 1999. – Т. 5. – №. 1. – С. 63–74.
14. Chen X., Flynn P. J., Bowyer K. W. Fully automated facial symmetry axis
detection in frontal color images // Automatic Identification Advanced
Technologies, 2005. Fourth IEEE Workshop on. – IEEE, 2005. – С. 106-111.
15. Loy G., Eklundh J. O. Detecting symmetry and symmetric constellations of
features // Computer Vision–ECCV 2006. – Springer Berlin Heidelberg, 2006.
– С. 508-521.

45