FACE

RECOGNITION
 FACE
RECOGNITION

В последнее время распознавание лиц

вызывает все больше интереса
со стороны коммерческого сектора
и государства. К нам постоянно
обращаются с запросами на тестирование
нашей технологии и запуск пилотных
проектов. Закономерно возникает вопрос,
как правильно выработать требования
к программному обеспечению, чтобы ПО
максимально соответствовало целям
и задачам компании. Однако корректное
измерение точности работы таких систем
– задача непростая и содержит массу
нюансов. В результате для решения задачи
могут быть выбраны неподходящие
инструменты, что приводит к финансовым
потерям или недополученной прибыли.
Мы решили опубликовать эту брошюру,
чтобы помочь людям освоиться
в среде специализированных терминов
и сырых данных, окружающих технологию
распознавания лиц.

Нам хотелось рассказать об основных

понятиях в этой области простым
и понятным языком. Надеемся, это
позволит людям технического
и предпринимательского склада говорить
на одном языке, лучше понимать сценарии
использования распознавания лиц
в реальном мире и принимать решения,
основываясь на достоверных данных.

ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 02
ЗАДАЧИ РАСПОЗНАВАНИЯ ЛИЦ

Распознаванием лиц часто называют набор
различных задач, например, детектирование
лица на фотографии или в видеопотоке,
определение пола и возраста, поиск нужного
человека среди множества изображений
или проверку того, что на двух изображениях
один и тот же человек. В этой статье мы
остановимся на последних двух задачах
и будем их называть, соответственно,
идентификация и верификация.
Для решения этих задач из изображения лица извлекаются
специальные дескрипторы, или векторы признаков. В этом
случае задача идентификации сводится к поиску ближайшего
вектора признаков, а верификацию можно реализовать
с помощью простого установления порога расстояний
между векторами. Комбинируя эти два действия, можно
идентифицировать человека среди набора изображений
или принимать решение о том, что его нет среди этих
изображений. Такая процедура называется «идентификацией
на открытом множестве» (open-set identification), см. Рис.1.

NO MATCH NO MATCH NO MATCH NO MATCH

MATCH NO MATCH NO MATCH NO MATCH

MATCH

Рис.1 Задачи распознавания лиц. Верхняя строка представляет пример идентификации на открытом множестве
(при которой искомое лицо, скорее всего, отсутствует в датасете). На второй строке показана идентификация замкнутого множества
(closed-set identification) (в датасете содержится искомое лицо). Третья строка демонстрирует верификацию пары изображений.

Для количественной оценки схожести лиц можно использовать расстояние в пространстве векторов признаков. Часто
выбирают евклидово или косинусное расстояние, но существуют и другие, более сложные, подходы. Конкретная функция
расстояния часто поставляется в составе продукта по распознаванию лиц. Идентификация и верификация возвращают
разные результаты и, соответственно, разные метрики применяются для оценки их качества. Мы подробно рассмотрим
метрики качества в последующих разделах. Помимо выбора адекватной метрики, для оценки точности алгоритма
понадобится размеченный набор изображений (датасет).

ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 03
ОЦЕНКА ТОЧНОСТИ
ДАТАСЕТЫ
Почти всё современное ПО для распознавания
лиц основано на машинном обучении. Алгоритмы
обучаются на больших датасетах (наборах данных)
с размеченными изображениями. И качество,
и природа этих датасетов оказывают существенное
влияние на точность. Чем лучше исходные данные,
тем лучше алгоритм будет справляться
с поставленной задачей.
Естественный способ проверить, что точность
алгоритма распознавания лиц соответствует
ожиданиям, это измерить точность на отдельном
тестовом датасете. Очень важно правильно выбрать
этот датасет. В идеальном случае организации
стоит обзавестись собственным набором данных,
максимально соответствующим сценарию
использования, с которым система будет работать
при эксплуатации. В этом процессе важно учесть тип
камеры, условия съемки, возраст, пол
и национальность людей, которые попадут
в тестовый датасет. Чем более похож тестовый
датасет на реальные данные, тем более
достоверными будут результаты тестирования.
Поэтому часто имеет смысл потратить время
и средства для сбора и разметки своего набора
данных. Если же это, по какой-то причине,
не представляется возможным, можно
воспользоваться общедоступными датасетами,
например, LFW и MegaFace.
LFW содержит только 6000 пар изображений лиц
и не подходит для многих реальных сценариев:
в частности, на этом датасете невозможно измерить
достаточно низкие уровни ошибок, как мы покажем
далее.
Датасет MegaFace содержит намного больше
изображений и подходит для тестирования
алгоритмов распознавания лиц на больших
масштабах. Однако и обучающее, и тестовое
множество изображений MegaFace’a есть
в открытом доступе, поэтому использовать его для
тестирования следует с осторожностью по причинам,
ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 04
которые будут приведены далее. Альтернативный
вариант заключается в использовании результатов
тестирования третьим лицом. Такие тестирования
проводятся квалифицированными специалистами
на больших закрытых датасетах, и их результатам
можно доверять.
Одним из таких примеров может служить NIST
Face Recognition Vendor Test Ongoing. Это тест,
проводимый Национальным Институтом Стандартов
и Технологий (NIST) при Министерстве торговли
США. “Минус” данного подхода заключается в том,
что датасет организации, проводящей тестирование,
может существенно отличаться от интересующего
сценария использования.
ПЕРЕОБУЧЕНИЕ
Как мы говорили, машинное обучение лежит
в основе современного программного обеспечения
для распознавания лиц. Одним из распространенных
феноменов машинного обучения является так
называемое переобучение. Проявляется он в том,
что алгоритм показывает хорошие результаты
на данных, которые использовались при обучении,
но результаты на новых данных получаются
значительно хуже.
Рассмотрим конкретный пример: представим себе
клиента, который хочет установить пропускную
систему с распознаванием лиц. Для этих целей
он собирает набор фотографий людей, которым
будет разрешен доступ, и обучает алгоритм отличать
их от других людей. После успешного прохождения
испытаний системой и ее последующего внедрения
в эксплуатацию, средства, полученные в результате
сокращения затрат путем автоматизации этой
пропускной системы, могут быть направлены
на решение других бизнес-задач клиента.
Через некоторое время список людей с допуском
решают расширить и обнаруживается, что система
отказывает новым людям в доступе. Алгоритм
обучался, чтобы распознавать текущих сотрудников,
но никто не тестировал его точность на новых
фотографиях. Это, конечно, утрированный пример,
но он позволяет понять проблему.
В некоторых случаях переобучение проявляется
не так явно. Допустим, алгоритм обучался
на изображениях людей, где превалировала
определенная этническая группа. При использовании
такого алгоритма компанией, отличающейся
этническим многообразием, его точность наверняка
упадет. Завышенная (излишне оптимистичная)
оценка точности работы алгоритма из-за
неправильно проведенного тестирования – очень
распространенная ошибка, характеризующая все
эти примеры. Отсюда следует, что основная причина
плохой результативности алгоритма связана
с тем, что он тестировался на данных, на которых
проводилось обучение, а не на данных, которые ему
предстояло обрабатывать в реальном применении.
Каким образом можно избежать подобных проблем?
Резюмируя вышесказанное, придерживайтесь
следующих рекомендаций: не используйте данные,
на которых обучался алгоритм при тестировании,
используйте специальный закрытый датасет для
тестирования, который не был доступен вендору
программного обеспечения. Если это невозможно,
и вы собираетесь воспользоваться общедоступным
датасетом, убедитесь, что вендор не использовал
его в процессе обучения и/или настройки алгоритма.
Изучите датасет перед тестированием, подумайте,
насколько он близок к тем данным, которые будут
поступать при эксплуатации системы.
ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 05
МЕТРИКИ
После выбора датасета, следует определиться
с метрикой, которая будет использоваться для
оценки результатов. Метрика – это удобная
в использовании функция, которая принимает
на вход результаты работы алгоритма
(идентификации или верификации), а на выходе
возвращает число, которое соответствует
качеству работы алгоритма на конкретном
датасете. Использование одного числа упрощает
количественное сравнениe разных вендоров
и позволяет емко представить результаты
тестирования, облегчая таким образом весь
процесс принятия решений. В этом разделе
мы рассмотрим метрики, наиболее часто
применяемые в распознавании лиц, и обсудим
их значение с точки зрения бизнеса.
ВЕРИФИКАЦИЯ
Верификацию лиц можно рассматривать как
процесс принятия бинарного решения: “да”
(два изображения принадлежат одному человеку),
“нет” (на паре фотографий изображены разные
люди). Прежде чем разбираться с метриками
верификации, полезно понять, как мы можем
классифицировать ошибки в подобных задачах.
Учитывая, что есть 2 возможных ответа алгоритма
и 2 варианта истинного положения вещей, всего
возможно 4 исхода:
Рис. 2 Рис. 2 Типы ошибок. Цвет фона кодирует истинное отношение между картинками (голубой означает “принять”,
розовый – “отвергнуть”), цвет рамки соответствует предсказанию алгоритма (голубой – “принять”, розовый – “отвергнуть”.

Таблица 1. Столбцы соответствуют решению алгоритма (голубой – принять, розовый – отвергнуть), строки соответствуют истинным
значениям (кодируются теми же цветами). Правильные ответы алгоритма отмечены зелёным фоном, ошибочные – оранжевым.

Из этих исходов два соответствуют правильным ответам алгоритма, а два – ошибкам первого и второго рода
соответственно. Ошибки первого рода называют «false accept», «false positive» или «false match» (ошибочно принято),
а ошибки второго рода – «false reject», «false negative» или «false non-match» (ошибочно отвергнуто).

Просуммировав количество ошибок разного рода среди пар изображений в датасете и поделив их на количество пар,
мы получим false accept rate (FAR) и false reject rate (FRR). В случае с системой контроля доступа «false positive» соответствует
предоставлению доступа человеку, для которого этот доступ не предусмотрен, в то время как «false negative» означает,
что система ошибочно отказала в доступе авторизованной персоне. Эти ошибки имеют разную стоимость с точки зрения
бизнеса и поэтому рассматриваются отдельно. В примере с контролем доступа появление ошибки «false negative» требует
того, чтобы сотрудник службы безопасности перепроверил пропуск сотрудника.

ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 05
Предоставление доступа потенциальному нарушителю
(false positive) может привести к гораздо худшим
последствиям.
Учитывая, что ошибки разного рода связаны
с различными рисками, производители ПО для
распознавания лиц зачастую дают возможность
настроить алгоритм так, чтобы минимизировать один
из типов ошибок. Для этого алгоритм возвращает
не бинарное значение, а вещественное число,
отражающее уверенность алгоритма в своем решении.
В таком случае пользователь может самостоятельно
выбрать порог и зафиксировать уровень ошибок
на определенных значениях.
Для примера рассмотрим совсем маленький датасет
из трех изображений. Пусть изображения 1 и 2
принадлежат одному и тому же человеку,
а изображение 3 кому-то еще. Допустим, что
программа оценила свою уверенность для каждой
из трех пар следующим образом, выдав следующие
значения:
1 2
0.85
0.6
Мы специально выбрали значения таким образом,
чтобы ни один порог не классифицировал все три
пары правильно. В частности, любой порог ниже 0.6
приведет к двум ложно принятым результатам - false
accept (для пар 2-3 и 1-3). Разумеется, такой результат
можно улучшить.
Выбор порога из диапазона от 0.6 до 0.85 приведет
к тому, что пара 1-3 будет отброшена как верно
отвергнутое значение (true reject), пара 1-2 будет
оставлена как верно принятое значение (true accept),
а 2-3 будет ложно приниматься (false accept). Если
увеличить порог до 0.85-0.9, то пара 1-2 станет ложно
отвергаться. Значения порога выше 0.9 приведут
к двум true reject (пары 1-3 и 2-3) и одному false
ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 06
reject (1-2). Таким образом, лучшими вариантами
выглядят пороговые значения из диапазона 0.6-0.85
(один false accept 2-3) и порог выше 0.9 (приводит
к false reject 1-2). Какое значение выбрать в качестве
финального, зависит от стоимости ошибок разных
типов. Данный пример демонстрирует, каким
образом клиент может измерить свои риски
в зависимости от стоимости каждой ошибки и
свести их к минимуму, выбрав подходящий порог.
В случае, описанном выше, пороги варьируется
в широких диапазонах, что связано с датасетом
очень маленького размера и с тем, как мы
выбрали значения уверенности алгоритма. Для
больших, применяемых для реальных задач
датасетов, получились бы существенно более
точные пороговые значения. Зачастую вендоры
ПО для распознавания лиц поставляют пороговые
значения по умолчанию для разных FAR, которые
вычисляются похожим образом на собственных
датасетах вендора.
3
0.85 0.6
0.9
0.9
Также нетрудно заметить, что по мере того как
интересующий FAR снижается, требуется все больше
и больше положительных пар изображений, чтобы
точно вычислить значение порога. Так, для FAR=0.001
нужно по меньшей мере 1000 пар, а для FAR=10−6
потребуется уже 1 миллион пар. Собрать и разметить
такой датасет непросто, поэтому клиентам,
заинтересованным в очень низких значениях FAR,
имеет смысл обратить внимание на общедоступные
бенчмарки, такие как NIST Face Recognition Vendor
Test или MegaFace. К последнему следует относиться
с осторожностью, так как и обучающая, и тестовая
выборки доступны всем желающим, что может
привести к излишне оптимистичной оценке точности
(см. раздел «Переобучение»).
ROC-КРИВЫЕ
Типы ошибок различаются по связанной с ними
стоимости, и у клиента есть способ смещать баланс
в сторону тех или иных ошибок. Для этого надо
рассмотреть широкий диапазон значений порога.
Удобный способ визуализации точности алгоритма
при разных значениях FAR заключается в построении
ROC-кривых (англ. receiver operating characteristic,
рабочая характеристика приёмника).
Давайте разберемся, как строятся и анализируются
ROC-кривые. Уверенность алгоритма
(а следовательно, и пороговое значение) принимают
значения из фиксированного интервала. Другими
словами, эти величины ограничены сверху и снизу.
Предположим, что это интервал от 0 до 1. Теперь
мы можем измерить количество ошибок, варьируя
значение порога от 0 до 1 с небольшим шагом. Так,
Рис.3 Пример ROC-кривой
0.0 0.2 0.4
ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 07
для каждого значения порога мы получим значения
FAR и TAR (true accept rate). Далее мы будет рисовать
каждую точку так, чтобы FAR соответствовал оси
абсцисс, а TAR – оси ординат.
Легко заметить, что первая точка будет иметь
координаты 1,1. При пороге, равном 0, мы принимаем
все пары, и не отвергаем ни одной. Аналогично,
последняя точка будет 0,0. При пороге 1 мы
не принимаем ни одной пары, и отвергаем все пары.
В остальных точках кривая обычно выпуклая.
акже можно заметить, что наихудшая кривая лежит
примерно на диагонали графика и соответствует
случайному угадыванию исхода. С другой стороны,
наилучшая возможная кривая образует треугольник
с вершинами (0,0) (0,1) и (1,1). Но на крупных
датасетах такое встречается редко.
ROC curve (area = 0.79)
0.6 0.8 1.0
Рис.4 ROC-кривые NIST FRVT

0.40

0.30
derm2
vigi0

rank0
0.20

tupe1

rank1
0.10
0.09
0.08 neur0
0.07

0.06
ntec0
0.05
voco1
0.04
ntec1
0.03
samt0
tong1
3div0
0.02

0.01
1e-05 1e-04 1e-03 1e-02 1e-01 1e+0

Можно построить подобие RОС-кривых точку на кривой с координатой Х, равной нужному

с различными метриками/ошибками на оси.
Рассмотрим, например, рисунок 4. На нем видно,
что организаторы NIST FRVT по оси Y нарисовали
FRR (на рисунке – False non-match rate), а по оси
X – FNMR (на рисунке – False match rate). В данном
конкретном случае лучшие результаты достигнуты
кривыми, которые расположены ниже, и смещены
влево, что соответствует низким показателям
FNMR и FAR. Поэтому стоит обращать внимание
на то, какие величины отложены по осям.
Такой график позволяет легко судить о точности
алгоритма при заданном FAR: достаточно найти
FAR, и соответствующее значение TAR. «Качество»
ROC-кривой также можно оценить одним числом,
для этого надо посчитать площадь под ней.
При этом за лучшее возможное значение взять
1, а за значение, соответствующее случайному
угадыванию – 0.5. Такое число называют ROC AUC
(Area Under Curve). Однако следует заметить, что
ROC AUC неявно предполагает, что ошибки первого
и второго рода имеют одну и ту же стоимость, что
не является таковым на практике. Поэтому следует
обратить особое внимание на форму кривой и те
области, где значения FAR соответствуют бизнес-
требованиям организации.

ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 08
ИДЕНТИФИКАЦИЯ
Второй популярной задачей распознавания лиц
является идентификация, или поиск человека
среди набора изображений. Результаты поиска
сортируются по уверенности алгоритма, и наиболее
вероятные совпадения попадают в начало
списка. В зависимости от того, присутствует
или нет искомый человек в поисковой базе,
идентификацию разделяют на две подкатегории:
идентификация замкнутого множества (известно,
что искомый человек есть в базе) и идентификация
на открытом множестве (искомого человека может
не быть в базе).
Точность (accuracy) является надёжной и понятной
метрикой для идентификации замкнутого
множества. По сути, точность измеряет среднее
количество раз, когда нужная персона появляется
среди результатов поиска.
Давайте разберем поподробнее, как это работает
на практике. Начнем с формулировки бизнес-
требований. Допустим, у нас есть веб-страница,
которая может разместить до десяти результатов
поиска. Нам нужно измерить количество раз,
которое искомый человек попадает в первые
десять ответов алгоритма. Такое число называется
Top-N точностью (в данном конкретном случае
N равно 10).
Для каждого испытания мы определяем
изображение человека, которого будем искать,
и галерею, в которой будем искать, так, чтобы
галерея содержала хотя бы еще одно изображение
этого человека. Мы просматриваем первые десять
результатов работы алгоритма поиска
и проверяем, есть ли среди них искомый человек.
Чтобы получить значение точности, следует
просуммировать все испытания, в которых
искомый человек был в результатах поиска,
и поделить на общее число испытаний.

0.99 0.97 0.60 .5 0.4

Рис 5. Пример идентификации. В этом примере искомый человек

появляется в позиции 2 и 3, поэтому точность Top-1 равна 0,
а Top-2 и далее равна 1.

Идентификация на открытом множестве состоит из поиска людей, наиболее похожих на искомое изображение,
и определения, является ли кто-то из них искомым человеком на основании уверенности алгоритма. Идентификацию
на открытом множестве можно рассматривать как комбинацию идентификации замкнутого множества и верификации,
поэтому на этой задаче можно применять все те же метрики, что и в задаче верификации. Также нетрудно заметить,
что идентификацию на открытом множестве можно свести к попарным сравнениям искомого изображения со всеми
изображениями из галереи. Поэтому из соображений скорости вычислений предпочтение отдается идентификации
замкнутого множества. ПО для распознавания лиц часто поставляется с быстрыми алгоритмами поиска, которые могут
находить среди миллионов лиц похожие за миллисекунды. Попарные сравнения заняли бы намного больше времени.

ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 09
ПРАКТИЧЕСКИЕ ПРИМЕРЫ
В качестве иллюстрации давайте рассмотрим несколько
примеров, демонстрирующих измерение качества
алгоритмов распознавания лиц в реальном сценарии.
РОЗНИЧНЫЙ МАГАЗИН
Допустим, что средний по размеру розничный
магазин хочет улучшить свою программу лояльности
или уменьшить количество краж. С точки зрения
распознавания лиц это примерно одно и то же. Главная
задача этого проекта заключается в том, чтобы
как можно раньше идентифицировать постоянного
покупателя или злоумышленника, в идеале уже на входе,
сравнив изображения лиц и передав эту информацию
продавцу или сотруднику службы безопасности.
Пусть программа лояльности охватывает 100 клиентов.
Данную задачу можно рассматривать как пример
идентификации на открытом множестве. Оценив расходы,
отдел маркетинга пришел к выводу, что приемлемый
уровень ошибки – неверно принять одного посетителя
за постоянного покупателя в день. Если в день магазин
посещает 1000 посетителей, каждый из которых должен
быть сверен со списком 100 постоянных клиентов,
то необходимый FAR составит 11000×100=10−5 (что
соответствует одному клиенту, принятого за постоянного
по ошибке, в день).
Определившись с допустимым уровнем ошибки, следует
выбрать подходящий датасет для тестирования. Хорошим
вариантом было бы разместить камеру в подходящем
месте (вендоры могут помочь с конкретным устройством
и расположением). Сопоставив транзакции держателей
карт постоянного покупателя с изображениями с камеры
и проведя фильтрацию результатов поиска вручную,
сотрудники магазина могут собрать набор позитивных
пар. Также имеет смысл собрать набор изображений
случайных посетителей (по одному изображению
на человека). Это количество изображений должно
примерно соответствовать среднему количеству
посетителей магазина в день. Объединив оба набора,
можно получить датасет, состоящий как из «позитивных»,
так и «негативных» пар.
Для проверки желаемой точности должно хватить тысячи
«позитивных» пар. Комбинируя различных постоянных
клиентов и случайных посетителей, можно с легкостью
собрать целых 100 000 «негативных» пар.
ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 10
Следующим шагом будет запустить (или попросить
вендора запустить) ПО и получить результаты
уверенности алгоритма для каждой пары из
датасета. Когда это будет сделано, можно построить
ROC-кривую и удостовериться, что количество
правильно идентифицированных постоянных
клиентов при FAR=10−5 соответствует бизнес-целям
организации.
СИСТЕМА БИОМЕТРИЧЕСКОГО
КОНТРОЛЯ E-GATE В АЭРОПОРТУ
Современные аэропорты обслуживают десятки
миллионов пассажиров в год, а процедуру паспортного
контроля ежедневно проходит около 300 000 человек.
Автоматизация этого процесса позволит существенно
сократить расходы. С другой стороны, пропустить
нарушителя крайне нежелательно, и администрация
аэропорта хочет минимизировать риск такого события.
Значение FAR=10−7 вполне удовлетворяет такому запросу.
В этом случае система допускает десять нарушителей
в год. Если при данном FAR, FRR составляет 0.02 (что
соответствует результатам NtechLab на бенчмарке NIST,
оценивающем изображения лиц с виз), то затраты на
проверку документов вручную можно будет сократить
в 50 раз. Однако для того чтобы оценить точность при
данном уровне FAR, понадобятся десятки миллионов
изображений. Сбор такого большого датасета
требует значительных средств и может потребовать
дополнительного согласования обработки личных
данных. В результате инвестиции в подобную систему
могут окупаться чересчур долго. В таком случае имеет
смысл обратиться к правоохранительным органам или
государственной структуре за датасетом для тестирования.
Вы также можете обратиться к отчету о тестировании
NIST Face Recognition Vendor Test, который содержит
датасет с фотографиями с виз. Администрации аэропорта
стоит выбирать вендора, руководствуясь результатами
оценки тестирования на этом датасете и данными о
пассажиропотоке в этом аэропорту.
ТАРГЕТИРОВАННАЯ
ПОЧТОВАЯ РАССЫЛКА
До сих пор мы рассматривали примеры,
в которых заказчик был заинтересован
в низких FAR, однако это не всегда
так. Представим себе оборудованный
камерой рекламный стенд в крупном
торговом центре. Торговый центр имеет
собственную программу лояльности,
и хотел бы идентифицировать её
участников, остановившихся у стенда.
Далее этим покупателям можно
было бы рассылать таргетированные
письма со скидками и интересными
предложениями на основании того,
что их заинтересовало на стенде.
Допустим, что эксплуатация такой
системы обходится в 10 $, при этом
около 1000 посетителей в день
останавливаются у стенда. Отдел
маркетинга оценил прибыль от каждого
таргетированного email в 0.0105 $. Нам
хотелось бы идентифицировать как
можно больше нужных покупателей и не
слишком беспокоить остальных. Чтобы
такая рассылка окупилась, точность
должна быть равна затратам
на стенд, поделенным на количество
посетителей, умноженное на
ожидаемый доход от каждого письма.
Для нашего примера точность равна
10/1000×0.0105=95. Администрация
торгового центра могла
бы собрать датасет способом,
описанным в разделе «Розничный
магазин», и измерить точность, как
описано в разделе «Идентификация».
На основании результатов тестирования
можно принимать решение, получится
ли извлечь ожидаемую выгоду
с помощью системы распознавания лиц.
ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 11
ЧАСТЫЕ ОШИБКИ
В этом разделе мы хотели бы перечислить распространенные
проблемы и ошибки, которые встречаются при тестировании ПО
для распознавания лиц, и дать рекомендации как их избежать.
ТЕСТИРОВАНИЕ НА ДАТАСЕТЕ
НЕДОСТАТОЧНОГО РАЗМЕРА
Всегда следует быть аккуратным при выборе датасета для тестирования
алгоритмов распознавания лиц. Одним из важнейших свойств датасета
является его размер. Размер датасета нужно выбирать, исходя из целей,
которые преследует организация и конкретных значений FAR/TAR.
Датасеты, собранные из нескольких изображений людей в вашем офисе,
дадут возможность «поиграть» с алгоритмом: протестировать измерение
времени выполнения или его применение в нестандартных, конкретных
сценариях. Но на основании таких датасетов нельзя делать выводы
о точности алгоритма. Для тестирования точности следует использовать
датасеты крупных размеров.
ТЕСТИРОВАНИЕ ПРИ ЕДИНСТВЕННОМ
ПОРОГОВОМ ЗНАЧЕНИИ
Иногда люди тестируют алгоритм распознавания лиц при одном
фиксированном пороговом значении (часто выбранном производителем
«по умолчанию») и принимают во внимание лишь один тип ошибок. Это
неправильно, так как значения порога «по умолчанию» у разных вендоров
различаются вследствие того, что используются различные значения FAR
или TAR. Для установления порогового значения следует учитывать оба
типа ошибок.
СРАВНЕНИЕ РЕЗУЛЬТАТОВ
НА РАЗНЫХ ДАТАСЕТАХ
Датасеты различаются по размерам, качеству и сложности, поэтому
результаты работы алгоритмов на разных датасетах невозможно
сравнивать. Существует большая вероятность ошибочно отказаться
от лучшего решения только потому, что оно тестировалось на более
сложном, чем у конкурента, датасете.
ДЕЛАТЬ ВЫВОДЫ, ОСНОВЫВАЯСЬ
НА ЕДИНСТВЕННОМ ДАТАСЕТЕ
Следует стараться проводить тестирование на нескольких наборах данных.
При выборе только общедоступного датасета нельзя быть уверенным, что
он не использовался при обучении или настройке алгоритма. В этом случае
точность алгоритма будет переоценена. К счастью, вероятность этого
события можно снизить, сравнив результаты на разных датасетах.
ЗАКЛЮЧЕНИЕ
В этой брошюре мы описали основные составные
части тестирования алгоритмов распознавания лиц:
наборы данных, задачи, соответствующие метрики и
распространенные сценарии.

Конечно, это далеко не всё, что хотелось бы рассказать о

тестировании, и существуют множество исключительных
сценариев, требующих подробного ознакомления
(команда NtechLab с радостью поможет с ними
разобраться). Но мы очень надеемся, что благодаря
этой брошюре вы сможете правильно спланировать
тестирование алгоритма, оценить его сильные и слабые
стороны и интерпретировать метрики качества в
соответствии с конкретно вашими бизнес-целями.

ССЫЛКИ

1
http://vis-www.cs.umass.edu/lfw/
2
http://megaface.cs.washington.edu/
3
https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt-ongoing
4
https://www.nist.gov/programs-projects/face-recognition-vendor-test-frvt
5
http://megaface.cs.washington.edu/
https://www.nist.gov/sites/default/files/documents/2018/02/15/frvt_report_2018_02_15.pdf

ОЦЕНКА КАЧЕСТВА АЛГОРИТМОВ РАСПОЗНАВАНИЯ ЛИЦ | © 2018 ООО «НТЕХ ЛАБ». ВСЕ ПРАВА ЗАЩИЩЕНЫ. | 12
123056, Россия, Москва,
ул. Большая Грузинская, д. 61, стр. 2
+7 (499) 110-22-54
info@ntechlab.com

ntechlab.com findface.pro