ИСКУССТВЕННЫЙ

АЛЬМАНАХ

ИНТЕЛЛЕКТ
Computer vision & image processing
Аналитический сборник №3

ДЕКАБРЬ
2019
Данный отчет сверстан для просмотра на экране компьютера формата 16×9. Если Вы хотите
получить печатную версию отчета (или получать ее регулярно), то отправьте пожалуйста нам
запрос на http://www.aiReport.ru.

Все права принадлежат Центру Национальной технологической инициативы на базе МФТИ

по направлению «Искусственный интеллект». Распространение Альманаха разрешено только
в виде публикации ссылки на сайт Альманаха http://www.aiReport.ru, копирование и перепост
содержимого Альманаха или его части или выкладывание файла с Альманахом или его части
без письменного согласования правообладателя запрещается.

Сайт

www.AIreport.ru

© Центр Национальной технологической инициативы на базе МФТИ по направлению

«Искусственный интеллект», декабрь 2019 г.
 ИСКУССТВЕННЫЙ
Альманах

ИНТЕЛЛЕКТ
Computer vision & image processing

Аналитический сборник Москва / №3 / Декабрь 2019

2 COMPUTER VISION /  АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 3

Содержание
Центр Национальной технологической 03 ПРИМЕНЕНИЯ 79 05 КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ 131 08 ИНФРАСТРУКТУРА 169
инициативы на базе МФТИ по направлению
3.1. Применение CV в Интернете и IT 80 Топ компании России 132 Конференции 170
«Искусственный интеллект 4
3.2. Финансы и страхование 84 Яндекс 134
От редактора 6
09 ТРЕНДЫ И АНАЛИТИКА 173
3.3. Промышленность и логистика 87 VisionLabs 135
9.1. Портрет индустрии 174
01 ВВЕДЕНИЕ 7 3.4. Новые глаза для умного города 94 NtechLab 136
9.2. Тренды и прогнозы 176
История Computer Vision 8 3.5. Применение компьютерного зрения Vocord 137
в ритейле 100
Вижу, значит существую 10 Mail.ru Group 138
10 ПРИЛОЖЕНИЯ 179
3.6. Компьютерное зрение в медицине 105
Tevian 139
Основные ссылки и методика
02 ТЕХНОЛОГИИ 19 3.7. Государство и безопасность 115
ABBYY 140 формирования отчета 180
2.1. Синтез изображений 20
3DiVi 141
04 КЛЮЧЕВЫЕ КОМПАНИИ МИРА 117
2.2. Детектирование и сегментация объектов на
ГосНИИАС 142
изображениях 28 Топ компании мира 118
Cognitive Technologies 143
2.3. Распознавание лиц 36 Google 120

2.4. Обработка изображений 44 Facebook 121

06 КЛЮЧЕВЫЕ ЛЮДИ МИРА 145
2.5. Детекция и классификация объектов Microsoft 122
Ключевые люди мира 146
на видео 50
NVIDIA 123
Исследователи 150
2.6. Синтез видео 56
Amazon 124
2.7. Computer vision — state of the art 62
Megvii Technology Limited 125 07 КЛЮЧЕВЫЕ ЛЮДИ РОССИИ 157
2.8. Глоссарий 70
SenseTime 126 Ключевые люди России 158

YITU Technology 127 Исследователи в России 162

NEC 128 Исследователи из бизнеса 166

Alibaba 129 Исследователи не в России 167

Deep Glint 130

Baidu 130
4 COMPUTER VISION / 
Центр Национальной технологической
инициативы на базе МФТИ по направлению
«Искусственный интеллект»
Данный Альманах по Искусственному интеллекту
– один из результатов работы аналитической груп-
пы Центра НТИ на базе МФТИ по направлению
«Искусственный интеллект» (далее – Центр)
Центр НТИ по направлению «Искусственный ин-
теллект» создан на базе МФТИ в 2017 году в рам-
ках реализации программы Национальная Техно-
логическая Инициатива.
ОСНОВНЫЕ ЦЕЛИ И ЗАДАЧИ ЦЕНТРА:
|| Создание новых технологий, продуктов и ус-
луг для рынков НТИ;
|| Создание и вывод на рынки НТИ спино-
фф-компаний, нацеленных на преодоление
технологических барьеров и быстрый рост ка-
питализации;
|| Наращивание человеческого капитала в об-
ласти искусственного интеллекта и технологи-
ческого предпринимательства;
|| Развитие системы целевой подготовки науч-
ных и инженерных кадров, способных решать
сложные задачи в области искусственного ин-
теллекта;
|| Развитие кооперации академических органи-
заций с предприятиями различных отраслей
реального сектора экономики.
НАПРАВЛЕНИЯ РАБОТЫ
Деятельность Центра ведется с целью комплекс-
ного развития соответствующей сквозной тех-
нологии и осуществляется в рамках следующих
групп мероприятий: выполнение научно-иссле-
довательских и опытно-конструкторских ра-
бот (далее – НИОКР) и коммерциализация их ре-
зультатов; разработка и реализация основных
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 5
образовательных программ высшего образова- ОСНОВНЫЕ УЧАСТНИКИ КОНСОРЦИУМА || Финансовые организации и специализиро-
ния, программ дополнительного образования И ПАРТНЕРЫ ЦЕНТРА НТИ: ванные Фонды
и дисциплин (модулей), направленных на фор-
мирование необходимых компетенций; разви- || Крупные промышленные корпорации Сбербанк России, Фонд Национальной техно-
тие информационной инфраструктуры, а также логической инициативы, Фонд перспективных
инфраструктуры научной, научно-технической ПАО Ростелеком, АО Глонасс, ОАО РЖД, ГК исследований
и инновационной деятельности; обеспечение 1520, ПАО Россети, АО Концерн ВКО Ал-
правовой охраны, управления правами и защи- маз-Антей, АО Росэлектроника, ПАО Газпром || Высшие учебные заведения и исследова-
ты РИД, разработки необходимой нормативной нефть, ГК ХимРар тельские институты
базы; развития партнерских отношений с заинте-
ресованными организациями. || Малые и средние частные инновационные НИУ ВШЭ, Сколтех, Университет Иннополис,
компании АО НИИАС
В рамках Программы создания и развития Цен-
тра выделено 7 ключевых направлений, которые Нейроботикс, BiTronics Lab, Миландр, АО Одной из задач Центра мы видим выпуск каче-
в основном определяют содержание технологии Крибрум, Наносемантика, Нейросети Ашма- ственной аналитики для всего рынка. Этот аль-
«Искусственный интеллект»: нова, АО МТЛ, АО Интеллект, ГК InfoWatch манах является одним из наших аналитических
проектов.
1. разговорный искусственный интеллект;
2. распознавание текстов и речи, лингвистиче-
ский анализ;
3. экспертные, рекомендательные, информаци-
Центр НТИ на базе МФТИ по направлению «Искусственный
онно-аналитические системы, автоматизация интеллект» является центром экспертизы и компетенций
проектирования и управления;
по ИИ в России. Какие бы задачи вы не ставили перед собой –
4. специализированные процессоры и вычис-
лительные системы для искусственного ин-
мы готовы вам помочь. Приглашаем Вас к сотрудничеству!
теллекта, дизайн-центр по проектированию
специализированных микросхем, микро-
процессоров, микроконтроллеров, чипсетов
и приборов для устройств и систем с искус-
ственным интеллектом;
5. техническое зрение, обнаружение, распозна-
вание, дешифрация, классификация изобра-
жений;
6. робототехника, умные машины;
7. «умные» сети и системы в энергетике, связи,
городском хозяйстве и в других отраслях, «ум-
ный дом», «умный город».
6 COMPUTER VISION / 

От редактора
Перед Вами третий выпуск Альманаха «Искусственный интеллект» — ре-
гулярного публичного отчета по ИИ в России и мире. Первый номер со-
держал общий обзор индустрии ИИ, а второй — обзор речевых техно-
логий: обработка естественного языка и распознавание и синтез речи.
Текущий выпуск посвящен обзору области машинного зрения и обработ-
Игорь Пивоваров ки изображений.

Главный аналитик
Область CV очень бурно развивается. Делая отчет в этой области
Центра НТИ на базе
мы вступаем на рискованный путь между Сциллой и Харибдой, ведь
МФТИ по направлению
очень сложно охватить всю область и сделать качественное популярное
«Искусственный интеллект»,
изложение и не оказаться профаном в конкретном вопросе. Будем при-
член Рабочей группы НТИ
знательны за конструктивную критику и рекомендации.
Нейронет, член Экспертного
совета по научно-
Отчет разделен на несколько блоков:
технологическому развитию
и интеллектуальной
|| О технологиях — простым языком рассказать и показать что «под ка-
собственности при комитете
потом».
по науке и образованию
Государственной Думы || О применениях — в каких отраслях и для чего сегодня применяются
ФС РФ, генеральный технологии CV с примерами и кейсами.
директор ООО «АйПи
|| Топ-компании в мире и в России в данной области
Лаборатория», организатор
Открытой конференции по || Топ-исследователи в мире и в России в данной области
искусственному интеллекту
|| Список основных конференций по CV в России и мире
OpenTalks.AI.
|| Тренды и аналитика

Статьи в этом выпуске написаны ведущими экспертами в области CV.

Я благодарю всех авторов, нашедших время и возможность написать
нам статью! Благодаря Вам мы сделали хороший аналитический и обра-
зовательный материал для всей отрасли!

И конечно, приглашаю Вас на конференцию OpenTalks.AI в феврале

2020 года, на которой Вы сможете лично увидеть и услышать всех клю-
чевых участников отрасли ИИ, которые упомянуты в этом Альманахе!
До встречи на OpenTalks.AI!
Введение

01
8 COMPUTER VISION / ВВЕДЕНИЕ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 9

История Computer Vision

1976 1982 2006 2012
ПО для OCR Первый AlexNet
от Kurzweil Technologies чат-бот Jabberwacky NVIDIA GeForce 8 series выигрывает ImageNet

1971 1980е
1960е 2001 2006 2010 2014 2017
Открытие USC DARPA запускает проект ALV
MIT Summer Vision Signal and Image по созданию автономного Появление метода Запуск проекта
Начало ILSVRC Tractable AI DeepFakes
События
Project Processing Institute (SIPI) Виолы-Джонса Pascal VOC
транспорта

Face detection

Face
Image retrieval verification

Google Images Microsoft Kinect

Первый полностью Первые Смартфоны с Применения

автономный автомобиль умные города TinEye CV-камерами

Автономные
военные БПЛА Kurzweil OCR Робот Nomad Hawk-Eye Photosynth BWIBots

Prisma

Сверточные
нейронные сети Fisher vectors Perceptual losses

Active contour
model Gabor wavelet SIFT SLAM ResNets

первые алгоритмы
Алгоритмы
цифровой обработки Алгоритм Объектно-ориентированное Применение Deep semantic
Pictorial models Лукаса - Канаде Decision forests распознавание образов bag-of-words DeepFace segmentation
изображений

line labelling Сегментация изображений Метод Виолы Structured

algorithms Backpropagation Неокогнитрон Оператор Кэнни DPM AlexNet GANs Perceptual losses
на графах LeNet-5 - Джонса SVMs

Первый полупроводниковый
датчик изображений
Фильтр Байера «Умные камеры» NVIDIA GeForce 8 Series

Простейшие Коммерческие Процессоры

фото Цифровые цифровые Цифровые машинного
камеры видеокамеры
и видеокамеры Цифровой сканер камеры Первые GPU DSP-камеры зрения (VPU) Hardware

PASCAL VOC CINIC-10

CIFAR-10 VoxCeleb

Letter Dataset Caltech 101 CIFAR-100 Fashion MNIST

1936 Датасеты
Iris Lena Image Statlog MNIST Caltech 4 ImageNet MS COCO Open Images

Amazon
WebOCR CUDA Rekognition

Фреймворк
Дэвида Марра Snakes framework Video Rewrite program OpenCV library
PyTorch StyleGAN

ПО для оптического распознавания символов

от Kurzweil Technologies
ПО для распознавания
лиц Eigenface
ПО для распознавания
лиц ZN-Face LSM framework TensorFlow
Microsoft
Azure CV API
Фреймворки,

1950-е 1960-е 1970е 1980е 1990е 2000е 2010е 2020е

10 COMPUTER VISION / ВВЕДЕНИЕ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 11

Илья Захаркин
Одна из самых конкурентных областей
МФТИ, Сколтех
сегодня — поиск по картинке

Игровые приставки: Kinect 2.0. Проектор точек проециру-

Эта та область, где российский ет на лицо более 30 тыс невидимых точек для создания его
Яндекс сегодня показывает уникальной карты. А ИК камера считывает эту точечную
самые лучшие результаты структуру и создает изображение в инфракрасном спектре,
в мире при поиске по которое обрабатывается методами DL. Или распознавание
картинке: [236] по лицу: Apple FaceID [10] (при помощи нескольких датчиков)

Source Image

Вижу, значит существую:

обзор Deep Learning в Computer Vision

В 2019 г. все говорят про искусственный интеллект, четвёртую Оценка точек лица: маски в Snapchat [11]

промышленную революцию [1] и приближение человечества

к сингулярности [2]. Круто, классно, но хочется конкретики. В этой
статье мы поговорим о конкретных кейсах применения того самого
современного ИИ — о применении deep learning (а именно — свёрточных
нейросетей) в множестве задач компьютерного зрения.
Дроны и роботы: получение и обработка информации
с помощью зрения
Да, мы будем говорить именно про сетки, иногда
упоминая некоторые идеи из «классического»
зрения (так будем называть набор методов в зре-
нии, которые использовались до нейросетей, од-
нако это ни в коем случае не значит, что сейчас
они не используются).

Первое действительно интересное примене-

ние нейросетей в зрении, которое было освеще-
но в СМИ ещё в 1993 г. это распознавание руко-
Одометрия [14]: построение карты и планирование
писных цифр [3], реализованное Яном ЛеКуном
при перемещении роботов
[4]
. Сейчас он один из главных по ИИ в Facebook
Беспилотные автомобили Tesla [7] и Яндекса [8]
AI Research [5], их команда выпустила уже немало
полезных Open Source вещей [6].
Анализ
медицинских
Сегодня же зрение применяется во многих сфе-
снимков
рах. Приведем лишь несколько ярких примеров:
и предсказание
рака [9]

Перенос стиля и текстур: Prisma [18], PicsArt [19]

12 COMPUTER VISION / ВВЕДЕНИЕ
Биометрия И конечно есть многочисленные применения в раз-
лица личных внутренних задачах компаний. Facebook,
и движений к примеру, применяет зрение ещё и для того, чтобы
глаз (пример фильтровать медиаконтент. В проверке качества/
из проекта повреждений в промышленности [7] тоже исполь-
ФПМИ зуются методы компьютерного зрения. И так далее.
МФТИ [12])
Посмотрим подробнее на некоторые отдельные
задачи:
КЛАССИФИКАЦИЯ КАК СТИЛЬ ЖИЗНИ
Распознавание
В 90-е годы сетки в зрении выстрелили. Причём
текста
выстрелили в конкретной задаче — задаче класси-
на картинке
фикации картинок рукописных цифр (знаменитый
(Optical
датасет MNIST [20]). Исторически сложилось, что
Character
именно задача классификации изображений и ста-
Recognition [13])
ла основой при решении почти всех последующих
задач в зрении. Рассмотрим конкретный пример:
Задача: На вход дана папка с фотографиями,
на каждом фото тот или иной объект: либо кошка,
Улучшение
либо собака, либо человек (пусть «мусорных» фо-
графики
ток нет, супер-не-жизненная задача, но надо с че-
и текстур
го-то начать). Нужно разложить картинки по трём
в видеоиграх [15]
папкам: /cats, /dogs и /leather_bags /humans, по-
местив в каждую папку только фото с соответ-
ствующими объектами.
Практически везде в зрении принято работать
с картинками в RGB-формате. У каждой картин-
ки есть высота (H), ширина (W) и глубина, кото-
рая равна 3 (цвета). Таким образом, одну картин-
ку можно представить как тензор размерности
HxWx3 (каждый пиксель — это набор из трёх чи-
сел — значений интенсивности в каналах).
Дополненная реальность: Leap Motion (Project
North Star [16]) и Microsoft Hololens [17]
Перевод
по картинке:
Яндекс и Google
Представим, что с компьютерным зрением
мы пока не знакомы, но знаем machine learning.
Изображения — это просто числовые тензоры
в памяти компьютера. Формализуем задачу в тер-
минах машинного обучения: объекты — это кар-
тинки, их признаки — это значения в пикселях,
ответ для каждого из объектов — метка класса
(кошка, собака или человек). Это в чистом виде
задача классификации [21].
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Можно взять какие-нибудь методы из «классиче-
ского» зрения или «классического» машинного
обучения, то есть не нейросети. В основном эти
методы заключаются в выделении на изображе-
ниях неких особенностей (особых точек) или ло-
кальных регионов, которые будут характеризо-
вать картинку («мешок визуальных слов» [22]).
Обычно всё это сводится к чему-то типа SVM [23]
над HOG [24]/SIFT [25].
Но в случае нейросетей мы не хотим использо-
вать придуманные нами признаки, а хотим, чтобы
сеть сделала всё за нас. Наш классификатор бу-
дет принимать на вход признаки объекта и воз-
вращать предсказание (метку класса). Здесь
в качестве признаков выступают значения ин-
тенсивности в пикселях. Сетке при обучении
на вход подаётся не по одной картинке и не це-
лым датасетом, а батчами, т.е. небольшими пор-
циями объектов (например, 64 картинки в батче).
Таким образом, сеть принимает на вход тензор
размера (BATCH_SIZE, H, W, 3). Можно «развер-
нуть» каждую картинку в вектор-строку из H*W*3
чисел и работать со значениями в пикселях прямо
как с признаками в машинном обучении, обыч-
ный Multilayer Perceptron (MLP) [26] так и поступил
бы, но работа с пикселями как с вектор-строкой
никак не учитывает, например, трансляционную
инвариантность объектов на картинке. Тот же кот
может быть как в середине фото, так и в углу, MLP
эту закономерность не выучит.
Значит нужно что-то поумнее, например, опера-
ция свёртки. И это уже про современное зрение,
про свёрточные нейронные сети [27]. Если вкратце,
то операция свёртки позволяет находить паттерны
на изображениях с учётом их вариативности. Когда
обучаем свёрточные нейросети (eng: Convolutional
Neural Networks), мы, по сути, находим фильтры
свёрток (веса нейронов), которые хорошо описыва-
ют изображения, причём столь хорошо, чтобы мож-
но было точно определить по ним класс.
Подробнее про задачи детектирования
и классификации можно прочитать
в разделе 2.2
Я И САМ СВОЕГО РОДА ХИРУРГ:
ИЗВЛЕКАЕМ ФИЧИ ИЗ НЕЙРОСЕТЕЙ
Другая задача. Представим, что есть картинка,
и мы хотим найти похожие на неё визуально (так
умеет, например, поиск по картинке в Яндекс.
Картинки). Раньше (до нейросетей) инженеры
ДЕКАБРЬ 2019 13
для этого извлекали фичи вручную, например,
придумывая что-то, что хорошо описывает кар-
тинку и позволит её сравнивать с другими. В ос-
новном, эти методы (HOG [24], SIFT [25]) опериру-
ют градиентами картинок [28], обычно именно эти
штуки и называют «классическими» дескрипто-
рами изображений. Особо интересующихся от-
сылаю [29] к статье и к курсу Антона Конушина [30]
(это не реклама, просто курс хороший H.
Используя нейросети, мы можем не придумывать
самому эти фичи и эвристики, а правильно обу-
чить модель и потом взять за признаки картин-
ки выход одного или нескольких слоёв сети.
В CNN для классификации есть два этапа:
1. Feature extractor слои для выделения инфор-
мативных фич из картинок с помощью свёр-
точных слоёв;
2. Обучение поверх этих фич Fully Connected
(FC) слоёв-классификаторов.
Embedding'и картинок (фичи) — это как раз
про то, что можно брать в качестве информа-
тивного описания картинок их признаки после
Feature extractor’а свёрточной нейросети (правда
их можно по-разному агрегировать). То есть обу-
чили сеть на классификацию, а потом просто бе-
рём выход перед классификационными слоями.
Эти признаки называют фичами, нейросетевы-
ми дескрипторамиили эмбеддингами картинки
(правда обычно эмбеддинги принято в NLP, так
как это зрение, мы чаще будем говорить фичи).
Обычно это какой-то числовой вектор, например,
128 чисел, с которым уже можно работать.
14 COMPUTER VISION / ВВЕДЕНИЕ
Однако просто брать нужные фичи и делать до-
обучение с датасета на датасет может быть недо-
статочно, например, для задач поиска похожих
лиц/людей/чего-то специфичного. Фотографии
одного и того же человека визуально иногда мо-
гут быть даже более непохожи, чем фотографии
разных людей. Нужно заставить сеть выделять
именно те признаки, которые присущи одно-
му человеку/объекту, даже если нам это сде-
лать глазами сложно. Добро пожаловать в мир
representation learning.
ДЕРЖИСЬ РЯДОМ: REPRESENTATION
LEARNING ДЛЯ ЛЮДЕЙ И ЛИЦ
Новые задачи:
1. Есть галерея (набор) фотографий лиц людей,
хотим, чтобы по новому фото сеть умела отве-
чать либо именем человека из галереи (мол,
это он), либо говорила, что такого человека
в галерее нет (и, возможно, добавляем в неё
нового человека);
2. То же самое, но работаем не с фотографиями
лиц, а с кропами людей в полный рост.
Первую задачу обычно называют распознава-
нием лиц, вторую — ре-идентификацией (со-
кращённо Reid). Мы их объединили в один блок,
поскольку в их решениях сегодня используют-
ся схожие идеи: для того, чтобы выучивать эф-
фективные эмбеддинги картинок, которые могут
справляться и с довольно сложными ситуаци-
ями, сегодня используют различные типы лосс
функций, такие как, например, triplet loss [31],
quadruplet loss [32], contrastive-center loss [33],
cosine loss [34].
Суть всех этих лоссов и сиамских сетей проста —
хотим, чтобы картинки одного класса (челове-
ка) в латентном пространстве фич (эмбеддингов)
были «близко», а разных классов (людей) — «да-
леко». Близость обычно меряется так: берутся
эмбеддинги картинок из нейросети (например,
вектор из 128 чисел) и либо считаем обычное Ев-
клидово расстояние [35] между этими вектора-
ми, либо косинусную близость [36]. Как именно ме-
рить — лучше подбирать на своём датасете/задаче.
В свою очередь, в задаче ре-идентифика-
ции сейчас бурная активность, статьи выхо-
дят каждый месяц, люди пробуют разные подхо-
ды, что-то работает уже сейчас, что-то пока ещё
не очень.
Поясню суть задачи Reid на примере: есть га-
лерея с кропами людей, например, 10 людей,
у каждого по 5 кропов (могут быть с разных
сторон), то есть 50 фотографий в галерее.
Приходит новая детекция (кроп), и надо ска-
зать, какой это человек из галереи или ска-
зать, что его там нет и завести для него
новый ID. Задача усложняется тем, что детек-
ции человека приходят с разных ракурсов:
спереди, сзади, сбоку, снизу, и плюс камеры,
с которых фото приходят, тоже разные (раз-
ные освещения/балансы белого и т.д.).
НАЙДИ МЕНЯ, ЕСЛИ СМОЖЕШЬ:
ДЕТЕКТИРОВАНИЕ ОБЪЕКТОВ
Задача звучит просто — дана картинка, необхо-
димо найти на ней объекты заранее заданных
классов (человек, книга, яблоко, артезиано-нор-
мандский бассет-гриффон и т.д.). Для того, что-
бы решить эту задачу с помощью нейросетей,
поставим её в терминах тензоров и машинного
обучения.
Мы помним, что цветная картинка — это тен-
зор (H,W,3). Раньше мы умели только класси-
фицировать картинку целиком, теперь же наша
цель — предсказать положения интересующих
объектов (координаты пикселей) на картинке
и их классы. Ключевая идея здесь в том, что-
бы решать сразу две задачи — классификацию
и регрессию. Нейросеть используется, чтобы
регрессировать координаты и классифициро-
вать объекты внутри них.
Но координаты объекта, вообще говоря, мож-
но по-разному формализовать, в DL есть три ос-
новных способа: детектирование (боксы объек-
тов), оценка позы (ключевые точки объектов)
и сегментация («маски» объектов). В основном
датасеты для детектирования размечены box’а-
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
ми в формате: «координаты левого верхнего
и правого нижнего углов для каждого объекта
на каждой картинке» (этот формат ещё называ-
ют top-left, bottom-right), и большинство нейро-
сетевых подходов предсказывают именно эти
координаты.
Подробно про детектирование
и локализацию объектов можно
прочитать в разделе 2.2.
Часто детектировать нужно объект только одно-
го класса, но специфичного и весьма вариатив-
ного. Например, детектировать все лица на фото
(для дальнейшей верификации/подсчёта людей),
детектировать людей целиком (для ре-иденти-
фикации/подсчёта/трекинга) или детектировать
текст на сцене (для OCR/перевода слов на фото).
В целом, подход «обычной» детекции здесь
до определённой степени сработает, но в каждой
из этих подзадач есть свои трюки, чтобы улуч-
шить качество.
ДЕТЕКТИРОВАНИЕ ЛИЦ:
НЕ ПОЙМАН — НЕ ВОР
Здесь появляется некоторая специфика, по-
скольку лица часто занимают достаточно ма-
лую часть изображения. Плюс люди не всег-
да смотрят в камеру, часто лицо видно лишь
сбоку. Одним из первых подходов к распоз-
наванию лиц был знаменитый детектор Ви-
олы-Джонса на основе каскадов Хаара, изо-
бретённый ещё в 2001 г.
ДЕКАБРЬ 2019 15
Нейросети тогда были не в моде не были ещё так
сильны в зрении, однако старый добрый hand-
crafted подход делал своё дело. В нём активно
использовались несколько типов специальных
масок-фильтров, которые помогали извлекать ли-
цевые регионы с изображения и их признаки, и да-
лее эти признаки подавались в AdaBoost-клас-
сификатор. Кстати, этот метод действительно
нормально работает и сейчас, он достаточно бы-
стрый и запускается «из коробки» с помощью
OpenCV [37]. Недостаток этого детектора в том, что
он видит только лица, развёрнутые фронтально
к камере. Стоит лишь немного повернуться, и ста-
бильность детекции нарушается.
Из нейросетевых подходов в детектирова-
нии лиц особенно значимым является Multi-
task Cascaded CNN (MTCNN) [38], (MatLab [39],
TensorFlow [40]). В целом, она и сейчас активно
используется (в том же facenet [41]).
Из современных State-of-the-Art можно отметить
Dual Shot Face Detector (DSFD) [42] и FaceBoxes [43].
FaceBoxes имеет возможность быстрого запуска
на CPU (!), а DSFD отличился лучшим качеством
(вышел в апреле 2019 г.). DSFD устроен посложнее,
чем MTCNN, поскольку внутри сети используют-
ся специальный модуль для улучшения призна-
ков (с dilated convolutions) [44], две ветки их обра-
ботки и специальные типы лоссов. Кстати, с dilated
convolutions мы ещё не раз столкнёмся в статьях
про сегментацию в следующей части. Ниже пример
работы DSFD (впечатляет, не правда ли?).
Подробнее про распознавание лиц можно
прочитать в разделе 2.4.
16 COMPUTER VISION / ВВЕДЕНИЕ
МНОГО БУКВ: ДЕТЕКТИРОВАНИЕ
(И РАСПОЗНАВАНИЕ) ТЕКСТА
Обратите внимание на фото снизу. Легко заме-
тить, что, если предсказывать bounding box’ы,
параллельные осям координат (как мы дела-
ли раньше), то получится весьма некачествен-
но. Часто это оказывается весьма критично, если
мы хотим, например, подать потом эти боксы
на вход recognition-нейросети, которая по кар-
тинке будет предсказывать текст [45].
В таких случаях принято предсказывать повёр-
нутые bounding box’ы, или и вовсе ограничивать
текст многоугольниками вместо прямоугольни-
ков, если он изогнутый (примеры ниже). С пред-
сказанием повёрнутых боксов справляется, нап-
ример, EAST-детектор [46].
Задача распознавания текста (а значит и его
детектирования) весьма популярна, поэто-
му есть и аналоги: TextBoxes++ [47] (Caffe) [48]
и SegLinks [49], однако EAST, на мой взгляд, наи-
более прост и доступен.
После детектирования текста хочется сразу скор-
мить его другой нейросети, чтобы распознать его
и выдать строку символов. Здесь можно заметить
интересную смену модальности — из картинок
в текст. Бояться этого совсем не стоит, ведь всё за-
висит лишь от того, какова архитектура сети, что
именно предсказывается на последнем слое и ка-
кой используется лосс. Например, MORAN [50] (код
на PyTorch [51]) и ASTER [52] (код на TensorFlow [53])
вполне справляются с поставленной задачей.
В них нет чего-то сверхъестественного, одна-
ко очень грамотно используются сразу два прин-
ципиально разных типа нейросетей: CNN и RNN.
Первое нужно для извлечения признаков из кар-
тинки, а второе для генерации текста.
Однако помимо подходов к распознаванию тек-
ста «модульно» (сеть детекции -> сеть распоз-
навания), есть end-to-end архитектуры: на входе
картинка, а на выходе — детекции и распознан-
ный внутри них текст. И всё это единым пай-
плайном, который обучается на обе задачи сра-
зу. В этом направлении есть внушительная
работа Fast Oriented Text Spotting with a Unified
Network [54] (FOTS), (код на PyTorch [55]), где авто-
ры также отмечают, что end-to-end подход в два
раза быстрее, чем «детекция+распознавание».
Ниже схема нейросети FOTS, особую роль играет
блок RoiRotate, благодаря которому есть возмож-
ность «прокидывать градиенты» с сети для рас-
познавания на нейросеть для детекции (это
и правда сложнее, чем кажется).
К слову, каждый год проходит конференция
ICDAR [56], к которой приурочены несколько
соревнований [57] по распознаванию текста
на самых различных изображениях.
ВИДЕО И ТРЕКИНГ: ЕДИНЫМ ПОТОКОМ
До сих пор мы говорили только про задачи на кар-
тинках, но самое-то интересное происходит на ви-
део. Чтобы решать то же распознавание действий,
нам необходимо использовать не только так на-
зываемую пространственную (spatial) компонен-
ту, но и временну́ ю (temporal), поскольку видео —
это последовательность изображений во времени.
Трекинг — это аналог детектирования изобра-
жений, но для видео. То есть мы хотим научить
сеть предсказывать не бокс на картинке, а тре-
клет во времени (который есть по сути последо-
вательность боксов).
Давайте подумаем, как можно решать задачу
трекинга. Пусть есть видео, и его кадры #1 и #2.
Рассмотрим пока что только один объект — тре-
каем один мячик. На кадре #1 мы можем ис-
пользовать детектор, чтобы детектировать его.
На втором тоже можем детектировать мячик,
и если он там там один, то всё хорошо: говорим,
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
что бокс на предыдущем кадре — это бокс того
же мяча, что и на кадре #2. Так же можно про-
должать и на остальные кадры.
Кстати, в целях экономии времени можем не за-
пускать нейросеть на втором кадре, а просто
«вырезать» бокс мяча из первого кадра и искать
ровно такой же на втором кадре корреляцией [58]
или попиксельно. Такой подход утилизируют кор-
реляционные трекеры [59], они считаются про-
стыми и более-менее надёжными, если мы име-
ем дело с простыми случаями по типу «трекинг
одного мяча перед камерой в пустой комна-
те». Такую задачу ещё называют Visual Object
Tracking [60].
Однако если детекций/людей несколько, то нуж-
но уметь сопоставлять боксы с кадра #1 и с ка-
дра #2. Первая идея, которая приходит в го-
лову — попробовать сопоставлять бокс тому,
который имеет с ним наибольшую область пере-
сечения (IoU [61]). Правда, в случае нескольких
перекрывающихся детекций такой трекер будет
нестабилен, поэтому нужно использовать ещё
больше информации.
Подход с IoU опирается лишь на «геометриче-
ские» признаки детекций, то есть просто пытает-
ся сопоставить их по близости на кадрах. Но ведь
у нас в распоряжении целое изображение (даже
два в данном случае), и мы можем использо-
вать то, что внутри этих детекций — «визуаль-
ные» признаки. Плюс к этому мы имеем историю
детекций для каждого человека, что позволяет
более точно предсказывать его следующее по-
ложение на основе скорости и направления дви-
жения, это условно можно назвать «физические»
признаки.
ДЕКАБРЬ 2019 17
Одним из первых real-time трекеров, кото-
рый был вполне надёжен и умел справлять-
ся со сложными ситуациями, был опубликован-
ный в 2016 г. Simple Online and Realtime Traker
(SORT [62]) (код на Python [63]). SORT не использо-
вал какие-либо визуальные признаки и нейро-
сети, а лишь оценивал ряд параметров каждого
бокса на каждом кадре: текущую скорость (по x
и по y отдельно) и размер (высота и ширина).
Соотношение сторон (aspect ratio) бокса всег-
да берутся от самой первой детекции этого бок-
са. Далее скорости предсказываются с помощью
фильтров Калмана [64] (они вообще добро и свет
в мире обработке сигналов), строится матрица
пересечений боксов по IoU и детекции назнача-
ются венгерским алгоритмом [65].
Уже в 2017 г. вышла модификация SORT'а в виде
DeepSORT [66] (код на TensorFlow [67]). DeepSORT
уже стал применять нейросеть для извлечения ви-
зуальных признаков, используя их для разрешения
коллизий. Качество трекинга выросло — не зря
он считается одним из лучших онлайн-трекеров
сегодня.
Область трекинга и правда активно развивает-
ся: есть и трекеры с сиамскими нейросетя-
ми [68], и трекеры с RNN [69]. Следует держать
руку на пульсе, ведь в любой день может выйти
(или уже вышла) ещё более точная и быстрая ар-
хитектура. Кстати, за подобными вещами очень
удобно следить на PapersWithCode [70], там всег-
да ссылки на статьи и код к ним (если он есть).
Подробнее о детектировании объектов на ви-
део можно прочитать в разделе 2.6.
Технологии

02
2.1. Синтез изображений

2.2. Детектирование и сегментация

объектов на изображениях

2.3. Распознавание лиц

2.4. Обработка изображений

2.5. Детекция и классификация объектов

на видео

2.6. Синтез видео

2.7. Computer vision — state of the art

2.8. Глоссарий
20 COMPUTER VISION / ТЕХНОЛОГИИ
Антон Конушин
Samsung AI, ВШЭ
2.1. Синтез изображений
Традиционно выделяют три раздела компьютерных наук, посвященных
работе с изображениями. Компьютерная графика — синтез новых
изображений с помощью компьютеров. Обработка изображений —
преобразование изображений. И компьютерное зрение — извлечение
информации из изображений.
В каждом разделе использовались свои мате-
матические методы и свои программные техно-
логии. Нейросетевая революция первой охвати-
ла область компьютерного зрения. Оказалось,
что в большинстве задач нейросетевые подхо-
ды существенно обгоняют классические методы
машинного обучения. В 2014–2015 было сдела-
но несколько важных открытий в области глу-
бинного обучения, которые показали, как ней-
росети можно успешно применять для синтеза
и обработки изображений. Поскольку математи-
ческим аппаратом и технологиями нейросетей
лучше владели специалисты по компьютерному
зрению, то они вторглись в соседние дисципли-
ны компьютерной графики и компьютерного зре-
ния и начали стремительно их покорять. Сейчас
при решении многих задач обработки изображе-
ний нейросетевые методы вытеснили классиче-
ские, и в компьютерной графике они всё больше
теснят классику.
Широкую публику «взорвали» несколько ярких
приложений разработанных методов. Пожалуй,
первым стало приложение Prisma [71], позволив-
шее превращать фотографии в картины, вы-
полненные в стиле известных художников. Та-
кое преобразование называется «стилизация»
изображений. Методы стилизации долго изуча-
лись в компьютерной графике как «нефоторе-
алистичный рендеринг», но такого успеха уда-
лось добиться только за счёт использования
нейросетей. Затем начали греметь «Дипфей-
ки» (DeepFakes) [72] — видеоролики сомнитель-
ного содержания с участием известных публич-
ных лиц. Оказалось, что с помощью специальной
нейросети можно «заменить» лицо одного че-
ловека на фотографии на лицо другого челове-
ка. По-научному это называется «face swapping»
или «reenactment». Первые Дипфейки удавалось
распознавать очень легко, но технология непре-
рывно совершенствуется, и подделки становят-
ся всё совершеннее. Не смотря на ореол «ха-
керства», у технологии много потенциальных
полезных применений. Например, новые систе-
мы видеоконференций, с автоматической кор-
рекцией ракурса съёмки и подменной заспан-
ного лица пользователя свежим и отдохнувшим.
Похожие методы лежат в основе приложений,
позволяющих «примерить» новую прическу, по-
смотреть на себя в старости или в молодости
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
и т.д. После стилизации изображений иссле-
дователи успешно занялись суперразрешени-
ем — повышением разрешения фотографий и ви-
део, увеличением частоты кадров и т.д. В конце
2018 г. NVidia продемонстрировала нейросеть,
создающую фотографии лиц людей, которые уже
практически неотличимы от реальных фотогра-
фий, и даже сделала сайт [73], где каждый жела-
ющий может попробовать угадать, какое лицо
настоящее, а какое нет. А чуть позже показала,
как по наброску пользователя можно синтезиро-
вать фотографию, да и ещё по общей атмосфере
(стилю и освещению) похожую на выбранную [74].
И это только некоторые примеры, широко осве-
щаемые в прессе.
Большинство рассматриваемых задач можно
свести к 2-м «мета-задачам» — это преобразо-
вание изображений (image to image translation)
и синтез изображений (image generation). Пре-
образователи изображений берут на вход кон-
кретное изображение и выдают модифициро-
ванное. Генераторы изображений «стохастичны»:
на вход они получают случайный вектор из како-
го-то распределения, а возвращают случайное
изображение. В отличие от алгоритмов компью-
терной графики, мы пока лишь учимся контро-
лировать процесс синтеза изображений ней-
росетями. Но в отдельных задачах, например,
при синтезе изображений людей мы уже умеем
строить изображение конкретного человека с за-
данными ракурсами съёмки и выражением лица.
Архитектуры нейросетевых моделей, с помо-
щью которых решают эти задачи, развивались
одновременно с архитектурами, используемы-
ми для сегментации изображений. Для преоб-
разования изображений это схема «кодиров-
щик-декодировщик» (Encoder-Decoder). Задача
кодировщика — отобразить изображение в век-
тор-признак меньшей размерности, кодирующий
как семантическое содержание изображения,
так и пространственные детали в сжатом виде.
Иногда для обозначения этого признака исполь-
ДЕКАБРЬ 2019 21
Рис. 1. Пример стилизации
фотографии (Источник —
https://medium.com/
udacity-pytorch-challengers/
style-transfer-using-deep-
nural-network-and-pytorch-
3fae1c2dd73e)
зуют термин «скрытое» (latent) представление
изображения. Кодировщик обычно состоит из не-
скольких блоков свёрточных слоёв, на каждом
из которых разрешение изображения умень-
шается в 2 раза (downscaling). На выходе коди-
ровщика 3-х мерная матрица низкого простран-
ственного разрешения, обычно в 32 раза меньше
исходной картинки. Декодировщик выполняет
обратное преобразование — из скрытого пред-
ставления строит изображение исходного разре-
шения. Преобразование состоит из нескольких
этапов, на каждом пространственное разреше-
ние повышается в 2 раза (upscaling), например,
с помощью билинейной интерполяции и после-
дующей обработки свёрточными слоями. Сейчас
популярны архитектуры типа U-Net и Hourglass,
в которых кодировщик и декодировщик допол-
нительно связаны «обходными» путями (skip-
connections). За счёт этого на каждом блоке де-
кодировщика объединяются масштабированные
данные как с предыдущего блока декодировщи-
ка, так и из кодировщика, с уровня с тем же про-
странственным разрешением. Можно сказать,
что с предыдущего слоя декодировщика посту-
пает информация о «контексте», описывающяя
изображение «в целом», а с соответствующего
уровня кодировщика идёт информация о мелких
деталях. Сети с обходными путями превосходят
обычные по детализации результата.
Сети для синтеза изображений похожи по свое-
му устройству на декодировщики. Только получа-
ют они на вход случайный вектор из некоторого
распределения, и строят по нему изображение.
Первые сети для синтеза были полносвязными,
но довольно быстро обнаружили, что свёрточные
сети справляются лучше.
Главные хитрости кроются не в архитектуре,
а в процедурах обучения подобных сетей. Са-
мый обычный режим обучения тех же сегмен-
тационных сетей — это обучение с учителем.
Пусть имеется размеченная обучающая выбор-
ка, состоящая из пар «входное изображение» +
22 COMPUTER VISION / ТЕХНОЛОГИИ
Рис. 2. Архитектура U-Net
Источник: http://deeplearning.net/tutorial/_images/unet.jpg
«эталонный результат». Для сегментации изо-
бражений результат записывается в виде изобра-
жения — «карты разметки». В каждом пикселе
карты разметки хранится метка пиксела, напри-
мер, объекту какого класса соответствует этот
пискель. Изображение из обучающей выбор-
ки подаётся в нейросеть, и получившаяся карта
разметки попиксельно сравнивается с эталоном.
Если подобный подход применить для обучения
сетей преобразования изображений, то картин-
ки будут получаться размытые и нечёткие, если
сеть вообще обучиться. Свойства попиксель-
ных метрик сравнения изображений таковы, что
выгоднее размыть изображение, чем ошибить-
ся с местоположением резких краёв и деталей.
Справиться с проблемой помогают 2 важнейших
открытия: «ошибки восприятия» (perception loss)
и дискриминатор, который умеет отличать под-
делки (синтезированные изображения) от реаль-
ных, обучаемый совместно с целевой модель
в режиме «соперничающих сетей».
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 23
Perception loss — это сравнение двух изобра-
жений с помощью сравнения соответствующих
им нейросетевых признаков. Оба изображе-
Рис. 4. Схема
ния подаются на вход одной и той же нейросе-
обучения сети
ти, и выходы одного или нескольких выбран-
для стилизации
ных слоёв берутся как нейросетевые признаки.
с PerceptionLoss
Оказывается, расстояние между нейросете-
и StyleLoss [77]
выми признаками замечательно согласуется
с субъективно воспринимаемой разницей меж-
ду изображениями. Например, если выбирать
наиболее похожее из размытого и слегка де-
формированного изображений, попиксельные
Используя perception loss как дополнение к по- Вторым по списку, но первым по важности, идёт
метрики выберут размытое, а perceptual loss —
пиксельной метрике сравнения изображений дискриминатор, отличающий синтезированные
деформированное. Множество экспериментов
при обучении сетей преобразования изображе- изображения от реальных, и метод его обучения
подтверждают это [75].
ний, мы сможем избавиться от размытия и суще- в режиме «соперничающих» (adversarial) сетей.
ственно повысить визуальное качество. Одной из важнейших, но нерешённых проблем
Корни этого открытия можно отыскать в иссле-
компьютерной графике всегда была оценка «фо-
дованиях функционирования свёрточных ней-
Perception loss — один из двух компонентов ре- тореализма» изображений. Как оценить, насколь-
росетевых моделей. Когда нейросети обогнали
шения задачи стилизации изображения. Вто- ко реалистичной получилось наше изображение?
все остальные методы на задачах классифика-
рой компонент — это «ошибка стиля» (style loss). Чаще всего полагались на экспертов и визуаль-
ции изображений, исследователи начали искать
Ещё во времена «нефотореалистичной визуа- ное сравнение с эталоном, когда такой эталон
причины этого. Выход каждого слоя нейросе-
лизации» обнаружили, что «стиль» художника был. Нейросети дали альтернативу — давайте об-
ти можно интерпретировать как вектор-при-
можно описать корреляцией откликов различ- учим классификатор подделок — дискримина-
знак изображения. Какую информацию несёт
ных свёрток. Каждый свёрточный слой — это на- тор. Но опять проблема в том, как его обучать.
этот признак? Давайте возьмём какое-то изобра-
бор свёрток, поэтому мы можем описать стиль Подделки могут выглядеть как угодно, а выбор-
жение, пропустим его через нейросеть, возьмём
изображения, посчитав корреляцию выходов ка реальных изображений фиксирована. Реше-
выход заданного слоя как вектор-признак изо-
свёрточного слоя в форме матрицы Грама. Раз- ние нашли в совместном обучении генератора
бражения, а затем будем искать новые изобра-
ница между матрицами Грама для двух изобра- изображений и дискриминатора — «порождаю-
жения, которые дают тот же самый вектор-при-
жений — расстояние между их «стилями». Теперь щие соперничающие сети» (Generative Adversarial
знак. Задачу поиска таких изображений можно
мы можем обучить нейросеть преобразовывать Networks, GAN). Дискриминатор учится отличать
свести к задаче оптимизации градиентным спу-
изображения таким образом, чтобы perception синтезированные изображения от реальных. Ге-
ском. Начинаем с произвольного изображения
loss между исходным и преобразованным изо- нератор учится обманывать дискриминатор, от-
(белого шума) и модифицируем его до тех пор,
бражениям, и slyle loss между преобразованным того и «соперничающие». Предложена эта идея
пока вектор-признак не совпадёт с целевым.
изображением и источником стиля, минимизи- была в 2014 г. в работе [79]. В первой работе про-
И с какого начального приближения мы бы ни на-
ровать [77]. Эта идея и легла в основу популярного демонстрировали генерацию цифр из набора
чинали, мы в итоге получим картинку, очень по-
приложения Prisma. Ограничением такого под- MNIST, что стало стандартной учебной задачей
хожую на исходную! Значит, такой вектор-при-
хода было то, что для стилизации изображения при изучении GAN, синтез лиц и других клас-
знак кодирует содержание изображения, как его
под конкретный стиль нам нужно обучать свою сов. GAN — трудная в работе модель. Она склон-
семантику, так и расположение и форму объек-
собственную сеть. Позже предложили «универ- на к «схлопыванию», когда генератор начинает
тов [76]. Поэтому сравнивая нейросетевые призна-
сальные» преобразователи, в которых мы просто выдавать одну и ту же картинку. Она игнориру-
ки мы сравниваем изображения по содержанию.
манипулируем скрытым представлением сети ет редкие примеры. И много чего другого, что по-
кодировщик-декодировщик, добиваясь нужно- зволило писать целые статьи с обзорами трюков
го стиля [78]. и уловок, упрощающих работу с GAN.
Рис. 3.
Реконструкция
изображений Рис. 5. Примеры
с использованием сгенерированных
вектор-признака цифр и лиц людей
с наиболее глубокого из работы [79]
слоя сети низкого
разрешения [76]
24 COMPUTER VISION / ТЕХНОЛОГИИ
Схему GAN можно использовать не только
для синтеза новых изображений, но и для обу-
чения преобразователей. В алгоритме pix2pix
функция потерь складывается из похожести пре-
образованного изображения на эталон, и «реа-
листичности», оценённой дискриминатором [80].
Авторы pix2pix продемонстрировали много при-
ложений для своего метода. Например, синтез
изображений по контурам или синтез дорожной
сцены по карте разметки. Поскольку котики всег-
да нравятся интернету, то синтез котиков по кон-
турным рисункам повеселил всех, когда на вход
генератору стали подавать границы произволь-
ных объектов. Котиков вписывали в булки, шари-
ки, мебель и т.д.
Pix2Pix и его развитие имеют одно существен-
ное ограничение. Обучающая выборка долж-
на состоять из пар «вход — результат». Что де-
лать, когда мы не можем составить такие пары,
и у нас есть только 2 не связанные друг с другом
выборки? Например, мы хотим научиться превра-
щать яблоки в апельсины, а лошадей в зебр? Ре-
шение предложено в алгоритме CycleGAN [81]. Да-
вайте обучать одновременно преобразования
туда и обратно, и проверять, что после двойного
преобразования результат совпадает с исходным
изображением, т.е. цикл замыкается! Посколь-
INPUT
ку мы зацикливаем сеть, то алгоритм и получил
название CycleGAN. За счёт цикла мы обеспе-
чиваем сохранение содержания изображения
при преобразованиях. А дискриминаторы после
преобразования проверяют, что изображение
приобретает черты целевого класса.
Сам факт того, что нейросеть может сгенериро-
вать правдоподобное изображений, удивителен,
и много усилий потрачено на то, чтобы понять
происходящее внутри генератора. Например,
можно установить взаимосвязь между конкрет-
ными свёртками в декодере и объектами на син-
тезированном изображении. Установив, между
какими объектами и свёртками есть корреляция,
исследователи обнуляли выходы соответствую-
щих свёрток и обнаруживали, что соответствую-
щие объекты «стирались» из изображений. А раз
так, то почему бы не попробовать управлять про-
цессом генерации? В методе StyleGAN предло-
жена красивейшая идея, которая позволила рез-
ко повысить качество синтеза, и сейчас всё чаще
внедряется в другие модели [82]. В каждый блок
декодера можно внедрить специальный слой
AdaIN (Adaptive Instance Normalization), с дву-
мя параметрами, задаваемыми извне. Помимо
обычной нормализации выходов, упрощающей
обучение сети, AdaIN делает дополнительное
OUTPUT
Рис. 6. Вписывание кота
в булку (Источник — https://
weekly-geekly.github.io/
articles/323374/index.html)
Рис. 7. Преобразование зебры
в лошадь (Источник — https://
towardsdatascience.com/
cyclegan-learning-to-translate-
images-without-paired-
training-data-5b4e93862c8d)
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
масштабирование и сдвиг для каждого канала,
т.е. для свёртки. Таким образом, задавая параме-
тры AdaIN, можно управлять выходами, усиливая
одни и подавляя другие. Параметры определя-
ются отдельной управляющей сеткой (Controller
network). Теперь входные данные, случайный
вектор, подаются не на вход всей сети, а на вход
управляющей сети. Декодеру на вход подает-
ся константный вектор, и управляющая сеть мо-
дулирует его работу, заставляя генерировать но-
вые изображения! Именно с помощью StyleGAN
удалось генерировать столь реалистичные изо-
бражения лиц, что их уже было тяжело отличить
от реальных, если не обращать внимание на фон
картинки, который пока не дается.
К слову, обучение GAN требует серьёзных вы-
числительных ресурсов. Тем более, что обучить
с нуля сразу синтез изображений высокого раз-
решения обычно не удается. StyleGAN обучает-
ся в прогрессивном режиме [83]. Вначале учится
сеть низкого разрешения. Потом она использует-
Рис. 9. Примеры сгенерированных изображений с разными стилями и распределением объектов по сцене [84]
ДЕКАБРЬ 2019 25
ся как начальное приближение для обучения сети
с разрешением в 2 раза выше. И так далее, вплоть
до 1024×1024. Весь процесс занимает до 14 суток!
Идея управляемой генерации изображений по-
лучила своё дальнейшее развитие в алгоритме
SPADE [84]. В AdaIN слое параметры преобразова-
ния одинаковы для всех пикселов изображения.
В новом SPADE-блоке параметры задаются неза-
висимо для каждого пиксела. Управляющая сеть
на вход принимает маску сегментации, и настра-
ивает генератор таким образом, чтобы в каждом
пикселе синтезировался тот объект, который за-
дан в маске сегментации. На вход генератору вме-
сто константного вектора подается скрытое пред-
ставление, кодирующая стиль изображение.
В итоге синтезируется изображение в заданном
стиле, пространственное распределение объектов
в котором соответствует маске. На основе алго-
ритма SPADE сделали демо графического редак-
тора, в котором пользователь может сам попробо-
вать метод в живую и «нарисовать» фотографию.
Рис. 8
Принципиальная
схема StyleGAN
с AdaIN слоями [83]
26 COMPUTER VISION / ТЕХНОЛОГИИ
Другой яркий пример использования управляе-
мой генерации — это реалистичные говорящие
головы [85]. Мы обучаем сеть-генератор, которая
отображает конкретное пространственное рас-
пределение черт лица человека, задающих вы-
ражение лица и поворот головы, в реалистичное
изображение. Генератор управляется с помощью
AdaIN слоёв управляющей сеткой. На вход управ-
ляющей сетке подаётся скрытое представление,
кодирующее внешность человека, получаемое
с отдельной подсети-кодировщика. В результа-
те генерируется изображение человека с задан-
ной внешностью, заданным выражением на лице
и поворотом головы. Поскольку черты лица мож-
но находить на лету по видео одного человека,
а код внешности брать у другого человека, то по-
лучаем алгоритм reenactment. Например, можно
оживить классический портрет или фотографию,
ту же Мону Лизу! Причём для синтеза изображе-
Рис. 10. Схема системы синтеза «говорящих голов» [85]
ний с заданной внешностью будет достаточно
Рис. 11. Примеры исходных и сгенерированных изображений [85]
Source
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 27
всего нескольких примеров нужного человека, Тренд карта мировых исследователей. Синтез изображений [87]
и даже одного достаточно для неплохого каче-
ства!
За пять лет, прошедших с момента появления по-
рождающих соперничающих сетей, нейросете-
вые модели синтеза и преобразования изобра-
жений прошли большой путь. Резко повысилось
качество синтезируемых изображений и мы по-
степенно учимся управлять процессом синте-
за и даже делать его менее зависимым от раз-
мера доступных обучающих данных. Всё больше
внедряется в практику готовых технологий. Ней-
росетевые методы глубже проникают в ком-
пьютерную графику, находятся новые способы
объединения классических подходов с нейросе-
тевыми. Перспективы потрясающие, и в ближай-
шие годы можно по прежнему ожидать стреми-
тельного прогресса в данной области.
Тренд карта российских исследователей. Синтез изображений [86]
Generated image
28 COMPUTER VISION / ТЕХНОЛОГИИ
Ксения Терехова
Lacmus Foundation, ML engineer
2.2. Детектирование
и сегментация объектов
на изображениях
с помощью семейства R-CNN
Времена, когда одной из самых актуальных задач компьютерного зрения
была способность отличать фотографии собак от фотографий кошек, уже
остались в прошлом. На данный момент нейронные сети способны выполнять
куда более сложные задания по обработке изображений. В частности, сеть
с архитектурой Mask R-CNN позволяет выделять на фотографиях контуры
(«маски») экземпляров разных объектов, даже если таких экземпляров
несколько, они имеют различный размер и частично перекрываются. Сеть так
же способна к распознаванию поз людей на изображении.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 29
ТИПЫ ЗАДАЧ COMPUTER VISION CONVOLUTION И MAXPOOLING
Обычно современные задачи компьютерного Сверточный (convolution) слой позволяет объе-
зрения разделяют на четыре вида: динить значения расположенных рядом пиксе-
лей и выделить более обобщённые признаки
|| Classification — классификация изображения изображения. Для этого по картинке последо-
по типу объекта, которое оно содержит; вательно скользят квадратным окном неболь-
шого размера (3×3, 5×5, 7×7 пикселей и т.п.)
|| Semantic segmentation — определение всех
называемым ядром (kernel). Каждый элемент
пикселей объектов определённого клас-
ядра имеет свой весовой коэффициент, ум-
са или фона на изображении. Если несколь-
ножаемый на значение того пикселя изобра-
ко объектов одного класса перекрываются,
жения, на который в данный момент наложен
их пиксели никак не отделяются друг от друга.
элемент ядра. Затем полученные для всего
|| Object detection — обнаружение всех объектов окна числа складываются и эта взвешенная
указанных классов и определение охватываю- сумма даёт значение очередного признака.
щей рамки для каждого из них. Для получения матрицы («карты») признаков
|| Instance segmentation — определение пиксе-
лей, принадлежащих каждому объекту каждо-
со всего изображения, ядро двигается по го-
ризонтали и вертикали. В следующих слоях
операция свертки применяется уже к картам
го класса по отдельности.
признаков, полученным из предыдущих сло-
ёв. Графически процесс можно проиллюстри-
На примере изображения с воздушными шарами
ровать так:
из [88] это можно проиллюстрировать так:
Одна из карт
предыдущего слоя Одна из карт
Ядро 3×3 сверточного слоя
Изображение или карты признаков в рамках од-
ного слоя могут сканироваться не одним, а не-
сколькими независимыми фильтрами, давая та-
ким образом на выход не одну карту, а несколько
(их ещё называют «каналами»). Настройка весов
каждого фильтра происходит при помощи всё той
ЭВОЛЮЦИОННОСТЬ РАЗВИТИЯ MASK R-CNN
же процедуры backpropagation.
Концепции, лежащие в основе в Mask R-CNN
прошли поэтапное развитие через архитектуры
нескольких промежуточных нейросетей. Веро-
ятно, самый простой способ разобраться в прин-
ципах её функционирования — последователь-
но рассмотреть все эти этапы. Соответствующие
нейросети были разработаны для решения раз-
ных задач из приведённых выше типов.
Не останавливаясь на базовых вещах вроде
backpropagation, функции нелинейной актива-
ции, и того, что из себя представляет многослой-
ная нейронная сеть в целом, кратко пояснить,
как работают слои Convolution Neural Networks,
вероятно, всё-таки стоит (R-CNN же).
30 COMPUTER VISION / ТЕХНОЛОГИИ
Очевидно, если ядро фильтра при сканирова-
нии не выодит за пределы изображения, раз-
мерность карты признаков будет меньше, чем
у исходной картинки. Если нужно сохранить
тот же размер, применяют так называемые
paddings — значения, которыми дополняется
изображение по краям и которые потом захва-
тываются фильтром вместе с реальными пиксе-
лями картинки.
Помимо paddings на изменение размерности так
же влияют strides — значения шага, с которым
окно перемещается по изображению/карте.
Свёртка не является единственным способом
получения обобщённой характеристики груп-
пы пикселей. Самый простой способ — выбрать
один пиксель по заданномутправилу, напри-
мер — максимальный. Именно это и делает слой
MaxPooling.
В отличие от convolution, maxpooling обычно
применяется к непересекающимся группам пик-
селей.
R-CNN [91]
Архитектура сети R-CNN (Regions With CNNs)
была разработана командой из UC Berckley
для применения Convolution Neural Networks к за-
даче object detection. Существовавшие на тот
момент подходы к решению таких задач «выш-
ли на плато» и значимо улучшить их показатели
не получалось.
CNN хорошо показывали себя в классификации
изображений, и в данной сети они по сути при-
меняются для того же самого. Для этого на вход
CNN подаётся не всё изображение целиком,
а предварительно выделенные другим способом
регионы, на которых предположительно имеют-
ся какие-то объекты. На тот момент таких под-
ходов было несколько, авторы выбрали Selective
Search [89], хотя они указывают, что особых причин
для предпочтения именно её нет.
В качестве CNN-сети использовалась так же го-
товая архитектура — CaffeNet [90] (AlexNet). Та-
кие нейросети, как и другие для набора изо-
бражений ImageNet, проводят классификацию
на 1000 классов. R-CNN разрабатывалась
для детектирования объектов меньшего количе-
ства классов (N= 20 или 200), поэтому послед-
ний классификационый слой CaffeNet был заме-
нён на слой с N+1 выходами (с дополнительным
классом для фона).
Selective Search выдавал около 2000 регионов
разного размера и соотношения сторон, однако
CaffeNet принимает на вход изображения фикси-
рованного размера 227×227 пикселей, и перед
подачей регионов на вход сети их приходилось
модифицировать. Для этого изображение из ре-
гиона заключалось в наименьший охватывающий
квадрат. Вдоль той (меньшей) стороны, по кото-
рой образовывались поля, добавлялось несколь-
ко «контекстных» (окружающих регион) пиксе-
лей изображения, оставшаяся часть поля ничем
не заполнялась. Полученный квадрат масшта-
бировался под размер 227×227 и подавался
на вход CaffeNet.
Несмотря на то, что CNN тренируется на рас-
познавание N+1 классов, в итоге она исполь-
зуется только для извлечения фиксированного
4096-размерного вектора признаков. Непосред-
ственным определением объекта на изобра-
жении занимаются N линейных SVM, каждый
из которых проводит бинарную классификацию
по своему типу объектов, определяя есть ли та-
кой в переданном регионе или нет. В оригиналь-
ном документе вся процедура иллюстрируется
такой схемой:
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
R-CNN: Region-based Convolutional Network
1. Input image 2. Extract region
proposals (~2k)
Авторы утверждают, что процесс классифи-
кации в SVM происходит весьма производи-
тельно, представляя собой по сути просто
матричные операции. Полученные из CNN
векторы признаков объединяются по всем
регионам в матрицу 2000×4096, которая за-
тем умножается на матрицу 4096×N с веса-
ми SVM.
Надо отметить, что полученные при помощи
Selective Search регионы только могут содержать
какие-то объекты, и не факт, что содержат их це-
ликом. Считать ли регион содержащим объект
или нет, определяют по метрике Intersection over
Union (IoU). Она представляет собой отноше-
ние площади пересечения прямоугольного ре-
гиона-кандидата с прямоугольником, на самом
деле обхватывающим объект, к площади объе-
динения этих прямоугольников. Если отношение
превосходит заданную пороговую величину, ре-
гион-кандидат считается содержащим нужный
объект.
IoU так же используется для отсеивания избы-
точного количества регионов, содержащих опре-
делённый объект. Если IoU некоторого регио-
на с регионом, получившим для того же объекта
максимальный результат, выше некоторого поро-
га, первый регион просто отбрасывается.
В ходе процедуры error analysis авторы так же
разработали метод, позволяющий уменьшить
ошибку выделения охватывающей рамки объек-
та — Bounding-box regression. После классифи-
кации содержимого региона-кандидата, при по-
мощи линейной регрессии на основе признаков
из CNN определяются четыре параметра — (dx,
dy, dw, dh). Они описывают, насколько надо
сдвинуть центр рамки региона по х и у, а так же
на сколько изменить её ширину и высоту, чтобы
точнее охватывать распознанный объект.
ДЕКАБРЬ 2019 31
3. Compute CNN features 4. Classify regions
Таким образом, процедуру детектирования
объектов сетью R-CNN можно разделить на сле-
дующие шаги:
1. Выделение регионов-кандидатов при помощи
Selective Search.
2. Преобразование региона в размер, принимае-
мый CNN CaffeNet.
3. Получение при помощи CNN 4096-размерного
вектора признаков.
4. N бинарных классификаций каждого вектора
признаков при помощи N линейных SVM.
5. Линейная регрессия параметров рамки регио-
на для более точного охвата объекта.
Авторы отмечают, что разработанная ими ар-
хитектура так же неплохо показывает себя
в задаче semantic segmentation.
FAST R-CNN [92]
Несмотря на высокие результаты, производи-
тельность R-CNN была всё же невысока, особен-
но для более глубоких, чем CaffeNet сетей (та-
ких как VGG16). Кроме того, обучение bounding
bog regresor и SVM требовало сохранения на диск
большого количества признаков и было дорогим
с точки зрения размера хранилища.
Авторы Fast R-CNN предложили ускорить про-
цесс за счёт пары модификаций:
|| Пропускать через CNN не каждый из 2000 ре-
гионов-кандидатов по отдельности, а всё изо-
бражение целиком. Предложенные регионы
потом накладываются на полученную общую
карту признаков;
|| Вместо независимого обучения трёх моделей
(CNN, SVM, bbox regressor) совместить все про-
цедуры тренировки в одну.
32 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 33

Преобразование признаков, попавших в разные регионы, к фиксированному размеру производилось Процесс обучения reg и cls слоёв объединён-
при помощи процедуры RoI Pooling. Окно региона шириной w и высотой h делилось на сетку, имеющую ный; loss-функцию они имеют общую, представ-
H×W ячеек размером h/H × w/W. (Авторы документа использовали W=H=7). По каждой такой ячейке ляющую собой сумму loss-функций для каждого
проводился Max Pooling для выбора только одного значения. Бинарные SVM не использовались, вместо слоя, с балансирующим коэффициентом.
этого выбранные признаки передавались на полносвязанный слой, а затем на два параллельных слоя:
softmax с K+1 выходами (по одному на каждый класс + 1 для фона) и bounding box regressor. Оба слоя RPN выдают только предложения
для регионов-кандидатов. Те из них, которые
Общая архитектура сети выглядит так: имеют высокую вероятность содержания како-
го-либо объекта, передаются дальше в модуль
детектирования объектов и уточнения охватыва- Визуализация разноцветных масок на исходных
ющей рамки, который по-прежнему реализован изображениях даёт красочные картинки:
как Fast R-CNN.

Для того, чтобы разделять признаки, получаемые

в CNN, между RPN и модулем детектирования,
процесс обучения всей сети построен итерацион-
но, с использованием нескольких шагов:

|| Инициализируется и обучается на определе-

ние регионов-кандидатов RPN-часть.

|| С использованием предлагаемых RPN регио-

Авторы так же упоминают, что для ускорения вычислений в полносвязанном слое они использова-
ли разложение матрицы весов по Truncated SVD.
FASTER R-CNN [93]
После улучшений, сделанных в Fast R-CNN, са-
мым узким местом нейросети оказался механизм
генерации регионов-кандидатов. В 2015 коман-
да из Microsoft Research смогла сделать этот этап
значительно более быстрым. Они предложи-
ли вычислять регионы не по изначальному изо-
бражению, а опять же по карте признаков, полу-
ченных из CNN. Для этого был добавлен модуль
под названием Region Proposal Network (RPN).
Новая архитектура целиком выглядит следую-
щим образом:
нов заново обучается Fast R-CNN часть.
Авторы документа условно разделяют разра-
|| Обученная сеть детектирования использует-
ботанную архитектуру на CNN-сеть вычисле-
ся, чтобы инициализировать веса для RPN.
ния признаков изображения, называемую ими
Общие convolution-слои, однако, фиксируют-
backbone, и head — объединение частей, отве-
В рамках RPN по извлечённым CNN признакам ся и производится донастройка слоёв, специ-
чающих за предсказание охватывающей рамки,
скользят «мини-нейросетью» с небольшим (3×3) фичных для RPN.
классификации объекта и определение его ма-
окном. Полученные с её помощью значения пе-
|| С зафиксированными convolution-слоями ски. Loss функция для них общая и включает три
редаются в два параллельных полносвязанных
окончательно донастраивается Fast R-CNN. компонента:
слоя: box-regression layer (reg) и box-classification
layer (cls). Выходы этих слоёв базируются на так
Предложенная схема не является единствен- L = Lcls + Lbox + Lmask
называемых anchor-ах: k рамок для каждо-
ной, и даже в текущем виде она может быть
го положения скользящего окна, имеющих раз-
продолжена дальнейшими итерационными Выделение маски происходит в class-agnostic
ные размеры и соотношения сторон. Reg-слой
шагами, но авторы оригинального исследова- стиле: маски предсказываются отдельно
для каждого такого anchor-а выдаёт по 4 ко-
ния проводили эксперименты именно после для каждого класса, без предварительного зна-
ординаты, корректирующие положение охва-
такого обучения. ния, что изображено в регионе, и потом просто
тывающей рамки; cls-слой выдаёт по два чис-
выбирается маска класса, победившего в неза-
ла — вероятности того, что рамка содержит хоть
MASK R-CNN [94] виимом классификаторе. Утверждается, что та-
какой-то объект или что не содержит. В докумен-
кой подход более эффективен, чем опирающийся
те это иллюстрируется такой схемой:
Mask R-CNN развивает архитектуру Faster R-CNN на априорное знание класса.
путём добавления ещё одной ветки, которая
предсказывает положение маски, покрываю- Одна из основных модификаций, возникших из-
щей найденный объект, и, таким образом реша- за необходимости предсказывать маску — изме-
ет уже задачу instance segmentation. Маска пред- нение процедуры RoIPool (вычисляющей матрицу
ставляет собой просто прямоугольную матрицу, признаков для региона-кандидата) на так назы-
в которой 1 на заданной позиции означает при- ваемую RoIAlign. Дело в том, что карта призна-
надлежность соответствующего пикселя объ- ков, полученная из CNN, имеет меньший размер,
екту заданного класса, 0 — что пиксель объекту чем исходное изображение, и регион, охватыва-
не принадлежит. ющий на изоражении целочисленное количество
пикселей, не получается отобразить в пропорци-
ональный регион карты с целочисленным коли-
чеством признаков.
34 COMPUTER VISION / ТЕХНОЛОГИИ
В RoIPool пролема решается просто округлением
дробных значений до целых. Такой подход нор-
мально работает при выделении охватывающей
рамки, но вычисленая на основе таких данных
маска получается слишком неточной.
В противоположность этому, в RoIAlign не ис-
пользуется округление, все числе остаются дей-
ствительными, а для вычисления значений при-
знаков используется биленейная интерполяция
по четырём ближайшим целочисленным точкам.
В оригинальном документе разница поясняется
таким рисунком:
Здесь штрихованной сеткой обозначена кар-
та признаков, а непрерывной — отображение
на карту признаков региона-кандидата с исход-
ной фотографии. В данный регион должно по-
пасть 4 группы для max pooling по 4 признака,
обозначенных точками. В отличие от процеду-
ры RoIPool, которая за счёт округления просто
бы выровняла регион по целочисленным коор-
динатам, RoIAlign оставляет точки в их текущих
местах, но вычисляет значения каждой из них
при помощи билинейной интерполяции по четы-
рём ближайшим признакам.
Помимо выскоких результатов в задачах instance
segmentation и object detection, Mask R-CNN ока-
залась пригодной для определения поз людей
на фоторгафии (human pose estimation). Ключе-
вой момент здесь — выделение опорных точек
(keypoints), таких как леое плечо, правый локоть,
правое колено, по которым можно нарисовать
каркас позиции человека.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 35
Для определения опорных точек нейросеть об- Тренд карта мировых исследователей. Детекция и классификация объектов [97]
учают таким образом, чтобы она выдавала ма-
ски, в которых только один пиксель (та самая
точка) имель значение 1, а остальные — 0 (one-
hot mask). В то же время, сеть тренируется вы-
давать K таких однопиксельных масок, по одной
для каждого типа опорной точки.
FEATURE PYRAMID NETWORKS [95]
В экспериментах по Mask R-CNN наряду с обыч-
ной CNN ResNet-50/101 в качестве backbone так
же проводились исследования Feature Pyramid
Network (FPN). Они показали, что использова-
ние FPN в backbone даёт Mask R-CNN прирост как
в точности, так и в производительности.
В Feature Pyramid Network карты признаков, из-
влечённые последовательными слоями CNN
с уменьшающейся размерностью рассматри-
ваются как некая иерархическая «пирамида»
(bottom-up pathway). При этом карты признаков
и нижних, и верхних уровней пирамиды имеют
свои преимущества и недостатки: первые имеют
высокое разрешение, но низкую семантическую,
обобщающую, ценность; вторые — наоборот:
Тренд карта российских исследователей. Детекция и классификация объектов [96]
Архитектура FPN позволяет объединить досто-
инства верних и нижних слоёв при помощи до-
бавления top-down pathway и lateral connections.
Для этого карта каждого вышележащего слоя
увеличивается до размера нижележащего
и их содержимое поэлементно складывается.
В итоговых предсказания используются резуль-
тирующие карты всех уровней.
Увеличение размера карты верхнего уровня
(upsampling) делается самым простым методом —
nearest neighbor, т. е. приблизительно так:
Статья первоначально была опубликована
на habr.com.
36 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 37

Дмитрий Нехаев Миляев Сергей ДЕТЕКТИРОВАНИЕ И ВЫРАВНИВАНИЕ ЛИЦА

Ведущий исследователь, Ведущий исследователь,

Зачастую некоторые этапы могут быть выполне-
VisionLabs VisionLabs
ны в рамкой одной системы. Например, в одном
из первых эффективных нейросетевых детек-
торов MTCNN (Multi-task Cascaded Convolutional
Иван Лаптев Neural Network), этап детектирования лица
и нахождения его ключевых точек объединены
Директор по исследованиям,
в одну сеть. В его основе лежит каскад из трех
VisionLabs
нейронных сетей, последовательно применя-
ющихся к изображению, приведенному к раз-
ным масштабам (пирамиде изображений). Пер-
вая сеть каскада (P-Net) генерирует множество
регионов, в которых потенциально может на-
ходиться лицо. Вторая сеть (R-Net) необходи-
ма для корректировки предсказаний регионов
первой сети. Третья сеть (O-Net) окончательно

2.3. Распознавание лиц корректирует предсказания координат области,

АЛГОРИТМЫ РАСПОЗНАВАНИЯ ЛИЦ
Глубокие нейронные сети доказали свою высо-
чайшую эффективность для решения задач ви-
зуального распознавания образов и существен-
но развились за последние годы. Немаловажную
роль в развитии этих технологий также сыграло
существенное увеличение количества обучающих
данных изображений и разработка новых мето-
дов обучения и архитектур для нейронных сетей.
В частности, прогресс в области глубоких ней-
ронных сетей затронул и алгоритмы распознава-
ния лиц. Технологии распознавания лиц базиру-
ются на очень глубоких сверточных нейронных
сетях, которые для каждого изображения лица
вычисляют уникальный биометрический шаблон,
представляющий собой вектор чисел, который
обычно называют дескриптором лица. Сравнивая
биометрические шаблоны, полученные из двух
изображений лиц, компьютер может вынести
предположение о том, принадлежат ли они од-
ному человеку или нет, тем самым решая задачу
биометрической верификации на основе изобра-
жения лица. На основании сравнения биометри-
ческих шаблонов, компьютер выдает некоторую
меру схожести, позволяя искать фотографии че-
ловека по базе имея некоторую фотографию-за-
прос, выбирая фото из базы по максимальной
мере схожести с запросом, тем самым решая за-
дачу биометрической идентификации по изобра-
жению лица. Пример задач верификации и иден-
тификации лиц представлен на рисунке 1.
Современные системы распознавания лиц как
правило включают в себя следующие этапы об-
работки входного изображения:
1. Локализация лица на фотографии (детектиро-
вание).
2. Нахождение ключевых точек лица.
3. Выравнивание лица.
4. Извлечение биометрического шаблона (дес-
криптора).
5. Сравнение биометрических шаблонов.
в которой находится лицо, формируя итоговое
предсказание координат лица, одновременно
с этим предсказывая положение пяти ключевых
точек лица.
Для обеспечения достаточной полноты детек-
тирования лиц малого размера в архитектуре
MTCNN используется пирамида изображений,
что существенно увеличивает вычислитель-
ные затраты алгоритма. Это может быть кри-
тично, например, при развертывании системы
распознавания лиц на камерах низкого разре-
шения в реальном времени. Кроме того, каскад
из недостаточно глубоких и широких нейрон-
ных сетей формирует признаки, которые недо-
статочно информативны для нахождения слож-
ных лиц с перекрытиями и большой вариацией
в освещении.
Рис. 2. Схема работы детектора лиц MTCNN.
Источник: Joint Face Detection and Alignment using Multi-
task Cascaded Convolutional Networks
Один из способов решения проблемы детектирова-
ния сложных лиц реализован в архитектуре S3FD
(Single Shot Scale-invariant Face Detector). В отличие
от MTCNN, который работает с пирамидой изобра-
жений, S3FD принимает на вход одно изображение
одного масштаба, эффективно обрабатывая про-
странственное смещение между областями за счет
использования глубокой сверточной нейронной сети
на входном изображении. Основная идея этой архи-
тектуры заключается в том, что предсказания коор-
динат лица строятся сразу на разных масштабах карт
признаков, позволяя таким образом находить лица
даже самого малого размера. Кроме того, за счет
большей информативности признаков S3FD лучше
работает на лицах, сложных для детектирования.
Рис. 3
Архитектура детектора
лиц S3FD
Источник:
S3FD: Single Shot Scale-
invariant Face Detector

Рис. 1. Задачи верификации и идентификации лиц

Верификация (1:1) Идентификация (1:N)

38 COMPUTER VISION / ТЕХНОЛОГИИ
Рис. 4. Архитектура детектора лиц RetinaFace. Источник: RetinaFace: Single-stage Dense Face Localisation in the Wild
Подход, используемый в архитектуре S3FD, был
развит в последующих работах. Одним из недо-
статков подхода S3FD является то, что детекти-
рования лиц малого размера происходит на осно-
вании низкоуровневых карт признаков. В то же
время лицо является комбинацией высокоуров-
невых признаков (наличие и расположение друг
относительно друга носа, глаз, рта и др.) С этой
проблемой помогают справляться архитектуры,
агрегирующие внутри себя информацию с карт
признаков с разных масштабов и позволяющие
использовать высокоуровневую информацию
и контекст даже для детектирования лиц малого
размера. К таким архитектурам, например, отно-
ситься детектор RetinaFace, содержащий в своей
основе FPN (Feature Pyramid Network).
Несмотря на высокую точность современных
нейросетевых систем детектирования лиц, нель-
зя утверждать, что данная задача является уже
решенной. К основным проблемам, на решение
которых направлены современные исследования
в области детектирования лиц, можно отнести:
1. Трудности при детектировании лиц на изобра-
жениях, полученных в неконтролируемых ус-
ловиях: малого разрешения, с экстремальным
освещением, перекрытых лиц и лиц с макия-
жем.
2. Скорость системы. Зачастую к системам де-
тектирования лиц предъявляются требования
сохранения максимальной точности при ра-
боте в реальном времени как на мощных вы-
числительных серверах, так и на значительно
более слабых вычислительных устройствах —
мобильных телефонах, видеокамерах и видео-
регистраторах.
По завершении этапа детектирования и нахожде-
ния ключевых точек, в большинстве систем рас-
познавания лиц происходит выравнивание лица
(face alignment). В результате этой процедуры лицо
Рис. 5. Пример найденного лица на оригинальном
изображении (слева) и выровненного лица (справа)
на изображении приводится к определенному раз-
меру и расположению путем переноса обнару-
женных ключевых точек лица в заранее зафик-
сированные координаты. Этот этап не является
необходимым, но позволяет значительно улучшить
качество итоговой системы распознавания.
ФОРМИРОВАНИЕ БИОМЕТРИЧЕСКОГО
ШАБЛОНА
Данные
Для обучения нейронных сетей, формирующих
дескриптор лица, так же как и для большинства
других задач компьютерного зрения, необхо-
димы большие наборы размеченных данных —
миллионы изображений нескольких сотен ты-
сяч людей. Основные открытые наборы данных
для тренировки алгоритмов распознавания лиц
представлены в таблице 1. Как правило они со-
держат фотографии или видео кадры знаменито-
стей, полученные из интернета. К основным не-
достаткам этих наборов данных можно отнести:
1. Несбалансированность выборок по полу, воз-
расту, расам, количеству изображений на че-
ловека.
2. Недостаточное разнообразие источников дан-
ных.
3. Необходимость исправления ошибок разметки.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 39
Dataset # Identity # Image / Video.
CASIA-WebFace 10 K 0.5 M
VGGFace2 9.1 K 3.3 M
IMDb-Face 59 K 1.7 M
MS-Celeb-1M (v2) 85 K 5.8 M
Asian-DeepGlint 94 K 2.8 M
Таблица 1. Основные открытые наборы данных для тре-
нировки алгоритмов распознавания лиц.
Обучение
Один из первых широко распространенных
нейросетевых алгоритмов распознавания лиц
FaceNet использует для обучения подход обуче-
ния метрики (metric learning). Его основная идея
в том, чтобы нейронная сеть формировала де-
скрипторы лиц близкие по некоторой метри-
ке для двух изображений одного и того же че-
ловека и далекие для дескрипторов лиц с двух
изображений разных людей. В качестве метри-
ки в большинстве случаев берется L2 расстояние
между дескрипторами. В частности, для обуче-
ния FaceNet использовалась триплетная функ- Рис. 7. Схема работы SphereFace. Источник: SphereFace:
ция потерь. Во время ее обучения формируются Deep Hypersphere Embedding for Face Recognition
триплеты — тройки изображений из якоря, по-
зитивного примера (изображение того же чело-
ArcFace) дескрипторы проецируются на гиперс-
века, что и якорь) и негативного примера (изо-
феру с центром в начале координат, что позво-
бражение человека, отличающегося от якоря),
ляет производить классификацию дескрипторов
а для сети ставится задача сделать расстояние
на основе углов между дескриптором и направ-
от дескриптора якоря до дескриптора позитив-
лениями центроид классификатора — пред-
ного примера меньше, чем до дескриптора не-
ставлениями класса на гиперсфере (обозначе-
гативного примера, на фиксированное значение
ны красными стрелками на рисунке 7d). Далее,
отступа. Однако, при оптимизации триплетной
на угол между дескриптором и центроидой, со-
функции потерь возникает целый ряд сложно-
ответствующей правильному классу, накладыва-
стей. Основными из них являются длительность
ется условие компактности дескриптора: он дол-
обучения и проблема выбора наилучшей страте-
жен быть значительно меньше, чем угол между
гии формирования триплетов для обучения.
дескриптором и центроидой любого другого
класса. В случае SphereFace это условие форму-
Наиболее эффективные современные методы
лируется так:
обучения нейронных сетей распознавания лиц
базируются на подходе, в котором задача распоз-
Для правильной классификации угол меж-
навания рассматривается как задача классифи-
ду дескриптором и центроидой правильно-
кации лиц людей с наложением дополнительных
го класса должен быть в m раз меньше, чем
условий на положение дескрипторов в простран-
между дескриптором и любой другой цен-
стве. В целом ряде работ (SphereFace, CosFace,
троидой.
Рис. 6. Схема работы триплетной функции
потерь. Источник: «FaceNet: A Unified
Embedding for Face Recognition and
Clustering»
40 COMPUTER VISION / ТЕХНОЛОГИИ
Дополнительные условия на расположение дес-
крипторов на гиперсфере позволяют добиться дис-
криминативного представления дескрипторов
(рисунок 7f). Подход ArcFace отличается тем, что
мультипликативный отступ m заменяется на ад-
дитивный: «Для правильной классификации угол
между дескриптором и центроидой правильного
класса должен быть на m радиан меньше, чем меж-
ду дескриптором и любой другой центроидой».
ТОЧНОСТЬ СОВРЕМЕННЫХ АЛГОРИТМОВ
РАСПОЗНАВАНИЯ ЛИЦ
Одним из самых крупных независимых тестов
систем распознавания лиц с закрытыми тесто-
выми данными является Face Recognition Vendor
Test, проводимый Национальном Институтом
Стандартов и Технологий США (NIST, USA). В те-
стах верификации тестирование проходит в не-
скольких доменах: для фотографий лиц полу-
ченных в контролируемых (VISA photos, mugshot
photos) и неконтролируемых (Wild photos) усло-
виях, а также кросс-домене (VISA border photos).
При тестировании верификации на базе VISA, со-
держащей несколько миллионов фотографий бо-
лее одного миллиона людей, при доле ложных
срабатываний 10–6 лучшие алгоритмы показы-
вают точность более 99%. Однако, распознава-
ние лиц в неконтролируемых условиях на данный
момент работает значительно хуже:
на базе Wild при доле ложных
срабатываний 10–5 точность
распознавания составляет 97%.
Face Recognition Vendor Test также включает
в себя тестирование алгоритмов идентификации
по лицу. При поиске по базе в более миллиона
фотографий, сделанных в контролируемых усло-
виях, и уровне ложных срабатываний 10–3 веду-
щие алгоритмы показывают точность более 98%.
Современный уровень развития
систем распознавания
лиц делает возможным
использование технологии
в целом ряде программных
продуктов: в системах контроля
доступа, авторизации, в рамках
борьбы с мошенниками.
Однако, для успешного масштабного внедрения
подобных систем исследователи продолжают ра-
ботать над улучшением существующих алгорит-
мов. К нерешенным проблемам, стоящим перед
исследователями современных алгоритмов рас-
познавания лиц, можно отнести:
1. Ухудшение качества распознавания при ра-
боте в неконтролируемых условиях на лицах
плохого разрешения, сильно повернутых и пе-
рекрытых лицах.
2. Недостаточная устойчивость дескриптора
к возрастным изменениям лица на протяже-
нии всей жизни человека.
3. Несбалансированность обучающих выборок,
приводящая к ухудшению точности работы ал-
горитмов на демографических группах, слабо
представленных в имеющихся наборах разме-
ченных данных.
РАСПОЗНАВАНИЕ ЛИЦ НА МОБИЛЬНЫХ
УСТРОЙСТВАХ
Нейронные сети для задач визуального распоз-
навания, несмотря на заметные улучшения как
по точности так и по эффективности потребля-
емых вычислительных ресурсов, все еще имеют
ряд барьеров для использования на устройствах
с ограниченными ресурсами по вычислениям
и потребляемой энергии. Наиболее распростра-
ненным способом получения быстрых, компакт-
ных и точных моделей является использование
так называемой передачи знаний от вычисли-
тельно сложной нейронной сети, которая обе-
спечивает высокую точность. Эта передача зна-
ний выполняется через аппроксимацию быстрой
сетью, которую называют учеником, сглаженно-
го вероятностного распределения предсказаний
классов обученной сложной сети, которую обыч-
но называют учителем. В этом случае точность
нейронной сети-ученика оказывается выше той,
которая бы у нее была, если бы она использова-
ла только входные размеченные данные без пе-
редачи какой-либо информации от более слож-
ной нейронной сети-учителя, которая обучалась
на этих данных и за счет своей сложности пока-
зала высокий результат. Этот подход позволил
получить быстрые и точные модели для различ-
ных задач визуального распознавания, таких как
детектирование, сегментация и классификация
объектов на изображениях.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Широкое применение распознавания лиц в раз-
личных приложениях требует использования
быстрых и компактных нейронных сетей в сце-
нариях где запуск более сложных моделей не-
возможен из-за ограниченных вычислитель-
ных ресурсов. При этом, более простые модели
не должны уступать в точности сложным моде-
лям. Еще одной особенностью работ систем рас-
познавания лиц является то, что одновременно
может использоваться несколько моделей ней-
ронных сетей разной сложности в зависимо-
сти от вычислительных ресурсов устройства, ко-
торое вычисляет биометрический шаблон лица.
Эти вычислительные ресурсы могут отличать-
ся на порядки, например, настольный компью-
тер со специальными чипами для запуска ней-
ронных сетей и мобильный телефон. При этом
на каждом устройстве для извлечения биометри-
ческого шаблона изображения лица мы хотим ис-
пользовать наиболее точную модель нейронной
сети, которую позволяют запускать вычислитель-
ные способности этого устройства. В то же время
мы хотим иметь возможность сравнить биоме-
трические шаблоны полученные разными мо-
делями нейронных сетей из разных устройств,
что дает нам возможность выполнять верифика-
цию и идентификацию лиц, биометрические ша-
блоны которых были получены на разных типах
устройств, например, мобильного телефона и вы-
числительного кластера.
Компания VisionLabs предложила новый под-
ход к получению подобных моделей, которые
создают совместимые между собой биометри-
ческие шаблоны от разных моделей нейронных
сетей, вычислительная сложность которых зави-
сит от типа устройства, на котором выполняет-
ся ее запуск, при этом расхождения в точности
между самыми сложными и простыми моделя-
ми нейронных сетей сведены к минимуму. Под-
ход основан на построении вероятностных рас-
пределений принадлежности изображений лиц
к классам обучающей выборки, в роли которых
выступают персоны со своим уникальным иден-
тификатором класса, с учетом зазора (margin).
Этот зазор определяет величину, на которую
схожесть дескриптора лица персоны и пред-
ставления его класса должна быть больше, чем
схожесть с представлением класса другой пер-
соны. Обучаемые представления классов имеют
ту же размерность, что и дескриптор, а степень
схожести обычно вычисляется через скаляр-
ное произведение этих векторов. Использова-
ние обучаемых представлений персон и зазоров
ДЕКАБРЬ 2019 41
между схожестями и этими представлениями
показало свою эффективность для задач рас-
познавания лиц ранее. После построения моди-
фицированных распределений принадлежности
изображений лиц к персонам, быстрой нейрон-
ной сети, выступающей в роли ученика, ставит-
ся задача по аппроксимации аналогичного рас-
пределения обученной намного более сложной
нейронной сети, выступающей в роли учителя.
Подробное изложение предложенного подхода
представлено в статье «Margin Based Knowledge
Distillation for Mobile Face Recognition» конфе-
ренции ICMV 2019.
Для демонстрации работы предложен-
ного подхода было выбрано 2 архитекту-
ры нейронных сетей. В качестве сложной
архитектуры учителя была взята модель
ResNeXt-50, размер параметров которой
требует для хранения порядка 80 МБ и вре-
мя выполнения на одном ядре процессо-
ра Intel Xeon E5–2620 v3 составляет 68 мс,
а в качестве быстрой архитектуры уче-
ника была выбрана модификация моде-
ли ShuffleNet, параметры которой требу-
ют для хранения 15 МБ и время вычисления
на одном ядре составляет 24 мс. Для те-
стирования были выбраны 2 базы: Labeled
Faces in the Wild и IJB-A.
База Labeled Faces in the Wild содержит в себе
порядка 13 тысяч фото нескольких тысяч зна-
менитостей, среди которых наблюдается боль-
шое разнообразие ориентаций лиц, освещения
и возраста. Тестовый протокол базы представ-
ляет собой 6000 пар фото около 1680 знаме-
нитостей, среди которых в половине пар обе
фотографии принадлежат одному человеку (по-
ложительные пары), в другой половине пар
представлены две фотографии разных людей.
Обученные модели нейронных сетей вычисля-
ют дескрипторы фото лиц и для каждой пары
вычисляется расстояние между дескриптора-
ми, на основании которого выносится решение
по верификации — принадлежат ли фото в паре
одному человеку или нет. Сложная архитекту-
ра, обученная на миллионах фото, показывает
ошибку верификации в 0.3%. Быстрая архитек-
тура, обученная тем же способом, показывает
ошибку в 0.67%, т.е. она увеличивается в 2 раза.
Если использовать стандартный подход перено-
са знаний сети учителя при обучении быстрой
сети, то ее ошибку можно сократить до 0.37%.
42 COMPUTER VISION / ТЕХНОЛОГИИ
Предложенный компанией VisionLabs подход
позволяет вернуть величину ошибки к такому
же уровню, что и у учителя, т.е. 0.3%.
База IJB-A содержит 5712 изображений и 2085
видео, на которых представлены около 500 зна-
менитостей. Тестовый протокол базы позволяет
оценивать точность верификации и идентифи-
кации. При оценке совместимости дескрипторов
сложной архитектуры и быстрой архитектуры,
полученной предложенным подходом, в про-
токоле идентификации, в котором для запро-
сов к базе использовались дескрипторы изобра-
жений лиц быстрой модели, а для дескрипторов
изображений лиц базы, по которой выполнялся
поиск, использовалась сложная модель. Сравне-
ние выполнялось со случаем, когда дескрипторы
и в запросах и в базе были получены с помощью
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 43
сложной модели. Было установлено, что при ис- Тренд карта мировых исследователей. Распознавание лиц [99]
пользовании быстрой модели для получения де-
скрипторов запросов относительная величина
ошибки идентификации не увеличивается более
чем на 5%, что показывает высокую совмести-
мость полученных моделей.
Таким образом, мы видим, что несмотря на ряд
ограничений у сложных и точных моделей ней-
ронных сетей для распознавания лиц, использо-
вание специальных подходов позволяет получать
более быстрые модели с минимальным ухудше-
нием точности, которые можно запускать на ши-
роком спектре устройств различной вычисли-
тельной мощности. Это делает распознавание
лиц более доступным и позволяет решать боль-
шее количество бизнес-задач.
Тренд карта российских исследователей. Распознавание лиц [98]
44 COMPUTER VISION / ТЕХНОЛОГИИ
Тянтов Эдуард
Руководитель направления машинного обучения
в Почте и Портале, Mail.ru Group
2.4. Обработка изображений
(на примере переноса стиля)
ИСТОРИЯ
Компьютерное зрение на текущий момент спо-
собно решать большой спектр задач: от ставше-
го классическим благодаря ImageNet распозна-
вания объектов на изображении, распознаванию
лиц, с помощью которого мы осуществляем авто-
ризацию для доступа к телефону, и до генерации
видео людей с убедительной мимикой под раз-
ные голоса[100].
Одна из первых технологий современного ком-
пьютерного зрения, которая произвела ва-
у-эффект на пользователей и вызвала интерес
сообщества, была технология переноса сти-
ля с одного изображения на другое или Style
Transfer.
Суть задачи следующая: берем фотографию,
на примере (Рис. 1) ниже — это город, стиль —
«Звёздная ночь» Ван Гога и перерисовываем ее
в стиле известного художника, тем самым полу-
чаем произведение искусства. На момент появ-
ления этой технологии, данная задача казалось
невероятным, ведь ранее чтобы стилизовать лю-
бую картину/изображение требовался профес-
сиональный художник. Это было первое яркое
применение технологий машинного обучения
в искусстве.
Немного истории. В сентябре 2015 г. Леон Гатис
выпустил статью[101], в которой он описал оптими-
зационный алгоритм стилизации. Уже в октябре
стартует проект DeepArt.io, который реализует
статью Гатиса и позволяет пользователям «сме-
шивать» любые два изображения.
Единственным его недостатком было то, что
этот алгоритм был достаточно медленным, и из-
за этого широкого практического примене-
ния для конечного пользователя на тот момент
не получил. В марте 2016-го года выходят две
статьи с идеей, как ускорить процесс стилиза-
ции до realtime за счет предобучения нейросети
под каждый стиль, и первым[102] из них был наш
соотечественник из Сколтеха — Дмитрий Улья-
нов, вторым[103] — Justin Johnson.
На основе этих исследований через пару меся-
цев выходит приложение Prisma, которое пре-
доставляет пользователям возможность пря-
мо в приложении стилизовать свою фотографию
одним из десятков заранее подготовленных
стилей. Приложение получает оглушительный
успех (в итоге становится лучшим приложением
2016 г. в App Store и Play Market). Через полтора
месяца запускается Vinci от Вконтакте для сти-
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Изображение + Стиль
лизации фото, и Artisto от Mail.ru — первое при-
ложение для стилизации видео, которое в ито-
ге занимает 2-е места в чартах США App Store
и Play Market.
АЛГОРИТМ
Разберем оригинальный алгоритм переноса Га-
тиса. По сути для «смешения» нам нужно взять
с исходного изображения, которое мы хотим сти-
лизовать, объекты и структуру (далее «контент»
изображения), а со стиля — мазки, цвета и про-
чую стилевую информацию.
Возьмем обученную на ImageNet VGG-сеть и бу-
дем использовать ее для извлечения призна-
ков с изображения. Прогоняя картинку через эту
сеть, на выходе получаем в картах признаков ие-
рархическую информацию об объектах и их про-
странственном расположении. Сопоставляя эти
карты с разных изображений, мы получаем воз-
можность сравнивать их контент.
Гатис предложил оптимизационный алгоритм,
который позволяет по feature maps восстановить
исходное изображение. Мы начинаем с шума,
если проводить аналогию с живописью — это наш
чистый холст, на который мы пробуем нарисо-
ДЕКАБРЬ 2019 45
Стилизованное
=
изображение
вать картину, которая будет похожа на исходную.
Прогоняем шум через сеть, получаем признаки
и сравниваем, насколько они похожи с контент-
ными признаками нашего целевого изображе-
ния. Замеряем ошибку, и с помощью алгоритма
обратного распространения ошибки мы считаем
градиент функции потерь по изображению. И по-
сле каждой итерации понемногу меняем его в на-
правлении антиградиента, тем самым минимизи-
руя разницу между картами признаков. При этом
веса сети заморожены и не изменяются. Если
взять один из последних VGG-слоев (например,
4_2), то спустя примерно тысячу итераций полу-
чается неплохо восстановить исходное контент-
ное изображение (см. Рис. 2). При этом теряются
цвета и плывут границы изображения, что на са-
мом деле на руку для нашей исходной задачи,
т.к. мы не хотим полного соответствия в резуль-
тате стилизации. Если использовать более ран-
ние слои VGG, то границы теряются в меньшей
степени, т.к. сеть училась на задаче классифика-
ции и теряет позиционную информацию по мере
продвижения вглубь.
Переходим к самому интересному, как же все-та-
ки перенести стиль? Кажется, что стиль — это
мазки, цвета, а не пространственные данные
изображения.
Рис. 2.
Восстановление
контента.
Оптимизируем
изображение х по
целевой функции L(х,с)
46 COMPUTER VISION / ТЕХНОЛОГИИ
Достигается это аналогичным образом,
но не с помощью сырых карт признаков, т.к. они
будут восстанавливать объекты с изображе-
ния, а с помощью использования матрицы Гра-
ма, в которой содержится информация о корре-
ляциях между фильтрами. Для восстановления
стиля берутся ранние слои VGG, т.к. в них за-
ключена информация о примитивах картинки.
Если воспользоваться оптимизационным алго-
ритмом выше, то получим такие изображения
на Рис 3.
Теперь у нас есть все для стилизации изображе-
ния: фиксируем карты признаков (feature maps)
с последних слоев VGG для контентного изобра-
жения, матрицу Грама для первых слоев стилево-
го изображения, и в процессе оптимизации сме-
шиваем две функции ошибки контента и стиля
в некой пропорции, и будем надеяться, что дета-
ли изображения контента останутся нетронуты-
ми со своих мест, но будут перерисованы с нуж-
ным стилем.
Как упоминалось ранее, данный подход доста-
точно затратный по вычислениям из-за большого
кол-ва итераций backprop'а. Поэтому для realtime
стилизации Ульянов и Джонсон предложили оп-
тимизировать не изображение, полученное
Рис. 3.
Восстановление стиля.
Различные итерации
из белого шума, а обучить нейронную сеть, ко-
торая генерирует стилизованное изображение
по исходному.
Для обучения берется произвольный сет карти-
нок, желательно близкий к целевому распреде-
лению на продакшене(например, с людьми в слу-
чае фото-приложения). Причем мы не знаем, как
именно должно выглядит итоговое изображение,
у нас нет целевого изображения, но есть контент
и стилевой лоссы. Во время обучения мы прого-
няем изображение через нашу сеть-генератор,
или трансформационную сеть, и полученное изо-
бражение сравниваем по VGG-фичам на контент
и стиль по аналогии с алгоритмом Гатиса с тем
лишь отличием, что оптимизируем не входное
изображение, а нейросеть. Вся схема представ-
лена на Рис. 4.
Архитектура генератора Джонсона, которая по-
казала лучший визуальный результат по опы-
ту разработчиков Artisto, близка к Unet только
без skip-connections.
Данный подход позволяет стилизовать изобра-
жение нейросетью, обученной под конкретный
стиль, за один forward pass, что позволяет про-
изводить inference в realtime и обеспечить более
Рис. 4.
Обучение сети-
генератора
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
высокое пользовательское вовлечение.
Основным недостатком подхода является не-
обходимость обучать отдельную сеть под каж-
дый стиль, что достаточно затратная процедура
из-за подбора гиперпараметров и необходимо-
стью визуальной оценки результата человеком,
т.к. значения функции потерь часто не коррели-
руют с визуальным качеством полученной сти-
лизации.
УЛУЧШЕНИЯ
Важным визуальным улучшением Style
Transfer'а стало применение Instance
Normalization[104] (снова статья Дмитрия Ульяно-
ва), которая заменила слои BatchNorm и норма-
лизует в рамках тензора по пространственным
координатам, а не батчу.
Компания Google предложила подход[105], при ко-
тором одна сеть учит сразу десятки стилей
и на инференсе способна стилизовать их супер-
позицией. Достигается это с помощью conditional
instance normalization — оказалось, что для коди-
рования стиля может быть достаточно параме-
тров нормализации (scale, shift), которые и обу-
чаются под каждый стиль.
ДЕКАБРЬ 2019 47
Современные приложения используют ин-
ференс на устройствах для снижения затрат
на свою инфраструктуру, достигая этого за счет
уменьшения глубины, ширины и кол-ва каналов
нейросети, а также вычислений в fp16 и int8.
Компания Facebook в конце 2016 г. заявила [106]
о разработке технологии StyleTransfer на де-
вайсе и собственного мобильного фреймворка
Caffe2Go.
Разумеется такую задачу как Style Transfer
не обошли стороной современные и нынче по-
пулярные GAN'ы. Удачным примером их приме-
нения в данной задачи является подход широ-
ко применяемый CycleGAN [107]. Идея подхода
состоит в следующем: мы учим две пары гене-
ратор-дискриминатор из одного домена в дру-
гой и обратно, при этом мы требуем cycle
consistency — после последовательного приме-
нения генераторов должно получится похожее
по L1 loss'у на исходное изображение. Циклич-
ный лосс требуется для того, чтобы генератор
не начал просто транслировать картинки одного
домена в совершенно не связанные с исходным
изображением.
Данный подход позволяет получать трансфер
между двумя доменами имея непарные сеты изо-
бражений, показывая хорошие визуальные ре-
зультаты на задаче переноса стиля.
48 COMPUTER VISION / ТЕХНОЛОГИИ
ЗАКЛЮЧЕНИЕ
В заключение хочется отметить, что сравнение
изображений с помощью карт признаков, взятых
с VGG-сети, получило название Perceptual loss. С тех
пор данная функция потерь используется во многих
задачах, где важно дать сигнал сети о визуальной
схожести изображения: super resolution, колориза-
ции и даже детекте ключевых точек лица [108].
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 49
Тренд карта мировых исследователей. Обработка изображений [110]
Задача переноса стиля стала классическим
примером работы нейросетей в компьютерном
зрении. Примеры с разбором Style Transfer мож-
но найти в туториалах всех основных фрейм-
ворков.
Тренд карта российских исследователей. Обработка изображений [109]
50 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 51

Павел Сажин
2. Особенности детекции и классификации
объектов на видео
ООО «Видеоинтеллект»

2.1. ТРЕБОВАНИЯ К ВЫЧИСЛИТЕЛЬНЫМ 2.2. ВРЕМЕННАЯ СВЯЗЬ КАДРОВ

РЕСУРСАМ
Одной из основных особенностей работы с видео,
по сравнению с отдельными изображениями, яв-
ляется объём данных — даже просто 10 секунд ви-
део по объёму равны примерно 200ам картинкам.
В системах видеоаналитики требуется минималь-
ная задержка на принятие решения, а это озна-
чает, что система должна уметь обрабатывать 20
и более кадров в секунду. С другой стороны, в си-
Другой особенностью видеопотока, являет-
ся временная связь кадров. Что позволяет с од-
ной стороны подтвердить признаки классифи-
кации и детекций на разных кадрах тем самым
улучшить аккуратность, а с другой стороны поз-
воляет выбирать лучший кадр из нескольких.
Приведём пример: многие нейросети усваи-
вают контекст изображения, и в зависимости
от него могут назначать различные вероятности

2.5. Детекция и классификация

стемах видеонаблюдения зачастую использует- или даже различные классы одним и тем же изо-
ся десятки, сотни, а иногда и тысячи камер. Даже бражённым объектам. Ситуация проиллюстри-
при поиске по видеоархиву неразумно обрабаты- рована на следующих фото (рис. 1–3). В качестве

объектов на видео вать заново видео при каждом запросе, иначе от-
клик на запрос будет невыносимо долгим, а зна-
чит, вся разметка кадров должна в нём появится
SSD-нейросети взята широко-распространенная
YOLOv3.

вместе с видео, что опять-таки приводит к требо-

ванию работы алгоритмов в реальном времени.

Введение
Идеи создать машину, умеющую видеть подоб-
но человеку, появились задолго до изобретения
первых компьютеров. Само представление о че-
ловекоподобной машине ранее было неразрыв-
но связано с возможностью видеть как человек.
Это неудивительно, так как зрение для нас —
ключевой канал поступления информации
об окружающем мире, одна из основ познания.
По своей сути распознавание и классификация
образов подразумевает некоторое априорное
знание о наблюдаемом, нахождение некого по-
добия к искомому, является составляющей ноос-
феры, которая всегда была вызовом для лучших
умов человечества.
Одной из первых попыток распознавания об-
разов (pattern recognition) машиной стал пер-
септрон, предложенный американским нейро-
физиологом Ф. Розенблаттом. Он предложил
схему устройства, которое передавало сигналы
от фотоэлементов, представляющих собой сен-
сорное поле, в блоки электромеханических яче-
ек памяти.
С течением времени постепенно разрабатыва-
ются и совершенствуются алгоритмы и програм-
мы компьютерного зрения. Настоящий прорыв
алгоритмы обработки изображений получили
с момента создания AlexNet — глубокой нейрон-
ной сети, которая на конкурсе по распознова-
нию образов ImageNet значительно обошла все
эврестические алгоритмы. В современном мире
с помощью машинного зрения можно решать
различные задачи: от классификации и детекции
изображений и объектов до создания генерации
видео с имитацией мимики. Всё это появилось
в результате разработки глубоких и сложных
нейросетевых архитектур.
Говоря об обработке видео и классификации
объектов на нем, следует отметить, что как вид
информационного потока видео обладает ря-
дом особенностей, диктующих развитие свое-
го отдельного подкласса алгоритмов, заточенных
под реальное использование.
Всё это означает, что к вычислительным ресур-
сам предъявляются высокие требования, и за-
частую это приводит к экономической нецеле-
сообразности использования многих решений,
которые хорошо работают с отдельными изобра-
жениями.
Для решения проблем вычислительных ресурсов Рис 1. Пример детекции «Девушка с сумкой — 1»
обычно используют следующие подходы:
На кадре (рис.1) видно, что сумка в руках девуш-
|| нейросетевые архитектуры, способные рабо- ки распознана именно как сумка с высокой сте-
тать в реальном времени — см. ниже; пенью достоверности — 98%.
|| предварительная фильтрация видеопотока —
можно использовать, как и простое прорежи-
вание кадров, так и классические алгоритмы
CV (например использующие определение оп-
тического потока, определения фона, и т.п.);
|| обработка рядом с камерой (on-edge
processing) — обработка данных на платах
специализированных видео камер или специ-
ализированных микрокомпьютеров типа
NVIDIA Jetson, что может являться более эф-
фективным решением, чем вести всю обра- Рис. 2. Пример детекции «Девушка с сумкой — 2»
ботку на центральном сервере.
Но стоит поставить сумку на пол (рис.2), как ве-
роятность распознавания этой же сумки нейро-
сетью сразу кардинально снижается — до 34%.
52 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 53

Рис. 3. Пример детекции «Девушка с сумкой — 3»
Если же девушка отойдет, оставив сумку
на полу на расстоянии от себя, то нейросеть уже
не справляется с задачей идентификации и вы-
дает ошибочный результат: сумка распознается
как мышь (mouse, подразумевается не животное,
а компьютерная мышь) с вероятностью 28%.
Однако, особенность видеопотока как исход-
ного материала для работы алгоритмов распоз-
навания объектов позволяет осуществить син-
тез классических алгоритмов статистического
анализа и новых нейросетевых подходов. Это,
в свою очередь, позволяет именно видеообра-
ботке превзойти алгоритмы обработки исключи-
тельно изображений и показать превосходные
результаты.
учении). Из основной свёрточной сети, с раз- Рис. 4. Архитектура Faster-RCNN [3]
ных уровней, приделываются независимые голо-
вы (небольшие нейросети), которые для каждого
прямоугольника предсказывают уточняющие ко-
ординаты, класс, и уровень достоверности. Да-
лее информацию со всех голов собирают, и от-
брасывают повторения с помощью NMS.
3.1.3. RetinaNet
Основная мысль, заложенная в RetinaNet, ро-
дилась из наблюдения, что в при обучении од-
нопроходных детекторов, обучающих приме-
ров с фоном гораздо больше, чем примеров
с объектами, по этому сети недостаточно хоро-
шо обучаются находить объекты(это происходит

3. Основные нейросетевые архитектуры

из за того, что на обучающем изображении яко-
рей в которые попадает фон, гораздо больше чем

реального времени
якорей в которые попадает объект).

Исправление этого дисбаланса при обучении ней-

3.1. ОДНОПРОХОДОВЫЕ НЕЙРОСЕТИ (SSD —
SINGLE SHORT DETECTION)
В отдельный класс можно выделить нейросе-
тевые архитектуры, которые определяют сразу
ограничивающие рамки объектов и класс объек-
та. Такие сети получили название «Однопрохо-
довых» или «SSD». К ним относятся архитектуры
YOLO, SSD1, RetinaNet и др. В процессе развития
эти архитектуры повлияли друг на друга, поэтому
у них много общего.
3.1.1. YOLO v3
YOLOv3 [111] — это третья версия архитектуры
YOLO, являющейся наверно самой популярной
нейросетевой архитектурой реального време-
ни, вследствие скорости работы и легкой доступ-
ности практически под все платформы. В основе
архитектуры лежит свёрточная сеть Darknet-53 c
обходными соединениями как в ResNet. Основ-
ная идея архитектуры это поделить входное изо-
бражение на квадраты и предсказывать объ-
екты для каждого квадрата отдельно. При этом
для каждого квадрата в третьей версии, пред-
сказываются три ограничивающих прямоу-
гольника, вместе с их уровнем достоверности.
А для каждого прямоугольника предсказываются
80 возможных классов объектов, при этом объ-
екты не взаимоисключаемые, как обычно бывает.
1
Тут есть терминологическая двузначность, SSD - может означать как класс сетей, так и конкретную архитектуру
В третьей версии YOLO в выходной слой попада-
ют features c трёх разных глубин основной свёр-
точной сети, что позволяет увеличить диапазон
масштабов объектов, на которых она работает.
Так как сеть является полностью свёрточ-
ной, размеры входного изображения в прин-
ципе не ограничены, за исключением того, что
в YOLOv3 размер квадрата выбран 32×32 пик-
селя, а количество квадратов нечётное, что-
бы объект, находящийся в центре изображения,
попадал и в центр квадрата. При обучении ис-
пользуют изображения с разным разрешением
(от 224×224 до 608×608 пикселей), удовлетво-
ряющим вышеобозначеным критериям.
Так как разные квадраты могут предсказывать
один и тот же объект, на заключительном эта-
пе применяется подавление близлежащих огра-
ничивающих прямоугольников в пользу того, чей
уровень достоверности выше, так называемое
Non-Maximum Suppression.
3.1.2. SSD
SSD (Single Shot MultiBox Detector) [112] — так же
как и yolo использует идею якорей — т.е. деле-
ния изображения на квадраты, и сопоставления
каждому квадрату нескольких прямоугольников
(различающихся соотношением сторон при об-
росети с помощью предложенной функции кор-
рекции потерь Focal Loss позволило заметно улуч-
шить качество детекции и распознавания. Сама же
архитектура, использованная в статье, базируется
на FPN (Feature Pyramid Network) и ResNet моделях.
3.2. FASTER-R CNN, MASK-R CNN
Faster-R CNN является логическим продол-
[113]
жением и усовершенствованием сетей R-CNN
и Fast-R CNN. Эта архитектура состоит из основ-
ной свёрточной нейронной сети — хребта (или ос-
новы) (англ. backbone) и двух дополнительных
голов, которые подключены к хребту (см. рис. 4).
В качестве хребта можно использовать прак-
тически любую популярную архитектуру (в ин-
тернете можно найти предобученные версии
на ResNet50, ResNet101, Inception-v2 и др.).
А в качестве голов выступают небольшие свёр-
точные сети. Первая голова служит для детекти-
рования объекта на картинке, а вторая для его
классификации. Координаты предполагаемого
объекта с первой головы поступают на так назы-
ваемый ROIPooling слой, который выбирает вы-
ходы хребта, соответствующие положению объ-
екта, масштабирует и подаёт на вторую голову,
которая уже классифицирует объект. Таким об-
разом, сеть эффективно использует одни и те же
признаки c хребта как для поиска объекта, так
и для его классификации. Благодаря тому, что
возможно использовать различные архитектуры
основы, можно подобрать сеть наиболее подхо-
дящую под требования конкретной задачи.
Было обнаружено, что если добавить к Faster-R
CNN третью голову, для определения маски
объекта, то можно эффективно определять
маску объекта, с минимальным оверхедом.
Данную сеть назвали MaskR-CNN [114]. Маски
объектов значительно выигрывают перед огра-
ничительными прямоугольниками (bounding
box), если требуется последующий анализ най-
денного объекта.
3.3. РЕЗЮМЕ
Прогресс развития machine learning не стоит
на месте, постоянно появляются всё новые ме-
тоды обучения (оптимизаторы, функции потерь),
и архитектуры, улучшающие те или иные харак-
теристики нейросетей. За счёт того, что у опи-
санных сетей основу (backbone) можно поменять,
можно тем самым и изменить их характеристи-
ки, в соответствии с текущими потребностями.
В настоящее время обученные модели, которые
можно найти в интернете, являются оптимальны-
ми только с точки зрения трудозатрат. И поэтому
сложно говорить, об однозначном преимуществе
того или иного подхода.
54 COMPUTER VISION / ТЕХНОЛОГИИ
4. Заключение
Перспективным направлением развития являет-
ся восстановление сцены.
Впереди нас ждет полное восстановление кон-
текста сцены, то есть полное описание деятель-
ности на видео. Сейчас видеоаналитика вы-
полняет разрозненные функции, нет единого
контекста. Всё это не объединено в отдельный
поток. Восстановление смысла, происходящего
на экране (того что видит камера) будет приме-
няться в обеспечении безопасности, и в сервер-
ных услугах, и для повышения эффективности
производств.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 55
Тренд карта мировых исследователей. Детекция и классификация объектов на видео [116]
На текущий момент отрасль искусственного ин-
теллекта и машинного обучения одна из самых
быстро растущих на глобальном рынке. В конеч-
ном итоге развитие алгоритмов компьютерно-
го зрения и обработки видео, вкупе с развитием
вычислительных возможностей (как серверных
решений, так и мощностей на борту самой виде-
окамеры), приведет к полному семантическому
анализу наблюдаемой сцены с распознаванием
ситуации и выделением и классификацией всех
объектов по желаемому набору признаков.
Тренд карта российских исследователей. Детекция и классификация объектов на видео [115]
56 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 57

Дмитрий Шуров

Cтудия визуальных эффектов CGF,

руководитель отдела исследований и разработок

2.6. Синтез видео Пример съемки на хромакее и сравнение с финальным результатом. Рекламный ролик «Сердце столицы». © CGF

ТРЕКИНГ 2D-ТРЕКИНГ КЛЮЧЕВЫХ ТОЧЕК

Технологии генерации видео или, проще говоря, компьютерной графики,
При совмещении компьютерной 3D-графики 2D-трекинг решает задачу определения траекто-
лучше всего известны широкой публике по эффектным голливудским и съемочного материала необходимо очень точ- рий движения ключевых точек на изображении
блокбастерам, музыкальным клипам и рекламе. Когда мы восторгаемся но совместить реальную и виртуальную систе- в каждом кадре видеопоследовательности. На-
мы координат. Задача усложняется, если камера пример, на изображении выше, такими ключевы-
красивой картинкой, то чаще всего не задумываемся, что за ее при съемках находится в движении. Для решения ми точками являются специальные «маркеры» —
созданием стоит сложнейшая математика. этой задачи используется комплекс алгоритмов светло-зеленые «уголки» из ленты, наклеенные
компьютерного зрения, объединяемых под об- на хромакее. Такие паттерны являются примером
щим названием «трекинг». Трекинг можно раз- ярко выраженных признаков на изображении,
Очевидно, что генерация реалистичной картин- (обычно зеленый или синий). Пикселы, имеющие делить на двумерный (2D-трекинг) и трехмер- которые поддаются очень точному 2D-трекингу.
ки невозможна без моделирования физических значения, относящиеся к заданному диапазону ный (3D-трекинг), трекинг камеры и объектов. Зная 3D-координаты каждого из уголков (их мож-
процессов, таких как динамика твердых тел, тка- цветов, становятся «прозрачными». Вместо них При этом двумерный трекинг является неотъем- но измерить с помощью специального прибора —
ней, жидкостей, огня или дыма, а также без си- затем накладывается требуемый фон. лемой частью трехмерного. тахеометра), и зная траектории движения их про-
муляции отражений и преломления света в фи- екций в кадре и параметры камеры (объектив,
зических средах. Однако менее очевидным За кажущейся простотой процесса скрывает- размер матрицы и другие), можно решить обрат-
является то, что одной из важных составляющих ся множество нюансов. Так, чаще всего фон, ную задачу и точно восстановить 3D-траекторию
при совмещении реальности с компьютерной в силу освещения, имеет сильно неоднородный движения камеры в пространстве.
графикой являются алгоритмы компьютерного оттенок. Из-за этого к разным частям изобра-
(машинного) зрения. Рассмотрим наиболее важ- жения приходится применять кеинг с разными Помимо этого, 2D-трекинг помогает при стаби-
ные на наш взгляд кейсы применения машинного настройками, отделяя их по вручную нарисован- лизации видео и применяется в ситуациях, ког-
зрения в генерации видео. ным областям. Кроме того, яркий цветной фон да необходимо «прикрепить» простые 2D-объ-
придает нежелательный оттенок объектам в ка- екты к изображению (например, заменить
КЕИНГ дре. Кожа и одежда человека, которого снима- изображение на экране монитора или мобиль-
ют на хромакее, также становится зеленее. Та- ного телефона).
Одной из важнейших задач компьютерной гра- кие эффекты приходится устранять с помощью
фики, которые можно отнести к машинному зре- алгоритмов «despill» (устранение «разлития» 3D-ТРЕКИНГ КАМЕРЫ
нию, является так называемый «кеинг» — отде- фона) [https://benmcewan.com/blog/2018/05/20/
ление специально окрашенного контрастного understanding-despill-algorithms/]. А многие мел- Необходимость 3D-трекинга при создании VFX
однотонного фона (т.н. хромакея) от объектов, кие и тонкие объекты, на которых эффект «раз- возникает тогда, когда требуется совместить
находящихся в сцене, чтобы затем заменить этот лития» фона оказывает особенно сильное влия- в одном кадре компьютерную графику и съе-
фон на компьютерную графику. Суть алгорит- ние (например, волосы), нередко приходится мочный материал — то есть почти во всех слу-
ма кеинга состоит в создании «маски» пиксе- «вырезать» вручную с помощью техники рото- Пример размещения на хромакее маркеров для трекин- чаях, когда в кадре присутствуют съемочные ло-
лов на изображении, имеющих заданных оттенок скопинга. га на съемках клипа группы Ленинград — Цой. © CGF кации, объекты или люди. Так, если необходимо
58 COMPUTER VISION / ТЕХНОЛОГИИ
дополнить съемочный материал 3D-объекта-
ми в сценах с движущейся камерой, необходимо
воссоздать траекторию ее перемещения и раз-
местить 3D-объекты в системе координат ре-
альной сцены. Только в случае точного совпа-
дения траектории камеры, позиций и размеров
объектов, совмещение графики и реально-
го мира будет правдоподобным. Сам трекинг
осуществляется благодаря машинному зре-
нию: сначала осуществляется детектирование
уникальных неподвижных в 3D-пространстве
ключевых точек на изображении, затем осу-
ществляется их 2D-трекинг, и затем решается
математическая задача восстановления 3D-по-
зиции камеры на основе этих данных.
Также существуют способы реализации трекинга
в режиме реального времени с использованием
специальных маркеров, напоминающих QR-ко-
ды. Так, профессиональная система дополнен-
ной и виртуальной реальности CGF Viewga [http://
cgfww.com/rnd/previewga] основана именно
на этом принципе. Разместив достаточное коли-
чество таких маркеров в помещении, можно бы-
стро и точно определять позицию и ориентацию
камеры, и затем использовать ее для рендеринга
виртуальных или смешанных пространств. Полу-
ченные данные затем передаются в игровой дви-
жок и используются для отображения 3D-сцены
с ракурса, определяемого положением реальной
камеры. Таким образом, оператор камеры полу-
чает возможность осуществлять съемки в вир-
туальной сцене так же, как если бы он снимал
реальную сцену настоящей камерой.
Стоит отметить, что в последнее время благодаря
развитию алгоритма SLAM и его вариаций (напри-
мер, ORB-SLAM [https://webdiis.unizar.es/~raulmur/
orbslam/] или DSO-SLAM [https://vision.in.tum.de/
research/vslam/dso]), а также благодаря разви-
тию вычислительных мощностей, стало возмож-
ным выполнять достаточно точный безмаркерный
трекинг и построение карты пространства в ре-
жиме реального времени. Подобные алгоритмы
находят свое применение во многих областях ма-
шинного зрения, в том числе для генерации кон-
тента дополненной и виртуальной реальности
на мобильных устройствах (в таких фреймвор-
ках как Apple ARKit [https://developer.apple.com/
augmented-reality/arkit/] для устройств на базе
iOS, Google ARCore [https://developers.google.com/
ar] для Android, VR-шлем Oculus Quest [https://
www.oculus.com/quest/]).
ТРЕКИНГ ОБЪЕКТОВ
Аналогичная задача решается и относительно
трекинга объектов в сцене, только вместо вос-
становления траектории камеры, расчеты осу-
ществляются с целью определения трансформа-
ции объектов в пространстве. Чаще всего данная
задача решается для недеформируемых объек-
тов с помощью такого ПО как PFTrack [https://
www.thepixelfarm.co.uk/pftrack/], 3DEqualizer
[https://www.3dequalizer.com/], GeoTracker [https://
www.keentools.io/geotracker], однако существу-
ет специализированное ПО для трекинга дефор-
маций часто встречающихся классов объектов
(например, FaceTracker [https://www.keentools.io/
facetracker] для лиц).
Профессиональная
система дополненной
и виртуальной
реальности CGF Viewga
© CGF
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 59
Пример размещения
маркеров на лице
для системы переноса
мимики человека
на 3D-персонажа CGF
Nimble. © CGF
Программное обеспечение FaceTracker для трекинга лиц.
© KeenTools
ПЕРЕНОС МИМИКИ ЧЕЛОВЕКА
НА 3D-ПЕРСОНАЖА
Задача трекинга лиц также находит свое отдель-
ное применение в контексте переноса мимики
человека на 3D-персонажа, однако алгоритмы ее
решения отличаются. Ключевой задачей здесь
Главный герой фильма «Напарник» был создан с помо-
является распознавание ключевых точек лица.
щью компьютерной графики благодаря технологии пе-
В кинопроизводстве для решения данной зада-
реноса мимики человека на 3D-персонажа с использова-
чи ввиду высоких требований к точности тре-
нием системы CGF Nimble. © CGF
кинга (вплоть до субпиксельной точности) физи-
чески наносят маркеры на лицо актера и затем
осуществляют их 2D-трекинг. Например, в си-
стеме захвата и переноса мимики CGF Nimble
[http://cgfww.com/nimble] используются специ-
альные контрастные светоотражающие маркеры,
ярко видимые при наличии круговой подсветки
со стороны камеры.
Вместо цветных камер часто используют инфра-
красные камеры и подсветку в инфракрасном
диапазоне, т.к. это позволяет снизить выдержку
при съемке за счет увеличения количества света,
при этом не доставляя дискомфорта актеру (ин-
фракрасный свет не виден глазу). Часто исполь-
зуют съемку с нескольких камер (обычно двух)
для получения трехмерных координат обозна-
ченных точек лица.

В других индустриях, там где скорость и про-
стота создания контента важнее точности, чаще
применяют безмаркерный поиск ключевых то-
чек на изображении (т.н. face alignment). Эта за-
дача классически решается с помощью таких ме-
тодов как Active Appearance Models или Active
Shape Models, а в настоящее время всё чаще ре-
шается с помощью глубоких нейронных сетей
[https://paperswithcode.com/task/face-alignment].
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 61
Так, в системе CGF Nimble реализован безмар- Тренд карта мировых исследователей. Синтез видео [118]
керный алгоритм переноса мимики на основе
Deep Learning, при котором сначала требуется
вручную задать соответствие ключевых выра-
жений лица актера и 3D-персонажа (обычно хва-
тает 20‑30 выражений), после чего становится
возможно видеть и записывать мимику 3D-пер-
сонажа в реальн­ом времени.
Тренд карта российских исследователей. Синтез видео [117]
62 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 63

Наталия Гутенева
Наиболее часто упоминаемые
Ведущий аналитик Центра НТИ на базе МФТИ по направлению
в статьях NeurIPS датасеты
«Искусственный интеллект», член оргкомитета Открытой
(не только по Computer vision) [234]
конференции по искусственному интеллекту OpenTalks.AI

2.7. Computer vision — state

|| ILSVRC Основной метрикой, используемой для срав-
нения алгоритмов классификации изобра-
|| CVPR-Visual Understanding across modalities
жений, является ошибка классификации.

of the art || ICCV-Places Challenge-MIT

|| VideoNet — All video related Challenges

|| COCO
|| VOT(Visual Object Tracking) Challenge
Текущее состояние компьютерного зрения проще всего оценить, || NIPS Competitions
сравнивая результаты работы различных подходов и архитектур на || MOT Challenge
открытых датасетах. Среди исследователей в рамках ряда соревнований || 3D Face Alignment Challenge
по решению задач детекции, классификации объектов, распознавания || AutoML Challenge
лиц и др. идет конкуренция за десятые доли процента точности || Pascal VOC Challenge
алгоритмов, являющаяся сильнейшим катализатором развития отрасли. || Movie-QA and LSMDC- 2017
В данной статье собраны лучшие результаты на наиболее популярных || Didi Challenge — Udacity on Self driving
среди академического сообщества датасетах. || LDV Vision Competition-2017
В 2011 г. ошибка классификации в среднем
составляла 25%. В 2012 г. благодаря AlexNet
получилось снизить ошибку до 15.3% [121],
а спустя всего несколько лет результаты улуч-
шились до 1-2%.
Точность (accuracy) предсказаний модели в за-
дачах машинного зрения также достаточно час-
то описывается метрикой AP (Average precision —
средняя точность), равной площади области
под кривой точности (precision) — отзыва (recall)
для класса объектов, где точность — отношение
истинноположительных результатов ко всем по-
ложительным результатам модели, а отзыв — от-
ношение истинноположительных результатов
к сумме истинноположительных и ложноотрица-
тельных результатов модели:

|| Nexar Challenge — Traffic light recognition & Rear

В компьютерном зрении, как и в любой дру-
гой области, связанной с машинным обучени-
ем, для тренировки моделей требуется боль-
шой объем структурированных размеченных
данных. Поэтому научные группы и исследо-
вательские организации по всему миру в пер-
вую очередь работают над созданием, очисткой
и дополнением открытых датасетов, содержа-
щих гигантские массивы визуальных, либо гра-
фических данных.
Один из первых открытых датасетов для трени-
ровки моделей, нацеленных на решение задач
компьютерного зрения, был создан в 1936 г. Ро-
бертом Фишером на базе 150 размеченных фото-
графий ирисов, собранных американским бота-
ником Эдгаром Андерсоном [119].
Со временем задача тренировки приобрела со-
ревновательный характер — ежегодно организу-
ются десятки состязаний по компьютерному зре-
нию, не только в рамках решения прикладных
задач на Kaggle [120], но и как самостоятельные
проекты. Самые известные среди них:
Метрика AP в машинном зрении.
Car Detector
Источник: https://medium.com/@jonathan_hui/map-mean-
|| SpaceNet Challenge — Top Coder average-precision-for-object-detection-45c121a31173
|| ActivityNet — Large Scale Visual Activity
Recognition
|| Tumor Proliferation Assessment Challenge
|| MIT Scene Parsing Challenge
|| Evaluating Local Feature Descriptors Challenge
|| Varcity — 3D Semantic Segmentation Challenge
|| Plant Phenotyping
|| Video Comprehension
|| KITTI
|| Cityscapes

|| Open Images
64 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 65

ImageNet — один из наиболее популярных от-

Стандартный CV-датасет состоит из набора типовых размеченных изображений, крытых датасетов, используемых для трениров-
разделенных на классы в зависимости от их семантического содержания. Ниже приведены ки моделей машинного зрения. Создан в 2009 г.
описания наиболее популярных среди исследователей датасетов: Фэифэи Ли, Цзя Ден, Ольгой Русаковски, Алек-
сом Бергом и Кай Ли [123]. ImageNet включает
большое количество аннотированных изобра-
MNIST («Modified National Institute of Standards
жений, структурированных на основе семанти-
and Technology») — датасет, содержащий чер-
ческой сети WordNet. Каждому изображению
но-белые образцы рукописных цифр размером
в базе соответствует синсет (synset) — набор си-
28×28 [122]. Доступен по ссылке: http://yann.lecun.
нонимичных слов или фраз, характеризующий
com/exdb/mnist/.
конкретную семантическую категорию. Все изо-
бражения аннотированы вручную, но не при- Challenge) — ежегодное соревнование алго-
MNIST был создан в 1998 г. Яном Лекуном, Ко-
надлежат ImageNet — датасет состоит из ссы- ритмов детекции объектов и классификации
ринной Кортес и Крисом Бургесом. Обучающая
лок на них и их аннотаций. На конец 2019 г. изображений. Одним из значимых прорывов
выборка датасета содержит 60 000 изображений,
в ImageNet содержится 14 197 122 изображе- проекта стала победа в ILSVRC 2012 сверточ-
а тестовая — 10 000. Является подмножеством
ний, относящихся к 21 841 синсетам (в среднем, ной нейросети AlexNet, разработанной Алексом
более объемного датасета NIST, собранного
на один синсет приходится по 500 изображений), Крижевским и Ильей Суцкевером под руковод-
на основе данных из Бюро переписи населения
из них примерно 1 000 000 изображений анноти- ством Джеффри Хинтона. Сеть достигла ошиб-
США и образцов, написанных студентами аме-
рованы при помощи bounding boxes (классифи- ки классификации в 15.3%, на 10,8% ниже, чем
риканских университетов. MNIST применяется го обучения. Основным показателем, используе-
цированные объекты на изображении очерчены у участника, занявшего второе место [121]. В со-
для сравнения методов классификации изобра- мым для сравнения алгоритмов, является ошибка
прямоугольными границами). Датасет доступен ревнованиях более поздних лет процент оши-
жений, основанных на алгоритмах машинно- классификации (error rate, %).
по ссылке: http://image-net.org/. бок сократился. В 2019 г. при помощи нейросети
EfficientNet-L2 удалось снизить процент ошибок
Ниже приведены топ-7 методов с лучшими результатами на MNIST на конец 2019 г. Существует некий скептицизм по поводу эф- до 1.8%, в 2 с лишним раза превзойдя результа-
фективности тренировки моделей машинного ты, достигаемые людьми [124].
Место Метод Ошибка, % Год Статья зрения на датасете ImageNet. Многие исследо-
ватели считают, что синсеты, представленные Основными показателями, используемыми
Assiri, Yahia. Stochastic Optimization of Plain Convolutional Neural
1 plain CNNs 0.17 2019 в WordNet, слабо отражают сущности, использу- для сравнения алгоритмов в ImageNet, являются
Networks with Simple methods
емые людьми в повседневной жизни. По словам top-1 error rate и top-5 error rate. В первом случае
K. Kowsari, M. Heidarysafa, D. E. Brown, K. Jafari Meimandi, L. E.
2 RMDL 0.18 2018 тимлида Google Brain Сэми Бенджио: «Большин- проверяется, совпадает ли с меткой изображе-
Barnes. RMDL: Random Multimodel Deep Learning for Classification
D. Cireşan, U. Meier, J. Schmidhuber. Multi-column Deep Neural
ство людей больше интересуются Леди Гагой ния класс, имеющий максимальную вероятность,
3 MCDNN 0.2 2012 или iPod mini, чем редким видом диплодока». предсказанную алгоритмом. Во втором случае
Networks for Image Classification
Wan, Li & Zeiler, Matthew & Zhang, Sixn & Lecun, Yann & Fergus, проверяется, совпадает ли с меткой изображе-
4 DropConnect 0.2 2013 В 2010 г. на базе ImageNet был запущен проект ния один из пяти классов, имеющих максималь-
Rob. Regularization of Neural Networks using DropConnect
I. Sato, H. Nishimura, K. Yokoi. APAC: Augmented PAttern ILSVRC (ImageNet Large Scale Visual Recognition ную вероятность, предсказанную алгоритмом.
5 APAC 0.2 2015
Classification with Neural Networks
Jia-Ren Chang, Нong-Sheng Chen. Batch-normalized Maxout Ниже приведены топ-5 методов с лучшими результатами решения задачи классификации изображений
6 BNM NiN 0.2 2015 ImageNet на конец 2019 г.
Network in Network
S. H. Hasanpour, M. Rouhani, M. Fayyaz, M. Sabokrou. Lets keep it
7 SimpleNetv1 0.2 2016 simple, Using simple architectures to outperform deeper and more Ошибка, Ошибка,
Место Метод Год Статья
complex architectures топ-1, % топ-5, %
Q. Xie, E. Hovy, Minh-Thang Luong, Q. V. Le. Self-
Методы классификации изображений на MNIST. Источник: https://paperswithcode.com/sota/image-classification-on-mnist
Noisy Student
1 12,6 1,8 2019 training with Noisy Student improves ImageNet
(EfficientNet-L2)
classification
FixResNeXt-101 H. Touvron, A. Vedaldi, M. Douze, H. Jégou. Fixing
2 13,6 2 2019
32×48d the train-test resolution discrepancy. NeurIPS 2019
AdvProp C. Xie, M. Tan, B. Gong, J. Wang, A. Yuille, Q. V. Le.
3 14,5 2,7 2019
(EfficientNet-B8) Adversarial Examples Improve Image Recognition
D. Mahajan, R. Girshick, V. Ramanathan, K. He,
M. Paluri, Y. Li, A. Bharambe, L. van der Maaten.
4 ResNeXt-101 32×48d 14,6 2,3 2018
Exploring the Limits of Weakly Supervised
Pretraining. ECCV 2018
AdvProp C. Xie, M. Tan, B. Gong, J. Wang, A. Yuille, Q. V. Le.
5 14,8 2,8 2019
(EfficientNet-B7) Adversarial Examples Improve Image Recognition
66 COMPUTER VISION / ТЕХНОЛОГИИ
Методы классификации изображений на ImageNet
Источник: https://paperswithcode.com/sota/image-classification-on-imagenet
PASCAL VOC (Visual Object Classes) — набор да-
тасетов и одноименное соревнование алгорит-
мов распознавания и классификации объек-
тов, запуущенные в 2005 г. под руководством
Эндрю Зиссермана [125]. Суммарно датасеты со-
держат 500 000 аннотированных и частично ан-
нотированных изображений. Ежегодно с 2005
по 2012 г. в рамках соревнования в открытый
доступ выкладывались датасеты, содержащие
обучающие и тестовые выборки аннотирован-
ных изображений, относящихся к 4—20 раз-
личным классам, а также список заданий (се-
мантическая сегментация, распознавание т
классификация изображений, детекция объек-
тов, распознавание лиц и др.).
Несмотря на официальное прекращение проек-
та в 2017 г. датасеты PASCAL VOC находятся
в открытом доступе (http://host.robots.ox.ac.uk/
pascal/VOC/) и являются эталоном для сравнения
различных алгоритмов машинного зрения.
Наиболее популярны в научном сообществе да-
тасеты PASCAL 2007 (задача детекции и класси-
Семантическая сегментация (PASCAL VOC 2012).
Источник: https://paperswithcode.com/sota/semantic-segmentation-on-pascal-context
фикации объектов) и PASCAL 2012 (задача се-
мантической сегментации).
Для измерения точности алгоритмов семантиче-
ской сегментации и детекции объектов в PASCAL
2012 используется величина mean intersection
over union (MiOu), характеризующая, насколь-
ко bounding boxes, размеченные вручную, отли-
чаются от предсказанных моделью границ объ-
екта. Лучший результат MiOu = 56.2 для задачи
семантической сегментации изображений был
получен при помощи метода Object-Contextual
Representation (HRNetV2-W48) [126].
Для сравнения алгоритмов детекции объек-
тов в PASCAL VOC 2007 используется величи-
на mean Average Precision (mAP), получаемая
путем суммирования и усреднения средних
точностей для каждого класса объектов вы-
борки. Лучший результат mAP был опубли-
кован в статье B. Singh, M. Najibi, L. S. Davis.
SNIPER: Efficient Multi-Scale Training. NeurIPS
2018 и составил 86.9.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 67
CIFAR-10 и CIFAR-100 (Canadian Institute For
Advanced Research) — одни из наиболее попу-
лярных открытых датасетов, используемых ис-
следователями для обучения алгоритмов ма-
шинного зрения. Состоят из 60 000 цветных
изображений размером 32×32 (5 обучающих вы-
борок, по 10 000 изображений в каждой и одна
тестовая выборка, содержащая 10 000 изобра-
жений). При этом, в CIFAR-10 все изображения
разделены на 10 классов (по 6000 изображений
в каждом классе), а в CIFAR-100 — на 100 клас-
сов (по 600 изображений в каждом классе).
CIFAR-10 и CIFAR-100 были созданы под руко-
водством Алекса Крыжевского в 2009 г. [127]. Офи-
циальная страница с датасетами: https://www.
cs.toronto.edu/~kriz/cifar.html.
пересечений оценили в 3,3%, а в CIFAR-100 —
В 2019 г. вышла статья, в которой исследовате- 10% [128]. Тем не менее, CIFAR по-прежнему ос-
ли указывают на пересечения тестовой и обучаю­ таются одним из эталонных датасетов для срав-
щей выборок датасетов. В CIFAR-10 количество нения алгоритмов машинного обучения.
Ниже приведены топ-5 методов с лучшими результатами решения задачи классификации изображений на конец 2019 г.
на CIFAR-10:
Место Метод Ошибка, % Год Статья
GPIPE + transfer Yanping Huang et al. GPipe: Efficient Training of Giant Neural
1 1 2018
learning Networks using Pipeline Parallelism. NeurlIPS 2019
Mingxing Tan, Quoc V. Le.EfficientNet: Rethinking Model Scaling
2 EfficientNet 1,1 2019
for Convolutional Neural Networks. ICML 2019
PyramidNet + S. Lim, I. Kim, T. Kim, C. Kim, S. Kim. Fast AutoAugment.
3 1,3 2019
ShakeDrop (Fast AA) NeurlIPS 2019
X. Wang, D. Kihara, J. Luo, Guo-Jun Qi. EnAET: Self-Trained
4 EnAET 1,99 2019 Ensemble AutoEncoding Transformations for Semi-Supervised
Learning
Han Cai, Ligeng Zhu, Song Han. ProxylessNAS: Direct Neural
5 Proxyless-G + c/o 2,02 2018
Architecture Search on Target Task and Hardware. ICRL 2019
на CIFAR-100:
Место Метод Ошибка, % Год Статья
Mingxing Tan, Quoc V. Le.EfficientNet: Rethinking Model Scaling
1 EfficientNet 8,3 2019
for Convolutional Neural Networks. ICML 2019
Yanping Huang et al. GPipe: Efficient Training of Giant Neural
2 GPIPE 8,7 2018
Networks using Pipeline Parallelism. NeurlIPS 2019
PyramidNet + S. Lim, I. Kim, T. Kim, C. Kim, S. Kim. Fast AutoAugment.
3 11,7 2019
ShakeDrop (Fast AA) NeurlIPS 2019
S. Yun, D. Han, S. J. Oh, S. Chun, J. Choe, Y. Yoo. CutMix:
PyramidNet-200 +
4 13,81 2019 Regularization Strategy to Train Strong Classifiers with
Shakedrop + Cutmix
Localizable Features. ICCV 2019
SENet + ShakeEven J. Hu, Shen, S. Albanie, G. Sun, E. Wu. Squeeze-and-Excitation
5 15,41 2017
+ Cutout Networks. CVPR 2018
68 COMPUTER VISION / ТЕХНОЛОГИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 69

COCO (Common Objects in Context) — открытый

датасет для обучения и сравнения моделей, на-
целенных на решение задач семантической сег-
ментации, детекции и классификации объектов.
Создан в 2015 г. консорциумом исследовате-
лей из ряда ИИ-компаний и академических уч-
реждений (Google, FAIR, Caltech, Cornell Tech,
WaveOne и др.) [129].

Датасет содержит 2 500 000 сущностей в 328 000
аннотированных изображениях, принадлежащих
к 91 классам. На базе COCO с 2015 г. проходят
ежегодные соревнования по решению задач се-
мантической сегментации, детекции и классифи-
кации объектов.
Доступен по ссылке: http://cocodataset.org/
Основные метрики, используемые в COCO
для сравнения алгоритмов детекции объектов:
|| APb – средняя точность для каждого класса
объектов выборки (аналогична AP, но исполь-
зуется для bounding boxes).
|| AP50 — % изображений, для которых
intersection over union (IoU), характеризующая,
насколько bounding boxes, размеченные вруч-
Сегментация отдельных объектов на изображении (COCO minival – 5 000 изображений).
ную, отличаются от предсказанных моделью
Источник: https://paperswithcode.com/sota/instance-segmentation-on-coco-minival
границ объекта, составляет хотя бы 50%.
|| AP75 — % изображений, для которых IoU сос-
тавляет хотя бы 75%.
|| Aps — точность алгоритма при детекции не-
больших объектов площадью < 322.
|| APm — точность алгоритма при детекции
средних объектов 322 < площадью < 962.
|| APl — точность алгоритма при детекции круп-
ных объектов > 962.

Ниже приведены топ-5 методов с лучшими результатами решения задачи детекции объектов MS COCO Detection Task
(COCO test-dev dataset) на конец 2019 г.

Место Метод APb AP50 AP75 APs APm Apl Год Статья
Детекция объектов (COCO minival — 5 000 изображений).
Cascade Mask Источник: https://paperswithcode.com/sota/object-detection-on-coco-minival
Yudong Liu et al. CBNet: A Novel
R-CNN (Triple-
1 53.3 71.9 58.5 35.5 55.8 66.7 2019 Composite Backbone Network
ResNeXt152,
Architecture for Object Detection
multi-scale)
EfficientDet-D7 M. Tan, R. Pang, Q.V. Le. Более подробная информация о текущих соревнованиях по машинному зрению, датасетах
2 + AA 51 2019 EfficientDet: Scalable and Efficient и последних результатах доступна на следующих ресурсах:
(EfficientNet-B7) Object Detection
S. Zhang, • C. Chi, Y, Yao, Z, Lei, S. || https://paperswithcode.com/ || https://en.wikipedia.org/wiki/List_of_
ATSS(ResNetXt- Z. Li. Bridging the Gap Between datasets_for_machine-learning_research
3 64×4d-101 + 50.7 68.9 56.3 33.2 52.9 62.4 2019 Anchor-based and Anchor-free || https://www.eff.org/ai/metrics
DCN,multi-scale) Detection via Adaptive Training || https://github.com/mrgloom/Kaggle-
Sample Selection || https://rodrigob.github.io/are_we_there_yet/
Computer-Vision-Competitions-List
build/#about
EfficientDet-D6 M. Tan, R. Pang, Q.V. Le.
4 + AA 50,6 2019 EfficientDet: Scalable and Efficient
(EfficientNet-B6) Object Detection
EfficientDet-D5 M. Tan, R. Pang, Q.V. Le.
5 + AA 49,8 2019 EfficientDet: Scalable and Efficient
(EfficientNet-B5) Object Detection
70 COMPUTER VISION / ТЕХНОЛОГИИ
Э.М. Пройдаков
ИТ-эксперт, директор
виртуального компьютерного
музея
2.8. Глоссарий
Краткий англо-русский словарь
по компьютерному зрению
3D camera (также 3D depth camera) — 3D-виде-
окамера # специальная камера, фиксирующая
объёмность изображения; применяется, напри-
мер, в технологии распознавания управляющих
жестов. Синоним — depth camera (см. также 2D
camera, gesture recognition).
3D data — трёхмерные данные # данные трёх-
мерных (объёмных) объектов (см. также 3D data
acquisition).
3D data acquisition — сбор трёхмерных данных #
такие данные получают от 3D-сканеров, систем
моделирования и систем компьютерного зрения
(см. также 3D data, computer vision).
3D depth sensor — 3D-датчик глубины # приме-
няется, например, в технологии распознавания
управляющих жестов (см. также gesture recogni-
tion, 3D camera).
3D-vision gesture control system (также 3D vision
gesture control system, 3D video gesture control
system) — система управления жестами (при по-
мощи жестов) с использованием 3D-видео #
пользовательский интерфейс на основе техно-
логии распознавания [управляющих] жестов —
позволяет пользователю с любого различимого
видеокамерой расстояния точно и надёжно вы-
давать управляющие команды компьютеру же-
стами (см. также gesture recognition).
Л.А. Теплицкий
ИТ-эксперт, переводчик
с английского, Лауреат
Государственной премии СССР
3D vision system (также 3-D vision system) — сис-
тема объёмного [машинного] зрения, система
стереозрения # например, у роботов (см. также
vision system).
AI technology — технология (технологии) ис-
кусственного интеллекта, технология ИИ
# примеры технологий ИИ: а) роботиза-
ция [производственных] процессов (robotic
process automation, RPA); б) машинное обуче-
ние (machine learning, ML); в) машинное (ком-
пьютерное, техническое, искусственное)
зрение (machine vision, computer vision); г) об-
работка естественного языка, обработка тек-
стов на естественном языке (natural language
processing, NLP) и др.
artificial vision — искусственное зрение, техниче-
ское зрение — см. computer vision.
automated vision system — автоматизированная
система машинного зрения — см. vision system.
automatic vehicle identification (AVI) — автома-
тическая идентификация автомобиля; автома-
тическое распознавание номерных знаков авто-
мобилей # одно из массовых применений СТЗ.
Синоним — automatic number-plate recognition
(ANPR).
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
bio-inspired vision sensor — видеодатчик, по-
строенный по принципам (по образу и подо-
бию) [соответствующих] биологических струк-
тур # элемент системы технического зрения,
функционально приближающийся к естествен-
ным биологическим органам зрения, похо-
жий на сетчатку, сетчатую оболочку глаза (по-
этому синонимы — retina, retinal camera, silicon
retina). Такие датчики моделируют работу кле-
ток сетчатки глаза, которые взаимодействуют
друг с другом и предварительно обрабатыва-
ют визуальную информацию, прежде чем пере-
дать её (без избыточности) через зрительный
нерв мозгу. По сути сетчатка имеет архитектуру
массового параллелизма, может вычислять про-
странственно-временные параметры визуаль-
ной сцены и передавать их мозгу — постоянно,
но с возможными резкими скачками производи-
тельности при необходимости. Благодаря этому
биологические системы обладают в принципе
более высоким быстродействием, чем традици-
онные видеодатчики, быстродействие которых
ограничивается скоростью передачи кадров (см.
также vision sensor).
close-range camera — фото- или видеокаме-
ра ближнего действия # применяется, в частно-
сти, в системе технического зрения (СТЗ) робо-
та; предназначается для работы на расстояниях
от долей миллиметра до примерно метра (см.
также vision system).
combined vision system — комбинированная сис-
тема технического зрения # сочетание бортовых
авиационных систем улучшенного технического
зрения и синтетического видения; более эффек-
тивная и функциональная система, чем каждая
из составляющих (см. также enhanced vision sys-
tem, synthetic vision system, vision system).
computer vision (также computational vision,
CV) — компьютерное зрение, машинное зрение,
техническое зрение # научная дисциплина, об-
ласть техники и направление искусственного ин-
теллекта (ИИ), занимающееся компьютерной
обработкой, распознаванием, анализом и клас-
сификацией динамических изображений реаль-
ной действительности. Широко применяется
в системах видеонаблюдения, в робототехнике
и в современной промышленности для повыше-
ния качества продукции и эффективности произ-
водства, выполнения требований законодатель-
ства и др. Синонимы — artificial vision, machine
vision (см. также AI technology, computer vision al-
ДЕКАБРЬ 2019 71
gorithm, computer vision software, computer vision
system, image processing, image understanding, in-
dustrial machine vision, machine vision system, ro-
bot vision, scene analysis, visual tracking).
computer vision algorithm — алгоритм для сис-
тем компьютерного зрения # большой класс ал-
горитмов обработки изображений для систем
компьютерного зрения (см. также computer vision
system).
computer vision software — ПО машинного (ком-
пьютерного, технического) зрения — см. comput-
er vision.
computer vision system — система машинно-
го (компьютерного, технического) зрения — см.
computer vision.
digital processor array — матрица (массив) циф-
ровых процессоров # например, программиру-
емый набор процессоров на однокристальном
многоэлементном датчике изображения (image
sensor array); интеграция датчиков и процессо-
ров расширяет функциональные возможности,
повышает эффективность и качество форми-
рования изображений, увеличивает скорость
их считывания (вывода) — устраняя свойствен-
ное обычным системам узкое место, связан-
ное с последовательным выводом изображения.
Это быстрое, компактное и экономичное реше-
ние задач в таких областях, как визуальный кон-
троль в производстве, оптическое распознава-
ние символов и техническое зрение роботов (см.
также robot vision).
digital topology — цифровая топология # час-
то рассматривается как часть цифровой геомет-
рии (digital geometry); изучает свойства и харак-
теристики двумерных и трёхмерных цифровых
изображений (образов), по топологическим
свойствам и характеристикам соответствую-
щих реальным объектам. Наряду с теорией гра-
фов (graph theory) цифровая топология игра-
ет важную роль в развитии машинного зрения
(computer vision), распознавания образов (pattern
recognition) и смежных областей.
dynamic vision sensor (DVS) — динамический ви-
деодатчик, динамический видеосенсор # стро-
ится по принципам биоструктур; может исполь-
зоваться как аппарат для фотографирования
сетчатки глаза (глазного дна, retina) или как ка-
мера регистрации событий (event camera).
72 COMPUTER VISION / ТЕХНОЛОГИИ
eye tracking (также eye-tracking tech, eye
tracking technology) — слежение за положени-
ем глаз или зрачков; слежение за точкой фоку-
са зрачков/глаз [человека] # технология измере-
ния и анализа направления взгляда, положений
и/или движений глаз человека — например,
при помощи видеоизображений (с выделени-
ем положений глаз) или электроокулографии
(electrooculography, EOG/E.O.G.) и электроокуло-
грамм (electrooculogram), которые представля-
ют собой результат измерения разности потен-
циалов между роговицей (cornea) и сетчаткой
(retina) глаза (corneo-retinal potential difference,
CRP). Движения глаз могут быть произвольны-
ми и непроизвольными, они служат для того, что-
бы воспринимать, фиксировать и отслеживать
визуальные стимулы, или зрительные раздражи-
тели (visual stimulus). Эта технология может при-
меняться при построении систем техническо-
го зрения (СТЗ, vision system), при разработке
веб-сайтов (она позволяет определять, как поль-
зователь выбирает взглядом точки, или участки,
экрана, — и благодаря этому создавать эффек-
тивный дизайн сайта) и др.
embedded vision — системы встроенного [ком-
пьютерного] зрения # методы и средства ма-
шинного, искусственного, компьютерного, тех-
нического зрения (computer vision, artificial vision,
machine vision). Работы в этой области ведут-
ся постоянно, эти системы совершенствуются
по мере развития компьютерных и сопутствую-
щих технологий, а в последние десятилетия, бла-
годаря появлению очень мощных, недорогих
и энергоэффективных процессоров, они нача-
ли активно внедряться в машины и роботы с ис-
кусственным интеллектом (ИИ), в мобильные
устройства, персональные компьютеры, облач-
ные инфраструктуры и др., помогая им визуально
ориентироваться в окружающей среде и решать
другие задачи. Например, automotive embedded
vision application — встроенное автомобильное
приложение машинного зрения (см. также Em-
bedded Vision Alliance, vision-enabled product).
Embedded Vision Alliance — Союз по системам
встроенного зрения # главная цель этого Союза
заключается в том, чтобы способствовать практи-
ческому внедрению методов и средств машинно-
го, искусственного, компьютерного, техническо-
го зрения (computer vision, artificial vision, machine
vision) при создании новых аппаратных и про-
граммных продуктов. В числе компаний, вхо-
дящих в Союз по системам встроенного зрения
в качестве технологических членов (Technology
Member), — разработчики и поставщики микро-
схем технического зрения, датчиков, алгоритмов,
программ, инструментариев, подсистем или сер-
висов этой категории. Создатели продуктов с ви-
зуальным интеллектом и разработчики, вклю-
чающие средства машинного зрения в новые
и существующие системы и приложения, входят
в Союз в качестве членов, предоставляющих тех-
нические решения (Solutions Member). Все чле-
ны Союза получают такие преимущества, как
доступ к новой информации, знакомство с нова-
торскими технологиями, деловые контакты с но-
выми партнёрами, стартапами и др. Союз пред-
лагает также специальную программу ускорения
Vision Accelerator Program, предусматривающую
консультации экспертов, организацию конфиден-
циальных переговоров с нужными поставщиками
и партнёрами, чтобы новаторские решения и про-
дукты быстрее выходили на рынок (см. также em-
bedded vision, www.embedded-vision.com).
event camera — камера регистрации событий #
разновидность динамического видеодатчика
(видеосенсора); вместо покадровой парадигмы
(frame-based paradigm), принятой у стандартных,
традиционных камер, использует заимствован-
ный у биоструктур подход — независимое и асин-
хронное измерение изменений яркости отдель-
ных пикселов изображения. Это сулит громадные
перспективы для систем технического зрения ре-
ального времени, для создания более эффектив-
ных алгоритмов, для резкого уменьшения необ-
ходимой пропускной способности при передаче
стандартного видеопотока (вместо десятков
и более мегабайт в секунду для передачи сжатых
данных достаточно десятков или сотен килобайт
в секунду). Синоним — silicon retina.
face recognition (также facial recognition) — рас-
познавание лиц, распознавание по лицу # один
из способов биометрической идентификации лич-
ности — способность системы технического зре-
ния (СТЗ) распознавать (опознавать) людей по изо-
бражению лица. Такая система должна различать
человека независимо от цвета загара, измене-
ния причёски и т. п. Методы и средства распозна-
вания лиц широко применяются для обеспечения
общественной безопасности, для борьбы с тер-
роризмом (например, для идентификации макси-
мального числа авиапассажиров, поднимающих-
ся в самолёт по посадочному трапу), в социальных
сетях, поисковых системах и т. п. (см. также face
detection, face recognition system, face tracking).
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
face recognition system (FRS) — система рас-
познавания лиц, СРЛ # название класса систем
для биометрической идентификации личности
(biometric identification, facial biometrics). Такие
системы классифицируются по нескольким па-
раметрам: а) по признаку вовлеченности людей
в процесс распознавания: кооперативные СРЛ —
когда человек сотрудничает с системой, смотрит
в объектив камеры распознавания, и некоопера-
тивные, когда человек не позирует перед каме-
рой специально или даже пытается скрыть своё
лицо; б) по алгоритму распознавания; в) по плат-
форме, на которой СРЛ могут быть запуще-
ны: на клиент-серверной архитектуре, в облаке,
на мобильных и встраиваемых устройствах. Раз-
личаются также 2D- и 3D-системы (см. также face
recognition).
facial recognition — см. face recognition.
facial recognition accuracy — точность распозна-
вания по лицу — см. face recognition.
facial recognition database — БД системы распоз-
навания лиц — см. face recognition.
facial recognition technology — технология рас-
познавания лиц — см. face recognition.
feature recognition — выделение признаков [изо-
бражения], распознавание значащих компонен-
тов изображения # обработка двоичных данных,
представляющих изображение, с целью обна-
ружения в нём геометрических фигур (линий,
окружностей, дуг и т. п.). Синоним — feature ex-
traction (см. также image processing).
field of view (также field-of-view, field of vision,
field-of-vision, FOV) — поле зрения # диапазон
углов, в котором, например, многоэлементный
датчик (сенсорная матрица) системы формирова-
ния изображений объектов (системы техническо-
го зрения, СТЗ) способен воспринимать падаю-
щие лучи света. Поле зрения может разбиваться
на горизонтальную и вертикальную составляю-
щие, обозначаемые HFOV (horizontal FOV) и VFOV
(vertical FOV) соответственно.
gesture control (также video gesture control) —
[бесконтактное] управление жестами (при по-
мощи жестов) # реализуется с использованием
2D- и 3D-видеокамер и специального ПО (см.
также 3D-vision gesture control system, gesture
recognition).
ДЕКАБРЬ 2019 73
gesture-controlled — управляемый жестами #
например, gesture-controlled TV — телевизор (те-
левидение) с управлением жестами (см. также
gesture control).
gesture controlled interaction (также gesture-
controlled interaction, gesture-controlled interface) —
взаимодействие (интерфейс) на основе распоз-
навания [управляющих] жестов # в технологии
распознавания жестов (см. также gesture recognition).
gesture control software — ПО для управления
жестами (при помощи жестов) # в технологии
распознавания [управляющих] жестов пользова-
теля (см. также gesture-recognition software).
gesture data — данные жеста (жестов) # 1. в тех-
нологии распознавания [управляющих] же-
стов пользователя — формируются при помощи
специального ПО и сохраняются в библиотеке
системы слежения за жестами как своего рода
эталонные данные; 2. данные отслеживания кон-
кретного жеста пользователя (см. также gesture
database, gesture recognition).
gesture database — база данных жестов, БД же-
стов # БД системы распознавания жестов, со-
держащая необходимую информацию о набо-
ре командных жестов — описание траектории,
ориентацию, ускорения, угловые скорости и т. п.
для каждого из жестов, записанных в различных
вариантах (для этого привлекались люди разного
пола и возраста), (см. также gesture data).
gesture recognition — распознавание [управляю-
щих] жестов [пользователя] # техника «бесконтакт-
ного» ввода в компьютер (в игровую систему, ин-
теллектуальный телевизор и т. п.) команд-жестов,
в качестве которых могут служить положения и дви-
жения (перемещения) головы, корпуса, рук, паль-
цев пользователя. Например, gesture-recognition
technology — технология распознавания жестов.
Предусматривает применение специальных аппа-
ратных и программных средств и 3D-видеокамер
(см. также 3D camera, 3D depth sensor, gesture control,
gesture controlled interaction, gesture data, gesture-rec-
ognition hardware, gesture-recognition software, image
processing).
gesture recognition algorithm — алгоритм распоз-
навания [управляющих] жестов (поз, движений)
пользователя (оператора) # в технологии распоз-
навания [управляющих] жестов — работает со-
вместно с алгоритмом (алгоритмами) слежения
(tracking algorithm) (см. также gesture recognition).
74 COMPUTER VISION / ТЕХНОЛОГИИ
gesture-recognition hardware — аппарату-
ра для распознавания [управляющих] жестов #
в технологии компьютерного распознавания же-
стов (см. также 3D camera, 3D depth sensor, ges-
ture recognition).
gesture-recognition software — ПО для распоз-
навания жестов # в технологии компьютерного
распознавания [управляющих] жестов (см. также
gesture recognition).
gesture research — изучение (исследование) же-
стов # см. также gesture recognition.
human vision — человеческое зрение, обычное
зрение # в отличие от машинного зрения (com-
puter vision), гораздо лучше справляется с каче-
ственной интерпретацией сложных, неструкту-
рированных сцен.
image analysis — анализ изображений # об-
ласть, находящаяся между обработкой изобра-
жений (image processing) и машинным зрением
(computer vision); занимается идентификацией
объектов на введённом в компьютер изображе-
нии (фотографии или движущемся видео). Опе-
рации анализа изображений образуют три ос-
новных класса: сегментация изображения (image
segmentation), выделение признаков (feature ex-
traction) и классификация объектов (object classi-
fication). Требует высокой вычислительной мощ-
ности и сложных алгоритмов. Например, image
analysis methods — методы анализа изображений.
Синоним — image understanding (см. также AI, im-
age recognition).
image processing (также IP, digital image
processing) — обработка изображений # 1. об-
ласть прикладных научных исследований, свя-
занных с анализом и обработкой цифровых изо-
бражений. Чётких границ между обработкой
изображений, анализом изображений (image
analysis) и техническим зрением (computer vi-
sion) нет; 2. любые комплексные программные и/
или аппаратные операции по компьютерной об-
работке (преобразованию) изображений, нап-
ример повышение чёткости, коррекция цветов,
сглаживание, уменьшение шумов и т. д. Сино-
ним — picture processing (см. также image recogni-
tion, image understanding).
image recognition — распознавание изобра-
жений # идентификация объектов на введён-
ном в компьютер изображении. Этот процесс
начинается с обработки изображения, удале-
ния шума, выделения линий, контуров и об-
ластей текстур. Распознавание изображений
традиционно относится к задачам искусствен-
ного интеллекта. Частичные синонимы — image
identification, pattern recognition (см. также AI,
image processing).
image understanding — понимание изображений
# в ИИ — направление работ в области компью-
терного зрения (см. также computer vision, image
analysis, image processing).
industrial machine vision — промышленное ма-
шинное (техническое) зрение # служит для ав-
томатизированной сборки и контроля изделий
(см. также computer vision, machine vision in-
spection).
machine vision — машинное зрение; компьютер-
ное зрение; техническое зрение; искусствен-
ное зрение # научное направление и технология
ИИ — системы, которые захватывают, обрабаты-
вают и анализируют визуальную информацию
с использованием фото- и видеокамер, анало-
го-цифровых преобразователей (АЦП) и циф-
ровых процессоров сигналов (ЦПС). Машинное
зрение часто сравнивают с человеческим, одна-
ко для него не существует биологических огра-
ничений — например, машину можно запрограм-
мировать так, чтобы видеть объекты в других
диапазонах электромагнитного излучения. Ма-
шинное зрение применяется в самых разных об-
ластях, от идентификации подписей (signature
identification) до анализа изображений в меди-
цине (см. также AI technology, camera, comput-
er vision).
machine vision controller — контроллер системы
машинного зрения # см. также machine vision.
machine vision inspection — контроль с помощью
машинного зрения # технический визуальный
контроль качества изделий в производстве (см.
также computer vision, industrial machine vision, vi-
sual inspection).
machine vision system (также machine-vision
system) — система машинного зрения, СМЗ #
в робототехнике — обеспечивает обработку изо-
бражения окружающей местности путём распоз-
навания образов и их анализа (см. также machine
vision, vision system).
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
multi-sensor fusion (также multisensor image
fusion) — совместная корреляционная обра-
ботка мультисенсорных данных изображений
# в системе технического зрения — процесс
(технология) комбинирования соответствую-
щей информации двух или более изображений
с получением единого изображения, более ин-
формативного, чем любое из исходных. Напри-
мер, формирование трёхмерных изображений
на основе данных, поступающих от многих дат-
чиков. Подобная технология строится на осно-
ве различных алгоритмов и применяется, в част-
ности, в дистанционном зондировании (remote
sensing), в спутниковой фотосъёмке (satellite im-
aging) и др.
neuromorphic engineering — нейроморфическая
инженерия # использование принципов построе-
ния биологических нервных систем при констру-
ировании микросхем; концепция, предложенная
Карвером Мидом (Carver Mead) в конце 1980-х гг.
с целью создания искусственных нейронов, СБИС
и систем, копирующих архитектуры нервных сис-
тем биологических объектов. Нейроморфиче-
ская инженерия — сравнительно новое междис-
циплинарное направление, в котором сочетаются
принципы, методы и средства биологии, физи-
ки, математики, компьютерных наук и инжене-
рии, что позволяет разрабатывать искусственные
нейронные системы, например системы техни-
ческого (машинного) зрения, СТЗ (vision system),
слуховые процессоры (auditory processor), авто-
номные роботы (autonomous robot) и др. Сино-
ним — neuromorphic computing.
object classification — классификация объектов
# класс методов, используемых в анализе и рас-
познавании изображений. Синоним — object
categorization (см. также computer vision, image
analysis).
object recognition — распознавание предметов,
распознавание объектов # подмножество более
широкого понятия — «распознавание образов»
(pattern recognition, PR). Например, touchscreen
object recognition — распознавание объектов
на сенсорном экране.
obstacle detection — обнаружение препятствий #
в робототехнике и в современных умных автомо-
билях; например, vision-based obstacle detection
and avoidance — обнаружение препятствий визу-
альными средствами и предотвращение столкно-
вений (collision avoidance).
ДЕКАБРЬ 2019 75
OpenCV — Open Computer Vision — библиоте-
ка OpenCV # библиотека с открытым исходным
кодом, предоставляющая набор типов данных
и численных алгоритмов для обработки изобра-
жений в системах компьютерного зрения ро-
ботов. Реализована на языках C/C++ (см. также
computer vision).
photosensing RFID — светочувствительная элек-
тронная метка # гибридная пассивная беспро-
водная радиометка, содержащая светочув-
ствительный элемент (photosensing device), что
упрощает определение её местонахождения
при помощи кодированного освещения. Такое
расширение функциональности обычных ради-
ометок позволило использовать их для работы
с геометрической информацией, для радиоча-
стотной идентификации геометрии трёхмерных
объектов (см. RFIG). Светочувствительные ради-
ометки могут найти применение в системах ма-
шинного зрения (computer vision), компьютерной
графики, для распознавания и обработки изо-
бражений, даже в качестве имплантатов сетчат-
ки (retinal implant) для восстановления зрения
слепых.
position verification — контроль положения # нап-
ример, контроль положения (position) и ориента-
ции обрабатываемой детали (work piece). Одна
из типовых задач машинного зрения в промыш-
ленной робототехнике (см. также machine vision).
recognition — распознавание; узнавание; опо-
знавание # способность системы обнаружи-
вать в потоке данных, поступающих от датчи-
ков или из других источников, определённые
объекты, процессы и закономерности. Возмож-
ность распознавания опирается на схожесть од-
нотипных объектов по тому или иному признаку
(feature). Например, распознавание лиц по био-
метрическим признакам и др. Распознавание
тесно связано с классификацией (см. также face
recognition, image recognition, recognition accuracy,
recognition method, recognition performance).
recognition accuracy — точность (правильность,
достоверность) распознавания # количествен-
ный показатель, характеризующий качество про-
граммы распознавания лиц, образов, объектов
и др. (см. также recognition).
recognition method — метод распознавания # см.
также recognition.
76 COMPUTER VISION / ТЕХНОЛОГИИ
recognition performance — скорость (эффектив-
ность) распознавания # 1. время, затрачиваемое
системой на распознавание объекта; 2. число
объектов, распознанных за единицу времени (см.
также recognition accuracy).
RFIG — radio frequency identity and geometry — ра-
диочастотная идентификация геометрии [трёх-
мерных] объектов, технология RFIG # при-
менение светочувствительных радиометок
(photosensing RFID) для распознавания [трёхмер-
ных] объектов (tagged object) средствами ком-
пьютерного зрения (computer vision).
robust algorithm — робастный алгоритм, надёж-
ный алгоритм # в системах технического зрения
(СТЗ) — алгоритмы, которые обладают устойчи-
востью к значительным искажениям и меняю-
щимся условиям получения видеоизображения
(см. также computer vision).
robot vision — [техническое] зрение робота # см.
также computer vision, vision-guided robot.
satellite imaging — спутниковая фотосъёмка # см.
также computer vision.
scene analysis — анализ сцен # в ИИ — направле-
ние работ в области компьютерного зрения (см.
также computer vision, image understanding).
scene understanding (также visual scene
understanding, scene understanding
technology) — понимание [визуальных] сцен, ин-
терпретация сцен, понимание окружающей об-
становки # направление научных исследований
в области ИИ и технология распознавания, ко-
торые должны позволить машине (роботу) вос-
принять трёхмерное изображение своего окру-
жения и, подобно человеку, оценить текущую
ситуацию для принятия решений и выполнения
определённых действий. Благодаря этой техно-
логии появилось много новых приложений и но-
ваторских продуктов, например движки поиска
изображений (image search engine), беспилот-
ные автомобили (autonomous car), вычислитель-
ная фотография (computational photography),
графика на базе систем технического зрения,
СТЗ (vision for graphics), улуч-шенные интер-
фейсы человеко-машинного взаимодействия
(human-machine interface) и др.
sensor array — матрица (массив) датчиков, матри-
ца чувствительных элементов; сенсорная матри-
ца # набор (обычно одинаковых) датчиков, сен-
соров (sensor), организованных в регулярную
структуру. Такие матрицы применяются при кон-
троле промышленной продукции, оптическом
распознавании символов (OCR) и в системах тех-
нического зрения (СТЗ) роботов. Синонимы — 2-D
sensor array, multisensor array (см. также vision
system).
stereoscopic viewing — стереоскопическое пред-
ставление (отображение); стереоскопическое
зрение # современное направление в развитии
машинного зрения (см. также computer vision, ste-
reoscopy).
stereoscopy — стереоскопия, стереоскопич-
ность # технология, предусматривающая созда-
ние полной иллюзии трёхмерного изображения
(пространства) при использовании двух снимков
(картинок), сделанных под слегка различающи-
мися углами, и стереоскопа; стереоскопические
системы были популярны в прошлом веке, а сей-
час эта технология служит одним из базовых
компонентов виртуальной реальности (см. также
stereoscopic viewing).
synthetic vision system (также SVS, synthetic
flight vision system, SFVS) — [бортовая ави-
ационная] система синтетического виде-
ния # в авиации — бортовая система (airborne
system) компьютерной обработки данных реаль-
ных условий, относящихся к полёту самолёта,
для их отображения в формате 3D, чтобы пило-
ты могли чётко и ясно понимать картину и об-
становку полёта. Эта система была разработана
НАСА и ВВС США в 1970-80-х гг., а в 1990-х го-
дах стала частью программы обеспечения безо-
пасности в авиации (см. также combined vision
system, vision system).
viewing angle (также view angle) — угол наблю-
дения, угол зрения # в системах распознавания
образов и СТЗ — угол, под которым виден (на-
блюдается) искомый объект. Разные углы на-
блюдения существенно затрудняют для сис-
темы задачу обнаружения и распознавания
объекта в реальных условиях, в то время как
мозг человека легко справляется с подобными
задачами (см. также brain-inspired vision system,
vision system).
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
vision — 1. зрение; зрительное восприятие; тех-
ническое зрение # синонимы — eyesight, sight
(см. также computer vision, human vision, vision al-
gorithm, vision-enabled product, vision-guided ro-
bot, vision sensor, vision signal, vision system, visu-
al tracking);
2. вид, зрелище, сцена;
4. взгляд;
5. изображение; видение, [зрительный] образ.
vision algorithm — 1. (также visualization
algorithm) — алгоритм визуализации;
2. алгоритм машинного (технического) зрения #
см. также vision.
vision-based road detection — распознавание до-
роги с помощью СТЗ (системы технического зре-
ния) # см. также vision algorithm, vision-guided ro-
bot.
vision-enabled product (также vision enabled
product) — продукт со средствами (возможностя-
ми) технического (компьютерного, искусствен-
ного, машинного) зрения # например, vision-
enabled robot — робот с искусственным зрением;
vision-enabled mobile terminal — мобильный
терминал с техническим зрением; 3D vision
enabled — с объёмным машинным зрением (см.
также computer vision, embedded vision, enabled,
vision).
vision guided (также vision-guided) — с визуаль-
ным контролем # в робототехнике — о системе
управления, корректирующей траекторию пе-
ремещения (движения) робота по входным сиг-
налам (данным), которые поступают от системы
технического зрения (СТЗ) (см. также vision-
guided robot, vision system).
vision-guided robot — робот с видеоуправлени-
ем; робот с искусственным зрением; робот с си-
стемой технического зрения, робот с СТЗ # сино-
ним — visually-guided robot (см. также vision-based
road detection, vision system).
vision sensor — видеодатчик, видеосенсор, дат-
чик [системы] технического зрения # прибор, по-
зволяющий определять в виде оптического изо-
бражения форму, местоположение, ориентацию
и/или размеры объекта, возможно с использова-
нием обратной связи (feedback) (см. также vision
system).
ДЕКАБРЬ 2019 77
vision signal — зрительный сигнал; визуальный,
оптический сигнал; видеосигнал (videosignal).
vision system — система технического (машинно-
го, компьютерного, искусственного) зрения, СТЗ
# например, multi-camera vision system — много-
камерная СТЗ; embedded vision system — встро-
енная СТЗ. Синонимы — machine vision system,
vision-based system (см. также 3D vision system,
computer vision, enhanced vision system, sensor ar-
ray, synthetic vision system, vision-based road detec-
tion, vision guided, vision-guided robot, vision sen-
sor).
visual search — зрительный поиск, визуальный
поиск # поиск [объектов], осуществляемый че-
ловеком визуально, путём осмотра (просмотра)
сцены, картины, фотоснимка или компьютером
(роботом) с помощью средств машинного зрения
(см. также computer vision).
visual tracking — визуальное слежение # 1. в тех-
ническом зрении робота — постоянная локали-
зация (определение местоположения) заданного
элемента изображения каждого объекта в после-
довательности входных данных (multi-element
visual tracking). Эта проблема обычно усложняет-
ся из-за шумов датчиков, движений в сцене, пе-
ремещений наблюдателя, ограничений реаль-
ного времени (real-time constraints) — особенно
в случае необходимости следить за нескольки-
ми объектами одновременно (см. также comput-
er vision); 2. в человеко-машинном интерфейсе
(human-machine interface) — распознавание лица
человека для установления его идентичности
(см. также face recognition).
 Разметка
данных для ML
Для настройки и валидации алгоритмов машинного обучения необходимы
качественные данные, на которых эти алгоритмы будут обучаться. Чем
сложнее становятся технологии искусственного интеллекта, тем больший
объем данных требуется, чтобы научить алгоритмы работать без людей
и лучше людей. Зачастую эти данные можно получить только за счёт

5 млн
разметки человеком.

Краудсорсинг (от англ. crowd — толпа) — один из эффективных способов

≥
зарегистрированных
решения этой задачи. Вместо того, чтобы тратить время штатных
исполнителей
специалистов, или искать подходящий датасет в открытом доступе,

500
разметку данных можно поручить облаку исполнителей.

Яндекс.Толока — одна из крупнейших в мире краудсорсинговых платформ,

≥
активных проектов
воспользоваться которой может любой ML-специалист или компания.
ежедневно

7 млн
В Толоке есть готовые шаблоны для наиболее популярных типов заданий:
категоризация данных любых типов, попарное сравнение объектов,
расшифровка данных с изображений и аудиозаписей, поиск информации
≥
выполненных заданий
в интернете и выделение объектов на фотографиях. Все шаблоны
ежедневно
можно легко адаптировать для решения конкретной задачи или создать
уникальный сценарий.
Реальные кейсы*

ЗАДАНИЕ ОБЪЕМ СКОРОСТЬ ВЫПОЛНЕНИЯ ЦЕНА

Попарное сравнение 1000 пар объектов ≈ 30 минут 3–5 $

объектов любого типа

Бинарная 100 объектов

≈ 10 минут до 1$
классификация любого типа

Категоризация объектов 1000 объектов ≈ 15 минут 1–2 $

по 5 категориям любого типа

Расшифровка 60 минут ≈ 40 минут 10 $

аудиозаписей аудиозаписей

В числе заказчиков Толоки не только команды

Яндекса, но и крупные компании — Авито, Озон
Рамблер, Тинькофф Банк и другие, а также
независимые исследователи и аналитики.

В апреле Яндекс запустил программу

сертификации партнеров Толоки. Партнерами
стали компании и специалисты, которые имеют
большой опыт работы с данными и используют
в своей работе технологии краудсорсинга.

*
Сроки и цены указаны ориентировочно и могут отличатся
в зависимости от конкретного задания заказчика.
Применения

03
3.1. Применение CV в Интернете и IT

3.2. Финансы и страхование

3.3. Промышленность и логистика

3.4. Новые глаза для умного города

3.5. Применение компьютерного зрения

в ритейле

3.6. Компьютерное зрение в медицине

3.7. Государство и безопасность

80 COMPUTER VISION / ПРИМЕНЕНИЯ
Сигалов Сергей
Директор продукта Vision, Mail.ru Group
3.1. Применение CV
в Интернете и IT
Технологии не стоят на месте и все чаще находят прикладное
применение в сфере IT, компьютерное зрение не исключение
и применяется как правило там, где требуется обработка большого
количества данных.
Объем рынка Computer Vision растет и к 2023 г.
должен составить 25,32 миллиарда долларов.
Взрывной рост ожидается на территории APAC,
что подкрепляется растущими инвестициями.[130]
Рынок России также имеет тенденцию роста
к концу 2023 г. может вырасти по отношение
к 2018 в 4,8 раз, что составит 38 млрд ₽ [131].
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
На свет появляются интересные решения на сты-
ке технологий, к примеру синергия технологий
computer vision и предиктивной аналитики от-
крывает дополнительные возможности аналити-
ки посетителей и получения аудиторных инсай-
дов. Совместное использование этих технологий
позволяет анализировать популяционные харак-
теристики аудиторных сегментов, которые опи-
сывают социально-демографическую структуру
зарегистрированных с помощью компьютерно-
го зрения посетителей, и их Life-style профиль.
На основе полученной информации можно де-
лать глубокие маркетинговые исследования, сег-
ментировать аудиторию посетителей в оффлай-
не, оценивать RFM-сегменты с точки зрения
различия их краткосрочных интересов, прогно-
зировать повторные посещения, отток и вектор
коммерческих интересов посетителей.
КОМПЬЮТЕРНОЕ ЗРЕНИЕ И ОБРАБОТКА
ИЗОБРАЖЕНИЙ
Программисты исследователи в последнее время
активно создают различные типы развлекатель-
ных решений по обработке изображений.
|| Приложения с использованием технологии
Style Transfer, которые предоставляют поль-
зователям возможность прямо в приложении
стилизовать свою фотографию одним. Сре-
ди популярных приложений можно отметить
Ключевые игроки на этом рынке сосредоточе- Prisma, Artisto, Vinci.
ны на стратегическом партнерстве и сотрудниче-
|| Обработка изображений при помощи метода
стве, приобретениях и выпусках новых продук-
Deepfake позволяет посредством нейронной
тов для увеличения доходов. Ярким примером
сети конвертировать реальные изображения
является подписанное 9 ноября 2019 г. соглаше-
в скрытое пространство, тем самым открывая
ние об альянсе Mail.ru Group, Сбербанк, Яндекс,
параллельную вселенную. Пример с поворо-
Газпром нефть, МТС и РФПИ с целью реализации
том лица Моны Лизы [133]:
национальной стратегии развития искусственно-
го интеллекта.[132]
Al in Computer Vision
Market, by Region, 2023
(USD Billion)
Source: MarketsandMarkets
Analysis
ДЕКАБРЬ 2019 81
Нашумевшее видео Джима Мескимена, где ак-
тер, читая стихотворение, за 2 мин перево-
плотился в 20 знаменитостей. За две минуты
ролика Джим превращается в Арнольда Швар-
ценеггера, Робина Уильямса, Джорджа Клуни,
Моргана Фримена и даже произносит несколь-
ко строк в образе бывшего президента США. [134]
|| Большой популярностью пользуются прило-
жения смена пола, возраста, прически, маки-
яж. Для примера 9 июля 2019 г. начался ажи-
отаж вокруг приложения FaceApp, созданного
российским разработчиком Ярославом Гонча-
ровым. По данным аналитической компании
App Annie за десять дней, пользователи, уста-
новили приложение 6,5 млн раз — 2 млн раз
на iPhone и 4,5 млн раз на Android. Например,
17 июля FaceApp скачали 1,6 млн раз, а по-
пулярный Instagram — чуть более миллиона
раз. Приложение, позволяющее «состарить»
пользователя, попало в 50 самых популяр-
ных приложений в Ботсване и ЮАР, а через
несколько дней заняло первые места в топах
App Store и Google Play в России, США и дру-
гих странах. [135]
АНТИСПАМ И КОМПЬЮТЕРНОЕ ЗРЕНИЕ
Разумеется компьютерное зрение активно ис-
пользуется в Security & Integrity подразделени-
ях и помогает справляться с различным неже-
лательным UGC-контентом в продуктах крупных
IT-компаний, таких как Google, Facebook, Mail.ru
Group, Yandex. В связи со все нарастающим уве-
личением доли фото и видео-контента в комму-
никационных и развлекательных сервисах мо-
дели, умеющие определять смысловое послание
на основе визуальной составляющей, становятся
неотъемлемой частью систем защиты.
Наиболее частой используемой технологии зре-
ния в Integrity является OCR или автоматическое
распознавание текста с изображения, ввиду про-
стоты генерации фото текста со стороны злоу-
мышленников.
82 COMPUTER VISION / ПРИМЕНЕНИЯ
Google помимо проверки на спам писем в Gmail
использует OCR для улучшения категоризации
своих писем, в частности писем-скидок [136].
Facebook в 2019 г. в рамках своей стратегии [137]
по защите пользователей от нежелательного кон-
тента доложил об активном использовании NLP
и CV в рамках единой модели для классификации
такого контента, технологии CV используются
для понимания смысла и OCR, что помогает ви-
зуально распознавать такие сложные кейсы, как
постеры о продаже наркотиков [138].
В 2018 Mail.ru Group, на свое двадцатилетие По-
чты рассказала об использование распознава-
ния логотипов и визуального оформления письма
для борьбы с мошенническими письмами [139].
ПОИСК И КОМПЬЮТЕРНОЕ ЗРЕНИЕ.
Компьютерное зрение активно применяется
в поиске для выдачи релевантных изображений
и видео. С развитием этой области появились та-
кие алгоритмы как сверточные и сиамские ней-
росети, метрическое обучение и т.д., с помощью
которых машина учится понимать смысл слож-
ных объектов. Это позволяет поисковикам ре-
шать огромный спектр задач: от общего поис-
ка информации в интернете до некоторых более
специфичных проблем, которые представляют
отдельный интерес.
Примерами таких задач могут служить:
|| Поиск друзей по фотографии в социальных се-
тях, что позволяет моментально находить лю-
дей среди десятков миллионов. Для примера
аналогичный функционал реализован в соци-
альной сети Одноклассники, где есть возмож-
ность дружбы по фото. Эта функция решает
проблему дружбы с человеком, который на-
ходится рядом, но вам проблематично найти
его по имени и фамилии через поиск. Для ис-
ключения раскрытия приватности, фотогра-
фирующий не узнает кому отправлен запрос
на дружбу, пока он не подтвердит.
|| Поиск товаров по фото позволяет найти почти
любой товар в интернет-магазине и для это-
го достаточно сделать его фото. Данной тех-
нологией уже успешно пользуется AliExpress,
что делает жизнь потребителей значительно
комфортней, так как для поиска необходимой
вещи необходимо потратить 5-6 секунд.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 83
|| Видеохостинги, например Youtube, приме- В Облаке Mail.ru доступна уникальная функция
няют компьютерное зрение для рекоменда- поиска по достопримечательностям. Данный
ции следующего видео, добавления эффектов функционал уже доступен пользователям
и фильтрации нежелательного контента, та- Облако Mail.ru и других облачных хранилищ
ких как: насилие, порнография и hate speech таких как Google Photo и Yandex Disk.
для улучшения пользовательского UX. Есть
прецеденты, когда рекламодатели разрыва-
ли отношения с YouTube, узнав, что их рекла-
ма показывается рядом с нежелательным кон-
тентом. В последние годы YouTube и другие
технологические компании также привлекли
внимание национальных правительств. Миро-
вые лидеры выразили обеспокоенность по по-
воду способности платформ предоставлять
«safe spaces» для экстремистских групп и тер-
рористических организаций. Данные преце-
денты в том числе являются катализатором
для развития технологий компьютерного зре-
ния. Сьюзен Войжитски Главный исполнитель-
ный директор YouTube считает, что машинное
обучение помогает рецензентам удалять поч-
ти в пять раз больше нежелательного контен-
та, чем они могли раньше. [140]
|| Облачные хранилища при помощи технологий
Computer Vision позволяют упростить работу
с фото и видео контентом для своих пользова-
телей, которые становится все труднее ориен-
тироваться в своих архивах в связи с накопле- Кроме того, алгоритмы компьютерного зре-
нием и постоянным увеличением количества ния используются и в поиске по аудиозаписям
снимаемых фотографий и видео. Во всех для анализа спектрограмм и нахождения похо-
крупных хранилищах есть опции поиска жих композиций. Развитие алгоритмов компью-
на основе технологий распознавания лиц, терного зрения привело к значительному улуч-
также контент автоматически размечается шению качества поиска, однако есть множество
по категориям объектов, сцен с помощью задач как в науке, так и в индустрии, которые
глубоких сверточных сетей, что позволяет еще только предстоит решить.
сделать текстовый поиск по фотографиям.
84 COMPUTER VISION / ПРИМЕНЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 85

Александр Жариков Напомню, что инициатива регулятора требова-
ла дооснащения финансовых организаций необ-
Руководитель группы аналитиков,
ходимыми аппаратно-техническими средствами
Vision Labs
для сбора биометрических персональных данных
клиентов (фотоизображений и голосовых слеп-
ков), изменения процедуры получения согла-
сия на их обработку. Возникшие непредвиденные
CAPEX затраты на инфраструктуру фактически вы-
нудили менеджмент пересмотреть планы по фор-
мированию и развитию направления компьютер-
ного зрения с целью получения бизнес-эффекта.
Этому способствовали возможность переисполь-
зовать аппаратно-технические средства под зада-
чи Единой Биометрической Системы (ЕБС) и нали-
чие собственных баз фотоизображений клиентов,
|| высокая стоимость разработки и внедрения;
|| долгое время окупаемости;
|| завышенные ожидания заказчиков по параме-
трам работы систем CV, а также их себестои-
мости.
Перечисленные факторы справедливы и для фи-
нансовой сферы. Ввиду желания максимизиро-
вать прибыль и снизить риски, финансовые ор-
ганизации охотнее всего находят применение CV
в распознавании текста с изображений, голосо-
вой и лицевой биометрии.
Можно встретить и более оригинальные попытки

3.2. Финансы и страхование

За последние три года применение компьютерного зрения в финансовой
отрасли стало трендом. В мире этому способствует переориентация
финансовых и страховых компаний на диджитал-каналы, появление
комплексных fintech- и insuretech-решений. В России драйверами роста
рынка CV в финансовой отрасли также стали развитие национальной
программы цифровой экономики [142] и инициатива Центрального
Банка РФ по созданию национальной цифровой платформы для сбора,
обработки и хранения биометрических персональных данных [143].
Рис. 1. Регистрация биометрических данных в банке [144]
1 2
которые некоторые банки начали формировать за-
долго до подключения к ЕБС.
В результате на конец 2019 года в России
более 180 банков работают с ЕБС, из них:
|| более 100 банков собирают
и обрабатывают биометрические данные
в отделениях [145];
|| более 30 банков используют биометриче-
ские данные в собственных бизнес-про-
цессах [146].
Однако решение задачи внедрения, масштаби-
рования и тиражирования продуктов, исполь-
зующих биометрию и технологии CV, требует
не только наличия инфраструктуры, но и нако-
пления достаточного количества биометриче-
ских слепков, глубокой проработки методологии
и регламентов обслуживания клиентов, сценари-
ев кооперативного и некооперативного взаимо-
действия с клиентом.
Согласно исследованию TAdviser [147], среди
основных факторов, препятствующих
развитию CV в России, участники рынка
выделяют следующие:
использовать компьютерное зрение. Например,
для получения и обработки информации робота-
ми и дронами , или в приложениях с дополнен-
ной реальностью , которые создаются с целью
получения PR-эффекта и носят, как правило, ин-
формационно-развлекательный характер. К со-
жалению, подобные варианты использования
ориентированы на решение узкого круга задач
в незначительном числе сценариев.
Оценка окупаемости и бизнес-эффекта от вне-
дрения систем компьютерного зрения по-преж-
нему выполняется экспертно. Можно разметить
данные, построить ROC-кривую [148] (рабочая ха-
рактеристика системы) и определить такие харак-
теристики как FAR (False Acceptance Rate) и FRR
(False Rejection Rate) [149], т.е. понять точность ал-
горитмов на конкретном датасете (выборке).
Но для решения задач, сопряженных с финансо-
выми операциями и изменением процесса об-
служивания клиентов, этих метрик явно недоста-
точно. Да и распознавание лиц или каких-либо
атрибутов само по себе не приносит бизнесу поль-
зы. В результате сформировался запрос в готовых
комплексных CV решениях и продуктах, которые
закрывают конкретные потребности с гарантиро-
ванным качеством и временем выполнения опера-
ций при высоких значениях RPS [150] (Requests Per
Second, запросов в секунду).

Приведу реальные примеры из индустрии. Так,

|| несовершенство законодательства в сфере
в 2018-2019 гг. появились сертифицированные
искусственного интеллекта и регуляторные
интеграционные решения для систем контро-
проблемы в РФ;
ля управления доступом (далее — СКУД) и пор-
0 1 2 3 4 5 6 7 8 9 || проблемы безопасности и конфиденциальности; тативные терминалы для организации контроля
9 8 7 6 5 4 3 2 1 0 доступа по биометрическим данным. Обработка
|| недостаточная точность и надёжность систем;
видеопотока, выбор лучшего кадра и наиболь-
5 9 4 7 3 1 8 6 0 2
|| непроработанность ценообразования и биз- шего лица на нём, проверка liveness, извлечение
нес-моделей; и сравнение биометрических слепков могут вы-
3 4
86 COMPUTER VISION / ПРИМЕНЕНИЯ
Рис. 2. Пример применения технологии распознавания
лиц в СКУД
полняться непосредственно на устройстве, что
позволяет добиться результатов, близких к ско-
рости при прикладывании бесконтактной кар-
ты. А интеграция со СКУД повышает удобство
сотрудников (так как отпадает необходимость
носить с собой карту) и снижает риск несанкци-
онированного доступа третьих лиц на охраняе-
мую территорию по скомпрометированным учёт-
ным данным/пропускам.
Другой пример востребованных решений, ис-
пользующих технологии CV — терминалы оплаты,
которые позволяют оплатить покупку «по лицу».
Возможность подтверждения транзакции лицом
в пилотном режиме тестируется в сетевых мага-
зинах [151], пиццериях, кофейнях [152].
Несмотря на общий скепсис,
первые результаты очень
воодушевляют — применение
нескольких liveness-алгоритмов
позволяет свести на нет
большинство спуфинг-атак
и гарантировать безопасное
проведение операции.
Рис. 3. Пример применения технологии распознавания
лиц в терминалах оплаты
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 87
Екатерина Ляпина Сергей Свиридов
Zyfra, Solutions Architect Zyfra, Head of R&D
Рис. 4. Пример применения технологии распознавания
лиц в мобильном приложении банка
Есть и более классические сценарии использова-
3.3. Промышленность
ния решений, основанных на технологии распоз-
навания лиц, в бэкенде, которые интегрированы
и логистика
с ESB или CRM системами финансовых и страхо-
вых организаций и используются в процедурах
KYC [153] (Know Your Customer, «Знай своего клиен­
та»), кредитного скоринга и идентификации
клиентов. Перспективными выглядят и попыт-
ки применения алгоритмов распознавания в бан-
коматах, системах управления очередями и ин-
Компьютерное зрение — в промышленности
теграция с ПО для видеонаблюдения. Всё чаще
финансовые организации используют биометри-
и логистике
ческие данные в качестве дополнительного фак-
тора подтверждения финансово-значимых опе-
раций в удалённых каналах.
Из приведенных примеров видно, что CV реше- Computer Vision (или компьютерное зрение) — это технология,
ния в финансовой сфере уже прошли несколь-
ко фаз и постепенно выходит на плато эффек-
позволяющая компьютерным системам анализировать изображения,
тивности. Непрекращающиеся эксперименты включая видео. Эта область становится по-настоящему популярной
по применению компьютерного зрения напря-
мую влияют на трансформацию банковской
с увеличением доступности данных и алгоритмов их анализа.
и страховой отрасли и позволяют найти опти- Компьютерное зрение необходимо для создания автономных машин,
мальное решение существующим проблемам
бизнеса. Мы ожидаем, что на горизонте 2-3 лет
индустриальных роботов и других сценариев, где требуется та же
повысится точность алгоритмов, произойдут способность к визуальному анализу, которой обладают люди.
изменения в законодательстве, появится боль-
шое количество сервисов и мультивендорных
продуктов, адаптированных под запросы от- Добыча и обработка природных ресурсов стано- шить скачок в этом направлении. Индустрия 4.0
расли, эффект от внедрения которых можно бу- вится все более трудоемким занятием, работать (Industry 4.0) подразумевает переход на полно-
дет оцифровать и оценить. приходится порой в экстремальных условиях. стью автоматизированное цифровое производ-
Что бы мы не делали: добывали уголь или мине- ство, управляемое интеллектуальными система-
ралы на глубине нескольких километров, бури- ми в режиме реального времени при постоянном
ли нефтяные скважины на дне моря или океана, взаимодействии с внешней средой.
мы подвергаем людей серьезному риску. Гораздо
предпочтительнее заменить человеческий труд В основе новой промышленности лежит кон-
в тяжелых условиях машинами. цепция «цифрового двойника», которая состо-
ит в создании математической модели техно-
С помощью искусственного интеллекта (ИИ) логического процесса. Обязательным условием
промышленные предприятия способны совер- для успешной реализации концепции Инду-
88 COMPUTER VISION / ПРИМЕНЕНИЯ
стрии 4.0 является установка датчиков, соби-
рающих данные о процессе и накапливающие
их для последующего анализа. В этом контексте
камеры являются одним из самых дорогих датчи-
ков. Системы видеоаналитики позволяют полу-
чать визуальное представление объектов реаль-
ного мира, обрабатывать и анализировать его,
а результаты затем использовать для решения
прикладных задач.
Использование ИИ в промышленности получает
достаточно большое распространение, начиная
от контроля качества выпускаемой продукции
на производственной линии и заканчивая мони-
торингом безопасности взаимодействия чело-
века и машины. Есть ряд наиболее универсаль-
ных кейсов применения компьютерного зрения
в промышленности.
КОНТРОЛЬ КАЧЕСТВА ВЫПУСКАЕМОЙ
ПРОДУКЦИИ.
При визуальном поиске дефектов людьми ре-
зультаты осмотра в значительной степени зави-
сят от оператора (дефектоскописта), его опыта
и внимательности. Этот достаточно трудоемкий
и долгий процесс имеет закономерные послед-
ствия в виде пропусков или ошибочной класси-
фикации. Компаниям также важно обеспечить
прозрачность процесса и фиксацию результатов
проверок для последующего анализа и модерни-
зации производства.
Чтобы нивелировать человеческий фактор, уве-
личить повторяемость и повысить надежность
контроля, используются системы машинного зре-
ния. Условно их можно разделить на две час-
Пример использования компьютерного зрения для обнаружения брака в металлургии
ти: контроль полуготового материала и осмотр
уже готового продукта в конце производственно-
го цикла. С использованием нейросетей можно
выявлять от 92% до 99% всех дефектов в зави-
симости от задачи, при ложных срабатывани-
ях на уровне 3-4%. Нормальный уровень бра-
ка на разных производствах составляет от 0,5%
до сотых процента. Такие показатели вполне
подходят, чтобы заменить человека, который об-
наруживает эти дефекты.
Пропуск дефекта может нести существенные за-
траты, поэтому индустриальные игроки уже ак-
тивно работают над данным кейсом. Кроме
визуального анализа, есть и другие способы про-
ведения неразрушающего контроля, встречаю-
щиеся, например в сталелитейной промышлен-
ности, такие как ультразвуковой, вихретоковый
и рентгеновский контроль. Помимо традицион-
ных камер, возможно задействовать информа-
цию о температуре поверхности и геометриче-
скую информацию о предмете.
ПРОМЫШЛЕННАЯ БЕЗОПАСНОСТЬ.
Современные системы видеоаналитики мо-
гут выявлять потенциально опасные ситуации
на промышленных предприятиях. Отслеживание
событий по заданным параметрам позволяет ми-
нимизировать число нежелательных инцидентов,
обеспечивать бесперебойную работу оборудо-
вания и снижать риск производственного трав-
матизма. Используя камеры и данные с других
сенсоров на производственной площадке, опе-
раторы могут дать роботам и машинам возмож-
ность совместной безопасной работы.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 89
человека. Такое управление компьютерными си-
стемами и умное распределение задач повышает
общую производительность и увеличивает отда-
чу от использования оборудования.
ЦИФРОВИЗАЦИЯ СТАРОГО ОБОРУДОВАНИЯ
Проблемы сбора данных для последующего ана-
лиза часто связаны с тем, что на многих пред-
приятиях осталось старое, еще советское обо-
рудование. Оснащать его датчиками не всегда
Пример использования решения Zyfra Eye Safety экономически целесообразно. Чтобы оцифровать
на производстве такое оборудование и сэкономить на переосна-
щении, возможно использование компьютерного
зрения для считывания данных с экранов.
Среди основных сценариев работы промышлен-
ной видеоаналитики — контроль наличия средств
индивидуальной защиты (каски, страховочные Одно из самых популярных
тросы, халаты, наушники) и доступа в опасные
зоны. Такие решения автоматические определяют
направлений связанных
нарушения и подают обратный сигнал персоналу, с задачами обработки
тем самым формируя привычку работать безопас-
но. В случае появления человека в опасной зоне
изображений — это проверка
автоматически включится сигнал тревоги. качества готовой продукции.
С помощью видеоаналитики можно также опре-
делить открытый огонь, прорыв трубопровода,
разливы, задымления, выявить факты наруше-
ния целостности ограждений, пронос объектов
за периметр, обнаружить оставленные предме-
ты. Отслеживание курения на площадке или ис-
пользования телефона в определенных местах
(например, на заправочной станции) также ста-
новится возможным.
Другим сценарием использования компьютер-
ного зрения для контроля безопасных условий
труда является мониторинг состояния работаю-
щего персонала и определение усталости. Систе-
ма фиксирует активность работника на предмет Подсчет количества и размера труб на каждом этапе
продуктивности и безопасности, что в итоге дает логистического процесса
возможность улучшить управление процесса-
ми. Такое решение актуально в тех отраслях про-
мышленности, где налажено непрерывное про-
изводство и есть ночные смены.
КОНТРОЛЬ ОПЕРАЦИЙ
Видеоаналитика применяется для мониторин-
га производственных площадей и инфраструк-
туры. Возможности видеоаналитики по опре-
делению и локализации движущихся объектов
и транспортных средств, местоположению обору-
дования и людей, отслеживанию происходящего
на каком-либо участке превосходят возможности
90 COMPUTER VISION / ПРИМЕНЕНИЯ
Горнодобывающая промышленность имеет свою
специфику, и соответственно свои сценарии ис-
пользования компьютерного зрения. Мы наблю-
даем развитие автономных машин, продикто-
ванное необходимостью исключения человека
из опасной среды и появлением новых техноло-
гий. Каждый карьер уникален и работы ведут-
ся при наличии других машин и людей вокруг.
Установленные на роботизированном самосва-
ле лидары помогают выстроить трехмерную кар-
ту сцены движения на расстоянии до 100 метров.
А принципы компьютерного зрения используют-
ся в таком беспилотном транспорте для анализа
происходящего.
Дополнительным эффектом использования та-
ких систем оказалось отсутствие необходимо-
сти разворачивать машину: самосвалы успеш-
но едут на задней передаче. Стратегически все
идет к оркестрированию всего производствен-
ного цикла, включая добычу и погрузку материа-
ла. Функции оператора ограничиваются выдачей
экспертных указаний в начале работы и подстра-
ховкой в особых ситуациях, что позволит обой-
тись одним оператором на 3-5 роботизирован-
ных машин.
Добыча материалов. Стало возможным про-
водить классификацию, подсчет и оценку раз-
мера движущейся руды во время процесса до-
бычи и дробления. Анализ обломков пород
при проведении взрывных работ дает возмож-
ность скорректировать взрывные операции. Та-
кие системы приводят к увеличению продуктив-
ности добычи в среднем на 3-4%. Оптическая
гранулометрия не только обеспечивает пони-
мание результатов работ в реальном времени,
но и дает возможность прогнозировать конеч-
ные результаты добычи. Смежная задача состо-
ит в наблюдении за размером и формой породы
на конвейерных лентах для выявления посто-
ронних предметов в дробильных и просеиваю-
щих установках.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Использование решения Zyfra Fragmentation для оценки
результата взрывных работ
Можно оценивать размер руды, подаваемой в обо-
рудование на последующую переработку. В ре-
зультате появляется возможность автоматически
настраивать машину и контролировать подачу
разных запасов для достижения оптимального ре-
зультата. Системы для автоматического определе-
ния пород в горнодобывающей промышленности,
классифицирующие результат бурения по изобра-
жению, помогают определять состав найденных
минералов быстрее и точнее человека.
Существуют также системы контроля, которые
в режиме реального времени определяют нали-
чие или отсутствие коронок ковша экскавато-
ра. Из-за потери зуба ковша производительность
экскаватора падает примерно на 1.3%, также по-
падание зуба в дробилку может привести к ее по-
вреждению и простою, что эквивалентно $8 000
в час и затратам на поиск и ремонт. Подача зву-
кового сигнала оператору в случае потери и по-
ломки коронки позволяет минимизировать эти
негативные эффекты.
Доступ в опасные зоны с помощью беспилот-
ных летательных аппаратов: компании ис-
пользуют дроны, чтобы следить за своими
активами, контролировать операции, отслежи-
вать ситуацию на карьере и водяных дамбах,
определять протечки в трубной инфраструк-
туре. В горной промышленности существу-
ет решение, позволяющее производить анализ
структуры и состояния заброшенных шахт. Эта
технология упрощает и автоматизирует про-
цесс сбора данных и позволяет операторам
шахт обрабатывать и передавать эти данные
непосредственно в существующее программ-
ное обеспечение для планирования горных ра-
бот. С помощью него инженер-геотехник может
лучше восстановить карту шахты и контролиро-
вать ее состояние.
ДЕКАБРЬ 2019 91
Использование решения Zyfra BucketControl
для контроля наличия зубьев эскалатора
В металлургии у компьютерного зрения есть по-
тенциал использования компьютерного зрения
для контроля качества материалов, определения
микроструктуры и механических свойств и поис-
ка новых материалов с желаемыми характери-
стиками, то есть для целей материаловедения.
Было подтверждено, что машинное обучение
и сегментирование на уровне экспертов превос-
ходно дополняют друг друга, несмотря на незна-
чительные несоответствия в обнаружении не-
больших областей микроструктуры.
Проектирование и разработка материалов обыч-
но занимает несколько десятилетий от пер-
воначального открытия до коммерциализа-
ции. С накоплением данных об экспериментах
компьютерное зрение имеет потенциал в об-
ласти открытия материалов, проектирова-
ния и прогнозирования их свойств. Посколь-
ку на растрескивание стали влияет геометрия
зерен, визуализация разрушений может ис-
пользоваться для определения более точной
корреляции макроскопических механиче-
ских и микроскопических структурных свойств
для прогнозирования путей распространения
трещин.
Определение дефектов в металлургии име-
ет ряд особенностей, среди которых необходи-
мость задействовать дополнительные средства
анализа совместно с традиционными камерами.
Например, использовать информацию по темпе-
ратуре поверхности, когда цветовой анализ мо-
жет выявить уровни загрязнения нежелатель-
ными минералами, а также условия процесса
или реактора. Нейронная сеть была успешно об-
учена распознавать перлит, феррит, мартенсит
и цементит.
92 COMPUTER VISION / ПРИМЕНЕНИЯ
РОБОТЫ
За последние несколько десятилетий захват
и обработка деталей промышленными роботами
практически полностью заменили ручной труд.
Первые модели промышленных роботов пред-
назначались для выполнения простых задач. Ро-
боты и коботы хорошо перекладывают предме-
ты захватами или присосками, распыляют краску,
сгибают проволоку, выполняют точечную сварку
и другие рутинные операции. Современные ро-
боты с визуальной системой способны выполнять
задачи со значительной вариативностью распо-
ложения обрабатываемых деталей.
На производстве они применяются уже доста-
точно давно (например, высокоточные станки
или манипуляторы для сборки машин), но техно-
логии ИИ начали проникать сюда недавно. Эф-
фективные вычисления на GPU для промышлен-
ных приложений — это довольно новая область,
потому что исторически промышленное ком-
пьютерное зрение подразумевает ассортимент
датчиков, а не только данные с камеры. Робо-
ты с системами компьютерного зрения способны
учитывать расположение объектов, анализируя
видеопоток с 3D-камеры и данные от лазеров
и сенсоров. Такой подход позволяет роботам вы-
полнять задачи с высокой точностью и практиче-
ски при любом освещении.
Роботы с компьютерным
зрением требуют меньше
программирования, что
является их несомненным
преимуществом.
Как правило, их нужно настроить только один
раз перед запуском, они также могут беспрепят-
ственно переключаться между задачами прак-
тически без простоев. Из-за большой гибкости
и практически отсутствия необходимости про-
граммирования роботам с машинным зрением
не нужно знать точные параметры деталей, что-
бы выполнять свою работу продуктивно. Спо-
собность робота приспосабливаться к окружаю-
щей среде позволяет ему подбирать, определять
местоположение и работать с деталью в любой
ориентации. Меньшие инвестиции в процессы
настройки оборудования являются также одним
из наиболее очевидных преимуществ.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 93
Складские роботы Amazon Робот Handle от Boston Dynamics
Модели компьютерного зрения используют- Существует уже несколько разновидностей логи-
ся при планировании перемещений робо- стических роботов, а также комплексные реше-
та и для избежания столкновений. Источни- ния автоматизации складов, включающие, в том
Захват вариативных предметов с использованием ком данных для алгоритмов служит лазерный числе промышленные манипуляторы, мобиль-
алгоритма Dex-Net 4.0 дальномер (лидар), установленный на робо- ные роботизированные тележки и паллетайзеры.
те, который с заданной частотой отправляет Новые роботы-грузчики Handle, представлен-
на вход алгоритма компьютерного зрения век- ные в марте нынешнего года компанией Boston
Dex-Net 4.0 — робот с манипуляторами, хватаю-
тор координат. Вначале объекты обнаружива- Dynamics, работают быстрее вилочных погруз-
щий предмет с невероятной точностью.
ются, затем начинается отслеживание их пере- чиков и способны разбирать содержимое пал-
мещений. Роботам нужно понимать окружение лет и выкладывать единицы хранения с поддона
Dex-Net способна успешно захватывать 95%
и прогнозировать действия других объектов, на стеллаж или со стеллажа на конвейер. Каж-
объектов со скоростью до 300 объектов в час
что незаменимо при движении в изменяющей- дый из этих двухколесных балансирующих ро-
благодаря оценке нескольких вариантов захвата
ся среде. Навигация и обход препятствий, запо- ботов имеет на вооружении манипулятор и ва-
за считанные доли секунды. Люди способны за-
минание и учет пройденного пути, локализация куумный захват, а также компьютерное зрение,
хватывать от 400 до 600 объектов в час. Машин-
себя в пространстве — все эти задачи решают- позволяющее ему ориентироваться на складе
ное зрение продолжает расширять возможности
ся с применением алгоритмов компьютерного и выбирать нужные полки и коробки. Усовершен-
промышленных роботов и находить новые спо-
зрения. ствование технологий, таких как машинное зре-
собы повышения производительности для пред-
ние и конструкция захватов, позволит расширить
приятий.
диапазон применения логистических роботов.
В связи с развитием электронной коммерции
перспективным направлением профессиональ-
ной сервисной робототехники являются логи-
стические роботы. Они предназначены для до-
ставки товаров и ценностей в помещениях рядом
с людьми, умеют перевозить грузы весом до 15
кг, ориентироваться в сложных условиях и эф-
фективно маневрировать среди людей. Автоном-
ные мобильные роботы могут работать без ка-
кой-либо поддерживающей инфраструктуры,
такой как маркеры, провода, магниты или точно
расположенные цели. Они становятся важной ча-
стью производственной среды, так как повыша-
ют производительность и сокращают издержки.
Складские роботы позволили компании Amazon
снизить операционные расходы каждого склада
примерно на 20% (около $22 млн ежегодной эко-
номии). По оценке McKinsey Global Institute (MGI),
экономия операционных расходов от автомати-
зации в целом может составлять от 15% до 90%
в зависимости от отрасли.
94 COMPUTER VISION / ПРИМЕНЕНИЯ
Денис Кузнецов
нач. отдела, Акционерное общество Научно-производственный центр
«Электронные вычислительно-информационные системы», АО «Элвис»
3.4. Новые глаза для умного
города
Постепенно информационные технологии стали привычной частью нашей
повседневной жизни. Умные вещи, использующие технологии машинного
обучения, незаметно для нас изменили привычный нам порядок вещей.
Уже не вызывает большого удивления, что светом в доме можно управлять
с помощью слов или жестов, что умные счётчики сами передадут показания
ЖКХ, а умная колонка знает лучше нас наши предпочтения. Вместе
с нашим домом умнеет и окружающая нас городская среда, незаметно
подстраиваясь под всё ускоряющийся ритм жизни. Автоматизация
процессов управления позволит из разрозненный информационных
систем отдельных служб и ведомств создать единое информационное
пространство. А технологии машинного обучения и элементы
искусственного интеллекта сделают город по настоящему «умным».
Инфраструктура
умного города
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Инфраструктура умного города базируется
на трёх китах: система сбора данных позволяет
получать информацию о происходящем, системы
хранения и обработки больших данных на осно-
ве накопленных массивной и алгоритмов машин-
ного обучения выполняют анализ, который далее
передаётся через различные сервисы, обеспечи-
вающие управление всеми процессами.
Алгоритмам машинного обучения нужны данные,
много данных. Основным источником данных
для умного города являются камеры видеона-
блюдения. В Лондоне, Великобритания, на 1 км2
приходится свыше 300 камер наружного видео-
наблюдения. Результаты мониторинга поступают
в единую аналитическую систему (SAS), позво-
ляющую управлять транспортной инфраструкту-
рой и прогнозировать риск возникновения пожа-
ра с учётом более чем 60 факторов. В Нью-Йорке,
США, действует единая система сбора и анализа
данных, состоящая из сотен тысяч камер, аудио
и вибродатчиков и способная определить факт
противоправных действий и применения огне-
стрельного оружия. Так же информация с камер
поступает в центр организации дорожного дви-
жения. По результатам анализа осуществляется
адаптивное управление светофорами. В столи-
це Австралии, Сиднее, действует система SCATS,
Система мониторинга транспорта умного города
ДЕКАБРЬ 2019 95
позволяющей учитывать степень загруженности
дорог в системе адаптивного управления свето-
форами. Похожие системы действуют в Пекине,
Сингапуре и Берлине.
Камеры видеонаблюдения являются основой
систем мониторинга транспорта. Основными
применениями, уже сейчас находящие широкое
применение, являются:
|| Системы видеофиксации нарушений ПДД. Уже
сейчас системы позволяют определить факт
заезда за стоп-линию, проезд на запрещаю-
щий сигнал светофора, нарушения скорост-
ного режима, движения по выделенным по-
лосам. Системы фотовидеофиксации в случае
инцидента формируют отчёт, содержащий ин-
формацию о месте и времени, выполняют рас-
познавание ГРЗ и прикладывают как фото,
так и видео соответствующего момента с на-
правлением ЦАФАП. В дальнейшем ожидается
расширение перечня определяемых наруше-
ний, таких как опасное вождение, движение
без страхового полиса ОСАГО и ряд других.
|| Управление стоянкой транспортных средств.
Решения позволяют как зарегистрировать
факт стоянки в неположенных местах с фор-
мированием необходимой доказательной
96 COMPUTER VISION / ПРИМЕНЕНИЯ
базы и передачи информации в ЦОДД (Центр
Организации Дорожного Движения) для по-
следующей эвакуации транспорта, так и по-
мочь найти незанятое парковочное место
с определением маршрута до него. В пер-
спективе системы будут интегрированы с си-
стемами бронирования и взимания платы,
что позволит упростить поиск парковочно-
го места.
|| Система мониторинга траффика позволяет
определить загруженность, повысить безо-
пасность, увеличить пропускную способность
за счёт адаптивного управления светофора-
ми. Системы позволяют так же регистриро-
вать дорожные инциденты. В перспективе
за счёт накопления статистики, больших дан-
ных и персонализации траффика (статистики,
какие маршруты обычны у того или иного во-
дителя), возможно активное управление пото-
ками с выдачей рекомендаций каждому води-
телю по маршруту.
|| Системы безопасности для определения фак-
та угона, проведения розыскных или анти-
террористических мероприятий. Элементы
систем безопасности транспорта действуют
уже сегодня. В ближайшей перспективе сис-
темы видео наблюдения транспорта станут
частью единой системы безопасности умно-
го города.
Кроме стационарных камер
так же предполагается
более широкое применение
подвижных, размещённых
на автомобилях муниципальных
служб видео регистраторов,
в том числе на автомобилях
такси, общественного
транспорта.
Второй ключевой областью применения камер
в умном городе является безопасность. В Москве
построена одна из самых масштабных в мире
систем безопасности с идентификацией лично-
сти. Система заработала в сентябре 2017 г. в те-
стовом виде и осенью 2019 эксперимент при-
знан успешным. До недавнего времени система
работала на 1500. одновременных видеопотоках.
Для распознавания лиц камеры городской систе-
мы видеонаблюдения используют базу МВД. Ал-
горитм отслеживает в реальном времени лица
людей и сравнивает результаты поиска с базами
данных. В рамках пилотного внедрения видеоа-
налитики используется алгоритм одной из отече-
ственных компаний — NtechLab — одного из при-
знанных мировых лидеров.
В столице проект распознавания по лицам про-
писан в Цифровой стратегии Москвы «Умный го-
род — 2030» как ключевой элемент обеспечения
безопасности:
|| Объединение всех камер, датчиков и сенсоров
в единую сеть, позволяющую одновременно
получать, обрабатывать, анализировать и хра-
нить данные.
|| Поиск лиц и объектов во всем массиве храни-
мых данных, а также отслеживание их движе-
ния по городу в режиме онлайн.
В октябре 2019 г. объявлен тендр на закупку
на сумму 1.2 млрд ₽ оборудования для системы
городской видео аналитики. Всего планируется
установить порядка 160 000 интеллектуальных
камер с функцией распознавания.
Московский метрополитен эксплуатирует систе-
му аналитики с марта 2018 г. совместно с другой
компанией — VisionLabs и Сбербанком. На стан-
ции метро «Сухаревская» проходит пробную
эксплуатацию система с возможностью опла-
ту поездки с помощью технологии распознава-
ния лиц.
За последние годы для повышения безопаснос-
ти в России реализован целый ряд инфраструк-
турных проектов, которые связаны, в первую
очередь, с установкой камер видеонаблюдения.
Для развития технологий искусственного ин-
теллекта в России в октябре 2019 г. была утвер-
ждена национальная стратегия развития искус-
ственного интеллекта. В марте 2019 г. Минстрой
утвердил стандарт «Умный город», в апреле поя-
вились методические рекомендации. Програм-
ма рассчитана до 2024 г. Основными направ-
лениями относятся создание единого центра
городского управления, систем учёта услуг ЖКХ,
управление освещением, цифровых платформ
вовлечения жителей, управления транспортом,
контроля и безопасности. Технологии умного го-
рода вскоре станут привычным явлением в Рос-
сии, система распознавания лиц вошла в нацио-
нальный стандарт «Умного города».
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 97
Современные камеры видео наблюдения (CCTV)
сильно изменились, отвечая выросшим запро-
сам «умного города». Выросло так же разноо-
бразие форм-факторов камер: с корпусами типа
пуля, с инфракрасной подсветкой для наблюде-
ния в условиях низкого освещения, так и в тер-
мокожухе с подогревом для работы в холодных
погодных условиях. Большое распространение
получили поворотные (PTZ) камеры и камеры ку-
польного типа («dome»). Объектив камеры может
быть как с фиксированным фокусом, так и с регу-
лируемым, заметен рост количества и много объ-
ективных камер. Существенную долю занимают
камеры проводными с питанием по сети Ethernet
(PPoE), хотя так же получили распространение
и беспроводные камеры с передачей через сети
операторов сотовой связи. Разнообразие типов исполнения камер
Среди прочих остановимся на двух основных трендах недавнего времени. Камеры становятся умны-
ми, так называемыми «Smart», обзаводятся алгоритмами машинного зрения, выполняющими аналити-
ку непосредственно на устройстве.
Базовые алгоритмы Специализированные
Сервисная аналитика
видеоаналитики алгоритмы
Отслеживание траектории
Детектирование засветки камеры Детектор движения
движения объекта
Детектирование закрашивания Обнаружение отклонений Построение «тепловой карты»
и заслон объектива основного направления движения посещений
Детектирование удара камеры
Начало движения объекта Подсчёт посетителей
(дрожание сцены)
Детектирование отворота камеры
Пересечение объектом линии
Определение времени нахождения
(смена обозреваемой сцены) на территории
Детектирование потери фокуса
изображения
Остановка объекта Определение поведения объектов
Детектирование попыток
Появление объекта в области Классификация объектов
повреждения и демонтажа камеры
Исчезновение объекта в области
Определение пола, возраста
и эмоций человека
Детектирование объектов, поки- Распознавание лиц (построение
дающих или входящих в область дескриптора)
Детектор лиц
Распознавание автомобильных
номеров
Определение нарушения ПДД
Обнаружение задымления и огня
98 COMPUTER VISION / ПРИМЕНЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 99

Алгоритмы аналитики можно разделить на три
группы. Сервисная аналитика используется
для диагностики состояния камеры. Базовая ана-
литика опирается на классические алгоритмы
машинного зрения, такие как вычитание фона,
оптический поток, каскадный классификатор
и призваны формировать события наличия ак-
тивности к контролируемой зоне. Специализиро-
ванные алгоритмы предназначены для иденти-
фикации, классификации, построения и анализа
сцены для выработки решений. Алгоритмы опи-
раются на методы машинного обучения и пред-
назначены, в первую очередь, для непосред-
ственного исполнения на камере. В частности,
используются свёрточные нейронные сети
для сегментации (популярные архитектуры
U-Net, SSD+ResNet34) и идентификации объек-
тов (популярные архитектуры различные виды
MobileNet или ResNet).
Умные камеры могут выполнять обнаружение
перемещений объектов, распознавание и иден-
тификация людей по лицам или силуэту. Опре-
делять пол, возраста и других характеристик
людей, распознавать номера автомобилей и кон-
тролировать пересечение объектом выбран-
ной зоны. Микропроцессор в умной камере дол-
жен обладать производительностью не менее
1 TFLOPs, чтобы исполнять с необходимой эф-
фективностью нейросети. Необходимо наличие
нейросетевого ускорителя (NPU), интегрирован-
ного в состав микропроцессора.
В качестве представителей новой волны мож-
но отметить камера Avigilon H5A, серию ка-
мер Hikvision DeepinView, линейку камер Dahua
с ПО Analytics+, Axis VMD4, умные камеры Wyze AI.
Растёт разрешение объективов камер. Доля ка-
мер разрешения SD и ниже уже практически
не растёт, камеры стремятся к разрешению 4К.
Но при этом доля камер с разрешением свыше
5МР не показывает роста.
Вторым не маловажным аспектом является ин-
формационная безопасность. И если раньше
ей уделялось внимание по остаточному принци-
пу, то сейчас актуальность проблемы не вызы-
вает сомнений. Можно выделить четыре потен-
циальные угрозы безопасности применительно
к камерам видео наблюдения:
|| Камера становится объектом атаки с целью
получения доступа к той информации, кото-
рую записывает, и дальнейшего получения
изображений и конфиденциальной информа-
цию о компании или частной жизни
|| Происходит отказ в обслуживании, подме-
на видео потока и архивных данных или отказ
и сбой в работе алгоритмов аналитики.
|| Несанкционированное использование, такое
как майнинг крипто валют или выполнение
DDoS атак. Ботнет mirai в пике поразил более
500 000 камер.
|| Аппаратные и программные преднамерен-
ные закладки с целью удалённого контроля.
Примером можно назвать запрет на приоб-
ретение систем видео наблюдения компаний
Hikvision и Dahua государственными ведом-
ствами США.
И если против первых трёх угроз ещё можно за-
щититься программными средствами, то четвёр-
тая поднимает необходимость использования до-
веренной аппаратной платформы.
Надо отметить, что с 2017 г. значительно сокра-
тилось количество уязвимостей в программном
обеспечении и серьёзных атак на камеры видео-
наблюдения ведущих компаний. Крупные произ-
водители занялись сертификацией своих продук-
тов на соответствие уровню безопасности:
Высокое Доверенная
разрешение платформа
Аналитика Сертификация
Ключевые свойства умной камеры нового поколения
Hikvision получил FIPS 140-2 сертификат
Нужно найти баланс между
максимальным раскрытием
Genetec сертифицирован UL 2900-2-3 Level 3
информации и правами людей
на защиту этой информации там,
Mobotix имеет CNPP Level 2 сертификат
где они считают, что эта защита
должна быть обеспечена.
Серьёзный уровень информационной безопаснос-
— сказал Владимир Владимирович Путин
ти должен стать нормой среди производителей
на конференции по искусственному интеллекту
и необходимым требованием потребителей. В Рос-
AI Journey 2019 в Москве.
сии в свою очередь должны быть определены тре-
бования по соответствующей сертификации.
Так какими должны быть новые глаза для ум-
ного города? В первую очередь, умными и до-
Закон о персональных данных и Административ-
веренными, которым мы сможем доверить
ный кодекс сейчас лишь частично затрагивают
самое ценное — безопасность нашей повсед-
вопросы видеофиксации нарушений. Идентифи-
невной жизни.
кация личности через распознавание лица авто-
матически означает использование ПД без санк-
ции его обладателя. Отсутствие регулирования
может привести к злоупотреблениям в использо-
вании информации, ошибкам в правопримени-
тельной практике.

*По данным
IPVM 2018
100 COMPUTER VISION / ПРИМЕНЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 101

Талалаева Юлия Андреевна Внедрение мониторинга очередей в 40 магази- Разные системы комбинируют разные подходы:
нах сети «ВкусВилл» позволило существенно
Директор по развитию Neurus
увеличить скорость и качество обслуживания по- || детекцию,
купателей.
|| сегментацию,

ПУСТОТЫ НА ПОЛКАХ || классификацию.

На данный момент это одна из самых экономиче-
ски обоснованных и понятных для ритейла задач.
Сотрудники магазина не всегда успевают вовре-
мя заметить, где на полке раскупили товар и не-
обходимо принести или правильно расставить
новый. Для ритейлера не выставленная на полку
продукция — это прямая неполученная прибыль.
А для покупателя отсутствие любимого кефира —
Подробнее о том, как Neurus делает это в сети
магазинов «ВкусВилл», можно ознакомиться
в [157], интересный доклад, как это делают в X5
Retail Group, можно найти в [158].
С точки зрения оценки экономического эффек-
та увеличение доступности товара на полке
на 3-4% в зависимости от сезонности и катего-

3.5. Применение
неудобство и повод сходить к конкурентам. рии товара дает прирост розничного товарообо-
рота магазина порядка 1% по данным X5 Retail
Для решения этой проблемы система ком- Group [159].

компьютерного зрения пьютерного зрения постоянно мониторит по-

лочные пространства, и, как только появ- ЦИФРОВОЙ МЕРЧЕНДАЙЗИНГ

в ритейле
ляется пустота, которая не исчезает дольше
определенного времени и своими размера-
ми превышает пороговое значение, посылает
оповещение ответственному сотруднику.
Идея, что от того, как товар лежит на полке, влия-
ет на то, как он покупается, возникла сама собой
еще на заре первых супермаркетов. Размещая

Первые упоминания торговли, как обмен товар-
но-материальными благами, известны еще с ка-
менного века. Однако с тех времён торговля
не переставала эволюционировать вместе с че-
ловеком. Вместо натурального обмена появились
первые деньги. Затем деньги стали бумажными.
Появились первые торговцы, лавочники. Лавки
стали магазинами. Магазины превратились в су-
пермаркеты. Они же стали объединяться в круп-
ные торговые сети.
Но и сейчас прогресс в розничной торговле
не стоит на месте — всё больше новинок появ-
ляется с каждым днём. Кассами самообслужива-
ния уже никого не удивишь. Прайс-чекеры, про-
мо с дополненной реальностью, персональные
предложения, электронные ценники...
интеллекта». Вместе с нейросетями в ритейл
пришли новые возможности, которые позволяют
как экономить, так и зарабатывать. Рассмотрим
подробнее актуальные кейсы.
МОНИТОРИНГ ОЧЕРЕДЕЙ
Проблема с точки зрения покупателей стоит
очень острая. Никто не любит стоять в очереди,
и кажется очевидным, что с очередями нужно бо-
роться — предсказывать их по входящему пото-
ку и открывать как можно больше касс. Однако
с точки зрения ритейлера всё не так просто. Эко-
номический эффект является трудно вычисли-
мым, но в основном, он состоит из двух частей:
1. Оптимизация смен кассиров.

2. Потеря выручки за счет отказов покупателей.

Вполне возможно, что очень скоро привычных
магазинов совсем не останется, мы больше не бу-
Если в первом случае всё более или менее ясно,
дем взаимодействовать с кассирами или распла-
сэкономленные средства равны количеству со-
чиваться на кассах самообслуживания. Привыч-
кращенных смен, то во втором случае подсчитать,
ный поход в магазин может быть заменён заказом
сколько покупателей отказываются от покупок
в интернете и получением его в dark store.
значительно труднее. Это может зависеть от фор-
мата магазина, где-то небольшая очередь только
Компьютерное зрение помогает шагать ритей-
привлекает, а где-то является серьезной пробле-
лу в будущее семимильными шагами. Особен-
мой. Но в целом различные исследования [154-156]
но, когда аппаратная составляющая сделала воз-
показывают, что потери колеблются в диапазоне
можным так называемый бум «искусственного
от 2.5% до 10% от выручки магазина. Семантическая сегментация и выделение пустот в магазине сети «ВкусВилл», алгоритм Neurus
102 COMPUTER VISION / ПРИМЕНЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 103

товары определённым образом, комбинируя раз- Оживающие плакаты, динозавры, промо —

ные группы, или, наоборот, разделяя конкурен-
тов, можно добиться роста продаж до 35% [160].
Производитель, в свою очередь, также заинтере-
сован, чтобы именно его товары занимали «золо-
тую полку» и были выгодно расположены. Сейчас
за соблюдением всех этих условий, так называ-
емых планограмм, следит специальный сотруд-
ник — мерчендайзер. С развитием машинного
зрения возникла потребность помочь, а лучше
заменить человека в этом деле.
не единственное AR направление в ритейле.
Дополненная реальность радует покупателей
виртуальными примерочными, которые уста-
навливаются прямо на улицах [165]. А стартап
WANNABY сделал приложение, которое при на-
ведении телефона примеряет новые кроссов-
ки и показывает, как будет выглядеть новый лак
на ногтях [166].
РАСПОЗНАВАНИЕ ЛИЦ

В качестве помощи существуют мобильные Российские технологии распознавания лиц про-

приложения, например, Intelligence Retail
и Inspector Cloud, которые по фотографиям
товарной полки позволяют автоматически
проанализировать соответствие товарной
выкладки планограмме, а также дать реко-
мендации, как исправить выкладку так, что-
бы она стала более продаваемой.
Впечатляющим устройством, которое обеща-
ет заменить мерчендайзера, является робот
от Bossa Nova Robotics [161], который имеет стойку
с множеством камер и автономно перемещается
по магазину как бы «сканируя» полки, распозна-
вая товары и контролируя выкладку.
AR И VR В РИТЕЙЛЕ
Виртуальная реальность лишь отчасти связа-
на с computer vision, чего нельзя сказать про MR
и AR, где машинное зрение — это основа основ.
Но все же, говоря о ритейле, нельзя обойти вни-
манием новинки VR, которые взяли на воору-
жение крупнейшие компании не только России,
но и мира.
Walmart и X5 Retail Group уже пилотируют вирту-
альные курсы, которые позволяют не только со-
кратить время обучения персонала, но и заранее
оценить, насколько сотрудник сможет справит-
ся с той или иной ситуацией, чего нельзя сделать
используя классические методы обучения [162, 163].
Виртуальные шоу-румы от IKEA, виртуальные по-
казы мод с товарами на витрине, аттракционы
с водными горками... Компания, выпускающая
обувь, провела виртуальный тур по горам в но-
вой обуви [164]. Всё это — огромные возможности
для ритейла, позволяющие привлечь новых по-
купателей и сократить затраты на изготовление
физических макетов.
извели сенсацию в мировом сообществе, особен-
но после победы NTech Lab над Google в соревно-
вании The MegaFace Benchmark в 2015 и покупки
китайским гигантом Huawei интеллектуальной
собственности компании Вокорд в 2019. Одна-
ко эти технологии имеют применение не толь-
ко в секторе безопасности и контроля доступа,
но и в ритейле.
Основным направлением использования техно-
логии является замена карт лояльности. Основ-
ная идея заключается в том, что клиенту более
не нужно предъявлять карту лояльности, а дос-
таточно попасть в объектив камеры. Представь-
те, вы приходите в магазин, рекламный монитор
с небольшой камерой на входе узнал вас [167], по-
казал именно то предложение, которое адресо-
вано именно вам, вы взяли покупки, а на выхо-
де та же система распознавания лиц узнала вас
и с вашего счета списалась необходимая сум-
ма [168, 169] без карт и мобильного приложения.
Разве это не будущее?
Механизм распознавания лиц помогает бороться
со старой проблемой — забывчивыми покупате-
лями, т.е. теми, кто, взяв товар с полки, забывает
расплатиться на выходе. Как показывает практи-
ка, одни и те же люди постоянно забывают рас-
платиться в одних и тех же магазинах. Из таких
покупателей формируется база и, когда они захо-
дят в следующий раз в магазин, система распоз-
нает их и оповещает персонал, тем самым пре-
дотвращая кражу.
ТЕПЛОВЫЕ КАРТЫ
Существует множество способов формировать
трек покупателей по магазину: с помощью wifi
снифферов, bluetooth iBeacon, но наиболее инте-
ресные результаты можно получить с помощью
компьютерного зрения.
Тепловые карты AuraVision
Захватив покупателя на входе, можно оценить
его примерный возраст и пол по биометрии лица
и провести полный маршрут по магазину. Однако
ФЗ 152 (закон о персональных данных) не поз-
воляет обрабатывать биометрию клиента, если
не соблюден ряд требований. Чтобы решить эту
проблему, британский стартап AuraVIsion [170] раз-
работал алгоритм, позволяющий определить
примерный возраст, не прибегая к анализу лица
человека, а оценивая его по внешнему виду [171]
с заявленной точностью 81% [172].
МАГАЗИН БЕЗ КАССИРОВ
Мечта любого ритейлера — это полностью ав-
томатизированный магазин с лимитированным
количеством персонала или и вовсе его отсут-
ствием, гигантский аналог торгового автомата.
Потолок в Amazon Go густо усеян камерами
В сентябре 2018 г. корпорация Amazon откры-
ла первый такой магазин под названием Amazon
Go [19]. Пользоваться таким магазином очень про- Разработки собственного магазина без кассиров
сто: достаточно зарегистрироваться в приложе- ведутся и для сети магазинов «ВкусВилл» в ла-
нии, пройти с помощью QR-кода через турникет. боратории на базе МФТИ. На данный момент ре-
Для совершения покупки достаточно взять товар шены задачи отслеживания пути покупателей,
с полки и выйти с ним. Без касс, без самообслу- оценки позы и выявления фактов взятия товара
живания деньги спишутся с вашего счёта. Стоит с точностью 92%.
подчеркнуть, что создание такого магазина ста-
ло возможным благодаря технологиям машинно-
го зрения.
104 COMPUTER VISION / ПРИМЕНЕНИЯ
Полностью автономный магазин без кассиров —
это комплексная система, состоящая из множе-
ства подзадач: трекинг покупателей между ка-
мерами, распознавание взятого товара, детекция
возврата товара на полку и многих других. Одна-
ко эти технологии могут быть применены и по от-
дельности.
Например, система, знающая, что покупа-
тель взял товар с полки и не подошел к кас-
се, позволяет уличить «забывчивых покупа-
телей» на месте преступления.
Так японский стартап Vaakeye [173] с помощью ма-
шинного зрения по подозрительному поведению
покупателей позволяет заметить и даже предот-
вратить кражу в торговом зале. Walmart исполь-
зует CV для ловли воришек в 1000 магазинов [174].
Однако на данный момент нет ни одной заявлен-
ной метрики, что подобная система функциони-
рует и приносит измеримую выгоду.
С мониторингом действий персонала дела обсто-
ят гораздо лучше. В большей степени применение
компьютерного зрения сводится к установке ка-
мер на кассе для детекции не пробитых кассиром
товаров. В сети магазинов «ВкусВилл», например,
дополнили систему выявления подозрительной
отмены чековых позиций видеоаналитикой. Си-
стема сама просматривает видео с отменой чека
и, если была передача денег, отправляет видео
в пул подозрительных, сокращая общий объем
просматриваемый человеком на 70%.
Детекция кистей и оценка
позы в умном магазине
«ВкусВилл». Зеленый
круг — покупатель взял
товар.
РАСПОЗНАВАНИЕ ТОВАРОВ
Распознавание товаров, пожалуй, одно из са-
мых интересных и сложных из-за своего масшта-
ба и многогранности направлений. Прежде всего,
эта задача требует решения для реализации пол-
ностью автономного магазина без кассиров. Пока
это все-таки хоть и недалекое, но будущее. Но, су-
зив граничные условия, уже сейчас можно найти
практическое применение этой технологии. Так
внедрение системы распознавания товарных по-
зиций на конвейерной ленте перед кассой может
быть полезно ритейлеру в нескольких моментах:
|| как система помощи кассиру, как это сдела-
ли в Ineru Lab [175]: распознанные товары сразу
попадают в чек и кассиру лишь требуется под-
твердить правильность распознавания и от-
править его на печать;
|| как система контроля действий кассира
или покупателя на кассе самообслуживания:
сверив результат распознавания с содержи-
мым чека, можно определить товары, которые
участвуют в мошеннической схеме.
Глядя на то, как компьютерное зрение транс-
формирует ритейл уже сейчас, можно однознач-
но сказать, что эта технология уже точно пере-
шла из раздела «экспериментальные инновации
для гиков» в раздел «работающие инновации
для бизнеса» и этот тренд будет только усили-
ваться в ближайшие годы.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Морозов Сергей Павлович
профессор, доктор медицинских наук,
главный внештатный специалист
по лучевой и инструментальной
диагностике ДЗМ и МЗ по ЦФО РФ,
директор ГБУЗ «Научно-практический
клинический центр диагностики
и телемедицинских технологий»
(ГБУЗ «НПКЦ ДиТ ДЗМ»)
3.6. Компьютерное зрение
в медицине
ВОЗМОЖНОСТИ И СПОСОБЫ ПРИМЕНЕНИЯ
Компьютерное зрение — это отдельное направ-
ление искусственного интеллекта, которое мож-
но охарактеризовать как совокупность математи-
ческих методов и информационных технологий,
сфокусированных на решении задач захвата, об-
работки, анализа, классификации, отслежива-
ния изображений. В целях диагностики, лече-
ния и профилактики современная медицина
использует громадное количество видов данных
и способов их представления. Но достаточно ка-
тегорично можно утверждать, что именно изо-
бражение было, есть и будет краеугольным кам-
нем практической медицины. Раны, высыпания,
деформации суставов, вынужденная поза, дро-
жание конечностей — это изображения пациен-
та, которые врач видит непосредственно. С по-
мощью диагностических приборов (эндоскопов,
отоскопов) доктор получает изображения глаз-
ДЕКАБРЬ 2019 105
Владзимирский
Антон Вячеславович
доктор медицинских наук, заместитель
директора по научной работе ГБУЗ
«НПКЦ ДиТ ДЗМ»
Андрейченко Анна Евгеньевна
кандидат физико-математических
наук, старший научный сотрудник
отдела разработки средств контроля
и технического мониторинга ГБУЗ
«НПКЦ ДиТ ДЗМ»
ного дна, полостей тела, внутренних органов;
или «погружается» на микроуровень, проводя
микроскопию клеток. Основу же современной
диагностики составляют лучевые методы полу-
чения изображений всех органов и систем чело-
веческого организма. Вклад визуализации в ди-
агностику колоссален, поэтому интенсивность
развития технологий именно компьютерного
зрения определяет успешность и масштаб вне-
дрения искусственного интеллекта в практиче-
ское здравоохранение.
Стандартно задачи компьютерного зрения раз-
деляют на детекцию объекта (с отнесением его
к какому-либо классу), распознавание лица, рас-
познавание движений и видов активности, рас-
познавание и характеристику позы [187]. Теорети-
чески, все эти задачи непосредственно связаны
с медициной (табл.1).
106 COMPUTER VISION / ПРИМЕНЕНИЯ
Таблица 1. Типовые формы применения компьютерного зрения в медицине
Типовая задача Медицинское значение
компьютерного зрения
Детекция Автоматизированный анализ всех видов диагностической визуализации:
и классификация цитология и патогистология, изображение кожных покровов, места болезни,
эндоскопическая картина, но прежде всего — результаты лучевых исследований
(рентгенографии, компьютерные и магнитно-резонансные томографии,
гибридные методики, ультразвуковые изображения).
Основные задачи: скрининг, поддержка принятия диагностических
решений, повышение производительности труда врача, контроль качества
и профилактика ошибок
Распознавание лица Идентификация пациентов и медицинских работников. Мониторинг отдельных
патологических проявлений (например, отеков)
Распознавание движений В профилактике — контроль физической активности в повседневных условиях
и видов активности жизни. В клинической медицине — контроль двигательной активности пациента
(падения, ритм дыхания у лежачего пациента); мониторинг и анализ тремора;
сопровождение программ физической реабилитации и т.д.
Распознавание Поддержка принятия врачебных решений — выявление признаков
и характеристика позы неврологической, ортопедической и иной патологии
Вариантов применения компьютерного зре- пьютерного зрения. Более 40% разработок
ния в медицине много, но основные задачи со- предназначены для анализа МРТ, около 27% —
средоточены на обработке диагностических КТ. Остальные лучевые методы заметно отста-
изображений (табл.2). Как следует из систе- ют: всего 6% — ультразвуковые методы, ме-
матизирующих научных публикаций магнит- нее 4% — маммография. Большинство решений
но-резонансная томография (МРТ) и компью- (40%) сфокусированы на визуализации цен-
терная томография (КТ) среди всех видов тральной нервной системы, благодаря чему
диагностической — не только лучевой — визуа- нейрорадиологию называют самой вовлечен-
лизации являются самыми популярными и вос- ной в искусственный интеллект субспециализа-
требованными у создателей технологий ком- цией лучевой диагностики [184].
Таблица 2. Типовые формы применения компьютерного зрения в лучевой диагностике
Задача Действие Медицинское значение
компьютерного
зрения
Выявить и локализовать объект Детекция Обнаружение патологических признаков на
диагностическом изображении для: приоритизации
результатов диагностических исследований;
поддержки принятия решений («подсказка» о
наличии и расположении патологии).
Определить объект присутствует Классификация Скрининг, массовые профилактические осмотры.
или нет; если да, то каков его тип Определение характера патологии.
Определить размер, пропорции Сегментация Определение анатомических границ областей,
объекта; установить взаимное систем, органов. Медицинская морфометрия
расположение объектов (определение размеров анатомических объектов)
Оценить изменения объекта Сравнение Выявление динамических изменений, обусловленных
прогрессом/регрессом заболевания, в т.ч.на фоне
лечения
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Обилие задач и потенциальных возможностей
для применения компьютерного зрения в меди-
цине обусловили огромный хайп. Во всем мире
наблюдается бурный рост предпринимательства
в сфере создания решений на основе компьютер-
ного зрения для лучевой диагностики. Разработки
ведут как тысячи мелких стартапов, так и крупные
вендоры — производители медицинской техники.
Если двигаться не от технических возможно-
стей алгоритмов распознавать объекты, а от су-
ществующей потребности в автоматизации про-
цесса анализа изображений, то одними из самых
востребованных и масштабных направле-
ний практического применения компьютерно-
го зрения в медицине станет скрининг злокаче-
ственных опухолей. В системе здравоохранения
из-за кадрового дефицита нет возможности
в полной мере реализовать массовые профи-
лактические обследования — не хватает кадро-
вых ресурсов даже для однократного просмотра
цифровых маммографий (скрининг рака молоч-
ной железы), низкодозовых компьютерных то-
мографий (скрининг рака легкого), цифровых
рентгенографий грудной клетки (скрининг ту-
беркулеза). Не говоря о том, что по методиче-
ским канонам профилактические исследования
должны независимо оценивать два специалиста.
Здесь открываются замечательные возможности
для применения компьютерного зрения, и мно-
гие компании пытаются ими воспользоваться.
За последние 10 лет число
именно научных публикаций
о разработке и применении
искусственного интеллекта
(точнее — компьютерного
зрения) в лучевой диагностике
возросло с 100-150 до 700-800
в год [184].
К сожалению, хайп и объемы инвестиций не от-
ражают реальных результатов. Подавляющее
большинство разработок можно считать удач-
ными с точки зрения математики, но абсолютно
бесполезными с точки зрения практической ме-
дицины. На пути разработчиков компьютерного
зрения для медицины есть целый ряд барьеров
и проблем (к слову, многие из них разработчики
создают себе сами).
ДЕКАБРЬ 2019 107
Типовые проблемы при разработке алгоритмов
компьютерного зрения для медицины
1. Отсутствие целеполагания, обоснованных за-
дач, понимания того, как алгоритмы будут
применяться в рутинных процессах медицин-
ских организаций. Можно сказать, что старта-
пы действуют в собственной «виртуальной»
среде, не имея представления о реальной ме-
дицинской практике.
2. Качество данных. Единых правил и стан-
дартов разметки данных для медицинско-
го искусственного интеллекта еще не су-
ществуют. Точнее, они разрабатываются
прямо сейчас. Без полноценной стандарти-
зации на масштабность внедрения компью-
терного зрения рассчитывать не приходится.
С другой стороны есть проблема изолиро-
ванности: большинство (около 94%!) разра-
ботчиков используют одни и те же дата-се-
ты как для обучения, так и для тестирования
алгоритмов. Такие алгоритмы получают-
ся «узкими», нацеленными на единственный
диагностический аппарат из конкретного ме-
дицинского центра и определенную популя-
цию пациентов. На основе такого алгоритма
сделать полноценный продукт невозмож-
но. При этом на «незнакомых» данных из не-
скольких независимых учреждений оценива-
ют точность менее 3% разработчиков [180].
3. Отсутствие независимой оценки точности ал-
горитмов и, что особенно плохо, отсутствие
проверки в реальных условиях (клиническая
апробация проводится менее, чем для 1% раз-
работок).
4. Отсутствие коммуникаций между разработ-
чиками и медицинским сообществом. Ориги-
нальных исследований о компьютерном зре-
нии в медицинских журналах по-прежнему
очень мало. Большинство публикаций носят
математический, технический характер, и най-
ти их можно лишь в специализированных из-
даниях (в том числе, депозитариях преприн-
тов). Вполне очевидно, что для массы врачей
такие статьи останутся неизвестными.
5. Несоблюдение разработчиками общепри-
нятых стандартов описания исследований
и классификации нозологий. При этом ком-
пании обычно утверждают, что использовали
экспертное мнение конкретного врача в опре-
делённом регионе и медицинской организа-
ции. Но ведь личное мнение одного эксперта
108 COMPUTER VISION / ПРИМЕНЕНИЯ
не может «перевешивать» созданные на прин-
ципах доказательной медицины клинические
рекомендации! При опоре на одного эксперта
алгоритм получается очень «локальным», а го-
ворить о масштабировании на другие органи-
зации или территории не приходится.
6. Использование собственной системы просмо-
тра исследований. Наличие отдельного про-
смотровщика усложняет и удлиняет действия
врача (необходимо открыть отдельную про-
грамму, найти в ней интересующее исследо-
вание, вернуться к исходной системе, перене-
сти в нее результаты работы алгоритма и т.п.).
В такой ситуации ИИ снижает производитель-
ность труда, увеличивает риски ошибок —
то есть он полностью нефункционален и вре-
ден. При адекватном и правильном подходе
должна осуществляться бесшовная интегра-
ция алгоритмов компьютерного зрения с ме-
дицинскими и радиологическими информаци-
онными системами.
Еще одна проблема — различия в практиче-
ском применении и представлении результа-
тов работы алгоритмов врачу-рентгенолога
между компаниями огромны. Приведем при-
меры двух полярных подходов:
1. «Замена» — фактически, направлен на заме-
ну врача-рентгенолога; алгоритм выдает гото-
вое описание и заключение, направляемое па-
циенту или медработнику. При этом алгоритм
даже не визуализирует результаты своей ра-
боты на изображениях.
При таком подходе совершенно не ясно, как и по-
чему алгоритм принимает те или иные решения;
результаты его работы бесполезны для практиче-
ской медицины.
2. «Минималистичный» — результаты работы ал-
горитмов компьютерного зрения представля-
ются врачу без детализированной клиниче-
ской оценки; например, в виде вероятности
наличия патологии в данном исследовании,
выраженной в процентах, либо рекоменда-
ции направить пациента на дообследование
(recall/ no recall). Зачастую результаты сопро-
вождаются температурной картой или в виде
простого контура, наложенного на изображе-
ние, для привлечения внимания врача к пато-
логическим находкам.
Примеры подходов к представлению
результатов работы алгоритмов
компьютерного зрения врачам
А: минималистичный;
представлена локализация
возможной патологии
и ее вероятность согласно
алгоритму.
Б: промежуточный; вместе с визуализацией
и общей вероятностью наличия патологии
врачу предоставляется список категорий
возможных патологий.
В: готовое заключение, без отметок
на изображениях.
Именно данный подход представляется сейчас
наиболее перспективным с точки зрения прак-
тического внедрения. В первую очередь пото-
му, что такое представление результатов требует
минимальной дополнительной концентрации
от врача при просмотре результатов работы сер-
виса и, соответственно, выполняет функцию по-
мощника, а не замены.
Проблем много, но несмотря на это целый ряд
разработчиков, опирающийся на принятые
в сфере здравоохранения научные и доказатель-
ные принципы, уверенно движется к успеху.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
ДОСТИГНУТЫЙ УРОВЕНЬ
Как следует из научных статей с высоким уров-
нем доказательности многие алгоритмы ком-
пьютерного зрения достигают вполне хоро-
ших значений диагностической точности (таких
как чувствительность, специфичность, площадь
под характеристической кривой). В сравнении
с «золотым стандартом» (чаще всего — это раз-
метка набора данных группой квалифицирован-
ных врачей, реже — клинические данные, ре-
зультаты патогистологической верификации
диагноза) алгоритмы хорошо анализируют, нап-
ример, КТ головного мозга при инсультах, дер-
матоскопические изображения (выявление ме-
ланомы), рентгенограммы костей и суставов.
При этом значения перечисленных метрик обыч-
но превышают 0,9 [186]. Подчеркнем, что в ос-
новном это результаты, полученные в экспери-
ментах, а значит они требуют подтверждения
в условиях клинической апробации.
Особо надо отметить проблему воспроизводимо-
сти результатов применения компьютерного зре-
ния. В мета-анализе Nguyen et al, 2018 показано,
как снижается точность работы алгоритмов ИИ
при их использовании на новых данных (в част-
ности, при решении задач дифференциальной
диагностики на МРТ глиобластомы и первичной
лимфомы центральной нервной системы). Эти
результаты свидетельствуют об обязательности
независимой валидации алгоритмов компьютер-
ного зрения на новых данных; причем как в про-
цессе разработки, так и при клинических испыта-
ниях [183].
На волне хайпа часто можно
видеть заголовки о том, как
искусственный интеллект
превзошел врача в точности.
Так ли это с научной точки
зрения?
В систематическом обзоре Shen et al, 2019 со-
поставлена точность решений алгоритмов ком-
пьютерного зрения и врачей различного уровня
подготовки [186]. Сравнивались решения на ос-
нове компьютерного зрения для лучевой диа-
гностики (рентгенограммы грудной клетки, МРТ
головного мозга), дерматологии и офтальмоло-
гии. То есть речь шла о 3 классических вариан-
ДЕКАБРЬ 2019 109
тах диагностической визуализации — в полном
соответствии с задачами для компьютерно-
го зрения, о которых мы говорили выше. Ис-
следователи установили, что по параметру ди-
агностической точности (англ. accuracy) и ряду
других стандартных метрик в целом алгоритм
соответствовал уровню врачей-специалистов,
а врачей с меньшим опытом даже превосходил.
Наиболее «удавались» алгоритмам именно ди-
агностические решения, в то время как в под-
боре рекомендаций о лечении они проигры-
вали. Для технологий компьютерного зрения
такие результаты звучат обнадеживающе. Одна-
ко, не стоит забывать, что речь идет всего лишь
о девяти из нескольких сотен тысяч типовых
клинических ситуаций. К тому же воспроизво-
димость результатов работы конкретных алго-
ритмов на новых данных не изучалась.
Говорить о замене врача искусственным ин-
теллектом не приходится вовсе. Когнитив-
ные, аналитические, интуитивные аспекты
клинического мышления автоматизировать
невозможно, по крайней мере в ближайшие
пару сотен лет.
Вместе с тем, на основе технологий искусствен-
ного интеллекта вполне можно создать новое
поколение медицинских изделий, значительно
повышающих эффективность, производитель-
ность и безопасность как отдельных медицин-
ских работников, так и всей системы здраво-
охранения в целом. Правда для этого придется
отказаться от хайпа и подойти к проблеме про-
фессионально.
ПРИНЦИПЫ УСПЕШНОГО РАЗВИТИЯ
ИСКУССТВЕННОГО ИНТЕЛЛЕКТА (ИИ)
В МЕДИЦИНЕ
Принцип №1
Искусственный интеллект и компьютерное зре-
ние необходимо рассматривать как помощни-
ков врачей и медицинских сестер, нацеленных
на решение полностью конкретных задач с из-
меримым и воспроизводимым результатом та-
кой работы.
В части бизнеса необходим переход от разработ-
ки дискретных алгоритмов к созданию серви-
сов, которые являются частью производственных
процессов медицинских организации.
110 COMPUTER VISION / ПРИМЕНЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 111

От «джунглей алгоритмов» к сервисам на основе ИИ Принцип №3 ВНЕДРЕНИЕ ИИ В МЕДИЦИНЕ В МИРЕ

Программные решения на базе ИИ должны бес- В глобальной перспективе ожидания от ИИ свя-

шовно интегрироваться в информационные сис-
темы медицинских организаций. Требуется
обязательная поддержка принятых в сфере здра-
воохранения стандартов: семантических (Меж-
дународная классификация болезней, Snomed),
для представления (DICOM, EDF+ и т.д.) и обмена
(HL7, FHIR) медицинскими данными.
Накапливаемые в медицинских организациях
данные служат:
А. Сейчас — для валидации точности и качества
ИИ (в условиях научных экспериментов, кли-
нических испытаний).
Интеграция ИИ в процессы отделения лучевой диагностики
Б. В ближайшей перспективе — для постмарке-
тинговых исследований и внутреннего, ре-
гулярного контроля качества внедренных
ИИ-сервисов.
В. В отдаленной перспективе — для дообучения
алгоритмов в процессе их постоянной эксплу-
атации.
заны, преимущественно, с повышением качества
исходов лечения и экономией средств. По ре-
зультатам социологических исследований более
50% руководителей в сфере здравоохранения
глубоко убежденны, что ИИ станет неотъемле-
мой частью практической медицины к 2025 г.
При этом такое же числе респондентов указы-
вает на недостаточную доказательность и отсут-
ствие практических примеров использования
ИИ. Действительно, объем хайпа пока что значи-
тельно превышает объемы реального внедрения
ИИ в медицине. Тем не менее, четко видна поло-
жительная, конструктивная тенденция. Все боль-
ше появляется научных исследований, посвя-
щенных медицинским аспектам искусственного
интеллекта; оценке его безопасности и эффек-
тивности в клинических условиях.
Многие программные решения на базе ИИ уже
являются легальными медицинскими изделиями.
Например, в США около 50 различных алгорит-
мов (иногда объединенных в один продукт) име-
ют официальную сертификацию Food and Drug
Administration (FDA). В этом списке медицинских
изделий с большим отрывом лидирует лучевая
диагностика, но также много решений для карди-
ологии, эндокринологии, онкологии, психиатрии
и ряда других клинических дисциплин.

Принцип №2
Искусственный интеллект абсолютно точно вли-
яет на клинические решения, диагностику, выбор
тактики лечения. Поэтому он не может не быть
медицинским изделием. Тщательные клиниче-
ские испытания, контролируемое внедрение
и постмаркетинговые исследования — это залог
появления рынка медицинского ИИ.
Перспективная топология сети медицинских организаций
Разработчикам искусственного интеллекта необ-
ходимо перенять опыт фармакологической инду-
стрии. Процесс создания алгоритмов и сервисов
должен быть аналогичен процессу разработки
новых лекарственных веществ.

Научная Клинические Инструкция Применение. Мониторинг

разработка испытания к применению «побочных эффектов»

Показания и противопоказания

ИИ-сервис создается
Риски и побочные эффекты
и функционирует аналогично
процессам в фарм-бизнесе
Описание действия
112 COMPUTER VISION / ПРИМЕНЕНИЯ
Глобально, в рентгенологии искусственный ин-
теллект применяется, в основном, по двум на-
правлениям:
|| программы скрининга (рак молочной железы,
легкого, щитовидной железы),
|| поддержка принятия решений в экстренных
ситуациях (выявление внутричерепных крово-
излияний, эмболии.
Есть интересные примеры «встраивания» моду-
лей ИИ в медицинскую аппаратуру для контроля
качества диагностических исследований. Напри-
мер, система компьютерного зрения в томографе
оценивает правильность размещения пациента
перед началом сканирования; тем самым профи-
лактируются дефекты в работе среднего меди-
цинского персонала.
В кардиологии ИИ сфокусирован на анализе ре-
зультатов электрокардиографии (ЭКГ) с целью
Инфографика ИИ-решений, сертфицированных FDA [178]
выявления аритмий. Примечательно, что некото-
рые алгоритмы также являются частью диагно-
стических приборов, но на этот раз — персональ-
ных, используемых пациентом лично, в условиях
повседневной жизни. В целом концепция «но-
симое устройство + ИИ» довольно интересна.
Среди зарегистрированных медицинских изде-
лий такие решения есть не только для кардио-
логии, но и для неврологии и эндокринологии.
В такой ситуации ИИ помогает осуществлять дис-
танционный мониторинг состояния здоровья лиц
с хроническими неинфекционными заболевания-
ми, профилактировать осложнения, снижать рис-
ки преждевременной гибели.
Именно национальные регистры медицинских
изделий России, Китая, США, стран ЕС можно ис-
пользовать для оценки масштаба реального вне-
дрения ИИ в практическое здравоохранение. Те-
кущая ситуация свидетельствует, что весь мир
еще стоит в начале пути.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
ВНЕДРЕНИЕ ИИ В МЕДИЦИНЕ В РОССИИ
(ОПЫТ ЦЕНТРА ДИАГНОСТИКИ
И ТЕЛЕМЕДИЦИНЫ ДЗМ)
Несколько лет назад Научно-практический кли-
нический центр диагностики и телемедицин-
ских технологий Департамента здравоохранения
г. Москвы (далее — Центр диагностики и телеме-
дицины ДЗМ) начал проводить регулярные ис-
следования диагностической точности алгорит-
мов ИИ. В формате научных экспериментов были
протестированы более 10 компаний из России
и дальнего зарубежья. Были изучены алгорит-
мы для автоматизированного анализа КТ и МРТ
головного мозга, исследований грудной клет-
ки (полная и низкодозовая КТ, рентгенография,
флюорография).
Результаты научных исследований алгоритмов
ИИ были опубликованы в рецензируемых жур-
налах, индексируемых РИНЦ и Scopus. По согла-
шению с разработчиками публиковались толь-
ко результаты положительных экспериментов;
в остальных случаях — алгоритмы отправлялись
«на доработку».
Успешный пример: тестирование алгорит-
ма для анализа цифровых флюорограмм
и рентгенограмм грудной клетки. В резуль-
тате эксперимента было установлено, что
ИИ применим для массовых периодиче-
ских осмотров в популяциях с низкой пре-
тестовой вероятностью наличия патологии,
что подтверждалось значением прогности-
ческой ценности отрицательного результа-
та (97,5%). Решение было рекомендовано
для полуавтоматизированного формиро-
вания групп риска по туберкулезу легких
для последующей верификации результатов
врачом-рентгенологом [189].
Отдельно можно упомянуть и очень удачный
опыт тестирования «IBM Watson Explorer®»
для обработки медицинской документации —
протоколов описаний лучевых исследований —
с целью контроля качества [190].
В нескольких ситуациях сотрудники Центра диа-
гностики и телемедицины ДЗМ не просто проводи-
ли эксперимента, а осуществляли консалтинговое
сопровождение разработки, формировали наборы
размеченных данных, вели периодический кон-
троль метрик точности. В частности, для Департа-
мента информационных технологий г. Москвы был
ДЕКАБРЬ 2019 113
подготовлен набор из 5 000 размеченных КТ груд-
ной клетки; разрабатываемый алгоритм должен
помогать врачам выявлять очаги в легких.
Для помощи многочисленным разработчикам
в 2018 г. в свободном доступе — впервые в Рос-
сийской Федерации — был размещен ограни-
ченный деперсонализированный дата-сет те-
гированных компьютерных томограмм грудной
клетки. Этот набор был скачан несколько десят-
ков раз и использован для самотестирования
и обучения несколькими компаниями.
Особенно можно отметить сотрудничество
Центра диагностики и телемедицины ДЗМ
и Сколковского института науки и технологий
(Сколтех). В результате совместных научных
проектов разрабатываются и тестируются ал-
горитмы для анализа МРТ и КТ головного моз-
га, грудной клетки; потенциально эти решения
могут быть использованы для дифференци-
альной диагностики травм, опухолей, рассе-
янного склероза, для скрининга сердечно-со-
судистой патологии. Первые результаты уже
публикуются [179].
Накопленный опыт научных экспериментов по-
зволил Центру диагностики и телемедицины
ДЗМ начать формировать методологию клини-
ческих испытаний программного обеспечения
на базе технологий искусственного интеллек-
та. В середине 2019 г. были подготовлены соот-
ветствующие методические рекомендации, из-
данные на русском и английском языке в виде
препринта «Клинические испытания программ-
ного обеспечения на основе интеллектуаль-
ных технологий (лучевая диагностика)». Пре-
принт находится в свободном доступе в РИНЦи
в Arxiv [177,
­ 188]. После публичных обсуждений
и широкого сбора рецензий финальная версия
рукописи будет издана в виде официальных ме-
тодических рекомендаций.
Результаты теоретических и научных работ,
опыт методической деятельность по направле-
нию ИИ были систематизированы в монографии
«Artificial Intelligence in Medical Imaging», вышед-
шей под редакцией профессора С.П. Морозо-
ва в издательстве «Springer» [185]. Отличительная
особенность книги: она написана, в первую оче-
редь, врачами, а значит является замечательным
«мостом» между сообществами математиков-ин-
женеров и медицинских работников. Книга стала
настоящим бестселлером — за полгода было сде-
лано более 27 500 скачиваний.
114 COMPUTER VISION / ПРИМЕНЕНИЯ
В настоящее время в Российской Федерации ве-
дется активная работа по созданию норматив-
но-правовой базы, методологий и стандартов
для применения ИИ в медицине. В частности,
приказом Росстандарта от 25.07. 2019 №1732
создан технический комитет по стандартизации
«Искусственный интеллект»; в его составе — под-
группа ТК 164 «Технологии искусственного ин-
теллекта в здравоохранении». Также ведется
разработка процедуры сертификации программ-
ного обеспечения на основе ИИ в качестве ме-
дицинских изделий, а также — методологии кли-
нических испытаний, как ключевого этапа такой
сертификации [177, 188].
ЗАКЛЮЧЕНИЕ
Необходимо осознать, что искусственный интел-
лект — это помощник, а не замена врача. Более
правильным было бы сказать, что врач, использу-
ющий инструменты ИИ, заменит врача, которых
их не использует.
Успешный искусственный интеллект в меди-
цине требует обоснованной постановки задач,
стандартизации данных для обучения и тести-
рования, обязательной независимой валидации,
апробации в клинических условиях.
Для успешного системного развития компьютер-
ного зрения в диагностике требуются:
1. Смена парадигмы: обоснованный подход к по-
становке задач и разработка бесшовных ре-
шений, интегрируемых в производственные
процессы медицинских организаций.
2. Научное обоснование стандартов подготовки
наборов данных.
3. Применение принципов доказательной меди-
цины в оценке точности, качества и безопаснос-
ти технологий компьютерного зрения, а также —
в представлении результатов такой оценки.
Резюмируя можно убежденно говорить о потен-
циальных значительных возможностях компью-
терного зрения в сфере лучевой диагностики,
дерматовенерологии, онкодерматологии, оф-
тальмологии, эндокринологии, ряда других дис-
циплин.
В целом, процесс создания ИИ для медицины
должен быть аналогичен процессу разработ-
ки новых лекарственных веществ в фармако-
логической индустрии. Такой процесс включа-
ет научную разработку, клинические испытания,
формирование инструкции к применению (с по-
казаниями, противопоказаниями, описанием
действия и объяснением принимаемых реше-
ний), применение с постоянным мониторингом
«побочных» эффектов.
Сейчас ИИ для медицины и здравоохранения
находится в самом начале пути. Предстоит вы-
полнить огромное количество научных ис-
следований и клинических испытаний, чтобы
новые технологии стали доступны для действи-
тельно массового, рутинного применения в ме-
дицине.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Олег Майданский
Эксперт ИТ-компании КРОК
3.7. Государство
и безопасность
КАК КОМПЬЮТЕРНОЕ ЗРЕНИЕ ОБЕСПЕЧИВАЕТ
БЕЗОПАСНОСТЬ ГОСУДАРСТВА
Сегодня компьютерное зрение (CV) широко при-
меняется в видеонаблюдении и безопаснос-
ти – 32%, производственном секторе – 17%,
медицине и здравоохранении – 14%, рознич-
ной и оптовой торговле – 10%, оборонном сек-
торе – 8%, автомобильной промышленности
– 5%, потребительском рынке – 5%, сельском
хозяйстве – 3%, логистике – 3% и другое – 3%.
И с каждым годом появляются все новые области
и сценарии применения CV.
По данным TAdviser, в России
на 2018 г. оценка объема
рынка компьютерного зрения
составила около 8 млрд ₽.
К концу 2023 г. объем рынка может превысить
38 млрд ₽ при сохранении текущих тенденций
развития цифровой экономики.
2018 8 млрд
2023 38 млрд
Важнейшей частью физической безопасности яв-
ляется видеонаблюдение. Использование дан-
ной технологии с участием человека чаще все-
го сводится к рутинным ожиданиям обнаружить
что-то необычное на видеомониторе. Это важная,
но утомительная работа. Поэтому были созданы
ДЕКАБРЬ 2019 115
3%3%
3% видеонаблюдение и безоп.
5%
32% производственный сектор
5% медицина и здравоохране
розничная и оптовая торго
8% оборонный сектор
автомобильная промышле
потребительский рынок
10% сельское хозяйство
логистика
17% другое
14%
системы интеллектуального видеонаблюдения,
которые автоматически распознают необычные
события или предметы на кадрах.
В России системы интеллектуального видеона-
блюдения развиваются уже в течение нескольких
лет в области транспортной безопасности, проти-
водействия террористическим угрозам и в управ-
лении жилищно-коммунальным хозяйством. За-
просы на внедрение данной технологи поступают
из разных городов страны: от Москвы и Санкт-Пе-
тербурга, до Владивостока и Сахалинской области.
ПРИМЕНЕНИЕ CV НА ПРАКТИКЕ
В настоящее время проекты по СV, первую оче-
редь, связаны с обеспечением безопасности жи-
телей и коммунальной инфраструктуры, и лишь
затем очередь доходит до транспортных систем,
экологического мониторинга и других. В сфере
документооборота и делопроизводства CV при-
меняется для распознавания текста, чтобы авто-
матизировать процесс бумажной работы:
116 COMPUTER VISION / ПРИМЕНЕНИЯ

|| автоматическое распознавание чеков, Такие системы используются и в «мирных» це-

|| банковских реквизитов,
|| счетов,
|| накладных,
|| договоров
|| и т.д.
В сфере общественного транспорта и управле-
ния дорожным движением технологии CV при-
меняются для автоматической фиксации случаев
нарушений правил дорожного движения, коор-
динированного и адаптивного управления свето-
форными объектами в зависимости от плотности
транспортного потока.
лях. Финансовые организации применяют био-
метрию для подтверждения личности клиентов.
Но биометрические системы видеоидентифика-
ции незаменимы и для обеспечения обществен-
ной безопасности. Интеллектуальное видеона-
блюдение помогает сотрудникам специальных
служб оперативно реагировать на чрезвычайные
ситуации и получать дополнительные материалы
для расследования инцидентов и преступлений.
Так, в одном из наших проектов мы оснастили все
крупные объекты транспортной инфраструкту-
ры (ОТИ) системой распознавания лиц. Это четыре
региональных аэропорта, два морских порта, один
железнодорожный вокзал. Каждый человек, кото-
рый приезжает в регион или покидает его, оказы-
вается в зоне действия биометрических камер.

В городской среде системы видеонаблюде-

Система распознает в видеопотоке лица, строит
ния с компьютерным зрением обеспечивают
их математические модели и сравнивает с база-
безопасность культурных объектов и мест
ми розыска соответствующих ведомств. В случае
массовогопребывания людей.
совпадения, сотруднику ведомства мгновенно
отправляется уведомление. За год обрабатыва-
Например, проводят постоянный автоматиче-
ется до 3 миллионов лиц: пассажиры, провожаю-
ский анализ видеопотока с многочисленных ка-
щие, сотрудники транспортной инфраструктуры,
мер видеонаблюдения на предмет выявления
которые проходят через точки контроля. Система
инцидентов: оставленные предметы, вход в за-
идентифицирует 98% лиц в потоке, что на 15%
прещенную зону, скопление людей, возгорание,
превышает средние показатели традиционных
задымление и др.
технологий видеонаблюдения.

В медицине компьютерное зрение часто ис-

ПЕРСПЕКТИВЫ РАЗВИТИЯ CV
пользуется в компьютерной диагностике. Си-
стемы, построенные на технологиях CV и ML
Технологии компьютерного зрения в настоя-
(Machine Learning) помогают врачам в обработ-
щее время переживают бурный рост. В ближай-
ке многочисленных медицинских изображений
шие годы мы увидим дальнейшее повышение ка-
на предмет поиска различных патологий и на-
чества и достоверности алгоритмов машинного
рушений.
зрения, что расширит области применения дан-
ной технологии. Помимо задач безопасности
Ритейл-компании анализируют своих покупате-
и транспортного обслуживания CV станет актив-
лей, чтобы вывить популярные товары и создать
нее использоваться в промышленности, ритейле,
рекомендации для будущих визитов. Например,
маркетинге и медицине.
Amazon открыл свой первый магазин без касс
и продавцов, в котором камеры с технологиями
Будет наблюдаться два явных тренда:
CV и ML анализируют товары, выбранные покупа-
телями, и автоматически создают счет на выходе
1. распространение «умных» камер, которые бу-
из магазина. Через несколько минут деньги спи-
дут иметь в своем конструктиве вычислитель,
сываются с аккаунта на Amazon.
способный автономно просчитывать различ-
ные сценарии видеоанализа;
Биометрическая видеоидентификация дает
2. появятся услуги «облачного CV», когда все
возможность найти нужные изображения
ресурсоемкие вычисления будут выполнять
с тысячами записей в базах данных различ-
на внешней (по отношению к заказчику) ин-
ных структур и опознать человека.
фраструктуре, а заказчик лишь обеспечит
трансляцию соответствия видеопотоков.
Ключевые
компании мира

04
118 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
Топ компании мира
В этом разделе мы приводим список топ-компаний в мире в области
Computer Vision.
К сожалению, какой-то единой метрики для
определения лидерства компаний не существу-
ет. Мы не можем опираться на финансовые по-
казатели, потому что тогда это будет рейтинг
крупнейших компаний по стоимости или выруч-
ке. Мы не можем опираться на открытую инфор-
мацию о разработках компаний, потому что в пу-
бличном пространстве есть только информация
о публикациях и патентах, а многие компании
ведут свои разработки в условиях строгой се-
кретности и мало публикуются и регистрируют
патенты.
Мы обсуждали с индустрией, как определить,
какие компании считать лидерами в направле-
нии Computer Vision. В результате обсуждения
было решено провести экспертный опрос ин-
дустрии и на основании его вывести результа-
ты. Конечно, экспертный опрос сильно зави-
сит от репрезентативности выборки. В разделе
«9.1 Потрет индустрии» мы приводим результаты
этого опроса и портрет аудитории. К сожалению,
наш опрос попал не только на активное время
года (октябрь/ноябрь) но также и на время про-
ведения крупных конференций ICCV, ICMV и по-
дачи тезисов на CVPR. В результате мы собрали
мало ответов, но тем не менее, основные тенден-
ции мы все же проявили.
ОБСУЖДЕНИЕ СПИСКА КОМПАНИЙ
Результирующий список компаний выглядит
ожидаемым.
Безусловным лидером опроса
экспертов, как и в случае NLP,
является компания Google.
За ней идет компания Facebook, что впол-
не ожидаемо, ведь многие топ-исследователи
в Computer Vision работают в FAIR (Facebook AI
Research) да и сам Ян Ле Кун, руководитель FAIR,
известен в CV и является создателем сверточных
сетей, которые наиболее эффективно проявили
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 119
нальным институтом Стандартов и техноло- ТОП КОМПАНИИ МИРА
гий США (NIST) алгоритмы NEC опередили всех
конкурентов и заняли первое место по скоро-
На основании экспертных
оценок [191]
сти и точности распознавания лиц. В соревнова-
нии участвовали 49 компаний из США, Китая, Ев-
себя именно в работе с изображениями. Топ-12
ропы, Японии и России, в том числе Vision Labs
компаний мира
и NTech Lab.
Также в числе топ компаний Microsoft и Amazon, 1. Google
которые не только ведут исследования в CV,
В результирующий список вошло 12 компа- 2. Facebook
но и предоставляют свои облачные сервисы
ний, которые на наш взгляд образуют основ- 3. Microsoft
по работе с изображениями. Отдельно отметим
ное ядро компетенций в области Computer 4. NVIDIA
компанию NVIDIA, которая изначально специ-
Vision в мире. Про каждую из них мы далее 5. Amazon
ализировалась на разработке и создании гра-
приводим краткую справку.
фических процессоров и в свое время вовремя 6. Megvii
увидела восходящий тренд популярности техно- 7. SenseTime
логий ИИ и в короткие сроки разработала целый 8. YITU
стек программного обеспечения, позволяющего 9. NEC
эффективно реализовывать алгоритмы нейрон-
10. Alibaba
ных сетей на графических процессорах NVIDIA,
11. Baidu
став в результате буквально монополистом это-
12. Deepglint
го рынка. В последние 2 года, помимо железа,
компания начала активно разрабатывать реше-
ния для конечных пользователей B2B сегмента
и в первую очередь для беспилотных автомоби-
лей. Для этого компания активно ведет исследо-
вания в области CV.
В этот раз в наш топ-лист вошло значительно
больше компаний из Китая. Это конечно Megvii,
известная своим проектом Face++ и тем, что
в 2017 и 2018 г. алгоритмы Megvii превзошли ал-
горитмы Google, Facebook и Microsoft на ICCV —
одной из самых авторитетных конференций
по машинному зрению в мире. Также это компа-
нии SenseTime, YITU и Deepglint, специализиру-
ющиеся исключительно на CV. И конечно Alibaba
и Baidu, которые, также как и Amazon и Google
стабильно входят в каждый наш топ-компаний
по отдельным направлениям, работая во всех на-
правлениях ИИ.
Отдельно нужно упомянуть компанию NEC, ко-
торая является одним из мировых лидеров в об-
ласти распознавания лиц и биометрии, но это
не очень известно в России.
Сегодня алгоритмы компании NEC по многим по-
казателям являются лучшими в мире. На извест-
ном мировом соревновании Face Recognition
Vendor Test (FRVT) 2018 (*1) проводимом Нацио­
120 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
Google
Миссия Google состоит в том, чтобы орга-
низовать мировую информацию и сделать
ее универсально доступной и полезной.
Благодаря таким продуктам и платфор-
мам, как Поиск, Карты, Gmail, Android,
Google Play, Chrome и YouTube, Google
играет значительную роль в повседнев-
ной жизни миллиардов людей и стала од-
ной из самых широко известных компаний
в мире. Google является дочерней компа-
нией Alphabet Inc.
Исследовательские подразделения —
Google AI, Google Brain. Также исследова-
тельстким подразделением DeepMind (до-
черня компания Google), которая ведет
исследования в области AGI (сильного ИИ).
У DeepMind достаточно много публикаций
в области CV и в ней работают несколько
ведущих исследователей CV в мире.
Руководитель компании: Сундар Пичаи —
CEO Google.
Руководитель CV направления: Витторио
Феррари — глава исследовательской груп-
пы CALVIN по визуальному обучению.
Исследователи в CV: Andrew Zisserman
(DeepMind, см. стр. 150), Anil K. (DeepMind,
см. стр. 150), Cordelia Schmid (Google AI,
см. стр. 152), Christian Szegedy, Vincent
Vanhoucke, Dumitru Erhan.
Основные направления исследований:
все направления в области CV.
Некоторые CV проекты:
Google Cloud Vision API — платформа
для тренировки алгоритмов Computer
Vision, в которую входит:
|| Label Detection — классификация изо-
бражений.
|| OCR — распознавание текста
|| Explicit Content Detection — фильтрация
негативного контента.
|| Facial Detection — распознавание лиц
|| Landmark Detection — распознавание
геолокации по фото.
|| Logo Detection — детектирование сим-
волов.
|| Image Properties — детекция отдельных
атрибутов изображения.
|| Perception — технология понимания
сенсорных данных, внедряемая во все
продукты компании, включающая рас-
познавание изображений в Google
Фото, улучшение качества фото с каме-
ры Pixel Phone, интерфейсы рукопис-
ного ввода Android, оптическое рас-
познавание символов в Google Drive,
понимание видео и YouTube, Google
Cloud, Google Фото и Nest, а также ком-
пьютерное зрение для мобильных
приложений, таких как Motion Stills,
PhotoScan и Allo.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 121
Facebook
$893.3B Описание: самая большая группа со-
циальных сетей в мире, в портфеле ком-
ле в CV — детектирование и классифика-
ция объектов на изображениях, распозна- $559.5B
Капитализация [201] Капитализация [199]
пании следующие платформы: Facebook, вание лиц.
Instagram, Whatsapp. Основной доход ком-
$136B пания получает от рекламы. Алгорит-
Некоторые CV проекты:
$55.8B
Выручка [202] мы компьютерного зрения применяются || Detectron2 — библиотека машинного Выручка [200]
во всех продуктах Facebook. Исследова- зрения на основе PyTorch.
$16,6B тельское подразделение в ИИ — Facebook
|| ResNeXt — простая высокомодульная
$7,8B
Затраты на RnD AI Research (FAIR). Затраты на RnD
сетевая архитектура для классифика-
Руководитель компании: Марк Цукер- ции изображений.
600 берг — CEO Facebook.
Алгоритмы машинного зрения исполь-
211
Патентов [194] Патентов [194]
Руководитель CV направления — Yann Le зуются в Facebook для фильтрации не-
1000 Cunn (Ян Ле Кун) — руководитель FAIR, со-
здатель CNN (сверточных нейронных се-
желательного контента, в том числе,
видеоконтента выявления фейковых фо-
274
Публикаций [194] Публикаций [194]
тей) которые применяются для задач CV. тографий, актуализации и кастомизации
рекламы.
Исследователи в CV: Kaiming He (см. стр.
156), Ross Girshick (см. стр. 155) Многие возможности Instagram (фильтры,
маски, быстрое редактирование фотогра-
Основные направления исследований:
фий и сториз) обусловлены алгоритмами
все направления исследований, в том чис-
машинного зрения.
122 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
Microsoft
Microsoft (Nasdaq: MSFT) — международ-
ная компания в области информационных
технологий и цифровой трансформации,
ведущий поставщик облачных решений
и интеллектуальных сервисов, ИТ-плат-
форм для корпоративного и персонально-
го использования. Microsoft обеспечивает
возможности цифровой трансформа-
ции в эпоху «интеллектуального облака»
и «интеллектуальных технологий». Мис-
сия компании — дать возможность каждо-
му человеку и организации на планете до-
стичь большего.
В организационной структуре компа-
нии Microsoft три подразделения, вы-
полняющих разработки продукции и ус-
луг: Clout+AI Group, Experiences+Devices
Group, AI+Research Group. Все они, в той
или иной мере, занимаются разработка-
ми в области ИИ. Фокус Cloud+AI Group
состоит в создании и продвижении пе-
редовых промышленных ИИ-сервисов
для самого широкого круга потребителей.
Experiences+Devices Group использует ИИ
для повышения качества и расширения
функциональности компьютеров, опера-
ционных систем, офисного ПО, игр и др..
AI+Research Group ведет фундаменталь-
ные исследования в области Computer
Science и разрабатывает новые продукты
и сервисы, расширяющие области приме-
нения ИИ.
Руководитель компании: Сатья Надел-
ла — CEO компании.
Руководитель CV направления: Kevin
Scott — CTO Microsoft.
Исследователи в CV: Richard Szeliski,
Jamie Shotton.
Основные направления исследований:
распознавание лиц, графический поиск,
алгоритмы компьютерного зрения.
Некоторые CV проекты:
|| Azure Cognitive Services — Облачный
сервис предоставляет разработчикам
API для доступа к расширенным алго-
ритмам обработки изображений и воз-
врата данных. После загрузки изобра-
жения или указания его URL-адреса
алгоритмы машинного зрения от Май-
крософт позволяют по-разному ана-
лизировать визуальное содержимое
на основе входных данных и выбора
пользователя.
|| Bing image recognition — в поисковике
Bing от Microsoft используются алгорит-
мы компьютерного зрения.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
NVIDIA
$1.125T Описание: Крупнейший разработчик
и производитель графических процессо-
Капитализация [203]
ров, видеокарт, систем-на-чипе и уско-
рителей для высокопроизводительных
$110B вычислений, видеоигр, профессиональ-
Выручка [204] ных визуализаций и автомобильной про-
мышленности. Рынок ИИ является одним
$14.7B из важнейших направлений для компании.
Затраты на RnD [204] Системы-на-чипе и ускорители NVIDIA ли-
дируют по техническим характеристикам
>1000 среди конкурентов.
Патентов [194] NVIDIA изначально специализировалась
на разработке и создании графических
> 1000 процессоров и в свое время вовремя уви-
Публикаций [194] дела восходящий тренд популярности
технологий ИИ и то, что энтузиасты нау-
чились использовать графические много-
ядерные карты не для расчета графики,
а для параллельных расчетов. В резуль-
тате NVIDIA в короткие сроки разра-
ботала целый стек программного обе-
спечения, позволяющего эффективно
реализовывать алгоритмы нейронных се-
тей на графических процессорах NVIDIA
и в результате стала буквально монопо-
листом этого рынка.
В последние 2 года, помимо железа,
компания начала активно разрабаты-
вать решения для конечных пользовате-
лей B2B сегмента. Для этого компания
не только ведет активные исследова-
ния в сфере графических ускорителей,
а также разрабатывает ПО для машинно-
го обучения, но и работает над глобаль-
ными долгосрочными проектами, такими
как умный город и автономные транс-
портные средства.
ДЕКАБРЬ 2019 123
Руководитель компании: Дженсен Ху-
анг — генеральный директор компании. $132.6B
Капитализация [206]
Руководитель направления ИИ: Bryan
Catanzaro — глава подразделения машин-
ного обучения, PhD (Berkley), ранее рабо-
$12B
Выручка [207]
тал в Baidu.
Исследователи в CV: Tero Karras, Jan $1,8B
Kautz, Ming-Yu Liu, Xiaodong Yang, Kihwan Затраты на RnD [207]
Kim.
Основные направления исследова- 545
ний: Ускорители и системы-на-чипе Патентов [194]
для ИИ-технологий, бортовые компьютеры
для беспилотного транспорта, компьютер- 382
ное зрение, умный город, интеллектуаль- Публикаций [194]
ная робототехника.
Некоторые проекты:
|| NVIDIA Jetson Nano — система для ав-
тономного транспорта на базе гра-
фических ускорителей NVIDIA. Реше-
ние открывает новые возможности
для встроенных IoT-приложений, в том
числе для видеорегистраторов на-
чального уровня, домашних роботов
и интеллектуальных шлюзов с воз-
можностями аналитики. Jetson Nano
обеспечивает 472 Гигафлопса.
|| NVIDIA Metropolis — фреймворк
для решения задач видеоаналитики
|| NVIDIA DeepStream — платформа
для быстрого анализа видеопотоков
в реальном времени.
|| GPU4Vision, OpenVIDIA — библиотеки
для высокопроизводительных вычисле-
ний (компьютерное зрение).
124 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
Amazon
Описание: Транснациональная компания,
профилирующаяся в электронной ком-
мерции (маркетплейс, аукционы), облач-
ных вычислениях (AWS) и искусственном
интеллекте. Компания ведет разработки
по всем дисциплинам, относящимся к тер-
мину «искусственный интеллект» и в том
числе имеет значительные наработки
по технологиям компьютерного зрения.
Руководитель компании: Джефф Безос —
CEO компании.
Руководитель CV направления: Вернер
Фогельс — CTO компании.
Исследователи в CV: Kevin Lai, Liefeng Bo,
Dieter Fox, Michael Hirsch.
Основные направления исследований:
обработка естественного языка, голосо-
вые помощники, поиск и извлечение ин-
формации из текста.
Некоторые CV проекты:
|| Amazon Rekognition — позволяет про-
сто встраивать в приложения аналити-
ку изображений и видео на базе глу-
бокого обучения. Требуется только
предоставить API Rekognition изобра-
жение или видео. Сервис умеет рас-
познавать объекты, людей, текст, сце-
ны и действия, а также обнаруживать
неприемлемый контент. Кроме того,
Amazon Rekognition с высокой точно-
стью анализирует и распознает лица
на изображениях и в видеоматериалах
клиента. Искать, анализировать и срав-
нивать лица можно для таких примеров
использования, как проверка пользо-
вателей, подсчет посетителей или обе-
спечение общественной безопасности.
Amazon использует на десятках своих
складов камеры, анализирующие поступа-
ющую продукцию. Далее без участия ра-
бочих товары автоматически распреде-
ляются по покупательским корзинам.
|| Amazon 13 Go — магазины Amazon,
в которых покупатели просто скани-
руют на входе свои смартфоны, а за-
тем берут с полок все необходимые
товары и выходят из магазина. Покуп-
ка оплачивается автоматически, а чек
формируется на основе информации,
полученной с камер магазина и обра-
ботанной алгоритмами компьютерно-
го зрения. «No lines, no checkout — just
grab and go!».
|| Дроны Amazon, предназначенные
для доставки товаров.
|| Системы умного дома Amazon — ком-
плексные решения, включающие двер-
ные звонки с камерами.
|| Echo Look — голосовая колонка с ка-
мерой от Amazon, управляемая голо-
сом и дающая рекомендации в области
моды и стиля.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 125
Megvii Technology Limited
$874.7B Описание: китайская компания, которая
проектирует системы глубокого обуче-
В 2017 и 2018 г. алгоритмы Megvii пре-
взошли Google, Facebook и Microsoft $4B
Капитализация [195] Стоимость
ния для распознавания образов. Название на ICCV.
компании [209]
происходит от «mega vision». Компания
$233B Руководитель компании: Qi Yin — гене-
$199.7M
проинвестирована множеством извест-
Выручка [196] ральный директор компании.
ных фондов, среди которых в частности
Bank of China Group Investment, Lenovo, Руководитель CV направления: Jian Sun Выручка [208]
$5.4B Foxconn, Sinovation Ventures (основанный (см. стр. 155) – руководитель исследова-
Затраты на RnD [196] известным предпринимателем Kai-Fu Lee) ний компании. н/д
и Российско-китайский инвестиционный Затраты на RnD
548
Исследователи в CV: Xiangyu Zhang.
фонд. В совет директоров компании так-
873
Патентов [194] же входят представители от Alibaba и Ant Основные направления исследований:
Financial. В 2019 г. компания была оценена компьютерное зрение, глубокое обучение. Патентов [210]
87 в 4 миллиарда долларов США.
Некоторые проекты:
Публикаций [194]
Megvii является крупнейшим в мире постав-
|| Face++ — основной продукт компании,
н/д
щиком программного обеспечения компью- Публикаций
онлайн-платформа для распознава-
терного зрения, самый известный продукт
ния лиц. Крупнейшая в мире платфор-
Face++ – крупнейшая в мире облачная плат-
ма компьютерного зрения с открытым
форма компьютерного зрения с открытым
исходным кодом. Активно используется
исходным кодом. Эту платформу d xfcnzjcnb
полицией Китая.
использует Ant Financial для авторизации
платежей через Alipay. Также Megvii предо- || Brain++ — платформа для тренировки
ставляет сервис распознавания лиц для ки- моделей, основанных на глубоком обу-
тайских банков и для агрегатора такси Didi чении.
(китайского аналога Uber и Яндекс.Такси).
126 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
SenseTime
Описание: китайская компания, входит
в топ-10 китайских компаний в сфере ИИ.
Является разработчиком различных про-
дуктов на основе технологий компьютер-
ного зрения, в том числе биометрических
систем, персонализированных марке-
тинговых платформ, систем безопаснос-
ти. Наиболее известна технологиями рас-
познавания объектов на изображениях,
используемых в камерах видеонаблюде-
ния. У компании более 700 клиентов, сре-
ди которых MIT, Qualcomm, Nvidia, Honda,
Alibaba, Suning, China Mobile, UnionPay,
Wanda, Huawei, Xiaomi, Oppo, Vivo, Weibo
и iFLYTEK.
Компания участвует в двух масштаб-
ных проектах китайского Министерства
общественной безопасности — Скай-
нет и Острый глаз, в результате которых
к 2020 г. весь Китай должен быть охвачен
системами видеонаблюдения за 1.4 млрд
граждан с помощью технологии распозна-
вания лиц.
Основатель компании: Tang Xiaoou.
Руководители по CV: Junjie Yan — ви-
це-президент по исследованиям
в SenseTime.
Исследователи по CV: Jianping Shi, Junjie
Yan, Cheng Li, Yuheng Chen.
Основные направления исследований:
компьютерное зрение, глубокое обучение,
распознавание жестов, оценка поз, рас-
познавание медицинских изображений,
биометрия.
Некоторые проекты:
SenseTime предлагает технологии компью-
терного зрения для различных применений:
|| Системы для автономных автомоби-
лей (Обнаружение пешеходов, авто-
транспортных средств и неавтомоби-
лей).
|| Системы для анализа видеоконтента.
|| Анализ медицинских изображений
|| SenseU — интерактивный рекламный
киоск. Продукт работает на основе
ряда технологий компьютерного зре-
ния. SenseU анализирует персональ-
ные характеристики проходящих мимо
людей, в том числе гендер, возраст,
эмоции, жесты. На основе полученной
информации предлагается персонали-
зированная реклама.
|| SensePosture — технология оценки поз
(pose estimation). Осуществляет высо-
коскоростной трекинг движений че-
ловека по 17 3D координатам. Приме-
няется в дополненной и виртуальной
реальности.
|| Intelligent cockpit — система компьютер-
ного зрения, разработанная для автомо-
билей. Включает в себя биометрическую
идентификацию пользователя, систе-
му распознавания жестов, облегчающую
управление транспортом, а также систе-
мы обнаружения сонливости водителя,
мониторинга внимания за рулем и выяв-
ления опасного вождения.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
YITU Technology
$7.5 B Описание: китайская компания-разработ-
чик решений на основе алгоритмов ма-
Оценка компании [212]
шинного обучения с фокусом на техноло-
гиях машинного зрения и распознавания
н/д
лиц и голоса. Предлагает решения для та-
Выручка
ких областей как: безопасность, здраво-
охранение, финансы, ритейл, умный го-
н/д род. Имеет клиентов по всему миру в 30
Затраты на RnD странах, в том числе ООН, университет
Сингапура и полицию Малазии. В 2015 г.
1029
была награждена премией «Ministry of
Патентов [213] Public Security Science and Technology
Progress Award» за свой продукт Dragonfly
266 Eye System.
Публикаций [194] В августе 2019 YITU была включена в чис-
ло «национальных чемпионов ИИ». Так-
же входит в рейтинг «топ-100 стартапов
в сфере ИИ» от CB Insights.
Основатели компании: Leo Zhu, Lin Chenxi.
Руководители в CV: Jiao Hui Ru — дирек-
тор по технологической стратегии ком-
пании.
Основные направления исследований:
компьютерное зрение, глубокое обучение,
распознавание лиц, биометрия, NLP.
ДЕКАБРЬ 2019 127
Некоторые проекты:
$2.37B
|| Dragonfly Eye System — система ви- Оценка компании
деонаблюдения для большого города, [214]
построена на одновременном парал-
н/д
лельном анализе видеопотока с десят-
ков тысяч камер. Система применяется Выручка
для анализа дорожной ситуации и безо-
пасности в городе, автоматически реа-
гируя на сотни событий. В 2019 г. ком-
н/д
Затраты на RnD
пания объявила о сотрудничестве
327
с городом Сямынь над созданием ин-
фраструктуры умного города на осно-
Патентов [213]
ве технологий компьютерного зрения
и интеллектуальной обработки боль-
ших данных. н/д
Публикаций
|| Анализ медицинских снимков. Со-
вместно с рядом госпиталей Китая ком-
панией было проведено масштабное
исследование по анализу медицинских
снимков больных раком легких.
|| China Merchants Bank's Facial
Recognition Project — в 2015 г. систе-
ма распознавания лиц компании YITU,
а также биометрическая система VTM
identity authentication были внедрены
в 1500 банков Китая.
128 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
NEC
Описание: японская компания, произво-
дитель электронной, компьютерной тех-
ники, телекоммуникационного обору-
дования, одна из крупнейших мировых
телекоммуникационных компаний. Явля-
ется членом Sumitomo Group. По состо-
янию на сентябрь 2019 г. NEC был круп-
нейшим поставщиком ИИ технологий
в области наблюдения в Китае. Компа-
ния занимает 470 место в списке Fortune
Global 500 2019 г.
Компания NEC еще несколько лет на-
зад была абсолютным лидеров по постав-
ке систем биометрии, в том числе распоз-
навания лиц. Сегодня этот рынок вырос
и стал более конкурентным, на нем появи-
лось много новых компаний. Но и сегод-
ня алгоритмы компании NEC по многим
показателям являются лучшими в мире.
На известном мировом соревновании Face
Recognition Vendor Test (FRVT) 2018 (*1)
проводимом Национальным институтом
Стандартов и технологий США (NIST) ал-
горитмы NEC опередили всех конкурентов
и заняли первое место по скорости и точ-
ности распознавания лиц. В соревнова-
нии участвовали 49 компаний из США, Ки-
тая, Европы, Японии и России, в том числе
Vision Labs и NTech Lab.
Руководитель компании: Такаси Ниино —
генеральный директор компании,
Руководитель CV направления: Motoo
Nishihara — CTO компании.
Исследователи в CV: Kenji Yamanishi. Kenji
Tateishi, Toshikazu Fukushima.
Основные направления исследований:
распознавание изображений, обнаруже-
ние объектов, отслеживание, сегментация
и 3D-реконструкция, распознавание лиц.
Некоторые проекты:
Bio-IDiom — система биометрической
идентификации.
|| Person Re-identification Technology –
алгоритм, разработанный компанией
для идентификации людей, частично
скрытых от камеры. Алгоритм анали-
зирует фигуру человека, а также его
одежду, и сравнивает с уже сохранен-
ными в базе изображениями.
|| Мультимодальная технология слияния
изображений — значительно улучшает
четкость изображений за счет исполь-
зования искусственного интеллекта (AI)
для автоматического объединения ви-
димых изображений, полученных стан-
дартными камерами, с невидимыми
изображениями, полученными специа-
лизированными устройствами, такими
как тепловые или терагерцовые камеры.
|| Simplified Visual Inspection — техноло-
гия NEC, позволяющая на основе ал-
горитмов компьютерного зрения осу-
ществлять автоматический мониторинг
поверхностей на предмет дефектов
на производстве.
[235]
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Alibaba
$9.7B Описание: Китайский транснациональный
холдинг, содержащий множество компа-
Капитализация [205]
ний, специализирующийся на e-commerce,
ритейле, ИИ и технологиях. Помимо тор-
$26,2B говли выстраивает целую экосистему пла-
Выручка [206] тежей, логистики и сервисов.
$1B Основные статьи дохода — B2B торговые
операции и розничная онлайн-торговля.
Затраты на RnD [206]
У компании есть иностранные акционеры –
японский Softbank (примерно 29% акций)
н/д и американская Altaba (дочерняя компания
Патентов Yahoo!, примерно 15% акций). Компания
инвестирует не только в Китае, но также
90 в США, Индии, Израиле, Тайване, Индоне-
Публикаций [194] зии, Пакистане, СИнгапуре, ОАЭ и Швейца-
рии. Область инвестиций включает биотех,
безопасность, пищевые технологии, ме-
диа, облачные вычисления, финтех и тех-
нологии распознавания голоса и лиц.
Руководитель компании: Jack Ma (Джек
Ма) — президент Alibaba Group.
Руководители направления CV:
Jeff Zhang (Джефф Жанг) — CTO компа-
нии, Dr. Hui Xue директор отдела алгорит-
мов и анализа данных в Alibaba Group,
Yangqing Jia — вице-президент Alibaba
Group, Yangqing Jia (Янцин Цзя) — ди-
ректор по ИИ в Alibaba, ранее работал
в Facebook над ИИ-проектами (Caffee2).
ДЕКАБРЬ 2019 129
Исследователи в CV: Rui Jin, Wenhan Bien,
Lihong Li. $506.7B
Капитализация [192]
Основные направления исследований
в CV: беспилотный транспорт, умный го-
род, роботизированные системы.
$16,741M
Выручка [193]
Некоторые CV проекты:
|| Открытая ИИ-платформа для умного
$3,8B
Затраты на RnD [193]
города ET City Brain. Реализована в го-
102
роде Ханчжоу. Благодаря включению
дорожных камер в облачное решение
ET City Brain увеличилось число еже- Патентов [194]
дневных сообщений об авариях в Хан-
чжоу и уменьшилось время реагирова- 76
ния. Уровень точности идентификации Публикаций [194]
инцидентов составил более 92%.
|| Автономный транспорт — компания
активно разрабатывает данное на-
правление, панируя использовать
беспилотные автомобили для до-
ставки продукции. В 2018 г. бюджет
Alibaba на исследования составил
$720 млн. Тестирования беспилот-
ных транспортных средств проводят-
ся в городе Ханчжоу, средняя скорость
движения составляет на данный мо-
мент 30-40 км/ч, грузоподъемность —
до нескольких тонн.
130 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ МИРА
Baidu
Крупнейшая поисковая система в Ки-
тае и 4-й самый посещаемый сайт в мире.
Baidu предлагает множество сервисов,
аналогичных Google и Яндекс, а также под-
держивает Baidu Baike – китайский аналог
Wikipedia. Основные доходы компания по-
лучает от таргетированной рекламы.
В группе компаний Baidu исследования-
ми занимается Baidu Research, в которой
в свою очередь есть несколько исследо-
вательских подразделений, которые за-
нимаются СV – Institute of Deep Learning,
Robotics and Autonomous driving Lab, Silicon
valley AI Lab.
Руководитель компании: Робин Ли — CEO
Baidu.
Руководители направления CV:
Andrew Ng (Эндрю Ын) — до марта
2017 г. — ведущий специалист лабора-
тории искусственного интеллекта (см.
стр. 151).
Wang Haifeng — CTO компании.
Исследователи в CV: David Forsyth,
Guodong Guo, Yang Yi.
Deep Glint
Описание: китайский стартап, разрабаты-
вающий системы компьютерного зрения
в сфере 3D-анализа изображений и рас-
познавания образов для промышленных
применений.
Руководитель компании и CV направле-
ния: Yong Zhao — сооснователь и CEO ком-
пании.
Исследователи в CV: Yafeng Deng — CTO
компании.
Основные направления исследований:
распознавание изображений, обнаруже-
ние объектов, отслеживание моделей по-
ведения, распознавание лиц.
Некоторые проекты:
|| Squatter Zhiyuan — система, включаю-
щая в себя алгоритмы глубокого обуче-
ния, разработанные и оптимизирован-
ные для сценариев видеонаблюдения.
Основные направления исследований:
детекция и классификация объектов, се- $39.8B
Капитализация [197]
мантическая сегментация, беспилотный
транспорт, умный город.
Некоторые CV проекты:
$15B
Выручка [198]
|| PaddleSeg — библиотека семантическо-
го сегментирования изображений. $2B
Затраты на RnD [198]
|| PaddleDetection — Высокопроизводи-
тельный инструментарий обнаружения
объектов на основе PaddlePaddle 134
Патентов [194]
|| Apollo — технологии ИИ, включая ал-
горитмы распознавания лиц, анали-
за поведения за рулем, биометрию, ис-
108
Публикаций [194]
пользующиеся в бортовых системах
автомобилей. Сейчас Baidu бесплат-
но предоставляет производителям ав-
томобилей лицензию на свою систему
в обмен на пользовательские данные,
использующеся для совершенствова-
ния моделей. Впоследствии планирует-
ся на базе Apollo создавать полностью
автономные транспортные средства.
|| IQiyi Inc. — одна из дочерних компаний
Baidu, онлайн видеоплатформа, аналог
Netflix.
|| Умные камеры — камеры, соединен-
ные с серверами обработки визуальной $68M —
информации, используемые для авто- $102M
матического мониторинга охраняемых Оценка компании [211]
объектов.
|| Роботы-аватары — роботизированные н/д
системы с портативной камерой и экра- Выручка
ном, применяющиеся для дистанцион-
ной коммуникации. н/д
Затраты на RnD
|| Система распознавания лиц
DeepGlint — повсеместно использует-
ся полицией Китая. Также совмест-
н/д
Патентов
но с Hyundai внедряется в автомоби-
н/д
ли для биометрического распознавания
водителей и анализа моделей поведе-
ния в процессе вождения. Публикаций
Ключевые
компании России

05
132 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ
Топ компании России
В этом разделе мы приводим список топ-компаний в России в области
Computer Vision.
К сожалению, какой-то единой метрики
для определения лидерства компаний не су-
ществует. Мы не можем опираться на финан-
совые показатели, потому что тогда это будет
рейтинг крупнейших компаний по стоимости
или выручке. Мы не можем опираться на откры-
тую информацию о разработках компаний, по-
тому что в публичном пространстве есть только
информация о публикациях и патентах, а мно-
гие компании ведут свои разработки в условиях
строгой секретности и мало публикуются и ре-
гистрируют патенты.
Мы обсуждали с индустрией, как определить,
какие компании считать лидерами в направле-
нии Computer Vision. В результате обсуждения
было решено провести экспертный опрос ин-
дустрии и на основании его вывести результа-
ты. Конечно, экспертный опрос сильно зависит
от репрезентативности выборки. В разделе «9.1
Потрет индустрии» мы приводим результаты это-
го опроса и портрет аудитории. К сожалению,
наш опрос попал не только на активное время
года (октябрь/ноябрь) но также и на время про-
ведения крупных конференций ICCV, ICMV и по-
дачи тезисов на CVPR. В результате мы собрали
мало ответов, но тем не менее, основные тен-
денции мы все же проявили.
ОБСУЖДЕНИЕ СПИСКА КОМПАНИЙ
Топ-список российских компаний в этот раз был
также достаточно ожидаемым.
Безусловным лидером
топ-списка снова
является Яндекс.
Но отрыв от следующих компаний уже не такой
большой, как в области NLP технологий (напом-
ним, мы считаем на основании экспертных оце-
нок). Практически все эксперты назвали ком-
пании VisionLabs, NTech Labs и Vocord, хотя это
может быть связано с тем, за последние 2 года
эти компании много раз упоминались в СМИ.
Все эти компании еще недавно были стартапа-
ми, но быстро выросли и теперь у них серьез-
ные акционеры и солидная выручка (см справ-
ки компаний).
Также в список топ-компаний вошли еще 2 не-
большие компании — Tevian и 3divi, обладаю-
щие значительными компетенциями в области
CV и не уступающие таким большим корпораци-
ям, как ABBYY и Mail.ru, которые также ожидаемо
вошли в список топ-компаний. И отдельно нужно
рассказать еще про двух участников топ-списка.
ДВА ОСОБЕННЫХ УЧАСТНИКА
ФГУП ГосНИИАС — это государственный институт,
а не компания. И работает он в основном в облас-
ти оборонных технологий и информации по его
реальным проектам очень мало. Тем не менее
наружу все равно просачивается информация
о том, что делается внутри. Наиболее известный
исследователь Юрий Визильтер не только хо-
рошо известен в экспертных кругах, но и имеет
достаточно много открытых публикаций и вошел
в топ-исследователей по CV (см. стр. 164). Поэ-
тому мы решили включить этот институт в наш
обзор, несмотря на то, что мы принципиально
не пишем про закрытые исследования техноло-
гии. Но в данном случае речь про команду и ее
компетенции.
И, наконец, последний участник нашего спи-
ска вызывает множество споров — это компа-
ния Cognitive Technologies. В СМИ регулярно про-
ходит информация о том, что Cognitive внедрила
свои продукты на разных предприятиях. Но, надо
честно признать, что многие эксперты в отрас-
ли (и вся команда нашего Альманаха в том числе)
никогда вживую не видели их технологии и про-
дукты. Мы склонны это относить скорее к сво-
им недостаткам и опираемся на мнения других
экспертов, доклады на конференциях харизма-
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 133
тичного руководителя компании и на видео, ко- ТОП КОМПАНИИ РОССИИ
торые компания демонстрирует на разных меро-
На основании экспертных
приятиях. Однако, некоторые эксперты считают,
оценок [215]
что за этими видео не стоит реально работающий
продукт. Тем не менее, исходя из имеющейся
Топ-10 компаний России
у нас информации, мы все же решили включить
компанию в список и надеемся, что нам предста- 1. Яндекс
вится возможность в ближайшее время убедить- 2. Vision Labs
ся лично и снять свои сомнения в работоспособ- 3. NTech Lab
ности продуктов Cognitive Technologies. 4. Vocord
5. Mail.ru
О КОМПАНИЯХ, НЕ ПОПАВШИХ В ТОП-10
6. Tevian
7. ABBYY
В этот раз мы провели точку отсечения на 10 ком-
паниях, исходя из той информации, которая 8. 3divi
у нас была. К сожалению, мы не можем написать 9. ГосНИИАС
про все компании про которые знаем, но отметим, 10. Cognitive Techologies
что среди тех, кто не вошел в список топ-10 много
очень достойных компаний и команд.
Например, многие эксперты указали компанию
Prisma Labs, чей cервис для обработки изображе-
ний Prisma стал приложением года по всему миру
в App Store и Google Play в 2016 г. К сегодняш-
нему дню приложение скачало более 120 млн
пользователей. Однако, компания была закрыта
в 2018 г. и основатели начали новый проект.
В результирующий список вошло 10 компа-
ний, которые на наш взгляд образуют основ-
ное ядро компетенций в области Computer
Vision в России. Про каждую из них мы далее
приводим краткую справку.
Все российские компании активные
в области Computer Vision есть на карте
Искусственного интеллекта России ­
http://aiRussia.online
134 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ
Яндекс
Ведущая поисковая система в интернете
в России по количеству обрабатываемых
поисковых запросов. Также, как и в про-
шлом Альманахе, Яндекс оказался на ли-
дирующих позициях в наших рейтингах,
так как с самого начала он был построен
на технологиях ИИ и является лидирую-
щей российской компанией в этой облас-
ти. Основной фокус разработок в NLP на-
правлен на улучшение качества поиска
и перевода, а также на развитие голосово-
го помощника Яндекс Алиса.
С целью продвижения своего голосового
помощника Алиса Яндекс учредил ежеме-
сячную премию для разработчиков «Пре-
мия Алисы» в размере от 50 до 100 ты-
сяч рублей за создание наиболее часто
используемых навыков. Среди необыч-
ных навыков, разработанных для Алисы,
есть ряд игр и онлайн-викторин («Кроко-
дил», «Да, милорд»), разговорные навыки
(«Поговори с Алисой», «Рассказать сказ-
ку»), возможность заказать пиццу и вы-
звать такси и даже навык «Зеркало души»,
который помогает человеку получше разо-
браться в себе, а при необходимости — со-
ветует поговорить с психологом. Сейчас
в у Алисы свыше 1,5 тысяч навыков.
CV подразделения: Yandex Vision.
Основатели: Илья Сегалович и Аркадий
Волож, ген директор — Елена Бунина.
Лидер в ИИ: Михаил Биленко — руководи-
тель управления машинного интеллекта
и исследований.
Ведущие исследователи в CV: Артем Ба-
бенко (см. стр. 163).
Основные направления исследований:
машинный перевод, распознавание речи,
голосовые технологии, виртуальные асси-
стенты, поиск и извлечение информации
из текста.
Некоторые CV проекты:
Yandex Vision — сервис компьютерного
зрения для работы с изображениями.
Сервис Yandex Vision включает в себя тех-
нологии OCR (Optical Character Recognition,
OCR), автоматическую модерацию контен-
та и определение присутствия человека
на изображении.
В качестве источника можно использо-
вать любое изображение: скан документа,
фотографию, рисунок. На данный момент
действуют следующие стандартные квоты
(могут быть увеличены через службу под-
держки) в работе:
|| 10 запросов в секунду;
|| 5 распознаваний текста в секунду.
И лимиты (технические ограничения сер-
виса):
|| поддерживаемые форматы файлов:
JPEG, PNG, PDF;
|| 1 Мб — максимальный размер файла;
|| 20 мегапикселей — максимальный раз-
мер изображения.
OCR позволяет работать с документа-
ми, содержащими текст на разных язы-
ках. Всего поддерживается 46 различных
языков.
Поиск по изображению — отдельно нуж-
но упомянуть сервис поиска Яндекса по
изображениями, которым может вос-
пользоваться любой пользователь. По
многим оценкам (например [236]) поиск
Яндекса по картинке является самым
лучшим в мире, обходя по качеству пои-
ски Google, Bing и Baidu.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 135
VisionLabs
$1.838B Компания-разработчик в области компью-
терного зрения и машинного обучения.
сделки из капитала вышел. В ноябре
2017 г. VisionLabs приобрела стратегиче- ₽270,1М
Выручка [218] Выручка, 2018 г.
Специализируется на создании продуктов ского партнера в лице Сбербанка. Россий-
[216]
и решений в области распознавания лиц ский госбанк приобрёл 25,07% VisionLabs.
$11.9B
н/д
и объектов. Компанией руководит один
Капитализация [219] Генеральный директор: Александр Ханин
из ее основателей Александр Ханин, ко-
(см. стр. 166). Капитализация
торый начал заниматься технологиями
$325M CV будучи еще студентом на третьем кур- Исследователи в CV: Иван Лаптев (см.
Затраты на RnD се МГТУ им. Баумана. Компания VisionLabs стр. 167), Александр Чигорин. н/д
основана в 2012 г. Александром Ханиным, Затраты на RnD
Основные направления исследований:
н/д который начал заниматься технология-
н/д
распознавание лиц и объектов.
Патентов ми CV студентом на третьем курсе МГТУ
им. Баумана. Он привлек в качестве науч- Продукты: Патенты
22 ного руководителя компании известного
|| LUNA SDK — набор библиотек и нейрон-
Публикаций [194]
специалиста в CV Ивана Лаптева (который
не вошел в топ-15 российских исследо-
ных сетей для анализа изображений н/д
и работы с биометрическими образца- Публикации
вателей в Computer Vision только потому,
ми, который позволяет специалистам
что уже много лет не работает в России).
по разработке программного обеспече-
В 2019 г. технология VisionLabs трижды за-
ния создавать приложения для различ-
няла первое место на международном те-
ных устройств.
стировании алгоритмов распознавания
лиц Национального института стандартов || LUNA PLATFORM — система управления
и технологий США (NIST). биометрическими данными, которая
может решать самые разнообразные
Первое время стартап не привлекал пря-
задачи с помощью функции распозна-
мые инвестиции, но смог получить грант
вания лиц– например, распознавание
на 15 млн рублей от Фонда Бортника, суб-
клиента банка, идентификация сотруд-
сидию Минобрнауки и 980 тысяч рублей
ников офиса при входе в здание и т.д.
от ФРИИ. Первую крупную инвестицию
компания получила летом 2016 г. — вен- Устройства:
чурный фонд Sistema Venture Capital вло-
|| LUNA ACE — программно-аппарат-
жил 350 млн рублей в VisionLabs, получив
ный комплекс для контроля доступа.
за это 25% акций. Оценка самой компании
Устройство, разработано компанией
составила 1,4 млрд рублей. ФРИИ в этой
VisionLabs на основе своих технологий.
136 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ
NtechLab
Российская компания, создана в 2015 г.
Специализируется на передовых мето-
дах в области машинного обучения и ней-
ронных сетей для создания алгоритмов
по распознаванию лиц, силуэтов и дей-
ствий на видео. NtechLab был создан ал-
горитм FindFace, на базе которого ком-
пания представляет линейку решений
для государства и разных отраслей бизне-
са. Алгоритм отметился победами в кон-
курсах MegaFace Benchmark (Университет
Вашингтона), EmotionNet Challenge (Уни-
верситет Огайо) — первом в мире сорев-
новании по распознаванию эмоций лю-
дей, и занял первую позицию в рейтинге
мирового бенчмарка Facial Recognition
Vendor Test, организованного Националь-
ным институтом стандартов и техноло-
гий Министерства торговли США. Алгорит-
мы компании по детектированию силуэтов
и действий на видео вошли в тройку по-
бедителей на конкурсах WIDER Pedestrian
Challenge и ActEV-PC.
Продукты компании востребованы в сфе-
рах общественной и корпоративной безо-
пасности, розничной торговли, финансо-
вого сектора, индустриях развлечений
и гостеприимства. Алгоритм используется
в 10 крупных городах России и стран СНГ,
а также муниципальных системах видео-
наблюдения городов Индии, Южной Аме-
рики, Ближнего Востока и Юго-Восточной
Азии. Использование алгоритма распоз-
навания лиц от NtechLab в рамках прове-
дения в России Чемпионата мира по фут-
болу-2018 помогло задержать более 100
разыскиваемых преступников и нарушите-
лей общественного порядка.
В 2018 г. дочерняя структура Госкорпо-
рации Ростех стала владельцем 12,5%
NtechLab + 1 акция. Фонд NDF, находящий-
ся под управлением компании «Варданян,
Бройтман и Партнеры», приобрел 25%
технологической компании + 1 акцию.
Операционным управлением NtechLab
продолжают заниматься основатели, ко-
торые остаются контролирующими акцио-
нерами.
Руководитель компании: Александр
Минин.
CV направления: Артем Кухаренко (см.
стр. 166).
Исследователи в CV: Артем Кухаренко.
Основные направления исследований:
распознавание лиц, силуэтов и действий
на видео.
Основной CV проект:
FindFace Security — «коробочное» реше-
ние для организации видеонаблюдения
с использованием распознавания лиц.
В режиме реального времени определяет
лица в видеопотоке, сверяет со списками
мониторинга и отправляет уведомления
при обнаружении совпадений.
FindFace Security работает с обычными ка-
мерами и распознает лица в том числе
в затрудненных условиях: при плохом ос-
вещении и наличии посторонних предме-
тов в кадре, при различных поворотах го-
ловы и изменении внешности человека.
Архитектура сервиса позволяет подклю-
чать практически неограниченное количе-
ство видеокамер и серверов.
Может использоваться в различных сце-
нариях: от распознавания нежелательных
посетителей для предотвращения мошен-
нических действий и конфликтных ситуа-
ций до повышения качества обслуживания
клиентов и решения сложных маркетинго-
вых задач. Используется в сферах обще-
ственной и корпоративной безопасности,
розничной торговли, финансового секто-
ра, индустриях развлечений и гостепри-
имства.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
Vocord
н/д Компания «Вокорд» — российский разра-
ботчик и производитель в области интел-
Капитализация
лектуальных транспортных систем, про-
фессиональных систем видеонаблюдения
₽47,1М и видеоаналитики.
Выручка [217]
«Вокорд» предлагает интеллектуаль-
н/д ные системы для развития умных городов
и цифровых дорог. Технологии компании
Затраты на RnD
в сфере компьютерного зрения приме-
н/д
няются для распознавания автомобиль-
ных номеров, различных объектов и дей-
Патентов ствий; фотовидеофиксации нарушений
ПДД; управления транспортными потока-
н/д ми; весогабаритного контроля и дорож-
Публикаций ного видеонаблюдения. Компания также
предлагает готовое решение для «умных»
парковок — систему автоматизации про-
пускного режима со сбором транспорт-
ной статистики. Системы VOCORD вне-
дрены более чем в 2000 коммерческих
и государственных проектах и в 70 проек-
тах класса «Безопасный город» в России
и за рубежом. Головной офис находится
в Москве, партнерская сеть представле-
на в 35 регионах РФ, производство серти-
фицировано по стандарту ISO 9001:2008.
«Вокорд» представляет собой группу ком-
паний ЗАО «Вокорд Телеком» и ООО «Во-
корд Софтлаб», является резидентом фон-
да «Сколково», портфельной компанией
фондов «С-Групп Венчурс» и «Лидер-ин-
новации».
Руководитель компании: Константин
Кравченко, генеральный директор ЗАО
«Вокорд Телеком».
Руководитель CV направления: Олег Ге-
нин, генеральный директор ООО «Вокорд
Софтлаб».
Исследователи в CV: н/д.
Основные направления исследований:
интеллектуальные транспортные систе-
мы, распознавание автомобильных номе-
ров, фотовидеофиксация, видеонаблюде-
ние и видеоаналитика.
ДЕКАБРЬ 2019 137
CV проекты:
н/д
|| Федеральная трасса «М1» — на плат- Капитализация
ном участке автодороги системы
VOCORD не только распознают автомо-
бильные номера и ведут транспортную
н/д
Выручка
статистику, но и контролируют процесс
оплаты, фиксируют нарушения ПДД
и тревожные инциденты, как движение
н/д
Затраты на RnD
машин задним ходом, появление пеше-
ходов на проезжей части и др.; VOCORD
интегрированы с АСУДД и Weight-in- н/д
motion. Патенты
|| «Умный» перекресток в Санкт-Петер-
бурге — на базе VOCORD Traffic была со-
н/д
Публикации
здана интеллектуальная система кон-
троля дорожно-метеорологической
обстановки на пересечении двух ожив-
ленных дорог. Помимо фиксации нару-
шений ПДД и дорожного видеомони-
торинга, система сообщает об уровне
шума, наличию, количестве осадков,
состоянии дорожного полотна и пр.,
а также оповещает о нештатных ситуа-
циях в режиме реального времени.
|| «Безопасный город» — на двух вокза-
лах Рязани было установлено более 30
камер видеонаблюдения VOCORD. Они
детектируют различные нарушения об-
щественного порядка и помогают спец-
службам централизованно обеспечи-
вать безопасность в местах массового
скопления людей.
CV продукты:
|| VOCORD Traffic — многофункциональ-
ная интеллектуальная система кон-
троля дорожного движения для рас-
познавания автомобильных номеров
и фотовидеофиксации более 15 видов
нарушений ПДД.
|| VOCORD Tahion — программное обе-
спечение для создания систем видео-
наблюдения и видеоаналитики любого
масштаба.
|| VOCORD ParkingContol — интеллекту-
альная система для распознавания ГРЗ
ТС и контроля транспорта на парковке
или другом объекте с пропускным ре-
жимом.
138 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ
Mail.ru Group
Mail.ru Group — одна из крупнейших ин-
тернет- и IT-компаний в России. Компании
принадлежат ведущие русскоязычные со-
циальные сети — ВКонтакте и Однокласс-
ники, лидирующий почтовый сервис, один
из самых посещаемых порталов в руне-
те (Mail.ru), игровые проекты под брендом
MY.GAMES и три мессенджера.
В 2019 г. было запущено подразделение
Mail.ru Group Tech Lab. Направление от-
вечает за технологические проекты в об-
ласти искусственного интеллекта, распоз-
навания голоса и изображений, а также
разработку новых экспериментальных
коммуникационных продуктов.
Сферы применения: в компании Mail.ru
Group технологии ИИ, машинного обу-
чения и нейронных сетей применяют-
ся в ряде продуктов и сервисов. В их чис-
ле — технология поиска Mail.ru, сервис
умных ответов в почте Mail.ru, голосо-
вой помощник Маруся, контент и реко-
мендации в социальных сетях ВКонтакте
и Одноклассники, рекламный тарге-
тинг в myTarget, компьютерное зрение
Vision, машинное обучение в Mail.ru Cloud
Solutions и др.
Руководитель компании: Борис Добро-
деев.
Руководитель CV направления: Сигалов
Сергей, директор продукта Vision.
Исследователи в CV: Эдуард Тянтов.
Некоторые CV проекты:
Компьютерное зрение для Retail:
|| распознавание клиентов с примене-
нием биометрии лица;
|| анализ аудитории — пол, возраст, эмо-
ции;
|| мерчендайзинг — определение това-
ров, определение пустот, определение
нарушений в полнограме;
|| мониторинг очередей.
Контроль доступа с распознаванием лиц
и номеров:
|| открытие дверей с применением био-
метрии лица;
|| открытие шлагбаумов с применением
OCR номеров;
|| создание черных, белых списков;
|| поиск сотрудника/посетителя по фото-
графии, контуру;
|| мониторинг учета рабочего времени.
Компьютерное зрение для обработки до-
кументов:
|| распознавание типов документов (па-
спорт, ИНН, СНИЛС и другое);
|| распознавание текста.
Компьютерное зрение для производ-
ственных процессов:
|| распознавание сотрудника с примене-
нием лицевой биометрии;
|| распознавание наличия средств инди-
видуальной защиты;
|| оповещение при несоблюдении требо-
ваний индивидуальной защиты;
|| мониторинг учета рабочего времени;
|| мониторинг износа оборудования;
|| распознавание производственных де-
фектов.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 139
Tevian
₽66,1 Российская компания, основанная
в 2010 г. выпускниками Лаборатории ком-
Руководитель компании и CV направле-
ния: Вадим Конушин. ₽29,1М
млрд пьютерной графики и мультимедиа, фа-
Научный консультант: Антон Конушин
Выручка [217]
Выручка, 2018 г. [220] культета вычислительной математики
и кибернетики, МГУ имени М.В. Ломоно-
(см. стр. 162).
н/д
$4.41B сова. Занимается прикладными исследо- Основные направления исследований: Капитализация
Капитализация, ваниями и разработками в области ком- компьютерное зрение, биометрия, видео-
2019 г. [221] пьютерного зрения и видеоаналитики. аналитика, распознавание документов. н/д
Компания является резидентом Сколко- Затраты на RnD
Некоторые CV проекты:
н/д во, внешнее финансирование не привле-
Затраты на RnD калось (не считая гранта Фонда Бортни-
ка). Компания специализируется главным
Основное направление — распознавание
лиц. Чаще всего лицензируется в форме
н/д
Патенты
н/д образом на лицензировании «алгорит- SDK, иногда в виде веб-системы, реже —
Патенты
мического движка» вендорам программ-
ного обеспечения, реже — интеграторам
в виде кастомизированного решения
на основе SDK.
н/д
Публикации
н/д
и конечным клиентам. Ключевые облас-
В 2019 появился модуль распознавания
ти применения — системы видеонаблю-
Публикации документов, в 2020 г. запланирован вы-
дения и контроля доступа, системы само-
пуск модуля для распознавания номеров
обслуживания и удаленная верификация
машин. Также есть модуль для оценки раз-
клиентов.
мера очередей.
140 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ
ABBYY
Мировой разработчик решений в облас-
ти интеллектуальной обработки инфор-
мации. ABBYY создает решения для кор-
поративных заказчиков с применением
технологий компьютерного зрения и об-
работки естественного языка, а также
предлагает компаниям интеллектуаль-
ные платформы для анализа бизнес-про-
цессов.
ABBYY основал в 1989 г. предпринима-
тель Давид Ян. В 1993 компания предста-
вила первую версию программы для рас-
познавания текстов ABBYY FineReader,
с которой впоследствии вышла на миро-
вой рынок. Компания разработала десят-
ки программных решений, предназна-
ченных для извлечения, ввода и анализа
данных из различных документов, вклю-
чая неструктурированные, такие как до-
говоры, контракты, технические и другие
документы. Сегодня международные офи-
сы группы компаний ABBYY открыты в 13
странах мира. Решениями компании поль-
зуются десятки тысяч организаций из 200
стран мира.
Руководитель компании: Ульф Перссон,
генеральный директор группы компаний
ABBYY.
Руководитель CV направления: Иван За-
гайнов, руководитель группы Computer
Vision.
Исследователи в CV: Иван Загайнов,
Алексей Лебедев, Олег Сенкевич, Дми- н/д
Выручка
трий Родин, Юрий Ватлин, Алексей Журав-
лев, Александр Филоненко.
Основные направления исследований:
н/д
Капитализация
обработка естественного языка, компьютер-
ное зрение, интеллектуальный поиск, из-
влечение и анализ информации из текстов. н/д
Затраты на RnD
Некоторые CV проекты:
|| ABBYY FineReader Engine — много- > 50
Патентов
функциональный инструментарий раз-
(в США) [216]
работчика, который позволяет встраи-
вать в приложения интеллектуальные
технологии распознавания данных. Эти 10
технологии позволяют распознавать Публикаций
печатный текст (OCR), рукопечатный
текст (ICR), метки (OMR) и штрихкоды
(OBR). ABBYY Mobile Capture — универ-
сальный инструмент для разработчика,
который позволяет встраивать в мо-
бильные приложения и клиенты функ-
ции автоматического захвата изобра-
жений документов и распознавания
текста. ABBYY FlexiCapture — универ-
сальная платформа для интеллекту-
альной обработки информации. ABBYY
FineReader Server — корпоративное
серверное решение для распознава-
ния, хранения и преобразования фай-
лов в PDF и другие электронные редак-
тируемые форматы.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 141
3DiVi
Основанная в 2011 г. компания ТРИДИ-
ВИ (3DiVi Inc.) является международной
Руководитель CV направления: Андрей
Валик, руководитель группы разработки. ₽48М
Выручка [217]
компанией по разработке программно-
Основные направления исследований:
н/д
го обеспечения в области компьютерного
зрения, экспертом в области Искусствен-
компьютерное зрение, глубокое обучение.
ного Интеллекта и глубокого обучения. Некоторые CV проекты: Капитализация
С такими клиентами, как Intel, LG, Orbbec
(AliPay), компания фокусируется на сфе-
|| Nuitrack — ПО для трекинга тела и рас-
познавания жестов.
н/д
рах Безопасности и аналитики, Дополнен- Затраты на RnD
ной реальности (AR), Интернета Вещей || TVico — Интерактивный Андроид ком-
(IoT) и робототехники. Наши алгоритми- пьютер. 2
ческие продукты для распознавания лиц Патентов [213]
|| Face SDK — ПО для распознавания лиц.
и трекинга тела хорошо известны в отрас-
ли благодаря высокому качеству и произ- || Seemetrix — видеоаналитика для ре-
нет
водительности. кламных дисплеев. Публикаций
[216]
Руководитель компании: Павел Зайцев, || Мультибиометрическая платфор-
генеральный директор. ма НейроАМБИС, с элементами искус-
ственного интеллекта.
142 COMPUTER VISION / КЛЮЧЕВЫЕ КОМПАНИИ РОССИИ
ГосНИИАС
Научный центр системных исследова-
ний военной и гражданской авиации, раз-
работки алгоритмов, информационного
и программного обеспечения функциони-
рования авиационных комплексов и ана-
лиза эффективности авиационных систем.
Руководитель компании: Генеральный
директор Хохлов Сергей Владимирович.
Научный руководитель CV направления:
Первый Заместитель Генерального дирек-
тора-Исполнительный директор, академик
РАН, Желтов Сергей Юрьевич.
Руководитель CV направления: Юрий
Визильтер (см. стр. 164).
Основные направления исследований:
|| Эффективность и внешнее (концепту-
альное) проектирование авиационных
комплексов;
|| Интеграция и отработка комплексов
бортового оборудования и вооружения,
авионика;
|| Бортовые алгоритмы и программы;
|| Планирование использования воздуш-
ного пространства в системах органи-
зации воздушного движения;
|| Боевая живучесть, устойчивость во-
оружения и бортового оборудования
к внешним воздействующим факторам.
Некоторые CV проекты:
ФГУП «ГосНИИАС» является одним из ве-
дущих разработчиков решений в области
компьютерного зрения и машинного обу-
чения среди предприятий ОПК. В 2011 г.
в ГосНИИАС создано специализированное
подразделение 3000 «Системы интеллек-
туального анализа данных, техническо-
го зрения, улучшенного и синтезирован-
ного видения». Данным подразделением
разработаны бортовые авиационные сис-
темы улучшенного и синтезированного ви-
дения на платформе интегрированной мо-
дульной авионики (ИМА); создан комплекс
автоматизированного дешифрирования
авиационных изображений местности;
разработана система обработки, комплек-
сирования, и анализа видеоинформации,
необходимой для навигации летательных
аппаратов; создана технология распозна-
вания лиц в сложных некооперативных ус-
ловиях съемки.
В 2015 г. решение ГосНИИАС победи-
ло в конкурсе ФПИ на лучшую техноло-
гию распознавания лиц в России, в 2016-
2017 гг. выполнен проект ФПИ по данной
тематике. В 2016 г. доклад представителей
ГосНИИАС на конференции IEEE Computer
Society Workshop on Biometrics (with CVPR)
отмечен наградой “Best paper award”.
В 2017 г. ГосНИИАС стал финалистом от-
крытого конкурса ФПИ на лучшее реше-
ние в области создания интеллектуальных
технологий дешифрирования видовой аэ-
рокосмической информации. В 2018 г. до-
клад представителей ГосНИИАС на кон-
ференции 4th International Workshop on
Recovering 6D Object Pose with European
Conference on Computer Vision (ECCV 2018)
отмечен наградой “Best paper award”.
В настоящее время ГосНИИАС выполняет
работы в рамках проектов ФПИ, посвящен-
ных созданию интеллектуальных средств
автоматического обнаружения объектов
с использованием бортовых реализаций
глубоких нейронных сетей (ГНС), а также
созданию СТЗ для автономного наземно-
го РТК с использованием ГНС и SLAM-тех-
нологий. Выполняется ряд грантов РФФИ
и грант РНФ по тематике искусственного
интеллекта, компьютерного зрения и ма-
шинного обучения. Всего за 2012-2018 гг.
по данной тематике сотрудниками под-
разделения опубликовано более 160 науч-
ных публикаций, из них 94 индексируются
в РИНЦ, 61 — в Scopus и Web of Science.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 143
Cognitive Technologies
₽4,3 Один из ведущих в мире разработчи- отечественным агрохолдингом «Русагро». н/д
млрд ков искусственного интеллекта (ИИ)
для беспилотных транспортных средств.
В числе зарубежных заказчиков — стра-
ны Латинской Америки, США, Евросоюза
Капитализация
Выручка [217]
Компания была создана на базе ИСА РАН
и Азии.
н/д
н/д в 1992 г. Основу коллектива разработчи- В декабре 2019 г. Cognitive Technologies Выручка
Капитализация ков составили ведущие советские ученые, и Сбербанк объявили об объединении
имевшие опыт создания проектов мирово- усилий для развития беспилотных тех- н/д
н/д
го уровня, таких как программа «КАИССА» нологий. Продукты и решения Cognitive Затраты на RnD
Затраты на RnD (первый чемпион мира по шахматам среди Techologies будут использованы для раз-
компьютеров). вития проектов цифровой экономики
35
н/д С 2008 г. компания приступила к разра-
в сфере транспорта, сельского хозяйства,
компьютерного зрения и искусственного
Патентов
(за последние
Патенты боткам роботизированных систем на осно-
интеллекта. 5 лет)
ве ИИ. В 2016 г. Cognitive Technologies вы-
>160 шла на мировой рынок систем управления
беспилотным транспортом и имеет кон-
Решения компании в области управле-
ния беспилотным транспортом имеют на- >50
Публикаций [216]
тракты с автопроизводителями и компа- грады: Публикаций
ниями Tier-1 в таких странах, как Герма- в зарубежных
|| влиятельного профессионального со- научных СМИ
ния, Китай, Южная Корея и др. В 2019 г.
общества отрасли Automotive Tech.AD (SCOPUS web
компания объявила о завершении проек-
Berlin за 2019 г.; of science)
та по разработке системы компьютерно-
(за последние
го зрения для одного из ведущих мировых || профессионального американского из-
5 лет) [216]
производителей автомобильных компо- дания AVT Magazine за 2019 г.;
нентов Hyundai Mobis.
|| британской аналитической компании
Конкурентным преимуществом реше- Softech INTL за 2017 г.
ний Cognitive Technologies является воз-
Основатель и президент компании:
можность безопасной работы автопилота
Ольга Ускова.
в любых погодных условиях.
Руководитель CV направления: Юрий
Компания представляет решения
Минкин — руководитель департамента
для управления автономным автотранс-
разработки беспилотных транспортных
портом, сельхозтранспортом и железнодо-
средств.
рожным транспортом. Также специалисты
Cognitive разработали первый промыш- Основные направления исследований:
ленный прототип 4D-радара с наилучши-
|| Системы машинного зрения;
ми техническими характеристиками.
|| Разработка искусственных нейронных
В 2019 г. технология управления беспи-
сетей;
лотным транспортом Cognitive была вне-
дрена агрохозяйствами Томской, Кур- || Системы обработки изображений.
ганской областей, а также крупнейшим
Ключевые
люди мира

06
146 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ МИРА
Ключевые люди мира
В этом разделе мы приводим список ключевых людей в мире
в области технологий Computer Vision. [222]
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 147
Краткие результаты этого анализа резюмированы в форме «тренд-карт», на которых графически от-
ражены позиции людей. Источники данных и методика формирования тренд карт подробно пере-
числены в приложениях. Карта отражает лишь условную мировую позицию научного сотрудника
или исследователя в области ИИ относительно коллег, но не является их исчерпывающей характери-
стикой и не носит рейтинговой оценки.
|| По вертикальной оси – «Значимость» челове-
ка, чем выше точка на карте, тем больше есть
значимых научных публикаций, связанных
с ним (значимость публикации тем выше, чем
выше ее цитируемость и импакт-фактор жур-
нала).
|| По горизонтальной оси – «Динамичность»,
чем правее точка на карте, тем выше за по-
следние годы рост количества публика-
ций, связанных с этим человеком. Если точка
в центре, то количество публикаций остается
примерно постоянным.
|| Таким образом справа сверху отображены
те исследователи, научная работа которых
значима для всего сообщества и количество
публикаций растет.
|| Сверху в центре исследователи, которые ста-
бильны в своих публикациях и являются очень
значимыми для отрасли.
|| Красным цветом отмечены те люди, которых
мы рассмотрим подробнее.
На карте отображены наиболее цитируемые
исследователи в Computer Vision за последние 5 лет
в мире. Визуализация сформирована системой AIKB,
Центр ИИ НТИ МФТИ, данные получены из Dimensions.ai
148 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ МИРА АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 149

К сожалению, достаточно сложно определить од-
нозначно понятие «ключевые люди». Как и в слу-
чае компаний, нет единой метрики для опре-
деления лидерства того или иного человека.
Есть достаточно много информации по науч-
ным исследователям, у которых есть публика-
ции, даже если они работают в крупных компа-
ниях. Но практически отсутствует информация
о разработчиках и тимлидах а также о людях, ко-
торые являются бизнес-лидерами в направле-
нии Computer Vision. С мировым бизнесом мож-
но в какой то мере ориентироваться на СМИ,
но в российском бизнесе все сильнее закрыто.
В результате, мы публикуем информацию толь-
ко о ведущих исследователях в мире и в России.
Для выбора этих людей мы использовали ин-
формацию об их публикациях и цитированиях,
а также экспертный опрос индустрии, в котором
мы также спрашивали о ключевых людях. Сум-
марно, эта информация позволяет выявить об-
щие тенденции
ОБСУЖДЕНИЕ СПИСКА ИССЛЕДОВАТЕЛЕЙ
Другой значимый университет в этой облас-
ти – калифорнийский университет Беркли, от UX
Berkley в список наиболее цитируемых исследо-
вателей вошли три профессора – Jitendra Malik,
Trevor Darrell и Akelsei Efros. А Andrew Ng, из са-
мых известных людей в машинном обучении, ра-
нее работавший в Google Brain и Baidu, сейчас ра-
ботает в университете Stanford.
Также в списке ведущих исследователей мира
по CV представлены исследователи из практи-
чески всех ведущих компаний мира: Cordelia
Schmid из Google AI, Ian Goodfellow из Apple,
Kaming He и Ross Girshik из Facebook, Jian Sun
из Megvii.
В результирующий список вошли 20 исследова-
телей, это и те люди, которые заложили фунда-
мент сегодняшнего CV и те, кто наиболее активен
и цитируем сегодня. Про каждого из них мы да-
лее приводим краткую справку.
ТОП ИССЛЕДОВАТЕЛИ МИРА [223]
На основании публикаций и экспертных оценок

Результирующий список исследователей мы упо-

Топ исследователей мира Индекс Хирша
рядочили по индексу Хирша (он учитывает коли-
чество цитирований наиболее цитируемых ста- Anil K. Jain 184
тей исследователя). Andrew Zisserman 153
Geoffrey Hilton 144
Безусловно, одним из самых известных иссле- Jitendra Malik 130
дователей в машинном обучении вообще и в
Trevor Darrell 120
Computer Vision в частности является созда-
Andrew Ng 119
тель концепции сверточных нейронных сетей
Yann LeCun 115
Yann Le Cunn (Ян ЛеКун), возглавляющий сейчас
Facebook AI Research. Однако, в последнее вре- Cordelia Schmid 114
мя он уже не работает в области чистого CV, его Fei Fei Li 95
можно рассматривать как универсального супер Pascal Fua 90
специалиста в машинном обучении. Marc Pollefeys 89
Jian Sun 78
Самые цитируемые исследователи по CV сегод-
Aleksei Efros 74
ня это Anil Kumar Jain и Andrew Zisserman, оба
Raquel Urtasun 73
они работают в компании DeepMind. Надо отме-
Ian Goodfellow 58
тить, что в последнее время DeepMind сильно вы-
рос, если компания начинала как небольшая груп- Andrea Vedaldi 59
па энтузиастов, увлеченная построением AGI, Ilya Sutskever 50
то сейчас в ней уже более 1,000 человек и она за- Ross Girshick 57
нимается самыми разными направлениями ИИ. Kaming He 48
И также оба исследователя являются профессора- Alex Krizhevsky 20
ми Оксфордского университета, который, в этом
смысле, является сильнейшим в мире по CV.
150 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ МИРА АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 151

Исследователи 169 424 130

Цитирований [224] Индекс Хирша [224]

профессор калифорнийского университета Беркли, обладатель почетного

199 289 184
Цитирований [224] Индекс Хирша [224]
заслуженный профессор факультета компьютерных наук Университета штата
Мичиган, известный своим вкладом в области распознавания образов, ком-
пьютерного зрения и биометрии.
Anil K. Jain Является автором или соавтором свыше 700 научных публикаций. Лауре-
Анил Кумар Джейн ат многочисленных премий за вклад в науку: Distinguished Alumni Award, IIT
Оксфордский Kanpur (2017), National Academy of Engineering (2016) Foreign Fellow, Indian
университет, National Academy of Engineering (2016), IAPR King-Sun Fu Prize (2008), IEEE W.
DeepMind Wallace McDowell Award (2007), IEEE Computer Society Technical Achievement
award (2003), IAPR Pierre Devijver Award (2002), Humboldt Research Award
(2002), Guggenheim Fellowship (2001), Fulbright Fellowship (1998). Среди науч-
ных интересов: компьютерное зрение, машинное обучение, биометрия, рас-
познавание образов, обработка изображений.
титула Arthur J. Chick Professor.Известен своими работами в области компью-
терного зрения.
Jitendra Malik Опубликовал более 100 научных работ. Лауреат многочисленных пре-
Джитендра Малик мий за научные исследования: PAMI Distinguished Researcher Award (2013),
UC Berkley Allen Newell Award (2016), IJCAI Award for Research Excellence in AI (2018),
Computer Pioneer Award (2019). Член Национальной академии наук США, На-
циональной инженерной академии США, Американской академии искусств
и наук. Основные сферы научных интересов: машинное обучение, компью-
терное зрение, компьютерная графика.
97 220 120
Цитирований [224] Индекс Хирша [224]
профессор на факультете компьютерных наук UC Berkley, директор Berkeley
Deep Drive (BDD), директор Berkeley Artificial Intelligence Research (BAIR, ди-
ректор департамента California PATH. Ранее возглавлял группу компью-

184 420 153 Trevor Darrell терного зрения в UC Berkley и группу интерфейсов компьютерного зрения
в MIT. Научный консультант компаний Nexar, Pinterest, DeepScale, WaveOne,
Цитирований [224] Индекс Хирша [224] Тревор Даррел SafelyYou, Graymatics.
британский ученый, специализирующийся в области компьютерного зрения, UC Berkley Научная группа под руководством Даррела разрабатывает алгоритмы рас-
профессор Оксфордского университета, профессор Лондонского королев-
познавания и обнаружения объектов и событий для различных приложений,
ского общества.
включая автономные транспортные средства и мультимодальное взаимо-
Andrew Образование Зиссерман получил в Кембриджском университете и Универси- действие с роботами и мобильными устройствами. Группа Даррела разрабо-
Zisserman тете Сандерленда. Затем преподавал в Эдинбургском университете (1984 — тала фреймворк для глубокого обучения CAFFE (Convolutional Architecture for
Эндрю Зиссерман 1987). Зиссерман лауреат многочисленных премий за научные исследова- Fast Feature Embedding).
ния: он был удостоен звания BMVA Distinguished Fellowship (2008), премии
Оксфордский Среди научных интересов: машинное обучение, компьютерное зрение, объ-
университет, ICCV (2013), премии Королевского общества Милнера (2017). Он единствен-
яснимый ИИ (XAI).
DeepMind ный, кто был удостоен премии Марра три раза, в 1993 г. в 1998 г. и в 2003 г.

130 861 119

262 082 144 Цитирований [224] Индекс Хирша [224]
Цитирований [224]
Индекс Хирша [224]
учёный в области информатики, в частности, искусственного интеллекта, до-
Один из «отцов основателей» современных нейронных сетей. Закончил цент Стэнфордского университета, исследователь робототехники и машин-
Cambridge University. В 1978 г. ему присуждена степень доктора в области ис- ного обучения. Один из основателей стартапа в области онлайн-обучения
кусственного интеллекта за исследования под руководством Кристофера Coursera. Ранее работал в Goodle Brain и Baidu.
Geoffrey Hinton Лонге-Хиггинса. Был одним из исследователей, предложивших использовать
Andrew Ng
Эндрю Ын Основал и возглавил проект «Google Brain». Это привело к известному резуль-
Джеффри Хинтон метод обратного распространения ошибки для тренировки многослойной
тату «Google cat», в результате которого массивная нейронная сеть с 1 милли-
нейронной сети. Вместе с Терри Сейновски изобрёл машину Больцмана. Стэнфордский
Университет Торонто, ардом параметров извлекла из немаркированных видео YouTube кошек.
университет
Google Почетный доктор Эдинбургского университета. Награжден Золотой медалью
Учился в Университете Карнеги — Меллона, степень магистра получил

;;
Герцберга за достижения в области науки и техники. Почетный доктор Универ-
в 1998 г. в MIT, PhD по проблематике обучения с подкреплением защитил
I have always been ситета Шербрук. Был избран иностранным членом Национальной инженер-
в UC Berkley. Опубликовал более 100 научных работ. За работы в области ис-
convinced that the only ной академии «За вклад в теорию и практику искусственных нейронных сетей
кусственного интеллекта получил стипендию Слоана. Включён в список 35
way to get artificial и их применение в распознавании речи и компьютерном зрении». Лауреат не-
наиболее влиятельных инноваторов в возрасте до 35 лет.
intelligence to work is to скольких премий. В 2018 г. вместе с Йошуа Бенжио и Яном Лекуном получил
do the computation in a премию Тьюринга за концептуальные и технические достижения, которые сде-
way similar to the human лали глубокие нейронные сети критически важным компонентом вычислений.
brain....
152 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ МИРА
92 295 115
Цитирований [224] Индекс Хирша [224]
Руководитель лаборатории ИИ. Лауреат премии Тьюринга (2018, совмест-
но с Бенжио и Хинтоном за формирование направления глубокого обучения).
Получил докторскую степень по информатике в Университете Пьера и Марии
Yann LeCun Кюри в 1987 г. В 1988 г. начал работать в AT&T Bell Laboratories, где разрабо-
Ян ЛеКун тал серию методов машинного обучения, в том числе свёрточные нейронные
сети. С 2003 г. работал в Нью-Йоркском университете. В декабре 2013 г. воз-
Facebook
главил лабораторию искусственного интеллекта Facebook. Фокус исследова-
ний: машинное обучение, компьютерное зрение, мобильная робототехника
и вычислительная нейробиология. Известен работами по применению нейро-
сетей к задачам оптического распознавания символов и машинного зрения.
;;
Желание доминировать не связано с интеллектом, на самом деле, у нас
есть много примеров этого ... в мире. Тот не самый умный из нас, который
хочет быть главным.
92 918 114
Цитирований [224] Индекс Хирша [224]
научный сотрудник в государственном институте исследований в информа-
тике и автоматике (INRIA).
Корделия Шмид имеет степень в области компьютерных наук Универси-
Cordelia тета Карлсруэ и докторскую степень в области компьютерных наук Наци-
Schmid онального политехнического института Гренобля (INPG). Работала науч-
ным сотрудником в исследовательской группе робототехники Оксфордского
Корделия Шмид
университета (1996-1997). Была редактором IEEE PAMI (2001-2005) и IJCV
Google AI, INRIA (2004-2012), главным редактором IJCV (2013 ---), программным предсе-
дателем IEEE CVPR 2005 и ECCV 2012, а также председателем IEEE CVPR
2015 и ECCV 2020. В 2006, 2014 и 2016 гг. она была удостоена премии Лон-
ге-Хиггинс за фундаментальный вклад в компьютерное зрение. Была удо-
стоена гранта ERC в 2013 г. награды Гумбольта за исследования в 2015 г.
и Гран-при Академии наук Индии и Франции в 2016 г. В 2017 г. была избрана
в Национальную академию наук Германии.
Среди научных интересов: распознавание видео, распознавание изображе-
ний, компьютерное зрение.
81 568 95
Цитирований [224] Индекс Хирша [224]
Профессор на факультете компьютерных наук Стэнфордского Университе-
та. В настоящее время она является директором Института искусственно-
го интеллекта при Стэнфордском университете и Стэнфордской лаборатории
компьютерного зрения и машинного обучения. С 2013 по 2108 г. Фей-Фей
Fei-Fei Li Ли занимала должность директора Стэнфордской лаборатории искусствен-
Фей-Фей Ли ного интеллекта (SAIL). Она была ведущим научным сотрудником ImageNet.
Стэнфордский В 2017 г. она стала соучредителем AI4ALL, некоммерческой организации, ра-
университет ботающей в области ИИ. Ее научные интересы включают в себя искусствен-
ный интеллект, машинное обучение, глубокое обучение, компьютерное зре-
ние и когнитивную нейронауку.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 153
43 871 90
Цитирований [224] Индекс Хирша [224]
Профессор на факультете компьютерных наук EPFL. Окончил École
Polytechnique (Париж). Степень PhD получил в Университете Париж-Юг
(Орсе). Работал научным сотрудником в SRI International и INRIA Sophia-
Pascal Fua Antipolis.
Паскаль Фуа Среди его научных интересов моделирование 3D объектов, восстановление
EPFL движения по изображениям, анализ микроскопических изображений и до-
полненная реальность. Паскль является соавтором более 300 научных пу-
бликаций в рецензируемых журналах и тезисов конференций. Он — сти-
пендиат IEEE, редактор журнала IEEE «Transactions for Pattern Analysis and
Machine Intelligence» и член программного комитета, региональный предсе-
датель и программный председатель крупных конференций по машинному
зрению. Паскаль Фуа также является сооснователем двух стартапов — Pix4D
и PlayfulVision.
29 726 89
Цитирований [224] Индекс Хирша [224]
Директор по науке Microsoft HoloLens, директор лаборатории искусственно-
го интеллекта Microsoft в Цюрихе, профессор ETH Zurich, глава института ви-
зуальных вычислений факультета компьютерных наук ETH Zurich, сотрудник
Marc Pollefeys Швейцарского объединенного исследовательского центра.
Марк Поллфейс Марк известен своими работами в области компьютерного 3D-зрения.
Micosoft HoloLens, Он был первым, кто разработал софт для автоматического преобразования
ETH Zurich фотографий в 3D-модели. Среди его научных интересов робототехника, ком-
пьютерная графика и машинное обучение. Он опубликовал более 250 пу-
бликаций в рецензируемых научных изданиях и несколько патентов. Его ла-
боратория в ETH Zurich также разработала автопилот PixHawk, внедренный
в более полумиллиона дронов. Марк — сооснователь нескольких стартапов
по компьютерному зрению.
76 108 78
Цитирований [224]
Индекс Хирша [224]
Главный научный сотрудник | Управляющий директор по исследованиям. По-
лучил степень бакалавра, магистра и доктора наук. степень в университете
Jian Sun
Сиань Цзяотун в 1997, 2000 и 2003 г. соответственно. Сразу же после этого
он присоединился к Microsoft Research Asia.
Джиан Сан Работает в области компьютерного зрения и компьютерной графики, уде-
Face ++ (Megvii ляя особое внимание решению фундаментальных исследовательских задач
Technology Ltd.) и созданию реальных рабочих систем. Его основные научные интересы — вы-
числительная фотография, распознавание лиц и глубокое понимание обра-
зов, основанных на знаниях.
Обладатель множества наград и премий, в том числе Национальная премия
естественных наук Китая (2-й класс), Приз победителя конкурса COCO Challenge
2015, 2017, 2018, Best Paper Award, конференция CVPR 2009 и 2016 г.
154 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ МИРА АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 155

39 836 74 34 091 59
Цитирований [224] Индекс Хирша [224] Цитирований [224] Индекс Хирша [224]

профессор факультета компьютерных наук UC Berkley, научный сотрудник
Berkeley Artificial Intelligence Research Lab (BAIR).
Окончил Университет Юты в 1997 г. затем поступил в Калифорнийский уни-
Aleksei Efros верситет в Беркли Эфрос сдал философскую диссертацию под руководством
Алексей Эфрос
Джитендра Малика в 2003 г. Он проработал год в качестве научного сотруд-
UC Berkley ника в Оксфордском университете работая с Эндрю Зиссерманом. Начал ра-
ботать на факультет в Университет Карнеги — Меллона. В 2008 г. он был на-
граждён премией Гуггенхайма. В 2016 г. он получил премию ACM Prize in
Computing в области вычислительной техники Среди научных интересов:
компьютерная графика, компьютерное зрение, робототехника.
Доцент, научный сотрудник, член группы визуальной геометрии New College
(Оксфордский Университет). Степень PhD получил в Калифорнийском Уни-
верситете. С 2018 г. работает научным сотрудником Facebook AI Research
Andrea Vedaldi (FAIR). Лауреат многочисленных грантов и научных премий, член программ-
Андреа Ведальди ных комитетов ECCV, ICCV, CVPR, редактор IEEE Transactions on Pattern
Analysis and Machine Intelligence (PAMI).
Оксфордский
университет, FAIR Среди его научных интересов применение методов компьютерного зрения
для автоматического понимания содержания изображений, распознавание
лиц, графический поиск, автоматическое распознавание текста. Андреа так-
же является автором библиотеки компьютерного зрения VLFeat.

23 694 73 103 088 50

Цитирований [224] Индекс Хирша [224] Цитирований [224] Индекс Хирша [224]

Доцент, профессор факультета Компьютерных наук Университета Торонто. Главный научный сотрудник OpenAI. Является одним из изобретателей из-
Степень PhD получила в École Polytechnique Fédérale de Lausanne (EPFL). За- вестной AlexNet, сверточной нейронной сети. Он изобрел Sequence to
тем работала в MIT. Sequence Learning вместе с Oriol Vinyals и Quoc Le. Также является соавтором
Raquel Urtasun Среди ее научных интересов — применение алгоритмов машинного обуче-
Ilya Sutskever AlphaGo и TensorFlow.
Ракель Уртасун ния в беспилотном транспорте. С 2017 г. Ракель работает совместно с Uber Илья Суцкевер Закончил университет Торонто, получил степень доктора компьютерных
Университет Торонто над их беспилотными автомобилями. OpenAI наук под руководством Geoffrey Hinton. Работал 2 месяца под руковод-
ством Andrew Ng в Stanford University. Потом присоединился к компании
DNNResearch, которая позже была куплена Google и Илья стал исследова-
телем в Google Brain. В конце 2015 г. ушел во вновь созданный институт

68 499 58 OpenAI.

Цитирований [224] Индекс Хирша [224] В 2015 был включен в список 35 ведущих инноваторов до 35 лет в MIT
Technology Review.

;;
Директор по машинному обучению в группе специальных проектов Apple,
также является научным сотрудником в OpenAI. Ранее работал научным со- We’re going to do everything that can be done in that direction
трудником в Google Brain. (general artificial intelligence) while also making sure that we do it
Ian J. Гудфеллоу закончил Стэнфордский университет и получил степень доктора
in a way that’s safe.
Goodfellow по машинному обучении в Университете Монреаля под руководством Йошуа
Ян Гудфеллоу Бенжио. После окончания университета Гудфеллоу присоединился к Google
в составе исследовательской группы Google Brain. Позже он покинул Google,
Apple
чтобы присоединиться к недавно основанному институту OpenAI. 91 097 57
Цитирований [224]
Индекс Хирша [224]
Гудфеллоу известен прежде всего своими работами в области generative
adversarial networks (GAN), широко используемых для решения задач машин- исследователь в Facebook AI Research (FAIR), ранее работал в Microsoft
ного обучения и, в частности, компьютерного зрения. В Google он разработал Research Redmond и UC Berkeley.
систему, позволяющую Google Maps автоматически транскрибировать адре-
Получил PhD по компьютерному зрению в 2012 г. в Чикагском университете.
са с фотографий, сделанных Street View Cars, и продемонстрировал уязвимо- Ross Girshick Лауреат премий: 2017 PAMI Young Researcher Award и 2017 Marr Prize на ICCV
сти в системах безопасности машинного обучения. Росс Гиршик за «Mask R-CNN». Росс известен своими работами в области применения
Facebook AI Research R-CNN (Region-based Convolutional Neural Network) для детекции объектов.
(FAIR) Сферы научных интересов: компьютерное зрение, машинное обучение.
156 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ МИРА

91 149 48
Цитирований [224] Индекс Хирша [224]

исследователь в Facebook AI Research (FAIR), ранее работал в Microsoft

Research Asia (MSRA). Региональный председатель CVPR 2016, ICCV 2017,
CVPR 2018, ECCV 2018, CVPR 2020, редактор IJCV 2016-2019.
Kaiming He Лауреат многочисленных премий: PAMI Young Researcher Awardв2018, the
Каиминг Хе Best Paper Award на CVPR 2009, CVPR 2016, ICCV 2017, the Best Student Paper
Facebook AI Research Award на ICCV 2017, the Best Paper Honorable Mention на ECCV 2018. Его ста-
(FAIR) тья «Deep Residual Learning for Image Recognition» признана самой цитируе-
мой в 2019 г. по данным метрики google scholar.

84 764 20
Цитирований [224] Индекс Хирша [224]

Алекс получил степень PhD в Университете Торонто, с 2013 по 2017 г. рабо-

тал в Google. Является сооснователем стартапа в области машинного обуче-
ния DNN Research Inc., проданного Google в 2013 г. В данный момент Алекс
работает в компании Dessa в качестве консультанта по науке, где занимается
Alex исследованиями в сфере машинного обучения.
Krizhevsky
Наибольшую известность Крыжевскому принесла работа по созданию ней-
Алекс Крыжевский
росети AlexNet, которая в 2012 г. c отрывом в 10.8% (top-5 error) выиграла
Dessa соревнование по машинному зрению ILSVRC на базе датасета ImageNet. Ста-
тья с этой работой является одной из самых цитируемых статей в области CV
(больше 53,000 цитирований на момент выпуска Альманаха).
Ключевые
люди России

07
158 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ РОССИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 159

Ключевые люди России
В этом разделе мы приводим список ключевых людей в мире в области
Краткие результаты этого анализа резюмированы в форме «тренд-карт», на которых графически
отражены позиции людей. Источники данных и методика формирования тренд карт подробно пе-
речислены в приложениях. Карта отражает лишь условную мировую позицию научного сотрудни-
ка или исследователя в области ИИ относительно коллег, но не является их исчерпывающей ха-
рактеристикой и не носит рейтинговой оценки.

технологий Computer Vision. [222]

|| По вертикальной оси – «Значи-

мость» человека, чем выше точка
на карте, тем больше есть значи-
мых научных публикаций, свя-
занных с ним (значимость публи-
кации тем выше, чем выше ее
цитируемость и импакт-фактор
журнала).

|| По горизонтальной оси – «Ди-

намичность», чем правее точка
на карте, тем выше за последние
годы рост количества публика-
ций, связанных с этим человеком.

|| Если точка в центре, то количе-

ство публикаций остается при-
мерно постоянным.

|| Таким образом справа сверху

отображены те исследователи,
научная работа которых значима
для всего сообщества и количе-
ство публикаций растет.

|| Сверху в центре исследователи,

которые стабильны в своих пу-
бликациях и являются очень зна-
чимыми для отрасли.

|| Красным цветом отмечены те

люди, которых мы рассмотрим
подробнее.

На карте отображены наиболее

цитируемые исследователи в Computer
Vision за последние 5 лет в России.
Визуализация сформирована системой
AIKB, Центр ИИ НТИ МФТИ, данные
получены из Dimensions.ai
160 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ РОССИИ
ОБСУЖДЕНИЕ СПИСКА КЛЮЧЕВЫХ ЛЮДЕЙ
К сожалению, достаточно сложно определить од-
нозначно понятие «ключевые люди». Как и в слу-
чае компаний, нет единой метрики для опре-
деления лидерства того или иного человека.
Есть достаточно много информации по науч-
ным исследователям, у которых есть публика-
ции, даже если они работают в крупных компа-
ниях. Но практически отсутствует информация
о разработчиках и тимлидах а также о людях, ко-
торые являются бизнес-лидерами в направлении
Computer Vision.
В российском бизнесе все очень закрыто, очень
мало информации о том, кто занимается техноло-
гиями в компании. По многим компаниям мы знаем
ведущих исследователей, но сами компании просят
нас не публиковать имена и области работы, пото-
му что в России сегодня огромный дефицит специ-
алистов в данной области и компании боятся, что
сотрудников могут переманить конкуренты.
В результате, мы публикуем информацию
только о ведущих исследователях. Для этого
мы использовали информацию об их публи-
кациях и цитированиях, а также экспертный
опрос индустрии, в котором мы также спра-
шивали о ключевых людях.
ИССЛЕДОВАТЕЛИ В РОССИИ
Результирующий список исследователей мы упо-
рядочили по индексу Хирша (он учитывает коли-
чество цитирований наиболее цитируемых ста-
тей человека). Мы безусловно понимаем, что
для российских исследователей индекс Хирша
не является таким же адекватным показателем,
как и для мировых исследователей. Но по край-
ней мере это позволяет сопоставить наших ис-
следователей с мировыми в одной системе
координат. (Мы будем признательны, если кто-
то предложит нам другую, более адекватную
систему выбора топ-исследователей в России.)
Самым цитируемым исследователем в россий-
ском Computer Vision является Виктор Лемпиц-
кий, руководитель исследовательского цен-
тра Samsung AI и доцент университета Сколтех.
Он безусловный лидер этого сегмента. Второй
по цитируемости российский исследователь Ан-
тон Конушин также работает в Samsung AI и яв-
ляется доцентом МГУ и НИУ ВШЭ. Также оба ис-
следователя являются преподавателями Школы
анализа данных Яндекса.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 161
Кстати, отметим, что наиболее цитируемые рос- ИССЛЕДОВАТЕЛИ ИЗ КОМПАНИЙ ИССЛЕДОВАТЕЛИ НЕ В РОССИИ
сийские исследователи по машинному зре-
нию в академической области в основном рабо- Нас конечно очень интересовал сегмент рос- Наука не имеет границ, поэтому не очень осмыс-
тают в университетах Сколтех, НИУ ВШЭ и МГУ. сийских исследователей и разработчиков ленно разграничивать исследователей по тер-
Но в целом в нашей выборке представлены ис- в Computer Vision, работающих в компаниях. риториальному признаку. И поэтому в этот раз
следователи из самых разных организаций, в том Про них у нас очень мало информации и даже, мы решили добавить раздел «Исследовате-
числе СПИИРАН, и ГосНИИАС, СамГУ. когда она есть, сами компании просят нас не пу- ли не в России», где мы отметили тех, кто уе-
бликовать имена ведущих специалистов. хал из России и сейчас работает за рубежом.
Также мы хотим отметить, что помимо Москвы Мы приводим здесь лишь несколько человек,
и Санкт-Петербурга, сильный пул исследователей Единственным открытым исследователем чтобы подчеркнуть, что множество сильных лю-
и компетенций в области машинного зрения есть из большой российской компании является Ар- дей уехали из России не найдя здесь возмож-
в Самаре (СамГУ) и в Нижнем Новгороде, где по- тем Бабенко из Яндекса и НИУ ВШЭ. К сожале- ности к самореализации. Пусть этот раздел за-
мимо университетов ННГУ и НИУ ВШЭ есть боль- нию, большинство исследователей в россий- ставит задуматься тех государственных лиц,
шие исследовательские центры Intel и Huawei. ских компаниях не публикуют свои результаты. которые ответственны за организацию и финан-
И кстати именно в Нижнем Новгороде была раз- Мы приводим 3-х наиболее известных в экс- сирование науки о том, как правильно организо-
работана первая версия библиотеки OpenCV пертной среде специалистов по CV из компа- вать научные исследования в России. Организо-
и новая библиотека от Intel по CV — OpenVINO. ний — Александр Ханин из Vision Labs, Артем Ку- вать так, чтобы такие яркие и талантливые люди
харенко из NTech Labs и Александр Крайнов не захотели уезжать, а наоборот захотели бы
ТОП ИССЛЕДОВАТЕЛИ РОССИИ из Яндекса. приехать и реализовывать свой талант в России.
На основании публикаций и экспертных
В результирующий список вошли 15 исследо- ТОП ИССЛЕДОВАТЕЛИ НЕ В РОССИИ
оценок [225]
вателей — те, кто наиболее активен и цитиру-
На основании публикаций и экспертных
ем сегодня и те, чьи компетенции известны
Топ-15 Индекс оценок [225]
в экспертной среде, несмотря на отсутствие
исследователей России Хирша
публикаций. Про каждого из них мы далее
Виктор Лемпицкий 47 Исследователи не в России Индекс Хирша
приводим краткую справку.
Антон Конушин 16 Иван Лаптев 53
Андрей Крылов 15 Владимир Колмогоров 49
Артем Бабенко 12 Юрий Бойков 39
Антон Осокин 12 Алексей Досовицкий 31
Андрей Савченко 14
Владислав Мясников 14
Александр Ронжин 11
Ольга Баринова 11
Дмитрий Ульянов 8
Юрий Визильтер 8
Владислав Сергеев 7
Александр Крайнов н/д
Артем Кухаренко н/д
Александр Ханин н/д
162 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ РОССИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 163

Исследователи в России 2 001

Цитирований [224]
12
Индекс Хирша [224]

К.ф.-м.н., исследователь в Яндексе, преподаватель Школы анализа данных

14 098 47 Яндекса.

Цитирований [224] Индекс Хирша [224] Артем Закончил МФТИ факультет ФИВТ, в 2017 г. защитил диссертацию по при-

Директор Центра Искусственного Интеллекта Samsung в Москве, в кото- Бабенко кладной математике на базе ИПМ имени М. В. Келдыша РАН. Является сору-
ководителем научного семинара Школы анализа данных Яндекса по Ком-
ром он также возглавляет лабораторию методов зрения, обучения и теле- Artem Babenko
пьютерному зрению. Сферы научных интересов: машинное обучение,
присутствия (Vision, Learning, Telepresence lab). Виктор является доцентом
Виктор (associate professor) Сколковского Института Науки и Технологий и препода-
Яндекс, НИУ ВШЭ компьютерное зрение.
Лемпицкий вателем ШАД. В прошлом он работал в «Яндексе», в Оксфордском Универси-
Victor Lempitsky тете и в Microsoft Research в Кембридже (Великобритания). Виктор -- выпуск-
Samsung AI Center,
ник мехмата МГУ, кандидат физико-математических наук (2007). Текушие
исследовательские интересы Виктора сосредоточены вокруг глубинных ме-
1 287 12
Сколковский Институт Цитирований [224]
Индекс Хирша [224]
Науки и Технологий тодов синтеза изображений и видео, отслеживания позы человека, а также
применения подобных технологий в системах дополненной реальности, вир- К.ф.-м.н., заместитель заведующего центром глубинного обучения и байе-
туальной реальности и телеприсутствия. совских методов, доцент департамента больших данных и информационного
поиска НИУ ВШЭ, ведущий научный сотрудник лаборатории компании Сам-
Антон Осокин сунг в НИУ ВШЭ.
Anton Osokin
1 015 16 НИУ ВШЭ
Антон в 2014 г. защитил диссертацию по прикладной математике на базе
МГУ им. М.В. Ломоносова. Работал на факультете компьютерных наук École
Цитирований [224] Индекс Хирша [224]
Normale Supérieure & INRIA, Париж, Франция (проекты SIERRA, WILLOW).
К.ф.-м.н., Доцент, заведующий лабораторией компьютерной графики и муль- Сферы научных интересов: машинное обучение, компьютерное зрение, глу-
тимедиа факультета ВМК МГУ имени М.В. Ломоносова. Заведующий лабора- бинное обучение, дискретная оптимизация.
торией в Samsung AI Center Moscow.
Антон
Конушин Доцент департамента больших данных и информационного поиска факуль-

Anton Konushin
тета компьютерных наук НИУ ВШЭ, научный руководитель программы бака-
лавриата «Прикладная математика и информатика» НИУ ВШЭ. Лектор Шко-
763 14
Цитирований [224] Индекс Хирша [224]
МГУ лы Анализа Данных Яндекса. Научный консультант Tevian.
им. М.В. Ломоносова, Доктор технических наук, ведущий научный сотрудник лаборатории алгорит-
Samsung AI Center Защитил кандидатскую диссертацию по прикладной математике в Институте
мов и технологий анализа сетевых структур, профессор кафедры информа-
Moscow, НИУ Высшая прикладной математики им. Келдыша. Сферы научных интересов: компью-
ционных систем и технологий факультета информатики, математики и ком-
Школа Экономики терное зрение, глубокое обучение, компьютерная графика. Андрей пьютерных наук НИУ ВШЭ в Нижнем Новгороде.
Савченко
В 2016 г. защитил докторскую диссертацию «Методы классификации аудио-
Andrey Savchenko
визуальной информации на основе посегментного анализа однородности».
НИУ ВШЭ В 2017 г. организовал в НИУ ВШЭ научно-учебную группу, которая занимается

960 15 анализом мультимедийных данных мобильных устройств. С 2018 г. руководит

несколькими исследовательскими проектами в области компьютерного зре-
Цитирований [224]
Индекс Хирша [224]
ния в лаборатории искусственного интеллекта Samsung в ПОМИ РАН.
Д.ф.-м.н., заведующий лабораторией математических методов обработки
Автор более 100 научных публикаций, в том числе монографии в Springer, статей
изображений, профессор кафедры математической физики факультета вы-
в журналах IEEE Transactions on Neural Networks and Learning Systems, Pattern
числительной математики и кибернетики МГУ им. М.В. Ломоносова, член
Андрей программного комитета Международной конференции по компьютерной
Recognition, Neural Networks, Information Sciences, Pattern Recognition Letters
Крылов графике и машинному зрению конференции GraphiCon.
и др. На протяжении последних лет является одним из руководителей секции
обработки изображений международной конференции AIST. Входит в состав
Andrey Krylov
Читает специальные курсы «Математические методы обработки изобра- редколлегии International Journal of Applied Mathematics and Computer Science.
МГУ жений» и «Интегральные преобразования в обработке изображений». Ру-
им. М.В. Ломоносова Области научных интересов: распознавание образов, обработка изображе-
ководит спецсеминаром «Обработка изображений и компьютерное мо-
ний на мобильных устройствах, обработка речевых сигналов.
делирование». Автор более 80 научных работ. Сферы научных интересов:
математические методы обработки и анализа мультимедийной информации,
обратные и некорректные задачи, математическое моделирование высоко-
температурных металлургических процессов.
164 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ РОССИИ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 165

790 15 1 061 11
Цитирований [224] Индекс Хирша [224] Цитирований [224] Индекс Хирша [224]

Д.ф.-м.н., профессор кафедры геоинформатики и информационной безопас- К.ф.-м.н., руководитель проектов в исследовательском центре Samsung AI
ности, ведущий научный сотрудник лаборатории геоинформатики и инфор- Center Moscow.
мационной безопасности Самарского университета, сотрудник института сис-
Владислав тем обработки изображений РАН. Лауреат многочисленных стипендий, в том
Ольга В 2010 г. защитила диссертацию на базе МгУ им М.В. Ломономова. Работала
Мясников числе Соросовской программы Образования в Области Точных Наук (ISSEP). Баринова в компании Яндекс в роли руководителя команды разработчиков. Участвова-
ла в проектах Samsung Advanced Institute of Technology и Microsoft Research.
Vladislav Myasnikov Olga Barinova
Имеет более 100 научных публикаций, в том числе три монографии и восемь Сооснователь проекта Runmemo. Среди научных интересов: компьютерное
Самарский учебных пособий. Среди научных интересов: компьютерное зрение, распоз- Samsung AI Center зрение, машинное обучение.
университет навание образов, обработка цифровых сигналов и изображений.

1 670 8
397 11 Цитирований [224]
Индекс Хирша [224]
Цитирований [224]
Индекс Хирша [224]
Аспирант Сколтеха, группа компьютерного зрения.
К.т.н., старший научный сотрудник Санкт-Петербургского государственно-
Основатель проекта in3d.io. Является автором исследования «Deep image
го университета аэрокосмического приборостроения, Санкт-Петербургского
института информатики и автоматизации РАН.
Дмитрий prior» алгоритма переноса стиля изображений на фотографии, использован-
Александр Ульянов ного в приложении Prisma. Среди научных интересов: компьютерное зрение,
Ронжин Заместитель главного редактора журнала «Труды СПИИРАН». Среди научных
Dmitry Ulyanov
глубокое обучение, генеративные модели.
интересов: компьютерное зрение, аудиовизуальные сигналы.
Alexander Ronzhin
Сколтех
СПИИРАН

233 8
Цитирований [224] Индекс Хирша [224]

Д.ф.-м.н., профессор РАН, начальник подразделения ФГУП «ГосНИИАС»

Окончил МАИ по специальности системы автоматического управления

Юрий (1992), к.т.н. (1997), д.ф.-м.н. (2009), профессор РАН (2015). С 1992 г. рабо-
Визильтер тает в ГосНИИАС, с 2012 г. — начальник подразделения. В 2003-2012 гг. —
доцент, затем профессор базовой кафедры № 539 МИРЭА (при ГосНИИАС),
Yury Vizilter
с 2012 г. по настоящее время — профессор кафедры № 301 МАИ. Автор более
ФГУП «ГосНИИАС» 200 научных трудов, в том числе нескольких монографий и учебников по ма-
шинному зрению.

Сопредседатель международной рабочей группы «Анализ динамических

сцен» Международного общества фотограмметрии и дистанционного зонди-
рования (ISPRS). Заместитель председателя и руководитель рабочей группы
«Техническое зрение» экспертного совета Национального центра развития
технологий и базовых элементов робототехники. Эксперт рабочей группы
Международной организации гражданской авиации по машиночитаемым до-
кументам (TAG/MRTD ICAO). Эксперт РФФИ. Эксперт РНФ.

Области научных интересов: машинное обучение, интеллектуальный анализ

данных, техническое зрение, улучшенное и синтезированное видение, мате-
матическая морфология, биометрия.
166 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ РОССИИ
Исследователи из бизнеса
4 1
Цитирований [226] Индекс Хирша [226]
Руководитель лаборатории по машинному обучению и сооснователь компа-
нии NtechLab и сооснователь компании NtechLab. Алгоритм распознавания
лиц NtechLab стал победителем нескольких мировых соревнований по рас-
Артем познаванию лиц MegaFace, NIST FRPC, NIST FRVT, использовался в серви-
Кухаренко се распознавания лиц FindFace и сейчас используется в большом количестве
Artem Kukharenko городов по всему миру для распознавания лиц на видео в режиме реально-
го времени.
NtechLab
Окончил ВМК МГУ им. М.В, Ломоносова. Работал в Лаборатории компьютер-
ной графики и мультимедиа МГУ, московском исследовательском центре
Samsung, лаборатории e-Lab американского университета Purdue. Среди на-
учных интересов: машинное обучение, нейронные сети, компьютерное зре-
ние, цифровая обработка и распознавание изображений.
Генеральный директор компании — разработчика продуктов в области ком-
пьютерного зрения и машинного обучения VisionLabs.
Родился 2 июня 1987 г. в Невиномысске Ставропольского края. В 2011 г.
окончил Университет имени Н. Э. Баумана по специальности инженер-робо-
тотехник, с 2008 г. глубоко увлекался системами технического зрения.
Александр 2011–2014 прошел обучение в аспирантуре Московского Государственного
Ханин Технического Университета имени Н. Э. Баумана по специальности «Роботы
и робототехнические системы».
Alexander Khanin
С 2009 г. по 2012 г. — руководитель отдела Всероссийского научно-исследо-
VisionLabs
вательского института автоматизации управления в непромышленной сфе-
ре им. В. В. Соломатина. В 2012 г. вместе с партнерами основал компанию
VisionLabs, является ее генеральным директором.
Руководитель лаборатории машинного интеллекта в Яндексе.
Александр закончил Московский государственный университет информаци-
онных технологий, радиотехники и электроники (МГТУ МИРЭА). С 2010 г. ра-
ботает в Яндексе и отвечает за развитие технологий компьютерного зрения
и искусственного интеллекта, до последнего времени был руководителем
Александр лаборатории машинного обучения Яндекса, входит в экспертный совет науч-
Крайнов ной премии имени Ильи Сегаловича. Основные научные интересы: компью-
терное зрение, генерация изображений, super-resolution.
Alexander Krainov
Яндекс
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 167
Исследователи не в России
25 768 53
Цитирований [224] Индекс Хирша [224]
Иван Лаптев — старший научный сотрудник в INRIA (Национальный иссле-
довательский институт во Франции, работающий в области компьютер-
ных наук, теории управления и прикладной математики; Франция), проект
Иван Лаптев WILLOW. С 2011 г. Иван — научный консультант компании VisionLabs. Получил
INRIA, Франция степень PhD в области компьютерных наук в Королевском технологическом
институте в 2004 г. Основные научные интересы Ивана включают визуаль-
ное распознавание действий человека, объектов и взаимодействий, а так-
же робототехнику. Он опубликовал более 70 по компьютерному зрению и ма-
шинному обучению. Иван является редактором IJCV и TPAMI, председателем
CVPR, ICCV и ECCV. Он также организовал серию летних школ INRIA по ком-
пьютерному зрению и машинному обучению (2010–2013 годы) и конферен-
ции «Machines Can See» (2017–2019 годы). Он получил грант ERC в 2012 г.
и был удостоен премии Гельмгольца в 2017 г.
29 559 49
Цитирований [224] Индекс Хирша [224]
С 2011 г. Владимир является профессором IST Austria. Степень магистра
Владимир получил в Московском Физико-Техническом Институте, PhD в об-
ласти компьютерных наук получил в Корнеллском Университете. Ранее ра-
Владимир ботал в Microsoft Research, Юниверсити Колледж Лондон и Королевской
Колмогоров Инженерной Академии Великобритании. Владимир был удостоен гран-
та ERC Consolidator, награды за лучшую публикации IEEE/CVF Conference on
Институт Науки Computer Vision and Pattern Recognition, 2018, 2005; European Conference on
и Технологий (IST),
Computer Vision, 2002, EPSRC Research Fellowship, 2006-2011.
Австрия
28 604 39
Цитирований [224] Индекс Хирша [224]
Юрий Бойков — профессор в Cheriton School of Computer Science Универ-
ситета Ватерлоо и в Университете Западного Онтарио. В 1992 г. окончил
Юрий Бойков Московский Физико-Технический Институт, степень PhD получил в Кор-
неллском Университете. Его исследования сосредоточены в области ком-
Университет Ватерлоо,
пьютерного зрения и анализа медицинских изображений. Юрий является
Университет
редактором Journal of Computer Vision (IJCV). Его работа вошла в топ 10 са-
Западного Онтарио,
Канада мых влиятельрных статей на IEEE Transactions of Pattern Analysis and Machine
Intelligence. В 2011 г. он получил премию Гельмгольца от IEEE и Test of Time
Award от ICCV.
168 COMPUTER VISION / КЛЮЧЕВЫЕ ЛЮДИ РОССИИ

9 831 31
Цитирований [224] Индекс Хирша [224]

Кандидат физико-математических наук. В 2012 г. окончил Механико-матема-

тический факультет МГУ. Работал научным сотрудником в Фрайбургском уни-
верситете, Германия, лаборатории визуальных вычислений Intel, Мюнхен.
Алексей В данный момент является научным сотрудником в Google, Берлин.
Досовицкий
Научные интересы: глубокое обучение с использованием сверточных ней-
Google, Германия ронных сетей, компьютерное зрение, машинное обучение, оптимизация.
Инфраструктура

08
170
68 COMPUTER VISION / ИНФРАСТРУКТУРА
ТЕКУЩЕЕ СОСТОЯНИЕ В РОССИИ И МИРЕ / КЛЮЧЕВЫЕ УНИВЕРСИТЕТЫ В МИРЕ АЛЬМАНАХ «ИСКУССТВЕННЫЙ
АЛЬМАНАХ ИНТЕЛЛЕКТ»
«ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019
ИЮНЬ 2019 171
69

Мировые конференции
19-23 июля 2020
SIGGRAPH
International Conference
on Computer Graphics
14-19 июня 2020 and Interactive Techniques
2-5 марта 2020 CVPR США
WACV Conference on Computer https://s2020.siggraph.org/
Winter Conference Vision and Pattern
on Applications Recognition
of Computer Vision США 17-20 ноября 2020
США http://cvpr2020.thecvf.com/ SIGGRAPH Asia
http://wacv20.wacv.net/ 23-28 Август 2020 The 13th ACM SIGGRAPH
9-12 сентября 2019 ECCV Conference and Exhibition
BMVC European Conference on Computer Graphics and
British Machine Vision on Computer Vision Interactive Techniques
Conference Шотландия in Asia
27 сен-2 нояб 20199 22-23 июня 2020
Уэльс https://eccv2020.eu/ Корея
ICCV 8-14 декабря 2019 20IT06ICCV
https://bmvc2019.org/ International Conference International Conference https://sa2019.siggraph.org/
NeurIPS about-us/sa2020
on Computer Vision Neural Information on Computational Vision
Корея Processing Systems Италия
http://iccv2019.thecvf.com/ Канада https://waset.org/computational-
https://nips.cc/ vision-conference-in-June-2020- 4-8 октября 2020
Conferences/2019/Dates n-venice MICCAI
Medical Image
20-25 сентября 2019 17-20 ноября 2019 26-30 апреля Computing and
ICDAR SIGGRAPH Asia ICLR Computer-Assisted
The International Conference The 12th ACM SIGGRAPH Эфиопия Intervention
on Document Analysis Conference and Exhibition https://iclr.cc/ Китай
on Computer Graphics and 12-18 июля 2020
and Recognition ICML http://www.miccai.org/
Австалия Interactive Techniques in Asia
Австралия International Conference
http://icdar2019.org/ on Machine Learning
https://sa2019.siggraph.org/
Австрия
https://icml.cc/

2019 2020
Сентябрь Ноябрь Декабрь Февраль Март Апрель Июнь Июль Август Сентябрь Октябрь Ноябрь

26-27 ноября 2019

AVRA Days 2019 15 сентября 2020
Форум о цифровых технологиях Vision Technology Россия
дополненной и виртуальной Vision Technology - это видеокамеры,
реальности, выставка оптика, лазеры и программное
и образовательный интенсив обеспечение обработки и анализа
Москва изображений для применения
https://avradays.com/ в промышленной автоматизации,
20-21 февраля 2020 приборостроении, испытаниях
и научных исследованиях.
OpenTalks.AI Москва
Открытая конференция http://visiontechforum.ru/
по искусственному интеллекту.
В рамках нее большой блок Июнь 2019
8-9 ноября 2019 про технологии Computer Vision Machines Can See
AI Journey Москва Международняя конференция
Двухдневная конференция https://opentalks.ai/ в области компьютерного
по искусственному интеллекту/ зрения и машинного обучения
В рамках нее было несколько Москва
секций про технологии http://machinescansee.com/
Computer Vision
Москва
https://ai-journey.ru/conference-
moscow

Конференции в России
 Если Вы хотите быть в курсе всех трендов
и познакомиться лично с ведущими
людьми и компаниями в ИИ то для этого
есть главное место:

Открытая конференция
по искусственному интеллекту

20-21 февраля 2020

OpenTalks.AI — ведущая 2 дня, 4 блока: NLP & speech, Computer

независимая открытая конференция
по искусственному интеллекту
в России. В этом году мы собрали
для Вас лучших российских
докладчиков со всех топовых
международных конференций
по ML/DL на одной площадке.
vision, Predictive analytics & recommendation
systems, Reinforcement learning.
В каждом блоке — обзорные доклады по
науке, бизнесу и разработке, плюс
параллельные секции и большая постерная
сессия. И еще целый день tutorials от
ведущих специалистов. Enjoy!

Программа, спикеры и регистрация на сайте

www.OpenTalks.AI
Тренды
и аналитика

09
174 COMPUTER VISION / ТРЕНДЫ И АНАЛИТИКА АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 175

9.1. Портрет индустрии КОЛИЧЕСТВО СОТРУДНИКОВ И РАЗРАБОТЧИКОВ В КОМПАНИЯХ:

В большинстве компаний команда разработчиков CV составляет 10-15 человек. И практически

во всех компаниях их число менее 100 человек.
Для написание обзора по Computer Vision К сожалению, индустрия пока не готова тратить
мы продолжили проводить опросы экспертов ин- время на публичные исследования, к тому же Сотрудники Все разработчики CV разработчики
дустрии с помощью анкетирования для выявле- сказался трудный период накануне Нового года.
12 14
ния лучших компаний отрасли и исследователей. А у исследователей к тому же была конферен- 12
12
10 10
Заодно мы задавали вопросы про структуру ком- ция ICCV-2019 и дедлайн подачи заявок на CVPR- 8
10
8
паний, их проекты, количество исследователей. 2020, поэтому откликов было мало. Мы рассыла- 6
8
6
6
В этом разделе мы приводим краткий портрет ли около 120 приглашений и получили 33 ответа. 4
4 4

индустрии Computer Vision в России. В целом у нас получилась достаточно представи- 2 2 2

тельная выборка компаний: Яндекс, Сбербанк, 0

<100 100-500 500-1000 1000-10000 >10000
0
<100 100-500 500-1000 1000-10000 >10000
0
<100 100-500 500-1000 1000-10000
В этот раз мы рассылали 2 анкеты: Vision Labs, Ntech Lab, Cognitive Technologies, Сотрудники Разработчики CV разработчики

КРОК и другие. Также анкету заполнили несколь-

1. по технологиям CV, на которую мы
предлагали отвечать разработчикам
и исследователям;
2. по применениям CV в реальных отраслях,
на которую мы предлагали коммерческим
или генеральным директорам.
ко экспертов из ведущих научных учреждений:
МФТИ, НИУ ВШЭ, Сколтех. Благодарим всех экс-
ПРИМЕРНЫЙ ПОРТРЕТ КОМПАНИИ В ТЕРМИНАХ КОЛИЧЕСТВА СОТРУДНИКОВ
пертов, потративших время на ответы! Мы с Вами
делаем аналитику для всей индустрии!
Хорошо видно, что в малой и большой компании собственно количество разработчиков CV различается
не сильно. Но если малая компания практически целиком состоит из самих разработчиков, то в боль-
Конечно, 33 ответа это очень мало для хорошей
шой компании есть множество бизнес-подразделений, поэтому разработчики и исследователи состав-
статистики, но некоторые тенденции все же вид-
ляют малую часть от общего количества сотрудников.
ны. Снова призываем компании индустрии лучше
откликаться на нашу просьбу и тогда мы все вме- Крупная компания Средняя компания Малая компания
сте получим более релевантные данные!

ОТРАСЛИ В КОТОРЫХ РАБОТАЮТ КОМПАНИИ: 0 100 200 300 400 500 600 700 800 0 20 40 60 80 100 120 140 0 5 10 15 20 25 30

Кол-во CV разработчиков и исследователей Кол-во ИИ разработчиков и исследователей Кол-во разработчиков и исследователей Кол-во сотрудников
Это распределение построено по количеству
4% 1%
указанных ответов — где работает компания, 15% Интернет и его приложения
12% Робототехника
а не по размеру выручки, который приносит этот 1% Транспорт
сегмент (таких данных у нас, к сожалению, нет). Медицина
Образование (университет) РАЗМЕР КОМПАНИЙ ВЛОЖЕНИЯ В R&D
Из диаграммы видно, что больше всего компаний 7%
ИТ
15%
работают в отраслях Интернет и его приложения, Умный город
Государство и безопасность Мы оцениваем размер компаний по выруч- Ну и наконец, нас очень интересовал процент
Транспорт и Умный город. 9% Финансы и страхование
ке. Видно, что в нашу выборку попали разные вложений в R&D (Research and Development). Это
Ритейл
7% Промышленность компании — как малые (с выручкой меньше ключевой финансовый показатель для иннова-
Также из этой диаграммы видно, что по сравне- и сельское хозяйство
12%
1%
Индустрия компьютерных 10-50 млн ₽), так и средние компании и боль- ционной отрасли. В целом в области ИИ уровень
нию с областью NLP & speech recognition/synthesis 1%
игр и интерактивных
15% развлечений шие корпорации (выручка выше 1 млрд ₽). вложений в R&D сильно выше чем в среднем
из Альманаха №2, здесь намного более диверси-
Но средних компаний значительно меньше, по экономике. К сожалению, большинство компа-
фицированное представление. То есть, сегодня CV
это характерно и для всей отрасли ИИ в це- ний не готово раскрыть цифры вложение в R&D
используется уже во всех отраслях.
лом, такая же тенденция наблюдалась и в об- даже конфиденциально. Поэтому у нас немного
ласти NLP. данных, но они достаточно характерные — мож-
но оценить объем вложений в R&D в этой области
«ЭКСТРАВЕРТЫ И ИНТРАВЕРТЫ» не менее 10% от выручки компаний.
Выручка, 2018 г. Вложения в R&D, 2018 г.
Подавляющее большинство компаний в отрасли 27%
4 2
является «экстравертами», то есть разрабаты­

кол-во компаний
Компании, внедряющие
кол-во компаний

технологии CV
вают технологии CV исключительно для прода- сторонним заказчикам 3

жи сторонним заказчикам. Компании, внедряющие

2 1

технологии CV
для внутреннего 1

Но есть несколько компаний, которые дела- использования

0 0
ют разработки исключительно для внутреннего 73%
<10
млн
10-50
млн
50-100
млн
100-500
млн
500 млн-
1 млрд
> 1 млрд <10 млн 10-50 50-100 100-500 500 млн- > 1 млрд
млн млн млн 1 млрд
употребления. Размер выручки, руб. Размер выручки, руб.
176 COMPUTER VISION / ТРЕНДЫ И АНАЛИТИКА
Игорь
Пивоваров
9.2. Тренды и прогнозы
В этой статье мы постарались сформулировать основные
технологические тренды в области машинного зрения, а также прогнозы
новых применений и развития рынка по состоянию на конец 2019 г.
Технологические тренды
GANы НАСТУПАЮТ
В 2018-2019 гг. был представлен ряд новых па-
радигм в области генерации изображений, за-
ключающихся в совмещении алгоритмов в об-
ласти компьютерной графики с обучающимися
компонентами. В частности, для восстанов-
ления/синтеза изображений все больше ис-
пользуются генеративно-состязательные сети
(GANs) — подход, в котором две сети соревнуют-
ся между собой, одна пытается создать реали-
стичное изображение, вторая пытается отличить
синтезированное изображение от настояще-
го. Такой подход позволил на порядок улучшить
качество синтеза изображений и видео. Он бу-
дет распространяться все шире и использовать-
ся для создания фотореалистичного контен-
та для игр и виртуальных сред, восстановления
фрагментов и улучшения качества фотографий
и видео, а также генерации еще более реали-
стичных дипфейков.
Наталия
Гутенева
ДВУХЭТАПНОЕ ОБУЧЕНИЕ
Новые достижения в Computer vision, как правило,
даются за счёт увеличения размеров нейронных
сетей и размеров датасетов. Это влечет за собой
увеличение вычислительных мощностей, необ-
ходимых для обучения нейросетей. В результате,
обучение большой модели на датасете типа JFT
(закрытый датасет Google, размером 300 млн изо-
бражений, 21 тыс. классов) становится под силу
только большим компаниям. Но уже готовая обу-
ченная модель может быть выложена в сеть и тог-
да каждый желающий может доучить ее на сво-
ем маленьком датасете для своей конкретной
задачи. И похоже, что также как и в NLP с моде-
лью типа BERT, в CV наблюдается та же тенден-
ция и мы уже видим много готовых моделей, ко-
торые можно брать и доучивать. Таким образом,
большие базовые модели будут создаваться и об-
учаться большими корпорациями, а маленькие
компании будут доучивать их на своих датасетах.
Интересным вопросом здесь остается коммерче-
ская сторона вопроса — всегда ли эти большие мо-
дели будут открытыми и бесплатными? Или же
рано или поздно появится какая-то форма моне-
тизации базовых моделей? Будущее покажет.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ»
АЛГОРИТМЫ, ПРОЕКТИРУЮЩИЕ АЛГОРИТМЫ
NAS (Neural Architecture Search) — алгоритм выбо-
ра архитектуры нейросети и оптимизации ее ги-
перпараметров под конкретный датасет и задачу
(классификация, сегментация и др.). NAS являет-
ся подмножеством AutoML. Алгоритм NAS нахо-
дит архитектуру из всех возможных архитектур,
следуя стратегии поиска, которая максимизирует
производительность. И, хотя данный метод не от-
вечает на вопрос, почему та или иная модель ре-
шает поставленную задачу лучше остальных,
он является крайне перспективным для быстро-
го решения многочисленных прикладных задач
в области машинного обучения. А учитывая все
растущие вычислительные мощности и скорости
постановки задач, автоподбор архитектуры ста-
новится практически доступным инструментом.
Рыночные тренды
ВЫСОКОРЕАЛИСТИЧНЫЕ ФОТО И ВИДЕО
Сейчас для генерации высокореалистичного фото-
и видеоконтента используются генеративно-состя-
зательные сети (GANs), Generative Query Network
(GQNs), сверточные нейронный сети (CNNs). Теку-
щий уровень развития моделей машинного обу-
чения уже позволяет получать впечатляющие
результаты, например, создавать анимацию с вы-
соким разрешением из одного изображения, ге-
нерировать синтетические фотографии людей,
не отличимые от оригинальных, восстанавливать
отсутствующие фрагменты на фото и видео и др.
Ожидается, что с совершенствованием алгорит-
мов и увеличением мощностей, мы будем получать
еще более качественный медиаконтент.
ОБЛАЧНЫЙ РЕНДЕРИНГ
Модели становятся все более тяжелыми, но есть
применения, в которых необходима быстрая от-
работка изображений на тонком клиенте — нап-
ример компьютерные игры. И мы видим новый
тренд — будет появляться все больше облачных
сервисов по рендерингу изображений на базе тя-
желых вычислительно емких моделей машинно-
го обучения. Мы сможем играть на мобильном те-
лефоне в игры с потрясающей графикой, которая
будет рендериться на удаленном сервере, а го-
товая картинка будет доставляться на телефон.
С ростом пропускной способности сети (5G/6G)
ДЕКАБРЬ 2019 177
БЫСТРЕЕ И ПРОЩЕ — RUN IT ON THE EDGE
Идет бум появления методов значительно-
го ускорения/упрощения моделей для их по-
всеместного внедрения. Прореживание сетей
и другие трюки будут приводить к тому, что тех-
нологии будут становиться всё более универ-
сальными, легко адаптируемыми для конкретных
задач, одновременно становясь всё менее ресур-
соёмкими — нейросетевые модели станут легче
и будут работать быстрее на любых устройствах,
например на мобильных телефонах или каме-
рах наблюдения. В результате будет становить-
ся все больше «умных» устройств с тем или иным
ИИ-функционалом.
это станет обычным делом и половина траффика
будет — игровая графика.
СИНТЕЗИРОВАННЫЕ СРЕДЫ ДЛЯ ОБУЧЕНИЯ
Еще одним применением для высококачествен-
ной синтезированной графики станет обучение
новых нейросетей, например моделей беспилот-
ных автомобилей. Сейчас достаточно сложно на-
брать хороший большой размеченный датасет
для обучения беспилотника. Но если мы смо-
жем синтезировать качественное видео, где все
данные (по построению) уже размечены — то это
сильно удешевит и убыстрит обучение новых мо-
делей. Это будет отдельный новый растущий ры-
нок — синтезированные виртуальные 3D среды
для обучения алгоритмов.
НЕЙРОАВАТАРЫ
Нейроаватары — трехмерные цифровые модели
объектов, создающиеся при помощи нейронных
сетей на основе всего одного изображения. Сеть,
обученная на большой выборке моделей, лишь
по одному изображению строит достаточно ка-
чественную 3D модель объекта. Данная техноло-
гия может использоваться для широкого спектра
приложений, в том числе телеприсутствия — по-
хоже, скоро мы будем разговаривать друг с дру-
гом, глядя не на 2-х мерное видеоизображение,
а на проецируемую трехмерную голограмму.
178 COMPUTER VISION / ТРЕНДЫ И АНАЛИТИКА

НОВЫЕ ФОРМАТЫ ВИДЕО ЗАЩИТА И НАПАДЕНИЕ

Уже сейчас появляются новые форматы видео,
позволяющие людям ориентироваться во все уве-
личивающемся объеме контента, упрощающие
поиск по видео и добавляющие интеракивность
при его просмотре. Так, в гипервидео (hyperlinked
video) видеопоток содержит активные (клика-
бельные) зоны, позволяющие переходить между
фрагментами видео и другими гипермедиа эле-
ментами (аналогично гипертексту). Благодаря
новым стандартам MPEG-7/21 CDVA/CDVS, в ко-
торых к видео добавляются дескрипторы, значи-
тельно облегчается поиск видео по содержанию.
Скорость поиска будет высокой, на youtube и дру-
гих видеохостингах можно будет легко найти ви-
део по содержанию. А применение машинного
обучения существенно позволяет облегчить со-
здание такого видео, в частности засчет автома-
тической разметки и наложения текста.
С ростом внедрения и популярности техноло-
гий биометрии с такой же скоростью будет расти
арсенал техник взлома биометрии, в том числе
с помощью adversarial attacks. Технологии спу-
финга и фишинга и подобные им набирают свою
силу. И, так же как в случае с вирусами и антиви-
русами, нам предстоит увидеть не один раунд ув-
лекательной борьбы технологий.
Одной из специфических областей такой защи-
ты и нападения уже стали deepfake изображе-
ния. И дальше волна борьбы с deepfake images
будет только нарастать, будут появляться все но-
вые технологии детектирования синтезирован-
ных изображений и в ответ новые способы де-
текции фальшивок. Наш прогноз, что эта область
будет расти сильно быстрее остальных областей
в CV в 2020-2021.

БИОМЕТРИЯ ПОВСЮДУ

Уже видно повсеместное внедрение техноло-

гий распознавания лиц (транспорт, школы, ри-
тейл, банки). Скоро мы будем расплачиваться,
просто посмотрев на камеру и проходить че-
рез турникеты без всяких карточек доступа. Бу-
дут подключаться дополнительные каналы био-
метрии — радужка глаз, распознавание мимики
и характерных движений и т.д. Точность и ско-
рость распознавания будут повышаться дальше,
так же как и будут становиться все умнее алго-
ритмы защиты против adversarial attacks.
Приложения

10
180 COMPUTER VISION / ПРИЛОЖЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 181

Основные ссылки и методика 25. https://habr.com/ru/post/106302/

формирования отчета
26. https://en.wikipedia.org/wiki/Multilayer_perceptron.

27. https://habr.com/ru/post/348000/

28. https://en.wikipedia.org/wiki/Image_gradient.

29. https://medium.com/machine-learning-world/feature-extraction-and-similar-image-search-with-
1. https://meduza.io/cards/ekonomisty-obsuzhdayut-chetvertuyu-promyshlennuyu-revolyutsiyu-chto-eto.
opencv-for-newbies-3c59796bf774.
2. https://socialego.mediasole.ru/rey_kurcveyl_raspisal_buduschee_mira_prognoz_do_2099_goda.
30. https://www.lektorium.tv/course/22847.
3. https://www.youtube.com/watch?v=FwFduRA_L6Q&feature=youtu.be.
31. https://arxiv.org/abs/1503.03832.
4. http://yann.lecun.com/exdb/publis/pdf/lecun-90c.pdf.
32. https://arxiv.org/pdf/1704.01719.pdf.
5. https://ai.facebook.com/.
33. https://arxiv.org/pdf/1707.07391.pdf.
6. https://opensource.facebook.com/#artificial-intelligence.
34. https://elib.dlr.de/116408/1/WACV2018.pdf.
7. https://www.tesla.com/autopilot .
35. https://ru.wikipedia.org/wiki/%D0%95%D0%B2%D0%BA%D0%BB%D0%B8%D0%B4%D0%BE%D0
8. https://yandex.ru/promo/taxi/sdchttps://yandex.ru/promo/taxi/sdc. %B2%D0%B0_%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B0.

9. Alejandro Rodriguez-Ruiz et al. Stand-Alone Artificial Intelligence for Breast Cancer Detection in 36. https://ru.wikipedia.org/wiki/%D0%92%D0%B5%D0%BA%D1%82%D0%BE%D1%80%D0%BD%D0
Mammography: Comparison With 101 Radiologists. JNCI: Journal of the National Cancer Institute, %B0%D1%8F_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D1%8C.
Volume 111, Issue 9, September 2019, Pages 916–922, https://doi.org/10.1093/jnci/djy222.
37. https://docs.opencv.org/3.4.3/d7/d8b/tutorial_py_face_detection.html.
10. https://support.apple.com/ru-ru/HT208109.
38. https://arxiv.org/abs/1604.02878.
11. https://www.youtube.com/watch?v=Pc2aJxnmzh0.
39. https://github.com/kpzhang93/MTCNN_face_detection_alignment.
12. https://mipt.ru/science/labs/mipt-sberbank-applied-research/projects/novaya_biometricheskaya_
40. https://github.com/AITTSMD/MTCNN-Tensorflow.
autentifikatsiya.
41. https://github.com/davidsandberg/facenet.
13. https://ru.wikipedia.org/wiki/%D0%9E%D0%BF%D1%82%D0%B8%D1%87%D0%B5%D1%81%D0%
BA%D0%BE%D0%B5_%D1%80%D0%B0%D1%81%D0%BF%D0%BE%D0%B7%D0%BD%D0%B0% 42. https://github.com/TencentYoutuResearch/FaceDetection-DSFD.
D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D1%81%D0%B8%D0%BC%D0%B2%D0%BE%D0
43. https://github.com/sfzhang15/FaceBoxes.
%BB%D0%BE%D0%B2.
44. https://www.inference.vc/dilated-convolutions-and-kronecker-factorisation/
14. https://habr.com/ru/post/404757/.
45. https://translate.yandex.ru/ocr.
15. https://evrl.to/articles/5c1f4c056ec7f73533eac24b/kak-nejronnye-seti-uluchshajut-grafiku-v-
staryh-igrah/. 46. https://github.com/argman/EAST.

16. https://developer.leapmotion.com/northstar. 47. https://arxiv.org/abs/1801.02765.

17. https://www.microsoft.com/en-ca/hololens. 48. https://github.com/MhLiao/TextBoxes_plusplus.

18. https://prisma-ai.com/ 49. https://arxiv.org/abs/1703.06520.

19. https://picsart.com/ 50. https://arxiv.org/abs/1901.03003.

20. https://www.kaggle.com/c/digit-recognizer/data. 51. https://github.com/Canjie-Luo/MORAN_v2.

21. http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BB%D0%B0%D1%81%D1%81 52. https://www.researchgate.net/publication/325993414_ASTER_An_Attentional_Scene_Text_

%D0%B8%D1%84%D0%B8%D0%BA%D0%B0%D1%86%D0%B8%D1%8F. Recognizer_with_Flexible_Rectification.

22. https://towardsdatascience.com/bag-of-visual-words-in-a-nutshell-9ceea97ce0fb. 53. https://github.com/bgshih/aster.

23. http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_ 54. https://arxiv.org/abs/1801.01671.

%D0%BE%D0%BF%D0%BE%D1%80%D0%BD%D1%8B%D1%85_%D0%B2%D0%B5%D0%BA%D1
55. https://github.com/jiangxiluning/FOTS.PyTorch/tree/feature/reg-branch.
%82%D0%BE%D1%80%D0%BE%D0%B2.
56. http://icdar2019.org/
24. https://ru.wikipedia.org/wiki/%D0%93%D0%B8%D1%81%D1%82%D0%BE%D0%B3%D1%80%D0%
B0%D0%BC%D0%BC%D0%B0_%D0%BD%D0%B0%D0%BF%D1%80%D0%B0%D0%B2%D0%BB 57. https://rrc.cvc.uab.es/
%D0%B5%D0%BD%D0%BD%D1%8B%D1%85_%D0%B3%D1%80%D0%B0%D0%B4%D0%B8%D
0%B5%D0%BD%D1%82%D0%BE%D0%B2.
182 COMPUTER VISION / ПРИЛОЖЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 183

58. https://habr.com/ru/post/266129/. 88. Splash of Color: Instance Segmentation with Mask R-CNN and TensorFlow — реализация нейросети
в Opensource-библиотеке от компании Matterport.
59. https://github.com/HEscop/TBCF.
89. https://www.koen.me/research/selectivesearch/.
60. https://paperswithcode.com/task/visual-object-tracking.
90. http://caffe.berkeleyvision.org/.
61. https://en.wikipedia.org/wiki/Jaccard_index.
91. https://arxiv.org/abs/1311.2524.
62. https://arxiv.org/abs/1602.00763v2.
92. https://arxiv.org/abs/1504.08083.
63. https://github.com/abewley/sort.
93. https://arxiv.org/abs/1506.01497.
64. https://habr.com/ru/post/166693/.
94. https://arxiv.org/abs/1703.06870.
65. https://habr.com/ru/post/422009/.
95. https://arxiv.org/abs/1612.03144.
66. https://arxiv.org/abs/1703.07402.
96. Тренд-карта российских исследователей построена по данным, предоставленным dimensions.
67. https://github.com/nwojke/deep_sort.
ai по публикациям российских ученых, релевантным ключевым словам “object detection”, “object
68. https://github.com/foolwood/DaSiamRPN. classification”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований.
69. https://gitlab.com/danielgordon10/re3-tensorflow.
97. Тренд-карта мировых исследователей построена по данным, предоставленным dimensions.ai
70. https://paperswithcode.com/.
по публикациям российских ученых, релевантным ключевым словам “object detection”, “object
71. Prisma Labs https://prisma-ai.com/. classification”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований.
72. Deepfake https://en.wikipedia.org/wiki/Deepfake.
98. Тренд-карта российских исследователей построена по данным, предоставленным dimensions.ai
73. Which face is real? http://www.whichfaceisreal.com/.
по публикациям российских ученых, релевантным ключевым словам “face recognition”. По оси аб-
74. SPADE https://nvlabs.github.io/SPADE/demo.html. сцисс отображается динамика цитирований по годам (2014–2018), по оси ординат – логарифм
суммарного количества цитирований.
75. Zhang et. al. The Unreasonable Effectiveness of Deep Features as a Perceptual Metric. CVPR 2018.
99. Тренд-карта мировых исследователей построена по данным, предоставленным dimensions.ai по
76. Mahendran and Vedaldi. Understanding Deep Image Representations by Inverting Them. CVPR 2015.
публикациям российских ученых, релевантным ключевым словам “face recognition”. По оси аб-
77. Johnson et. al. Perceptual Losses for Real-Time Style Transfer and Super-Resolution. ECCV 2016. сцисс отображается динамика цитирований по годам (2014–2018), по оси ординат – логарифм
суммарного количества цитирований.
78. Li et al. A Closed-form Solution to Photorealistic Image Stylization. ECCV 2018.
100. A Deeper Look Into The Life of An Impressionist. A youtube video https://www.youtube.com/
79. I. Goodfellow et al. Generative Adversarial Networks. NIPS 2014.
watch?v=5rPKeUXjEvE.
80. Isola, P. et al. Image-to-image translation with conditional adversarial networks. CVPR 2017.
101. Leon A. Gatys, Alexander S. Ecker, Matthias Bethge. A Neural Algorithm of Artistic Style.
81. Zhu, Jun-Yan, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks. arXiv:1508.06576.
ICCV 2017.
102. Dmitry Ulyanov, Vadim Lebedev, Andrea Vedaldi, Victor Lempitsky. Texture Networks: Feed-forward
82. Karras et. al. A Style-Based Generator Architecture for Generative Adversarial Networks. CVPR 2019. Synthesis of Textures and Stylized Images. http://proceedings.mlr.press/v48/ulyanov16.pdf.

83. Karras et. al. Progressive Growing of GANs for Improved Quality, Stability, and Variation. ICLR 2018.
84. [Park et. al. 2019] Park et. al. Semantic Image Synthesis with Spatially-Adaptive Normalization, CVPR
2019.
85. Zakharov et. al. Few-Shot Adversarial Learning of Realistic Neural Talking Head Models. CVPR 2019.
86. Тренд-карта российских исследователей построена по данным, предоставленным dimensions.
ai по публикациям российских ученых, релевантным ключевым словам “image synthesis”, “image
generation”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований.
87. Тренд-карта мировых исследователей построена по данным, предоставленным dimensions.ai
по публикациям российских ученых, релевантным ключевым словам “image synthesis”, “image
generation”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований.
103. Justin Johnson, Alexandre Alahi, Li Fei-Fei. Perceptual Losses for Real-Time Style Transfer and Super-
Resolution. arXiv:1603.08155.
104. Dmitry Ulyanov, Andrea Vedaldi, Victor Lempitsky. Improved Texture Networks: Maximizing Quality and
Diversity in Feed-forward Stylization and Texture Synthesis. http://sites.skoltech.ru/app/data/uploads/
sites/25/2017/01/texture_nets_v2.pdf.
105. Vincent Dumoulin, Jonathon Shlens, Manjunath Kudlur. A Learned Representation For Artistic Style.
arXiv:1610.07629.
106. Delivering real-time AI in the palm of your hand. Facebook Engineering blog. https://engineering.fb.com/
android/delivering-real-time-ai-in-the-palm-of-your-hand/
107. Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros. Unpaired Image-to-Image Translation using
Cycle-Consistent Adversarial Networks. arXiv:1703.10593.
184 COMPUTER VISION / ПРИЛОЖЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 185

108. Tomas Jakab, Ankush Gupta, Hakan Bilen, Andrea Vedaldi. Unsupervised Learning of Object Landmarks
through Conditional Image Generation. http://www.robots.ox.ac.uk/~vgg/research/unsupervised_
landmarks/unsupervised_landmarks.pdf.
109. Тренд-карта российских исследователей построена по данным, предоставленным dimensions.
ai по публикациям российских ученых, релевантным ключевым словам “object detection”, “object
classification”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований.
110. Тренд-карта мировых исследователей построена по данным, предоставленным dimensions.ai
по публикациям российских ученых, релевантным ключевым словам “object detection”, “object
classification”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований.
111. YOLOv3: An Incremental Improvement by Joseph Redmon, Ali Farhadi.
URL: https://arxiv.org/abs/1804.02767.
124. Q. Xie, E. Hovy, Minh-Thang Luong, Q. V. Le. Self-training with Noisy Student improves ImageNet
classification.
125. The PASCAL Visual Object Classes Challenge: A Retrospective Everingham, M. , Eslami, S. M. A. , Van
Gool, L. , Williams, C. K. I. , Winn, J. and Zisserman, A. International Journal of Computer Vision (2015)
126. Yuhui Yuan, Xilin Chen, Jingdong Wang. Object-Contextual Representations for Semantic Segmentation
(2019)].
127. Learning Multiple Layers of Features from Tiny Images, Alex Krizhevsky, 2009.
128. Björn Barz, Joachim Denzler. Do we train on test data? Purging CIFAR of near-duplicates.
arXiv:1902.00423.
129. Lin TY. et al. (2014) Microsoft COCO: Common Objects in Context. In: Fleet D., Pajdla T., Schiele B.,
Tuytelaars T. (eds) Computer Vision – ECCV 2014. ECCV 2014. Lecture Notes in Computer Science, vol
8693. Springer, Cham.

112. SSD: Single Shot MultiBox Detector by Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, 130. https://www.marketsandmarkets.com/Market-Reports/ai-in-computer-vision-market-141658064.html.
Scott Reed, Cheng-Yang Fu, Alexander C. Berg. URL: https://arxiv.org/abs/1512.02325.
131. https://www.cnews.ru/news/line/2019-06-26_prognoz_tadviser_obem_rynka_kompyuternogo_
113. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks by Shaoqing Ren, zreniya.
Kaiming He, Ross Girshick, Jian Sun. URL: https://arxiv.org/abs/1506.01497.
132. https://www.interfax.ru/business/683445.
114. Mask R-CNN by Kaiming He, Georgia Gkioxari, Piotr Doll´ar, Ross Girshick.
133. https://officiel-online.com/all-news/deepfake-technology-brings-mona-lisa-to-life/
URL: https://arxiv.org/abs/1703.06870.
134. https://www.youtube.com/watch?v=5rPKeUXjEvE&feature=youtu.be.
115. Тренд-карта российских исследователей построена по данным, предоставленным dimensions.ai по
публикациям российских ученых, релевантным ключевым словам “video object detection”, “video 135. https://www.forbes.ru/tehnologii/380351-oni-zarabatyvayut-poka-my-stareem-hayp-prines-
object classification”, “live object detection”, “live object classification”, “video face recognition”, “live prilozheniyu-faceapp-1-mln.
face recognition”, “real-time object detection”. По оси абсцисс отображается динамика цитирований
136. https://storage.googleapis.com/pub-tools-public-publication-data/pdf/bcbc34f6d3624176d54257ec4
по годам (2014–2018), по оси ординат – логарифм суммарного количества цитирований.
3a022f2ed87a6b3.pdf.
116. Тренд-карта мировых исследователей построена по данным, предоставленным dimensions.ai по
137. https://www.facebook.com/notes/facebook-security/improvements-in-protecting-the-integrity-of-
публикациям российских ученых, релевантным ключевым словам “video object detection”, “video
activity-on-facebook/10154323366590766/
object classification”, “live object detection”, “live object classification”, “video face recognition”, “live
face recognition”, “real-time object detection”. По оси абсцисс отображается динамика цитирований 138. https://ai.facebook.com/blog/community-standards-report/
по годам (2014–2018), по оси ординат – логарифм суммарного количества цитирований.
139. https://blog.mail.ru/20years-update-mailru/
117. Тренд-карта российских исследователей построена по данным, предоставленным dimensions.
140. https://digital.hbs.edu/platform-rctom/submission/machine-learning-at-youtube-removing-abusive-
ai по публикациям российских ученых, релевантным ключевым словам “image synthesis”, “image
content/
generation”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований. 141. Рейтинг «Самые заметные компании в отрасли (по результатам экспертного опроса)» составлялся
на основе опроса экспертов из крупнейших российских компаний и университетов по всем техно-
118. Тренд-карта мировых исследователей построена по данным, предоставленным dimensions.ai
логиям, входящих или смежных с областью машинного зрения. Баллы ставились на основе пер-
по публикациям российских ученых, релевантным ключевым словам “video synthesis”, “video
сонального рейтинга каждого из экспертов.
generation”. По оси абсцисс отображается динамика цитирований по годам (2014–2018), по оси
ординат – логарифм суммарного количества цитирований. 142. http://d-russia.ru/tsifrovaya-ekonomika-opredelyon-perechen-perspektivnyh-skvoznyh-tehnologij-
raboty-s-dannymi.html.
119. R. A. Fisher (1936). "The use of multiple measurements in taxonomic problems". Annals of Eugenics. 7
(2): 179–188. doi:10.1111/j.1469-1809.1936.tb02137.x. 143. https://www.cbr.ru/fintech/remote_authentication/

120. https://github.com/mrgloom/Kaggle-Computer-Vision-Competitions-List. 144. https://bio.rt.ru/upload/iblock/31d/Prezentatsiya-o-Edinoy-biometricheskoy-sisteme.pdf.

121. Krizhevsky, Alex; Sutskever, Ilya; Hinton, Geoffrey E. (2017-05-24). "ImageNet classification with deep 145. По данным https://bio.rt.ru/business/
convolutional neural networks". Communications of the ACM. 60 (6): 84–90. doi:10.1145/3065386.
146. По данным https://bio.rt.ru/citizens/
122. LeCun, Yann; Corinna Cortes; Christopher J.C. Burges. "MNIST handwritten digit database, Yann LeCun,
147. Компьютерное зрение: технологии, рынок, перспективы.
Corinna Cortes and Chris Burges"
148. Рабочая характеристика системы, визуализация компромисса между характеристиками FAR и
123. L. Fei-Fei, ImageNet: crowdsourcing, benchmarking & other cool things, CMU VASC Seminar, March,
FRR.
2010.
186 COMPUTER VISION / ПРИЛОЖЕНИЯ АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 187

149. FAR (False Acceptance Rate) и FRR (False Rejection Rate) - основные показатели эффективности 178. FDA Approvals For Smart Algorithms In Medicine In One Giant Infographic.- https://medicalfuturist.
биометрических систем. com/fda-approvals-for-algorithms-in-medicine/.

150. Requests per second. 179. Incorporating Task-Specific Structural Knowledge into CNNs for Brain Midline Shift Detection.-https://
arxiv.org/abs/1908.04568.
151. https://www.retail.ru/news/magnit-rasshiryaet-testirovanie-tekhnologii-oplata-po-litsu-2-
oktyabrya-2019-187123/ 180. Kim DW, Jang HY, Kim KW, Shin Y, Park SH. Design Characteristics of Studies Reporting the
Performance of Artificial Intelligence Algorithms for Diagnostic Analysis of Medical Images: Results
152. https://vc.ru/flood/38867-papa-john-s-i-cofix-protestiruyut-platezhnuyu-sistemu-s-raspoznavaniem-
from Recently Published Papers. Korean J Radiol. 2019 Mar;20(3):405-410. https://doi.org/10.3348/
lic-ot-rossiyskih-visionlabs-i-swip.
kjr.2019.0025.
153. Know your customer («Знай своего клиента») https://ru.wikipedia.org/wiki/%D0%97%D0%BD%D0%
181. Langerhuizen DWG, Janssen SJ, Mallee WH, van den Bekerom MPJ, Ring D, Kerkhoffs GMMJ, Jaarsma
B0%D0%B9_%D1%81%D0%B2%D0%BE%D0%B5%D0%B3%D0%BE_%D0%BA%D0%BB%D0%B8
RL, Doornberg JN. What Are the Applications and Limitations of Artificial Intelligence for Fracture
%D0%B5%D0%BD%D1%82%D0%B0.
Detection and Classification in Orthopaedic Trauma Imaging? A Systematic Review. Clin Orthop Relat
154. https://youtu.be/UJzNtXJkpN4?t=87. Res. 2019 Nov;477(11):2482-2491. doi: 10.1097/CORR.0000000000000848.

155. https://ru.ivideon.com/blog/detektor-ocheredej-ivideon/. 182. Murray NM, Unberath M, Hager GD, Hui FK. Artificial intelligence to diagnose ischemic stroke
and identify large vessel occlusions: a systematic review. J Neurointerv Surg. 2019 Oct 8. pii:
156. https://clck.ru/JfBkP.
neurintsurg-2019-015135. doi: 10.1136/neurintsurg-2019-015135. [Epub ahead of print].
157. https://cloud.neurus.ru/index.php/s/g2N7cdSppTNCjek.
183. Nguyen AV, Blears EE, Ross E, Lall RR, Ortega-Barnett J. Machine learning applications for the
158. https://www.youtube.com/watch?v=8TEv1B_9SIc. differentiation of primary central nervous system lymphoma from glioblastoma on imaging: a systematic
review and meta-analysis. Neurosurg Focus. 2018 Nov 1;45(5):E5. doi: 10.3171/2018.8.FOCUS18325.
159. http://sk.ru/news/b/articles/archive/2019/03/11/v-riteyle-ne-dumay-o-sekundah-svysoka.aspx.
184. Pesapane F, Codari M, Sardanelli F. Artificial intelligence in medical imaging: threat or opportunity?
160. https://www.src-master.ru/article13178.html.
Radiologists again at the forefront of innovation in medicine. Eur Radiol Exp. 2018 Oct 24;2(1):35. doi:
161. https://www.youtube.com/watch?v=_j2oh432RFY. 10.1186/s41747-018-0061-6.

162. https://rb.ru/news/x5-retail-group-vr/. 185. Ranschaert E.R., Morozov S.P., Algra P.R. Artificial intelligence in medical imaging. – Springer
International Publishing. – 2019. – 373 p.
163. https://www.youtube.com/watch?v=AekzuFWc350.
186. Shen J, Zhang CJP, Jiang B, Chen J, Song J, Liu Z, He Z, Wong SY, Fang PH, Ming WK. Artificial
164. https://www.framestore.com/work/trailscape.
Intelligence Versus Clinicians in Disease Diagnosis: Systematic Review. JMIR Med Inform. 2019 Aug
165. https://www.sostav.ru/publication/lamoda-s-russ-outdoor-39357.html. 16;7(3):e10010. doi: 10.2196/10010.

166. https://yandex.ru/adv/news/yandeks-nachal-prodazhu-tsifrovoy-reklamy-v-pomescheniyakh.
167. https://rg.ru/2019/09/12/reg-cfo/v-moskovskom-metro-zarabotala-oplata-licom.html.
168. https://www.forbes.ru/finansy-i-investicii/381939-sberbank-zapustit-oplatu-pokupok-po-licu-i-
otpechatku-palca.
169. https://auravision.ai/
170. https://www.youtube.com/watch?v=C-wop4fQpzU.
171. https://eprints.soton.ac.uk/420641/1/article_corrections_final_2_.pdf.
172. https://www.bizjournals.com/seattle/news/2018/09/04/amazon-opens-third-amazon-go-cashierless-
store-slu.html.
187. Voulodimos A, Doulamis N, Doulamis A, Protopapadakis E. Deep Learning for Computer Vision: A Brief
Review. Comput Intell Neurosci. 2018 Feb 1;2018:7068349. doi: 10.1155/2018/7068349. eCollection
2018.
188. Морозов С.П., Владзимирский А.В., Кляшторный В.Г., Андрейченко А.Е., Кульберг Н.С., Гомбо-
левский В.А. Клинические испытания программного обеспечения на основе интеллектуаль-
ных технологий (лучевая диагностика). Препринт № ЦДТ-2019-1 / Серия «Лучшие практики лу-
чевой и инструментальной диагностики». – Вып. 23. – М., 2019. – 33 с. https://elibrary.ru/item.
asp?id=38254664.
189. Морозов С.П., Владзимирский А.В., Ледихова Н.В., Соколина И.А., Кульберг Н.С., Гомболевский
В.А. Оценка диагностической точности системы скрининга туберкулеза легких на основе искус-
ственного интеллекта. Туберкулез и болезни легких. 2018. Т. 95. № 8. С. 42-49.

173. https://eye.vaak.co/ 190. Морозов С.П., Владзимирский А.В., Гомболевский В.А., Кузьмина Е.С., Ледихова Н.В. Искусствен-
ный интеллект: автоматизированный анализ текста на естественном языке для аудита радиоло-
174. https://clck.ru/Jg6Rz.
гических исследований. Вестник рентгенологии и радиологии. 2018. Т. 99. № 5. С. 253-258.
175. https://ine.ru.
191. Рейтинг «Топ компаний мира» составлялся на основе опроса экспертов из крупнейших россий-
176. Brinker TJ, Hekler A, Utikal JS, Grabe N, Schadendorf D, Klode J, Berking C, Steeb T, Enk AH, von Kalle ских компаний и университетов по всем технологиям, входящих или смежных с областью машин-
C. Skin Cancer Classification Using Convolutional Neural Networks: Systematic Review. J Med Internet ного зрения. Баллы ставились на основе персонального рейтинга каждого из экспертов.
Res. 2018 Oct 17;20(10):e11936. doi: 10.2196/11936.
192. Рыночная капитализация взята на 03.12.2019 по данным https://www.macrotrends.net/stocks/
177. Clinical acceptance of software based on artificial intelligence technologies.-https://arxiv.org/ charts/BABA/alibaba/market-cap.
abs/1908.00381.
188 COMPUTER VISION / ПРИЛОЖЕНИЯ
193. Данные приведены за 2018 год на основе отчета Alibaba Group 2018 Annual Report: https://www.
alibabagroup.com/en/news/press_pdf/p180504.pdf.
194. Cуммарное количество публикаций и патентов по компьютерному зрению по данным Microsoft
Academic на 03.12.2019.
195. Рыночная капитализация взята на 03.12.2019 https://ycharts.com/companies/AMZN/market_cap.
196. Данные приведены за 2018 год из ежегодного отчета Amazon https://ir.aboutamazon.com/annual-
reports/.
197. Рыночная капитализация взята на 03.12.2019 по даннымhttps://ycharts.com/companies/BIDU/
market_cap.
198. Данные приведены за 2018 годна основе отчета Baidu Annual Report 2018: http://ir.baidu.com/
news-releases/news-release-details/baidu-inc-files-its-annual-report-form-20-f-2/.
199. Рыночная капитализация взята на 03.12.2019: https://ycharts.com/companies/FB/market_cap.
200. Данные приведены за 2018 год на основе отчета Facebook 2018 Annual Report: https://investor.
fb.com/investor-news/press-release-details/2019/Facebook-Reports-Fourth-Quarter-and-Full-Year-
2018-Results/default.aspx.
201. Рыночная капитализация взята на 03.12.2019 по данным https://ycharts.com/companies/GOOG/
market_cap.
202. Данные приведены за 2018 год на основе отчета Alphabet 2018 Annual Report: https://abc.xyz/
investor/https://www.alibabagroup.com/en/news/press_pdf/p180504.pdf.
203. Рыночная капитализация взята на 03.12.2019 по данным https://ycharts.com/companies/MSFT/
market_cap.
204. Рыночная капитализация взята на 3.12.2019 по данным https://finance.yahoo.com/quote/NEC1.F/
205. Данные приведены за 2018 год на основе NEC Corporation Annual Report-2018: https://www.nec.
com/en/global/ir/pdf/annual/2018/ar2018-e.pdf.
206. Рыночная капитализация взята на 03.12.2019 по данным https://www.macrotrends.net/stocks/
charts/NVDA/nvidia/market-cap.
207. Данные приведены за 2018 год на основе отчета NVIDIA 2018 Annual Report: https://investor.
nvidia.com/financial-info/annual-reports-and-proxies/default.aspx.
208. Выручка приведена за 2018 год https://techcrunch.com/2019/08/26/megvii-the-chinese-startup-
unicorn-known-for-facial-recognition-tech-files-to-go-public-in-hong-kong/
209. https://www.cnbc.com/2019/08/26/alibaba-backed-chinese-ai-firm-megvii-files-for-hong-kong-ipo.html.
210. По данным WIPO на 03.02.2019.
211. По оценке https://www.romestartupmap.com/companies/deep_glint.
212. https://www.abacusnews.com/start-ups/sensetime-soars-value-75-billion-backing-softbank/
article/3025860.
213. Согласно данным https://patentscope.wipo.int/на 02.02.2019.
214. По оценке CB Insights https://www.cbinsights.com/research/artificial-intelligence-top-startups/
215. Список «Топ компаний России» составлялся на основе опроса экспертов из крупнейших россий-
ских компаний и университетов по всем технологиям, входящих или смежных с областью машин-
ного зрения. Баллы ставились на основе персонального рейтинга каждого из экспертов.
216. Информация предоставлена компанией.
217. По данным https://company.myseldon.com/.
АЛЬМАНАХ «ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ» ДЕКАБРЬ 2019 189
218. Выручка и затраты на R&D за 2018 год по данным годового отчета Yandex N.V. за 2018 год https://
yandex.ru/company/prospectus/.
219. Данные взяты на 20 ноября 2019: https://ycharts.com/companies/YNDX/market_cap.
220. Данные приведены за 2018 год на основе отчета Mail.Ru Group 2018 Annual Report https://corp.
mail.ru/en/press/releases/10409/.
221. Рыночная капитализация взята на 03.12.2019 по данным https://finance.yahoo.com/quote/
MLRYY?ltr=1.
222. Тренд-карта исследователей построена по данным, предоставленным dimensions.ai по публика-
циям, релевантным ключевым словам “computer vision”, «image processing», «object detection»,
«feature extraction», «video processing», «object classification», «pattern recognition». По оси абсцисс
отображается динамика цитирований по годам (2014–2018), по оси ординат – логарифм суммар-
ного количества цитирований.
223. Список «Топ исследователи мира» составлялся на основе опроса экспертов из крупнейших рос-
сийских компаний и университетов по всем технологиям, входящих или смежных с областью ма-
шинного зрения. Баллы ставились на основе персонального рейтинга каждого из экспертов.
224. По данным http://scholar.google.com на 20.12.2019.
225. Список «Топ исследователи России» составлялся на основе опроса экспертов из крупнейших рос-
сийских компаний и университетов по всем технологиям, входящих или смежных с областью ма-
шинного зрения. Баллы ставились на основе персонального рейтинга каждого из экспертов.
226. По данным Scopus на 20.12.2019.
227. S.M. Ali Eslami et al. A computer vision system predicts how a 3D scene looks from any viewpointafter
just a few 2D views from other viewpoints. Science (2018).
228. Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair,Sherjil;
Courville, Aaron & Bengio, Yoshua (2014), "Generative Adversarial Networks", arΧiv: 1406.2661.
229. Justus Thies, Michael Zollhöfer, Matthias Nießner. Deferred Neural Rendering: Image Synthesis using
Neural Textures (2019).
230. Zoph, Barret; Le, Quoc V.(2016-11-04). "Neural Architecture Search with Reinforcement Learning".
arXiv:1611.01578.
231. Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard and L. D. Jackel:
Backpropagation Applied to Handwritten Zip Code Recognition, Neural Computation,
1(4):541-551,Winter 1989.
232. Y. Endo, Y. Kanamori, S. Kuriyama. Animating Landscape: Self-Supervised Learning of DecoupledMotion
and Appearance for Single-Image Video Synthesis. SIGGRAPH Asia 2019.
233. Yudong Guo, Juyong Zhang, Jianfei Cai, BoyiJiang, Jianmin Zheng. CNN-based Real-time Dense Face
Reconstruction with Inverse-rendered Photo-realistic Face Images (2017).
234. https://www.kaggle.com/benhamner/popular-datasets-over-time.
235. https://www.businesswire.com/news/home/20191002005914/en/.
236. https://www.bellingcat.com/resources/how-tos/2019/12/26/guide-to-using-reverse-image-search-for-
investigations/.
ДИСКЛЕЙМЕР РЕДАКЦИЯ

Настоящий аналитический отчет подготовлен на ос- Руководитель проекта:

нове анализа открытых источников, в том числе Игорь Пивоваров
научных публикаций, патентов, СМИ, сайтов ком-
Главный редактор:
паний, сайтов университетов и других. Другим важ-
Сергей Шумский
ным источником информации был опрос экспертов
индустрии, проводившийся путем анкетирования Научные консультанты:
при помощи Google Forms. Также мы использова- Виктор Лемпицкий, Александр Крайнов
ли закрытые системы поиска и машинного анали-
за больших текстов, которые обрабатывают откры- Аналитики:
тые источники, такие как Microsoft Academic Graph Наталия Гутенева, Илья Северов
и Dimensions.ai. В приложении приводятся ссылки Координатор верстки и графики:
на источники и процедуры получения тех или иных Елена Чинарина
цифр. При такой методике сбора и обработки ин-
формации, возможно, не все компании и люди по- Программисты:
пали в наше рассмотрение. Мы не включали в рас- Леонид Картушин, Наталия Гутенева
смотрение военные применения технологий ИИ, так Верстка:
как по ним нет открытой достоверной информации. Юрий Брусницин
Данный аналитический отчет выражает мнение ре- Инфографика:
дакции и может не совпадать с официальной по- Александр Кей
зицией Центра Национальной технологической
инициативы на базе МФТИ по направлению «Искус- АВТОРЫ
ственный интеллект» и/или его членов и/или пар-
тнеров настоящего издания. Авторы статей:
авторы указаны в начале каждой статьи
БЛАГОДАРНОСТИ Авторы текстов разделов:
Игорь Пивоваров, Наталия Гутенева
Мы благодарим наших научных консультантов —
Виктора Лемпицкого и Александра Крайнова, Авторы концепции:
за помощь, ценную критику и замечания. Спасибо Сергей Шумский и Игорь Пивоваров
за Ваше время и внимание!

Мы благодарим наших партнеров:

Утверждение концепции — 15.06.2019
Сколтех и персонально Максима Федоро-
� 
ва и Марию Пукальчик за предоставление дан- Отдано в верстку — 10.12.2019
ных по авторам, на базе публикаций в открытых Подписано в печать — 30.12.2019
источниках;

Яндекс и персонально Ивана Карпеева за по-

� 
мощь в переводе Альманаха на английский язык;
АйПи Лабораторию за предоставление инфор-
� 
мации, помощь в верстке и подготовке инфогра-
фики, размещение на сайте и продвижение.
Мы приглашаем все заинтересованные
организации к партнерству и участию
в следующих номерах Альманаха!
Пишите нам на сайте Альманаха
http://www.aiReport.ru или на почту ­
org@opentalks.ai

Все права принадлежат Центру Национальной технологической инициативы на базе МФТИ по направле-
нию «Искусственный интеллект». Распространение Альманаха разрешено только в виде публикации ссыл-
ки на сайт Альманаха http://www.aiReport.ru, копирование и перепост содержимого Альманаха или его части
или выкладывание файла с Альманахом или его части без письменного согласования правообладателя за-
прещается.

© Центр Национальной технологической инициативы на базе МФТИ по направлению

«Искусственный интеллект», декабрь 2019

Альманах 3.15
2019
Июнь ИИ в мире и в России. Стратегии

Сентябрь Обработка естественного языка, распознавание и синтез речи

Декабрь Computer Vision

2020
Январь Итоги года

www.AIreport.ru
здесь Вы можете получить электронную
копию Альманаха с кликабельными
ссылками