Вы находитесь на странице: 1из 19

Правила проведения Конкурса

1. Общие положения

1.1. Настоящие правила проведения Конкурса «Artificial Intelligence Journey Contest» (далее –
Правила) регламентируют порядок организации и проведения Конкурса «Artificial Intelligence
Journey Contest» (далее – Конкурс).

1.2. Организатором Конкурса является ПАО Сбербанк (Юридический адрес: 117997, г. Москва,
Вавилова, 19. Реквизиты: ИНН 7707083893, КПП 773601001, ОГРН 1027700132195, ОКПО
00032537).

1.3. Техническую поддержку сайта проведения Конкурса осуществляет ООО «Облачные


технологии» (ИНН/КПП: 7736279160/773601001, Юридический адрес: 117312, город Москва,
улица Вавилова, дом 23 строение 1, комната 1.207).

1.4. Информационная поддержка Конкурса осуществляется на интернет-сайтах ai-journey.ru и


https://dsworks.ru/ (далее – Сайт Конкурса).

1.5. Конкурс проводится на территории Российской Федерации на Сайте Конкурса.

1.6. Организатор информирует о проводимом Конкурсе следующими способами: путем


размещения рекламно-информационных материалов о нем на Сайте Конкурса, а также иными
способами по выбору Организатора Конкурса при проведении кампании по стимулированию
привлечения претендентов и участников в Конкурсе в сети «Интернет» без проведения прямых
коммуникаций.

1.7. Организатор оставляет за собой право в одностороннем порядке вносить изменения в


Правила не позднее 15.10.2021. Организатор направляет всем участникам извещение об
изменении условий и с обязательным опубликованием таких изменений на Сайте Конкурса. В
случае несогласия с Правилами или его обновлениями Участники обязаны отказаться от
использования Сайта Конкурса и от участия в Конкурсе посредством направления электронного
письма об отказе в участии в Конкурсе по адресу AIJ_Contest_2021@sberbank.ru.

1.8. Цель проведения Конкурса – поддержка исследовательской деятельности Организатора в


области анализа данных, машинного обучения и искусственного интеллекта, обмен мнениями и
создание отраслевого сообщества экспертов в области анализа данных, машинного обучения и
искусственного интеллекта.

1.9. В рамках достижения цели проведения Конкурса Организатором могут быть привлечены
различные третьи лица (независимо от их организационно-правовой формы), которые оказывают
поддержку Организатору (в том числе в виде благотворительной или иной деятельности),
предоставляют технические или иные ресурсы, необходимые для проведения Конкурса,
участвуют в оценке победителей, оказывают информационную поддержку и т.д. (далее –
Партнеры Организатора).

2. Сроки проведения Конкурса

2.1. Общий срок проведения Конкурса – период с 29.09.2021 по 01.03.2022 включительно,


который состоит из следующих периодов, с учетом положений Правил Конкурса:

Сроки проведения Первой задачи конкурса (Fusion Brain Challenge):


2.1.1. Период регистрации и совершения действий онлайн для участия в Конкурсе с 29.09.2021
по 31.10.2021 включительно.

2.1.1.1. Период загрузки решений по Первой задаче Конкурса с 04.10.2021 по 31.10.2021 до 23:59
(по московскому времени).

2.1.1.2. Период определения и уведомления Победителей по Первой задаче Конкурса – до 23:59


(по московскому времени) 06.11.2021.

Сроки проведения Второй задачи конкурса (NoFireWithAI):

2.2.1. Период регистрации и совершения действий онлайн для участия в Конкурсе с 29.09.2021
по 31.10.2021 включительно.

2.2.1.1. Период загрузки решений по Второй задаче Конкурса с 29.09.2021 по 31.10.2021 до 23:59
(по московскому времени).

2.2.1.2. Период определения и уведомления Победителей по Второй задаче Конкурса – до 23:59


(по московскому времени) 06.11.2021.

Сроки проведения Третьей задачи конкурса (AITrain):

2.3.1. Период регистрации и совершения действий онлайн для участия в Конкурсе с 29.09.2021
по 31.10.2021 включительно.

2.3.1.1. Период загрузки решений по Третьей задаче Конкурса с 04.10.2021 по 31.10.2021 до 23:59
(по московскому времени).

2.3.1.2. Период определения и уведомления Победителей по Третьей задаче Конкурса – до 23:59


(по московскому времени) 06.11.2021.

3. Условия участия в Конкурсе

3.1. Участником Конкурса признается дееспособное физическое лицо, достигшее восемнадцати


лет, которое прошло регистрацию, выразило согласие с Правилами (посредством проставления
«галочки») и выполнило конкурсное задание (далее – Задача Конкурса) в соответствии с
требованиями Правил (далее – Участник).
3.1.1. Участники Конкурса после прохождения регистрации на Сайте Конкурса и получения
доступа в личный кабинет, могут объединяться в группы для совместного выполнения Задач
Конкурса, формируя Команду Участников. Команда Участников – группа Участников,
действующих от своего имени, выполнившая Задачу Конкурса как единый участник в
соответствии с требованиями Правил проведения Конкурса.
3.1.2. Состав Команды Участников не может превышать 4-х (четырех) Участников и может
включать исключительно Участников, достигших восемнадцати лет и отвечающих требованиям,
предъявляемых к Участникам в соответствии с п.3.2. Правил.
3.1.3. Состав Участников формируется и фиксируется посредством функционала личного
кабинета Участника. Выход из Команды Участников и/или переход Участника в другую Команду
Участников во время участия в Конкурсе допускается только с согласия Организатора
посредством направления электронного письма по адресу AIJ_Contest_2021@sberbank.ru.
3.2. К участию в Конкурсе не допускаются аффилированные лица Организатора и иные лица,
прямо или косвенно связанные с организацией проведения данного Конкурса, в том числе
работники ПАО Сбербанк, его аффилированных лиц. К внеконкурсному участию (без цели и
возможности получения Приза и иных любых вознаграждений) в решении Задачи Конкурса
2
могут быть допущены работники ПАО Сбербанк, а также Партнеры Организатора. Работники
ПАО Сбербанк, Партнеров Организатора, допущенные к решению Задачи Конкурса, не могут
входить в Команды Участников или каким-либо иным образом взаимодействовать с
Участниками Конкурса.

3.3. Каждый Участник обязан в период с 29.09.2021 по 31.10.2021 включительно пройти


регистрацию, ознакомиться и принять Правила (посредством проставления «галочки»,
подтверждающей согласие на принятие условий Правил, в соответствующей веб-форме) и
выполнить задание (далее – Задача Конкурса).
3.4. В каждой из Задач Конкурса качество предложенных решений рассчитывается на основе
выбранной для задачи метрики качества в соответствие с критериями оценки, размещенными на
Сайте Конкурса (подраздел «Метрика»).

3.5. По каждой из Задач Конкурса формируется лидерборд Участников на Сайте Конкурса.


Лидерборд Участников Конкурса определяется на основе полученного значения метрики
Участниками по результатам решения одной или каждой Задачи Конкурса.

3.6 Описание Первой Задачи Конкурса – Fusion Brain Challenge

В рамках Первой задачи Конкурса предлагается построить единую multitask-модель, которая бы


успешно решала такие относящиеся к различным модальностям подзадачи, как Code2code
Translation, Handwritten Text Recognition, Zero-shot Object Detection, Visual Question Answering –
и сумела бы превзойти минимальное значение интегральной метрики, установленное
Организатором, а также минимальные значения метрик по каждой из подзадач.

Список и описание подзадач:


- Code2code Translation – подзадача перевода с одного языка программирования на другой.
Необходимо выполнить перевод с языка, имеющего статическую типизацию (Java), на язык с
динамической типизацией (Python). На вход модели подаётся функция, написанная на языке Java,
– модель должна выдать аналогичную функцию на языке Python.
- Handwritten Text Recognition – подзадача распознавания рукописного текста на
изображении. На вход модели подается изображение с рукописным текстом на русском или
английском языках. Модель должна выдать в качестве ответа текстовую строку,
соответствующую контенту изображения.
- Zero-shot Object Detection – подзадача определения класса (представленного
описательным выражением на естественном языке) объекта, изображенного на фотографии (или
классов, если их несколько). Например, на фотографии могут оказаться такие сущности/объекты,
описанные на естественном языке как "зеленое яблоко, лежащее на земле", "мужчина,
перепрыгивающий через гидрант", "женщина в шортах". Одновременно с этим, необходимо
определить местоположение и масштаб каждого из объектов на фотографии. Местоположение
объекта описывается так называемым bounding box (ограничивающая рамка). Это
прямоугольник, который наиболее аккуратно нарисован вокруг рассматриваемого объекта.
Положение прямоугольника задается 4-мя числами – X, Y, W, H: X – горизонтальная координата
верхнего левого угла, Y – вертикальная координата верхнего левого угла, W – ширина
прямоугольника, H – высота прямоугольника. Предсказаниями модели должны быть координаты
bounding box и класс, представляющий собой описание на естественном языке, для каждого
объекта на фотографии. Zero-shot в описании задачи означает, что предсказание модели нужно
сделать на данных, совершенно отличных от обучающего набора. Стандартная модель object
detection во время предсказания должна выдавать один класс из ограниченного набора, четко
заданного во время обучения модели. Zero-shot модель должна уметь детектировать классы,
которые не встречались в обучающей выборке. Еще одна особенность предлагаемой задачи
заключается в том, что множество классов для каждого изображения передается в формате
3
запроса. Запрос может содержать описания как на русском, так и на английском языках. Во время
стадии предсказания модели на вход подается две сущности: первая – изображение, вторая –
запрос на естественном языке. Формат запроса – список текстовых строк, которые представляют
собой описания на естественном языке – классы, среди которых нужно произвести поиск.
Запрос содержит и верные описания, которые относятся к объектам, действительно
присутствующим на изображении, – и некоторое количество неправильных описаний. Их
объединение является общим пространством поиска для модели. Результатом предсказания
модели должен стать список предсказанных классов вместе с соответствующими координатами
bounding box.
- Visual Question Answering – подзадача генерации текстового ответа на вопрос по
представленному изображению. На вход модели подаются изображение и текстовый вопрос на
русском или английском языках, а на выходе модель должна выдать ответ на заданный вопрос в
виде текста на языке, соответствующем языку вопроса/контента на изображении.

Для того чтобы представленная Участником/Командой Участников архитектура считалась


единой (multitask-модель), необходимо и достаточно выполнения следующих требований:
- общие параметры (shared weights) должны составлять не менее 30% всех параметров модели:
если N – суммарное число параметров моделей, решающих 4 подзадачи, а М – число общих
параметров этих моделей (то есть одинаковых и по значению, и архитектурно), тогда
необходимо, чтобы M/N≥0.3.
- общие параметры не должны иметь исключительно номинальный характер — напротив,
должны значимым образом использоваться во время совершения предсказания моделью и
положительно влиять на качество ее работы.

При невыполнении хотя бы одного из требований выше модель считается решающей подзадачу
(или подзадачи) по отдельности.

Модель также должна превзойти установленные Организатором минимальные значения метрик


по каждой из подзадач.

Итоговая оценка multitask-модели складывается из оценок по подзадачам. Оценка по каждой из


подзадач принимает значения от 0 до 1 (исключение составляет метрика CodeBLEU, которая
используется для оценки Code2code Translation и может принимать значения в диапазоне от 0 до
100 – с целью нормализации метрика умножается на коэффициент 0.01) – таким образом,
минимальное значение итоговой оценки составляет 0, максимальное – 4. Расчет оценки по
каждой подзадаче округляется до третьего знака после запятой. По значениям итоговой оценки
формируется лидерборд по задаче Fusion Brain Challenge.

В Задаче качество предложенных решений рассчитывается автоматически, на основе выбранных


для задачи метрик. Описание метрик находятся на Сайте Конкурса.

Дополнительно, в рамках Первой Задачи, Организатором будут оцениваться лучшие решения по


каждой из подзадач, за которые Участник/Команда Участников, показавшая лучший результат,
сможет также получить Призы, независимо от того, является ли представленная модель multitask
(решающей все подзадачи единой архитектурой) или unitask (решающей одну подзадачу)
(детальнее см. раздел 4 Правил). По каждой из подзадач лучшее решение будет выбрано на
основе лидерборда по этим подзадачам.

Период выбора трех итоговых решений из всех загруженных Участником или Командой
Участников и их фиксация на Сайте Конкурса осуществляется до 23:59 (по московскому
времени) 31.10.2021.

4
В течение одного дня Участник или Команда Участников может предложить и разместить на
сайте Конкурса не более 1 (одного) действующего решения задачи Конкурса Fusion Brain
Challenge.

Описание метрики задачи Fusion Brain Challenge

Интегральная метрика по задаче Fusion Brain Challenge:

Итоговая оценка multitask-модели по задаче Fusion Brain Challenge складывается из оценок по


подзадачам:

S = S1 + S2 + S3 + S4

,где S1 – оценка по подзадаче Code2code Translation, S2 – оценка по подзадаче Handwritten Text


Recognition, S3 – оценка по подзадаче Zero-shot Оbject Detection, S4 –оценка по подзадаче Visual
Question Answering.

Оценка по каждой подзадаче формируется на основе выбранных метрик качества по каждой из


подзадач.

Подробнее о метриках качества каждой из подзадач:

Code2code Translation:

CodeBLEU – метрика, предложенная в [Ren et al., 2020] и призванная приспособить метрику


BLEU, которая используется для оценки качества перевода на естественном языке, к оценке
перевода исходного кода; это достигается благодаря тому, что сравнение n-граммов дополняется
сравнением соответствующих деревьев абстрактного синтаксиса эталонного кода и
переведенного (таким образом, учитывается информация на уровне синтаксиса кода), а также
сопоставляются “потоки данных“ (data flow, информация на уровне семантики кода). CodeBLEU
представляет собой взвешенную комбинацию четырех компонент:

, где BLEU – стандартная метрика BLEU [Papineni et al., 2002], BLEUweight – взвешенное
сопоставление n-грамм (токены различаются по важности – и совпадение определённых токенов
переведенных и “золотых“ функций имеет больший вес), Matchast – метрика соответствия
деревьев абстрактного синтаксиса переведенного кода и эталонного, Matchdf отражает сходство
“потоков данных“ функций гипотез и верных функций. По умолчанию коэффициенты α, β, γ, δ
имеют одинаковые значения (0.25).

CodeBLEU может принимать значения от 0 до 100, где 0 — минимальное значение, 100 —


максимальное.

Остановимся подробнее на каждой из компонент метрики:

BLEU основана на подсчете n-грамм, которые встретились и в переводе, и в референсной


последовательности; рассчитывается она следующим образом:

5
, где BP – штраф за слишком короткие варианты перевода, который считается как отношение
количества токенов в переводе, предложенном моделью, к количеству токенов в эталонной
последовательности; вторая часть выражения – среднее геометрическое значений
модифицированной точности n-грамм:

для n-грамм длиной от 1 до N, умноженных на соответствующие положительные веса wn, в сумме


дающие 1.

В отличие от стандартной BLEU, в формулу расчета точности совпадения n-грамм для метрики
BLEUweight включается весовой коэффициент (μin), значение которого больше для ключевых слов
языка программирования, чем для других токенов:

, где C(i, i+n) – n-грамм, начинающийся в позиции i и заканчивающийся в позиции i+n; Countclip,
как и в случае со стандартной BLEU, – максимальное количество n-грамм, встречающихся как в
переведенном коде, так и в наборе эталонных решений.

Список ключевых слов заранее определяется для конкретного языка программирования.

Синтаксическая структура исходного кода может быть представлена в виде дерева абстрактного
синтаксиса (ДАС) – переведенные и эталонные функции, таким образом, можно сравнивать на
уровне поддеревьев, полученных с помощью ДАС-парсера. Поскольку нас интересует
синтаксическая информация, листья ДАС, в которых находятся переменные функции, не
учитываются. Matchast рассчитывается по следующей формуле:

, гдe Count(Tref) – общее количество поддеревьев референсного кода, Countclip(Tcand) – количество


поддеревьев переведенного кода, совпавших с поддеревьями эталонных функций. Данная
метрика позволяет оценить качество получившегося кода с точки зрения синтаксиса.
6
Сравнение переведенного кода и референсного на уровне семантики происходит с
использованием «потоков данных» (data flow [Guo et al., 2020]) – представлений исходного кода
в виде графа, вершины которого – переменные, а грани обозначают своего рода «генетические»
отношения между вершинами (выражают информацию о том, откуда берется значение каждой
переменной). Формула расчета метрики Matchdf имеет следующий вид:

, гдe Count(DFref) – общее количество «потоков данных» референсного кода, Countclip(DFcand) –


количество «потоков данных» переведенного кода, совпавших с эталонными.

Handwritten Text Recognition:

В качестве основной метрики для оценки решений участников используется метрика String
Accuracy – отношение количества полностью совпавших транскрибаций строк к количеству всех
строк в выборке. Считается она следующим образом:

Здесь n – размер тестовой выборки, predi – это строка из символов, которую распознала модель
на i-ом изображении в выборке, а truei – это правильный перевод i-ого изображения,
произведенный аннотатором, [•] – скобка Айверсона:

Метрика String Accuracy изменяется от 0 до 1, где 0 – наихудшее значение, 1 - наилучшее.

Zero-shot Оbject Detection:

Для оценки качества будет использоваться метрика F1-score:

F1-score вычисляется на основе Precision (точности) и Recall (полноты), которые, в свою очередь,
зависят от набора статистик по прогнозам – true positive (TP, истинно-положительный результат),
false positive (FP, ложно-положительный результат) и false negative (FN, ложно-отрицательный
результат):

7
Метрика F1-score изменяется от 0 до 1, где 0 – наихудшее значение, 1 – наилучшее.
Правила, по которым прогноз модели относится к одному из типов, следующие:

 Если данный класс из запроса отсутствует в правильной разметке (то есть является
негативным примером), но модель участника сделала для него предсказание —
предсказание оценивается как FP.
 Если данный класс из запроса присутствует в правильной разметке (то есть является
положительным примером):
o если модель участника не сделала для него предсказание, то есть передала пустой
список — предсказание оценивается как FN
o для каждого bbox данного класса из предсказания (класс может иметь несколько
соответствующих bbox на изображении):
 если пересечение предсказанного bbox хотя бы с одним из правильных bbox
для данного класса по IoU > 0.5 - предсказание оценивается как TP
 если пересечение предсказанного bbox с каждым из правильных bbox для
данного класса по IoU < 0.5 - предсказание оценивается как FP

IoU – это метрика, которая оценивает качество совпадения предсказанного bbox и эталонного.
Она вычисляется как отношение площади пересечения к площади объединения этих двух bbox:

IoU для каждой пары (prediction/true) принимает значение от 0 до 1. В качестве порога отсечения
по IoU используется значение 0.5, то есть все предсказанные bbox, значение IoU для которых
меньше 0.5, считаются ложными прогнозами.

Visual Question Answering:

Для оценки качества предсказания будет использоваться метрика accuracy. Эта метрика
показывает долю точных совпадений среди пар предсказанных и истинных ответов, то есть
отражает отношение числа совпавших ответов (когда модель участника предсказала такой же
ответ, как истинный) к общему числу ответов:

Эта метрика изменяется от 0 до 1, где 0 – наихудшее значение, 1 – наилучшее.


8
3.7 Описание Второй Задачи Конкурса – NoFireWithAI

Второй задачей Конкурса является создание алгоритма, выдающего бинарную (0 или 1)


вероятность пожара на 1, 2, 3, 4, 5, 6, 7 и 8 дней вперёд для заданной ячейки, исходя из того, что
вся территория РФ разбита на ячейки размером 0,2x0,2 градуса и для каждой такой ячейки есть
метка пересечения с полигоном пожара в соответствующий день. Таким образом, получается
набор прямоугольников с меткой 1, если этот участок горел, и 0 в обратном случае на
определённую дату.

Требуется разработать алгоритм, выдающий бинарную (0 или 1) вероятность пожара на 1, 2, 3, 4,


5, 6, 7 и 8 дней вперёд для заданной ячейки на определённую дату.
Решение должно быть реализовано в виде программы, которая принимает на вход CSV таблицу.

На выход необходимо сформировать таблицу, где для каждой ячейки (строки из входного файла)
будут указаны 8 чисел (0 или 1), означающие наличие пожара через 1, 2, 3, 4, 5, 6, 7 и 8 дней
соответственно. В проверяющую систему необходимо отправить код алгоритма, запакованный в
ZIP-архив. Решения запускаются в изолированном окружении при помощи Docker.

После размещения Участником и/или Командой Участников решения на Сайте Конкурса,


производится автоматический расчёт лидерборда, определяемого значением выбранной метрики
(см. раздел «Описание метрики задачи NoFireWithAI»).

Дополнительно, у Участника есть возможность получить специальный приз (более детально см.
раздел 4 Правил), который выдаётся на основании заключения экспертной комиссии,
оценивающей применимость решения для прогнозирования опасных пожаров. Комиссия
учитывает, но не ограничивается только ими, следующие факторы:
- интерпретируемость модели;
- возможность определения степени важности используемых признаков;
- общее количество признаков и скорость их подготовки;
- скорость работы модели и её размер.

Участники, претендующие на специальный приз, должны:


- входить в топ-10 на лидерборде;
- предоставить воспроизводимое решение для обучения моделей.

Период выбора трех итоговых решений из всех загруженных Участником или Командой
Участников и их фиксация на Сайте Конкурса осуществляется до 23:59 (по московскому
времени) 31.10.2021.

В течение одного дня Участник или Команда Участников может предложить и разместить на
сайте Конкурса не более 5 (пяти) действующих решений задачи Конкурса NoFireWithAI.

Описание метрики задачи NoFireWithAI

Решения оцениваются на основе специальной созданной метрики, которая оценивает


правильность прогнозирования начала пожара. В случае неверного прогноза модели
начисляются штрафы:
 При этом за поздний прогноз (когда сначала случился пожар, а модель потом его
предсказала) начисляются наиболее значительные размеры штрафов. Меру этого штрафа
определяет переменная penalty.

 За ранний прогноз (когда пожар случился после того, как его предсказала модель) также
начисляются штрафы, но меньшие по размеру.

9
 Также метрика учитывает насколько сильно ошиблась модель. Штраф увеличивается
экспоненциально от 0, если прогноз совпал день в день, до 1, если пожар случился в
первый день, а модель не предсказала пожар в течение 8 дней после этого.

Штрафы для всех строк в прогнозе усредняются и вычитаются из единицы, формируя, таким
образом, метрику лидерборда. Большее значение метрики, соответствует лучшему результату.
Более детально метрика представлена в официальном репозитории на Сайте Конкурса.

Для расчёта метрики используются только метки начала пожара. После первой метки начала
пожара (т. е. "1" в прогнозе) будем считать, что ячейка "горит" все оставшиеся дни (pred1_corr).
В представленном ниже примере пожар начался на 6-й день.

дни 1 2 3 4 5 6 7 8
pred1_corr 0 0 0 0 0 1 1 1

3.8 Описание Третьей Задачи Конкурса – AITrain

Третьей задачей Конкурса является создание алгоритма определения препятствий и элементов


ЖД-инфраструктуры. Одним из способов повышения безопасности является создание
интеллектуальных систем, предупреждающих машиниста о возможном столкновении с
потенциально опасными объектами. В рамках соревнования требуется создать алгоритм,
детектирующий такие объекты, а также определяющий элементы дорожной инфраструктуры,
определяющие движение поезда – рельсы, стрелочные переводы и светофоры. В качестве
входных данных используются RGB изображения, полученные с различных камер,
установленных на электропоезде и аннотации к ним.

На основе размеченных фотографий необходимо создать алгоритм детекции следующих


объектов:
 "Car" (автомобиль);

 "Human" (человек);

 "Wagon" (вагон)*;

 "FacingSwitchL" (стрелочный перевод по ходу движения, влево);

 "FacingSwitchR" (стрелочный перевод по ходу движения, вправо);

 "FacingSwitchNV" (стрелочный перевод по ходу движения, вне видимости);

 "TrailingSwitchL" (стрелочный перевод против хода движения, влево);

 "TrailingSwitchR" (стрелочный перевод против хода движения, вправо);

 "TrailingSwitchNV" (стрелочный перевод против хода движения, вне видимости);

 "SignalE" (разрешающий сигнал светофора);

 "SignalF" (запрещающий сигнал светофора).

Одновременно требуется разметить сегментационные маски для следующих элементов:


10
 "MainRailPolygon" (главный ЖД-полигон);

 "AlternativeRailPolygon" (вспомогательный ЖД-полигон);

 "Train" (поезд)*.

* - требуется детектировать первый и последний вагоны поезда, для остальных вагонов


требуются сегментационные маски.

В проверяющую систему необходимо отправить код алгоритма, запакованный в ZIP-архив.


Решения запускаются в изолированном окружении при помощи Docker.

Период выбора трех итоговых решений из всех загруженных Участником или Командой
Участников и их фиксация на Сайте Конкурса осуществляется до 23:59 (по московскому
времени) 31.10.2021.

В течение одного дня Участник или Команда Участников может предложить и разместить на
сайте Конкурса не более 3 (трех) действующих решений задачи Конкурса AITrain.

Описание метрики задачи AITrain


В качестве метрики качества Третьей Задачи Конкурса используется метрика panoptic quality
(PQ):

PQ – это метрика, используемая для оценки эффективности моделей сегментации (Panoptic


Segmentation). В числителе дроби суммируются коэффициенты Intersection over Union (IoU) для
всех True Positive решений модели. В знаменателе суммируются по модулю число всех True
Positive результатов модели, половина всех False Positive и False Negative результатов.

Пояснения:
Intersection over Union (IoU) – коэффициент, который показывает, насколько точно модель
определила местоположение объекта на конкретном изображении (принимает значения от 0 до
1).
Решение считается True Positive, если IoU>0,5.
Решение считается False Positive, если 0<IoU<0,5.
Решение считается False Negative, если 0=IoU

Качество решения оценивается на отложенной выборке из RGB изображений такого же формата


как у тренировочных данных. По значениям метрики panoptic quality формируется лидерборд.

В случае одинаковых значений метрики panoptic quality несколькими Участниками их решения


оцениваются по метрике processing time (время, затраченное на обработку задач).

4. Подведение итогов и награждение


4.1. Fusion Brain Challenge
4.1.1. Победители по первой задаче Конкурса определяются как Участники и/или Команды
Участников, получившие максимально высокую итоговую оценку в лидерборде после закрытия
принятия решений в 23 часа 59 минут 31.10.2021 (по московскому времени), в соответствии с пп.

11
3.4. - 3.5. Правил (Далее – Победитель). Участники, входящие в Команду Участников, получают
единое призовое место и единый Приз на всю Команду Участников.

Победители определяются по результатам лидерборда (топ-3 решения). В случае, если значения


итоговой оценки совпадают у нескольких участников, места распределяются в зависимости от
скорости инференса моделей. Под инференсом понимается время выдачи предсказаний моделью.
Более высокое место будет соответствовать более высокой скорости инференса модели. Если же
и значения итоговой оценки, и скорости инференса моделей совпадают, то будет учитываться
время загрузки решения на Сайт Конкурса. Ранее загруженному решению на Сайт Конкурса
будет присвоено более высокое место.

Для каждого призового места есть фиксированная сумма выигрыша (FIX).


Размер бонуса зависит от итоговой оценки призеров, но не может превышать разницы между
максимальным значением (MAX) и фиксированным. В каждом задании необходимо превзойти
минимальные значения метрик, установленные для каждой подзадачи, — и, следовательно,
минимальное значение интегральной метрики.

Минимальные оценки, установленные Организатором по каждой из подзадач, имеют следующие


значения:

S1min = 0.2 – минимальная оценка для подзадачи Code2code Translation


S2min = 0.6 – минимальная оценка для подзадачи Handwritten Text Recognition
S3min = 0.15 – минимальная оценка для подзадачи Zero-shot Оbject Detection
S4min = 0.35 – минимальная оценка для подзадачи Visual Question Answering

Минимальное значение интегральной оценки Smin рассчитывается таким образом:

Организаторы оставляют за собой право пересмотреть во время или после окончания


соревнования в пользу участников:
- минимальные оценки по всем задачам и общую минимальную оценку;
- суммарную оценку, после которой даются максимальные выплаты за первое, второе и третье
места;
- понятие единой архитектуры (в том числе процент shared параметров);
- любые другие параметры, от которых зависит сумма выплаты призерам соревнования.

12
Формула расчета денежного приза имеет следующий вид:

, где S – итоговая оценка участника, Smin = 1.3 – минимальное значение итоговой оценки,
коэффициент α зависит от места в лидерборде (топ-3 решения) и вычисляется следующим
образом:

, где αplace – коэффициент для расчета бонуса для первого места, второго и третьего мест в
лидерборде (α1 = 2, α2 = 1, α3 = 0.6) при Smin≤S< 2.3. MAXplace – максимальный размер
вознаграждения для топ3-решений в лидерборде при S≥2.3 (MAX1 = 3 млн руб., MAX2 = 1.5 млн
руб., MAX3 = 0.8 млн руб.). FIXplace – фиксированная сумма выигрыша для топ-решений в
лидерборде при Smin≤S<2.3 (FIX1 = l млн руб., FIX2 = 0.5 млн руб., FIX3 = 0.2 млн руб.).

4.1.2. С момента окончания принятия решений – с 01.11.2021 до 23:59 06.11.2021 (по


московскому времени) будет сформирован итоговый лидерборд и состоится проверка решений
победителей. Полученные оценки и занятые Победителями Конкурса призовые места
фиксируются комиссией Конкурса в протоколе итогов Конкурса.

Состав комиссии Конкурса формируется из представителей Организатора Конкурса и


утверждается приказом Организатора Конкурса.

4.1.3. По первой задаче Конкурса будут определены и объявлены в срок до 23:59 06.11.2021 (по
московскому времени) Победители Конкурса на основании лидерборда посредством размещения
текстового объявления на Сайте Конкурса, а также посредством личного уведомления
Победителей по электронной почте, указанной при регистрации на Сайте Конкурса.

Победители в дополнительных номинациях по лучшему решению каждой из подзадач будут


определены и объявлены комиссией Конкурса в период до 23:59 06.11.2021 (по московскому
времени). Чтобы получить Приз, Участник/Команда Участников должна предоставить модель,
которая превзойдет минимальное значение метрики по соответствующей подзадаче (см. пункт
4.1.1).

4.2. NoFireWithAI

4.2.1. Победители по второй задаче Конкурса определяются как Участники и/или Команды
Участников, получившие максимально высокую итоговую оценку в лидерборде после закрытия
принятия решений в 23 часа 59 минут 31.10.2021 (по московскому времени), в соответствии с пп.
3.4. - 3.5. Правил (Далее – Победитель). Участники, входящие в Команду Участников, получают
единое призовое место и единый Приз на всю Команду Участников.

13
4.2.2. С момента окончания принятия решений – с 01.11.2021 до 23:59 06.11.2021 (по
московскому времени) состоится окончательное оценивание решений и ранжирование
Участников в лидерборде по второй Задаче Конкурса. Если значения итоговой оценки совпадают
у нескольких Участников, то в учет будет приниматься время загрузки решения на Сайт
Конкурса. Ранее загруженному решению на Сайт Конкурса будет присвоено более высокое
место. Полученные оценки и занятые Победителями Конкурса призовые места фиксируются
комиссией Конкурса в протоколе итогов Конкурса.

Состав комиссии Конкурса формируется из представителей Организатора Конкурса, а также


приглашенных экспертов и утверждается приказом Организатора Конкурса.

4.2.3. По второй задаче Конкурса будут определены и объявлены в срок до 23:59 06.11.2021 (по
московскому времени) Победители Конкурса на основании лидерборда посредством размещения
текстового объявления на Сайте Конкурса, а также посредством личного уведомления
Победителей по электронной почте, указанной при регистрации на Сайте Конкурса.

Победители в специальной номинации, оценивающей применимость решения для


прогнозирования опасных пожаров, будут определены и объявлены комиссией Конкурса в
период до 23:59 06.11.2021 (по московскому времени).

4.3. AITrain

4.3.1. Победители по третьей задаче Конкурса определяются как Участники и/или Команды
Участников, получившие максимально высокую итоговую оценку в лидерборде после закрытия
принятия решений в 23 часа 59 минут 31.10.2021 (по московскому времени), в соответствии с пп.
3.4. - 3.5. Правил (Далее – Победитель). Участники, входящие в Команду Участников, получают
единое призовое место и единый Приз на всю Команду Участников.

4.3.2. С момента окончания принятия решений – с 01.11.2021 до 23:59 06.11.2021 (по


московскому времени) состоится окончательное оценивание решений и ранжирование
Участников в лидерборде по третьей Задаче Конкурса. Полученные оценки и занятые
Победителями Конкурса призовые места фиксируются комиссией Конкурса в протоколе итогов
Конкурса.

Состав комиссии Конкурса формируется из представителей Организатора Конкурса, а также


приглашенных экспертов и утверждается приказом Организатора Конкурса.

4.3.3. По третьей задаче Конкурса будут определены и объявлены в срок до 23:59 06.11.2021 (по
московскому времени) Победители Конкурса на основании лидерборда посредством размещения
текстового объявления на Сайте Конкурса, а также посредством личного уведомления
Победителей по электронной почте, указанной при регистрации на Сайте Конкурса.

4.4. Организатор Конкурса оставляет за собой право отказать Участнику и/или Команде
Участников в дальнейшем участии в Конкурсе в любое время без возмещения каких-либо
убытков и расходов Участникам и/или Командой Участников в случае нарушения Правил
Участником и/или Командой Участников.

4.5. Призовой фонд Конкурса формируется за счет средств Организатора Конкурса. Призы
вручаются Победителям Конкурса по окончании Конкурса, в соответствии с порядком получения
Призов, указанным в Правилах, а также сроками, указанными в п. 2.1 Правил.

14
4.6. Победители Конкурса – Участники или Команды Участников, занявшие следующие
призовые места, соответственно получают следующие Призы1:

Fusion Brain Challenge:

Номинации, относящиеся к созданию multitask-модели:

Первое место – от 1 000 000 рублей до 3 000 000 рублей (в зависимости от качества
представленного Участником решения – более детально см. Раздел 4.1.1 Правил)

Второе место – от 500 000 рублей до 1 500 000 рублей (в зависимости от качества
представленного Участником решения – более детально см. Раздел 4.1.1 Правил)

Третье место – от 200 000 рублей до 800 000 рублей (в зависимости от качества представленного
Участником решения – более детально см. Раздел 4.1.1 Правил)

Дополнительные номинации – 1 200 000 рублей, из них:

Первое место по подзадаче Zero-shot Object Detection на лидерборде – 300 000 рублей

Первое место по подзадаче Code2code translation на лидерборде – 300 000 рублей

Первое место по подзадаче Handwritten Text Recognition на лидерборде – 300 000 рублей

Первое место по подзадаче Visual Question Answering на лидерборде – 300 000 рублей

NoFireWithAI:

Первое место – 500 000 рублей

Второе место – 250 000 рублей

Третье место – 150 000 рублей

Дополнительная номинация:

Специальный приз за применимость решения для прогнозирования опасных пожаров – 100 000
рублей

AITrain:

Первое место – 500 000 рублей

Второе место – 300 000 рублей

Третье место – 200 000 рублей

4.6.1. Победители Конкурса по Первой задаче смогут получить максимальные призы, а именно
3 000 000 рублей, 1 500 000 рублей и 800 000 рублей, только если их решение по итогам проверки
качества с использованием специальной метрики качества в соответствие с критериями оценки
по данной задаче, наберет 2.3 балла и более из 4, в соответствии с пунктом 3.6 настоящих Правил.

1
В соответствии с российским налоговым законодательством Организатор, исполняя функции налогового агента, удерживает из Призов сумму
НДФЛ и перечисляет её в бюджет Российской Федерации. В пункте указаны суммы Призов для выплаты победителям после удержания суммы
НДФЛ по ставке в соответствии с законодательством Российской Федерации.
15
4.6.2. В случае если победителем является Команда Участников, состоящая более чем из одного
Участника, документы и информация предоставляются в отношении каждого Участника
проектной группы в соответствии с пунктом 6.1.3 Положения, и дополнительно должно быть
предоставлено Организатору подписанное всеми Участниками Команды Участников
соглашение, содержащее информацию о достигнутом между ними соглашении о распределении
Приза. Приз вручается Участнику, указанному членами Команды Участников в соглашении о
распределении Приза.

4.7. Вручение Призов Победителям Конкурса осуществляется Организатором Конкурса путем


безналичного перевода денежных средств на банковские реквизиты, указанные Победителями
Конкурса в сроки, указанные в пункте 2.1 Правил, при условии выполнения к этому моменту
пункта 4.10 Правил.

4.8. Победители Конкурса безвозмездно предоставляют Организатору Конкурса право


использования решений Задач Конкурса (в частности, программный код (в виде исходного текста
и объектного кода), алгоритмы и архитектуру решения) и материалов к ним, созданных
Победителями Конкурса для участия в Конкурсе, а также иных результатов интеллектуальной
деятельности, входящих в состав решения Задач Конкурса, следующими способами:
воспроизведение (полное или частичное) в любой форме, распространение экземпляров любым
способом, переработка (модификация), доведение до всеобщего сведения, публичный показ и
иными способами, включая, но не ограничиваясь, предусмотренными статьей 1270
Гражданского кодекса РФ, без сохранения за Победителями Конкурса права выдачи лицензий
другим лицам (исключительная лицензия), на весь срок действия исключительного права на
результат интеллектуальной деятельности (решение Задач Конкурса) на территории всего мира.

4.9. Победители Конкурса обязуются передать отчёт Организатору по его запросу с описанием
алгоритмов решения одной или нескольких Задач Конкурса, а также исходный текст и
воспроизводимый код решения одной или нескольких Задач Конкурса. Использование
проприетарных технологий, требующих приобретения прав на использование таких технологий,
в решениях запрещено.

4.10. Варианты решений одной или нескольких Задач Конкурса, предложенные Участниками
и/или Командами Участников Конкурса, не подлежат возврату.

5. Права Участников и Партнеров Организаторов

5.1. Участник имеет право:

5.1.1. Принимать участие в Конкурсе в порядке, определенном Правилами.

5.1.2. В случае признания Победителем Конкурса требовать выдачи Приза.

5.2. Партнер Организатора имеет право принимать участие в оценке Задач Конкурса, оценке
решений, созданных Участниками.

Партнер Организатора в случае предоставления им в рамках Конкурса охраняемых результатов


интеллектуальной деятельности (далее – РИД) предоставляет Организатору разрешение (по
смыслу ст. 1229 ГК РФ) без взимания какой-либо платы за такое использование РИД всеми
необходимыми Организатору способами, в том числе, но не ограничиваясь, предоставляет право
на воспроизведение, переработку, распространение, предоставление права использования в
порядке сублицензирования, а также предоставляет Организатору право использования РИД
любыми иными способами, в том числе указанными в ст. 1270 ГК РФ.

6. Обязанности Участников

16
6.1. Участники обязуются:

6.1.1. Использовать Сайт Конкурса в соответствии с его назначением и исключительно для целей
участия в Конкурсе.

6.1.2. Выполнить решение одной или каждой Задачи Конкурса самостоятельно (или в составе
Команды Участников), а также не использовать результаты интеллектуальной деятельности,
права на которые принадлежат третьим лицам, а именно – не нарушать авторские и иные
интеллектуальные права при подготовке решения любой Задачи Конкурса, в частности, при
подготовке и разработке алгоритмов, написании программного кода в рамках Конкурса. Решение
одной или каждой Задачи Конкурса должно являться самостоятельной разработкой Участника
(или Команды Участников), такое решение должно быть полностью создано во время Конкурса
и не являться развитием уже существующего продукта или решения.

6.1.3. В случае признания Участника и/или Команды Участников Победителями Конкурса, они
обязаны предоставить по электронной почте: AIJ_Contest_2021@sberbank.ru Организатору
следующие сведения/документы в течении 3-х (трех) рабочих дней с момента получения запроса:
 копию свидетельства о постановке на учет в налоговом органе физического лица по месту
жительства (ИНН) (при наличии);
 банковские реквизиты для осуществления выплаты Приза;
 ксерокопию соглашения о распределении Приза с подписью всех Участников Команды
(для Команд Участников с двумя и более Участниками).

В случае не предоставления Победителем Конкурса указанных сведений/документов в срок


Победитель Конкурса лишается права на получение Приза.

6.1.4. Не использовать программное обеспечение, нарушающее работу Сайта Конкурса, других


автоматизированных систем и создающее возможность изменения результатов Конкурса. В
случае выявления Организатором попыток выведения из строя информационной системы
Организатора, Участник, предпринявший такие попытки, лишается прав на участие в Конкурсе
и получение Приза.

6.1.5. Не использовать данные, материалы и информацию, представленные на Сайте Конкурса


путем воспроизведения, переработки или иным способом в любых целях без предварительного
письменного разрешения Организатора.

6.1.6. Не регистрировать аккаунт (учетную запись) от имени лица, которым не является


(фальшивый аккаунт), или не действовать от имени физического лица и пр., чьи интересы он не
уполномочен представлять, Участник обязан при регистрации использовать только достоверную
информацию и данные.

6.1.7. Воздерживаться от любых действий, которые могут привести к нанесению ущерба


Организатору, а также от любых действий, связанных с риском для жизни и здоровья.

6.1.8. Соблюдать нормы законодательства, в том числе не раскрывать какую-либо информацию


о проектах Участников, не передавать сведения об иных Участниках третьим лицам, в том числе
во избежание нарушения законодательства о персональных данных. В случае нарушения
настоящего пункта, нарушивший его Участник несет ответственность самостоятельно.

6.1.9. Не использовать в личных или коммерческих целях, не публиковать вне проведения


Конкурса, не передавать третьим лицам, данные и информацию, полученные от Организатора
Конкурса, других Участников в рамках Конкурса, без получения предварительного согласия от
Организатора Конкурса.

17
6.1.10. Организатор Конкурса оставляет за собой право дисквалифицировать любого Участника,
если Организатор Конкурса обоснованно полагает, что Участник пытался путем обмана,
злоупотреблений или других недобросовестных приемов получить преимущество перед другими
Участниками, нарушил права третьих лиц, в том числе, правообладателей.

6.10. В случае нарушения Участником обязанностей согласно пп. 6.1.1 - 6.1.10. Правил Участник
несет ответственность в соответствии с действующим законодательством Российской Федерации
и настоящими Правилами.

7. Обязанности Организатора

7.1. Организатор обязуется:

7.1.1. Провести Конкурс в порядке, определенном Правилами.

7.1.2. Наградить Победителей Конкурса в сроки и в порядке, предусмотренном Правилами.

8. Ограничение ответственности

8.1. Участник использует Сайт Конкурса на условиях «как есть». Организатор не принимает на
себя никакой ответственности, в том числе за соответствие данного сайта целям и ожиданиям
Участника.

8.2. Организатор не несет никакой ответственности перед Участниками или какими-либо


третьими лицами за любые нарушения настоящих Правил Участниками и/или третьими лицами.

8.3. Участник принимает и соглашается с тем, что Организатор не несет никакой ответственности
за любые убытки, которые возникли у Участника в результате использования Сайта Конкурса
или любой информации, расположенной на этом сайте.

8.4. Участник, считающий, что его права и интересы нарушены из-за действий Организатора,
может направить претензию по электронной почте: AIJ_Contest_2021@sberbank.ru, также
указанной на Сайте Конкурса.

9. Обработка персональных данных

9.1. Участник дает свое согласие Организатору на автоматизированную и неавтоматизированную


обработку Организатором своих персональных данных, включая: фамилию, имя, отчество, дату
рождения, номер телефона, адрес электронной почты, место работы, место учебы, страну, город,
в целях принятия участия в Конкурсе, а в случае победы в Конкурсе также: ИНН (при наличии),
сведений о документе, удостоверяющем личность, банковских реквизитов, в целях получения
Призов, а также на передачу (предоставление доступа) своих персональных данных ООО
«Облачные технологии», осуществляющим техническую поддержку Сайта Конкурса.

9.2. Согласие с Правилами, в т.ч в части обработки персональных данных дается Участником
Конкурса на срок, необходимый для проведения Конкурса и осуществления всех обязанностей
Организатора, связанных с проведением Конкурса.

9.3. Участник вправе отозвать свое согласие на обработку персональных данных, направив
соответствующее заявление по электронной почте Организатору Конкурса на адрес, указанный
в п. 8.4 Правил. Отзыв Участником согласия на обработку персональных данных автоматически
влечет за собой выход соответствующего Участника из участия в Конкурсе и делает
невозможным получение Призов Конкурса.

18
9.4. Организатор Конкурса гарантирует осуществление обработки персональных данных, а также
обеспечение конфиденциальности и защиты обрабатываемых персональных данных в
соответствии с требованиями Федерального закона от 27.07.2006 № 152-ФЗ «О персональных
данных». При обработке персональных данных Организатор Конкурса обязуется принимать
необходимые правовые, организационные и технические меры для защиты персональных
данных от неправомерного или случайного доступа к ним, уничтожения, изменения,
блокирования, копирования, предоставления, распространения, а также от иных неправомерных
действий.

9.5. Участник соглашается с тем, что Организатор оставляет за собой право уведомлять его по
электронной почте или посредством уведомлений на Сайте Конкурса не только об изменениях в
Правилах, но об изменениях в работе этих сайтов.

10. Заключительные положения

10.1. Организатор оставляет за собой право использования по своему усмотрению фото- и


видеоматериалов, полученных на церемонии награждения победителей Конкурса, включая в т.ч.
размещение в сети "Интернет".

10.2. Регистрация Участника в порядке, предусмотренном разделом 3 Правил, означает его


безоговорочное согласие со всеми условиями Конкурса и настоящими Правилами.

10.3. Положения Правил подчиняются действующему законодательству Российской Федерации.


Вопросы, не урегулированные Правилами, подлежат разрешению в соответствии с
законодательством Российской Федерации.

10.4. Если по тем или иным причинам один или несколько пунктов Правил является
недействительным или не имеющим юридической силы, это не оказывает влияния на
действительность или применимость остальных пунктов.

10.5. Ничто в Правилах не может пониматься как установление между Участником и


Организатором агентских отношений, отношений товарищества, отношений по совместной
деятельности, отношений личного найма, либо каких-то иных отношений, прямо не
предусмотренных Правилами.

10.6. Все споры и разногласия, которые возникают в связи с организацией и проведением


Конкурса, подлежат разрешению путем переговоров и направления официальной (досудебной)
претензии. Спорные вопросы, не урегулированные путем переговоров в рамках досудебного
урегулирования в течение 60 (шестидесяти) календарных дней со дня получения официальной
F(досудебной) претензии, подлежат разрешению в суде по месту нахождения Организатора.

19