Объяснительный искусственный

интеллект (XAI) – преодоление разрыва

между коннекционистким и символьным
подходами в искусственном интеллекте».
АВЕРКИН Алексей Николаевич -ведущий научный сотрудник учебно-
научной лаборатории искусственного интеллекта, нейротехнологий и бизнес-
аналитики РЭУ им. Г.В. Плеханова, доцент кафедры системного анализа и
управления Университета «Дубна» email: averkin2003@inbox.ru

II Школа молодых ученых «Высокопроизводительные платформы для

цифровой экономики и научных проектов класса мегасайенс
Десятилетие мозга
Десятилетие мозга
(1990-2000)

"

2
 Десятилетие сознания

Десятилетие мозга Десятилетие сознания

(1990-2000) (2010-2020?)
 • Нейроморфный искусственный
интеллект
Проблема
• По сравнению с
биологическими системами
интеллектуальные машины Компьютеры Фон
[log]
в 1000 раз менее Неймана
эффективны в сложной Разница между
среде. универсальностью и
Сложность эффективностью Нейроморфные
• Чтобы интеллектуальные компьютеры
компьютера
машины были бы полкзны Т.e.вентили;
их нужно сочетать с память;
биологическими нейроны; •Производительность на уровне
системами. синапсы человека
мощность; •Заря новой эры
Цель размер Заря новой
• Развить технологию парадигмы Цель Программы
электронные
нейроморфные машины
сравнимую с
биологоческим уровнем. “простая” “сложная” [log]
Кортекс Симуляция
человека кортекса человека Сложность Среды
15 ватт 1010 ватт Например, количество входных
комбинаций
I литр 4x 1010 литров
Главный тренд Hype Cycle 2020 - смещение фокуса с
робототехники и Hardware на искусственный интеллект
.

• Generative AI Генеративный ИИ относится к программам, которые могут использовать существующий контент,

такой как текст, аудиофайлы или изображения, для создания нового правдоподобного контента. Для этого
существуют различные методы, такие как генеративные состязательные сети (GANS), преобразователи и
вариационные автокодеры.
• Adaptive ML Адаптивное машинное обучение - алгоритмы, которые дообучаются по мере поступления новых
данных
• Augmented Intelligence Искусственный интеллект, который помогает человеку, а не заменяет его в процессах
принятия решений. Противопоставляется общему термину “Искусственный Интеллект” в качестве собирательного
термина для “Интеллект Человека + ИИ”
• Transfer Learning Подход в машинном обучении, когда накопленный опыт при решении одной задачи используется
для ускорения обучения другой аналогичной задачи (Wikipedia)
• Emotion AI ИИ, который распознает человеческие эмоции
• Responsible AI Ответственный ИИ ориентирован на обеспечение этичного, прозрачногои подотчетного
использования технологий ИИ в соответствии с ожидания пользователей, организационными ценностями и
социальными законами и нормами. Ответственный ИИ гарантирует, что автоматизированные решения оправданы
и объяснимы, и помогают поддерживать доверие пользователей и конфиденциальность личности.

• Explainable AI Методы и техники использования ИИ, которые позволяют объяснить полученные от ИИ результаты
живым экспертам. Противопоставляется концепции “ИИ как черный ящик”, когда нельзя понять сути используемых
алгоритмов и найденных взаимосвязей
В чем проблема?
• Системы искусственного интеллекта и машинного обучения (AI /
ML) превзошли человеческие возможности почти во всех
приложениях, где они были опробованы.
• ИИ начинает внедряться в потребительские товары. Эта тенденция
ускоряется, и ИИ будет все больше использоваться в критически важных для
безопасности системах.

• Системы искусственного интеллекта хороши, но иногда допускают ошибки, и

пользователи-люди не будут доверять их решениям без объяснения причин.

• Существует компромисс между точностью ИИ и объяснимостью:

самые точные методы, такие как сверточные нейронные сети (CNN), не
дают никаких объяснений; понятные методы, такие как основанные на
правилах, как правило, менее точны
Объяснимый ИИ
• Искусственный интеллект становится все сложнее, однако его системы
представляют собой «черный ящик». Это значит, что конечные пользователи не
понимают принцип их работы.

• Объяснимый ИИ, который также называют XAI или прозрачный ИИ, представляет
собой систему, в которой люди могут с легкостью понять действия ИИ.

• Концепция объяснимого ИИ может укрепить доверие к технологии, поскольку

компаниям придется объяснять, как и почему их системы ИИ принимают те или
иные решения.
 4 принципа объяснимого искусственного
интеллекта-1
• Национальный институт стандартов и технологий (NIST) опубликовал в августе 2020
года первый проект перечня принципов объяснимого искусственного интеллекта (XAI).
• Объяснение (Explanation). Системы ИИ должны предоставлять причины и
обстоятельства, на основании которых были приняты те или иные решения. Принцип
объяснения обязывает систему ИИ предоставлять объяснение в форме «свидетельства
или обоснования каждого результата». Данный принцип не устанавливает никаких
дополнительных требований к качеству объяснения, а лишь требует, чтобы система ИИ
была способна предоставить объяснение. Стандарты таких объяснений регулируются
другими принципами.

• Значимость (Meaningful). Системы объяснимого ИИ должны представлять объяснения,

понятные отдельным пользователям.

• Принцип значимости устанавливает, что получатель объяснения должен быть в

состоянии понять объяснение. В документе подчеркивается, что этот принцип не
предназначен для универсального применения. Пояснения должны быть адаптированы к
аудитории как на групповом, так и на индивидуальном уровне. Так, например, разные
типы групп пользователей могут требовать разных объяснений, а имеющиеся у них
знания и опыт могут влиять на восприятие результата и его значимость.
4 принципа объяснимого искусственного
интеллекта-2
• Точность объяснения (Explanation Accuracy). Объяснение должно достоверно
отражать суть процессов, производимых системой ИИ для генерирования результатов.
Принцип точности объяснения корреспондирует с принципом значимости для
регулирования качества объяснений, предусматривая точность объяснений, но не
точность решений. Фактически, данный принцип является подробным разъяснением
того, как система сгенерировала окончательный результат. Применение данного
принципа также ставится в зависимость от контекста и конечного пользователя. Так,
разные показатели точности объяснения будут представляться для разных типов групп
и пользователей.

• Пределы знаний (Knowledge Limits). Система работает только в условиях, для

которых она была разработана, или когда система достигает надлежащей
достоверности в своих результатах. Принцип пределов знаний требует, чтобы система
отмечала любые случаи, для которых она не была разработана. Целью этого принципа
является предотвращение вводящих в заблуждение объяснений или выводов системы.

• Указанные четыре принципа показывают, что решения на основе ИИ должны обладать

необходимой прозрачностью, чтобы вызывать доверие к своему функционированию и
уверенность в выводах системы
ННГУ стал победителем в конкурсе крупных научных
проектов от Минобрнауки РФ

• Проект «Надёжный и логически прозрачный искусственный интеллект:

технология, верификация и применение при социально-значимых и инфекционных
заболеваниях».
• Главным результатом проекта должна стать разработка новых методов и
технологий, позволяющих преодолеть два основных барьера систем машинного
обучения и искусственного интеллекта: проблему ошибок и проблему явного
объяснения решений. На сегодняшний день эти задачи не имеют
удовлетворительного решения и требуют новых разработок.
• «Эти проблемы тесно связаны: без возможности логического прочтения ошибки
искусственного интеллекта будут оставаться необъяснимыми. Дообучение системы
в рамках существующих методов может повредить имеющиеся навыки и, с другой
стороны, может потребовать огромных ресурсов, что в серьезных задачах
непрактично. К примеру, широко известная многомиллионная система ИИ IBM
«Watson» потерпела неудачу на рынке персонализированной медицины
вследствие систематически совершаемых ошибок в диагностике и рекомендации
лечения рака, найти и устранить источники которых не удалось», – объясняет
руководитель проекта Александр Горбань.
Компро Экспертные системы:
Обладают хорошей
мисс:
системой объяснений,
не так хороши для точных
расчетов
- ИЛИ Нейронные сети:
- Хороши для точности,
не так хороши для
объяснений

Как объединить
лучшее из обеих
Потребность в объяснимом ИИ
Система ИИ Клиент

http://listverse.com/ https://www.re-work.co/
© 2007–2017 ООО «Листверс» © 2017 RE-WORK X LTD

Транспорт Финансы

http://explainthatstuff.com

• Мы вступаем в новую • Почему ты это сделал?

эру приложений • Почему не что-нибудь
искусственного http://listverse.com/
http://www.bbc.com/
© 2017 BBC
другое?
интеллекта © 2007–2017 ООО «Листверс» Предоставлено: Getty Images.
• Когда вам это удастся?
Безопасность Юридический
• Машинное обучение - • Когда вы терпите
основная технология неудачу?
• Модели машинного • Когда я могу тебе
обучения непрозрачны, доверять?
не интуитивно понятны • Как исправить ошибку?
и трудны для http://blog.soliant.com/
© 2004-2017 Soliant Health
https://futureoflife.org/
© FLI - Институт будущего жизни
понимания людьми. Лекарство Военные

• Текущее поколение систем искусственного интеллекта предлагает огромные преимущества, но

их эффективность будет ограничена неспособностью машины объяснять свои решения и
действия пользователям.
• Объясняемый ИИ будет иметь важное значение, если пользователи хотят понимать, должным
образом доверять и эффективно управлять этим новым поколением партнеров с13искусственным
Разрешено к публичному выпуску: распространение без ограничений.
Нейронные сети с глубоким обучением
Архитектура и как они работают
Нейронная сеть с глубоким
обучением
Данные обучения

Ввод
(изображение без
От ярлыка)
низкоуровне Нейроны
вых функций реагируют на 1ул Слой
к простые
высокоуровн формы
евым Нейроны
функциям реагируют на 2nd Слой
более сложные
структуры
Нейроны
реагируют на пth Слой
очень сложные
абстрактные
концепции
Автоматический алгоритм
(выделение и классификация признаков)
https://www.xenonstack.com/ http://fortune.com/
XenonStack © Разрешено к публичному выпуску: распространение без ограничений. 14 © 2018 Time Inc.
Что мы пытаемся сделать?
Cегодня © Спин Юго-Запад

• Почему ты это сделал?

Обучение Это кот
• Почему не что-нибудь
(р = 0,93)
Процесс другое?
• Когда вам это удастся?
© Университет Торонто http://explainthatstuff.com
• Когда вы терпите
Обучение Аппроксим. Выход Пользователь неудачу?
Данные функция с • Когда я могу тебе
задачей доверять?
• Как исправить ошибку?

Завтра © Спин Юго-Запад

• Я понимаю почему
Это кот: • Я понимаю почему нет
Новый •У него есть мех,
• Я знаю, когда ты
усы и когти.
Обучение •Он имеет
добьешься успеха
Процесс такую • Я знаю, когда ты
© Университет Торонто ​особенность: проиграешь
• Я знаю когда тебе
Обучени Объясняемая Пояснение Пользователь доверять
е модель Интерфейс с • Я знаю, почему ты
Данные задачей ошибся
,
Цель: производительность и объяснимость
• XAI создаст набор методов машинного обучения, которые
• Создавать более объяснимые модели, сохраняя при этом высокий уровень
эффективности обучения (например, точность прогнозов)
• Дать возможность пользователям-людям понимать, должным образом доверять и
эффективно управлять новым поколением партнеров с искусственным интеллектом
Производительность против объяснимости

Эффективность обучения
Завтра
Cегодня

Объяснимость (условная)
16
Измерение эффективности объяснения
Мера эффективности объяснения

Удовлетворенность пользователей
Структура объяснения
• Ясность объяснения (оценка
пользователей)
Задача • Полезность объяснения (оценка
Рекомендация, пользователей)

Решение или Ментальная модель

Действие
• Понимание индивидуальных решений
Объясняе • Понимание общей модели
мая Пояснение Решени • Оценка сильных / слабых сторон
Интерфейс
модель е
Пользовател • Прогноз "что он будет делать"
• Прогноз "Как мне вмешаться"
ь принимает
Система XAI Объяснение решение на Выполнение задач
Система принимает Система основании
входные данные из предоставляет объяснения • Улучшает ли объяснение решение
текущей задачи и дает пользователю пользователя, выполнение задачи?
рекомендацию, объяснение, которое • Искусственный задачи решения введены
для диагностики понимания пользователя
решение или обосновывает его
действие. рекомендацию, Оценка доверия
решение или
действие. • Надлежащее использование в будущем и
доверие
Исправляемость (дополнительная оценка)

• Выявление ошибок
• Исправление ошибок
• Непрерывное обучение
Разрешено к публичному выпуску: распространение без ограничений. 17
Производительность против объяснимости
Методы обучения (сегодня) Объяснимость
(условно)

Эффективность обучения
Нейронные сети
Графический
Модели
Глубокое
Обучение Ансамбль
Байесовские Методы
сети доверия
SRL Случайный
CRF HBNs лес
AOG
Статистические MLN

Модели Марков Деревья

SVM ские
решений Объяснимость
модели
• AOG - стохастические И/ИЛИ графы

• SVM - метод опорных векторов

• MLNs - марковские логические сети

• HBNs – иерархические байесовские сети

• CRFs - условные случайные поля

• SRL - статистическое реляционное обучение

Разрешено к публичному выпуску: распространение без

18
ограничений.
Производительность против объяснимости
Новый Методы обучения (сегодня) Объяснимость
Подход (условно)

Эффективность обучения
Нейронные сети
Создайте набор Графически
е
методов Глубокое Модели
машинного Обучение Ансамблей
Байесовский Методы
обучения, которые Сети веры
создавать более SRL Случайный
объяснимые CRF HBNs Лес
AOG
модели, сохраняя Статистически MLN
Решение
при этом высокий еМодели Марков Деревья
уровень SVM ские Объяснимость
обучаемости модели

Глубокое объяснение Интерпретируемые Модель индукции

Модифицированные методы модели
глубокого обучения Методы изучения более
объяснимым признакам структурированных,
интерпретируемых причинно-
следственных моделей
Методы вывода объяснимой
модели из любой модели в
виде черного ящика
19
Практические задачи
Узнать Объяснять Используйте
модель решения объяснение

Два грузовика Аналитик ищет

Аналитик выполняют погрузку Рекомендую интересующие
Объясняема Пояснение
а данных я модель Интерфейс
элементы в
Объяснение
огромных наборах
Учебное © Getty
мультимедийных
Images
задание по © Исследовательская
данных.
лаборатория ВВС
классификаци Мультимедийные данные Объясняет, почему /
Классифицирует
и интересующие
почему нельзя Аналитик решает, о
использовать каких статьях
элементы в большом
рекомендуемые сообщать и что делать
наборе данных
товары
Оператор
Автономи Действия
направляет
Объясняема Пояснение автономные
я я модель Интерфейс
Объяснение системы на
Задача выполнение
© ArduPikot.org
обучения с © Армия США ряда задач.
Моделирование ArduPilot и SITL
подкреплением Изучает политику
Объясняет поведение Оператор решает,
принятия решений для
в обзоре после какие будущие задачи
смоделированных
действия делегировать
миссий
Разрешено к публичному выпуску: распространение без
20
ограничений.
Технические подходы разработчиков XAI
http://www.zerohedge.com/
© 2009-2017 ZeroHedge.com/ABC Media, LTD

© 2012, Lost Tribe Media, Inc.

© Toronto Star Newspapers Ltd. 1996–
2017 гг.
Новый
© Associated Newspapers Ltd.
Объясняема Пояснение
Обучение
© 2017 г. Hürriyet Ежедневные новости

я модель Интерфейс
© 2017 Green Car Reports
© 2017 POLITI.TV
© Business Insider Inc., 2017.
© УВКБ ООН 2001-2017
Процесс
© 2017 Новости Route 66

Данные обучения
Калифорнийский
университет в Беркли
Глубокое обучение Рефлексивный и рациональный IHMC
Чарльз Ривер Индуктивная каузальная модель Нарративная генерация Психологическая модель
UCLA Теория паттернов + Трехуровневое объяснение
объяснения
OSU Адаптивные программы Приемочное тестирование

PARC Когнитивное моделирование Интерактивное обучение

CMU Объяснимый RL (XRL) XRL Взаимодействие

SRI Глубокое обучение Покажи и расскажи объяснения

Raytheon Глубокое обучение Аргументация и педагогика

UT Даллас Вероятностный Логика Диаграммы решений

Техас A&M Мимическое обучение Интерактивная визуализация

Rutgers Модель индукции Байесовское обучение

Одобрено для публичного выпуска, распространение не ограничено 21
Разрешено к публичному выпуску: распространение без ограничений.
Глубокий XAI для беспилотных автомобилей
Калифорнийский университет в Беркли
Система текстового согласования, встроенная в усовершенствованные модели визуального внимания, чтобы обеспечить
соответствующее объяснение поведения глубокого нейросетевого контроллера транспортного средства.

Входные
изображения

Карты
внимания

Уточненные карты
внимания

Контроллер автомобиля Генератор объяснений

Текстовые
Ускорение, смена
описания +
курса
пояснения
Без объяснения причин: «Машина едет по улице»
Примеры описания и обоснования действий С объяснением: «Машина едет по улице, потому что на ее
Описание действия Обоснование действия полосе нет других машин, нет красных фонарей и знаков
Автомобиль разгоняется так как свет стал зеленым остановки»
Автомобиль медленно так как свет загорелся зеленым и • Уточненные тепловые карты дают более сжатые
разгоняется движение идет
Машина едет вперед в качестве движение транспорта свободно
визуальные объяснения и более точно
Автомобиль переходит в левую к обойти более медленную машину перед отображают поведение сети
полосу движения ней • Текстовое описание и обоснование действия
обеспечивает удобную для интерпретации
систему обучение
Ким, Рорбах, Даррелл, Кэнни и Аката. Показывать, посещать, контролировать и оправдывать: интерпретируемое для беспилотных
для автомобилей.
самоуправляемых Заявление о распространении
автомобилей обучение для самоуправляемых
Ким и Кэнни. Интерпретируемое автомобилей путем 22
визуализации причинного внимания
 Количественное определение интерпретируемости глубоких представлений
(Массачусетский технологический институт)

Контрольный журнал: для конкретного

выходного устройства на рисунке
показан наиболее активный путь

Интерпретация
нескольких
единиц в pool5
AlexNet,
обученных
распознаванию
мест

Разрешено к публичному выпуску: распространение без

23
ограничений.
Психологические модели объяснения
XAI
Модель процесса объяснения процесс
и возможные метрики
Показател
и XAI
Система

Ментальная Лучшая
получает пересматривает позвол
Пользователь Объяснение модель яет
производите
пользователя льность

может изначально оценивается оценивается оценивается

Критерии Тест на Тест на Тест

удовлетворение производительности
«доброты» понимание

может породить вовлекает

Доверие уступает место Соответствую позволяет Надлежащее

или использован
недоверие щее доверие ие
Разрешено к публичному выпуску: распространение без ограничений. 24
Извлечение правил из нейросетей
• Искусственные нейронные сети (ANN) являются широко
известными параллельными вычислительными моделями,
которые демонстрируют отличное поведение в решении сложных
проблем искусственного интеллекта. Тем не менее, многие
исследователи отказываются использовать их из-за того, что они
являются "черным ящиком". Особенно это относится к сетям
глубокого обучения. Это означает, что определение того, почему
нейронная сеть принимает именно такое решение, является
трудной задачей.
Таксономия извлечения правил из
нейросетей
Первое измерение является выразительной силой извлекаемых правил (например, правила IF-THEN
правила или нечеткие продукционные правила).
Второе измерение называется прозрачностью и описывает стратегию, за которой следует алгоритм
извлечения правил.
Если метод использует нейронную сеть только как черный ящик, независимо от архитектуры
нейросети, мы называем его педагогическим подходом. Если вместо этого алгоритм учитывает
внутреннюю структуру нейронной сети, мы называем этот подход декомпозиционным. Если алгоритм
использует компоненты как педагогических, так и декомпозиционных методов, то этот подход
называется эклектическим.
• Третьим измерением является качество извлеченных правил
Алгоритмы извлечения правил
Алгоритм Используемый тип Тип алгоритма Вид извлекаемого
сети правила

DIFACON- Standard Decompositional IF-THEN

miner MLP
CRED Standard Decompositional Decision tree
MLP
FERNN Standard Decompositional M-of-N ,IF-
MLP THEN
KT Standard Decompositional IF-THEN
MLP
Tsukimoto’s Standard MLP and
Decompositional IF-THEN
Algorithm RNN

Standard MLP M-of-N spilit,

TREPAN Pedagogical
decision tree
HYPINV Standard Hyperplane
MLP Pedagogical rule
 Алгоритмы извлечения правил
Алгоритм Используемый тип Тип алгоритма Вид извлекаемого
сети правила

BIO-RE Standard Binary rule

MLP Pedagogical
KDRuleEX Standard Decision tree
MLP Pedagogical
RxREN Standard IF-THEN
MLP Pedagogical
ANN-DT Standard Binary
MLP Pedagogical Decision tree
RX Standard IF-THEN
MLP Eclectic
Kahramanli and Allahverdi’s
Standard MLP
Algorithm Eclectic IF-THEN
DeepRED DNN IF-THEN
Decompositional
 Методы Data Mining:
Статистические Кибернетические

дескриптивный анализ искусственные нейронные сети (глубокие)

корреляционный и регрессионный гибридные нейро-нечеткие системы

анализ
факторный анализ эволюционные алгоритмы
дисперсионный анализ ассоциативная память

компонентный анализ деревья решений

дискриминантный анализ искусственные иммунные системы

компонентный анализ индуктивный вывод

Только нейро-нечеткие системы в настоящий момент позволяют явно извлекать правила

из обученной на экспериментальных данных нейросети.
Гибридные нейро-нечеткие системы в XAI

• Цель комбинации нечеткой логики и нейронных сетей состоит в том, чтобы cоздать
архитектуру, которая использует нечеткую логику, чтобы явно показать знания, в то время
как обучающая природа нейронной сети максимизирует ее параметры. Нейро-нечеткая
система, разработанная Джангом в 1992 году, интегрирует преимущества как нейронной
сети, так и нечетких систем, которые не только обладают хорошими возможностями
обучения, но и могут быть легко интепретированы. Нейро-нечеткая системы используется
во многих областях, таких как аппроксимация функций, интеллектуальное управление и
прогнозирование временных рядов.
• Согласно теореме FAT (Fuzzy Approximation Theorem) система, основанная на нечеткой
логике, может аппроксимировать любую математическую систему. Таким образом,
произвольная взаимосвязь может быть бесконечно точно описана с помощью
формализованных высказываний естественного языка «ЕСЛИ-ТО». Структура нейро-
нечеткой продукционной моделей, которая реализует данный функционал представлена на
следующих слайдах.
Пример нейро-нечеткой сети
Более общая форма этой сети
Структура нейронечеткой продукционной
модели типа ANFIS
Слой 1 Слой 2 Слой 3 Слой 4 Слой 5
 A  x1 
11

1 1
П1 N1 1  d 1 y1
x1 A 21
 x1 

k
A 31
 x1  d1 c10 c1i  xi
i1

2 y2 m Y
П2 N2 2  d2  yi
...

i 1
2
k
d 2  c20   c2 i  xi
i 1

A xk 
...

...

...
1k

xk A xk  m
m  dm
2k
Пm Nm ym
m

A xk  k
d m  cm 0   cmi  xi
3k

i 1
Сеть ANFIS в MATLAB для трех входных
параметров
Глубокая нейросеть с ANFIS
ко

входноеизображение
входное изображение

пулинг полносвязные
слой или
ANFIS
пулинг конволюция
конволюция
конволюция

Для того, чтобы получить семантическую интерпретацию черного ящика глубокого

обучения нейро-нечетких сети могут быть использованы вместо последнего
полносвязного слоя прямого растранения. Например, ANFIS (адаптивная нейро-нечеткая
система) является многослойной сетью прямого распространения. Эта архитектура имеет
пять слоев, таких как нечеткий слой, продукционный слой, слой нормализации, слой
дефаззификации и выходной слой. ANFIS сочетает преимущества нейросети и нечеткой
логики.
Архитектура одного слоя глубокой
нейросети
Более Отображение
Простые
Вход абстрактные из признаков в Выход
признаки
признаки признаки

Конволюционный
Входные слой Следующий
данные слой

a b c

a. Конволюционная стадия: афинное

преобразование
b. Стадия детекции : нелинейное
преобразование
c. Пулинг
Гипотетическая глубокая нейро-нечеткая сеть

Первый компонент - это создание функций глубокого обучения, которые можно использовать для
создания репрезентативных функций непосредственно из данных датчиков. Вторая -
нейронечеткая система.
19.11.2020 )37