Добрый день, уважаемый председатель, члены комиссии, дамы и

господа. Вашему вниманию предлагается диссертация на тему «диалоговая

система управления коллаборативным медицинским роботом».
Слайд №2
При пандемии, в экстремальных условиях работы или при большом
количество операции. Проблема может возникнуть из-за дефицита
медицинской сестры в клинике. Для решения этой проблемы можно заменить
медицинские сестры на вспомогательные коллаборативные медицинские
робот. Например, подготовка и сбор медицинских инструментов.
Слайд №3
Сегодня существуют различные виды КоРТС медицинского назначения.
Примеры на слайде показаны. Сегодня в России тоже проблемами
проектирования диалоговой управления роботом занимаются такие
известные ученые, как профессор Харламов, Ларкин.
Слайд №4
Мобильный робот «RP-7» медицинского назначения способен помощь
врачу осмотреть пациенты. Робот-ассистент хирурга очень похоже на
данную работу, но у его нет системы компьютерного зрения по голосовому
запросу. Ко-робот, созданный Японской компании RIKEN. Очень известная
хирургическая КоРТС «Да-Винчи» может реализовать дистанционные
операции.
Слайд №5
На слайде показаны цель работы и общие требования к КоРТС. Цель
диссертации является разработка профессионально-ориентированной
коллаборативной системы управления вспомогательным роботом
медицинского назначения.
Слайд №6
В диссертационной работе основные задачи содержат:
Анализ вспомогательных действий хирурга и хирургической сестры.
Определение задач КоРТС, её структуры и технические требований
Выбрать методы и разработать алгоритмы распознавания речи, а также
организовать диалоги между роботом и пользователям.
Разработать метод и алгоритмы поиска и распознавания хирургических
инструментов по голосовом запросу.
Организовать совместную работу человека и робота.
Проводить экспериментальные исследований.
Слайд №7
В данной работе КоРТС разработается для помощи операционной
медицинской сестре при выполнении рада вспомогательных операции. На
этапе подготовки операции инструмент в стерильной упаковке извлекается из
стеллажа и складывается на столе медицинской сестры. На этапе операции
КоРТС передает хирургу нужный инструмент по голосовом запросе с
помощью системы компьютерного зрения.
Слайд №8
 Для вспомогательных операции «захват и передача инструмент
манипулятором пользователю по голосовом запросу с помощью системы
компьютерного зрения» Основные задачи разработанной КоРТС имеет пяти
этапов. «понимать» речевой запрос хирурга; поиск и распознавание нужного
инструмент по речевой запросу; захват инструмента манипулятором; поиск и
распознавания руки хирурга; передача инструмент руку хирурга
манипулятором.
Слайд №9
На слайде показана функциональная схема диалоговой коллаборативной
робототехнической системы. Она работает по указанным выше этапам.
Слайд №10
В диссертационной работе приложены основные требования к КоРТС и
к её подсистемам.
Требования к системе в целом состоит в том, что диалоговая система
управления коллаборативным роботом должна быстро, точно и безопасно
захватить, и положить инструмент манипулятором.
Требования к подсистеме распознавания речи включает в себя,
подсистема распознавания речи должна позволять вести диалог в темпе,
близком к темпу естественной речи. И, точно распознавать речи при
различных акцентах и темпах произношения.
Требования к подсистеме компьютерного зрения. Время поиска и
распознавания инструмента должна приближать к человеку. Подсистема
компьютерного зрения должна обеспечить необходимую информацию
манипулятору для захвата (в работе цент тяжести объекта рассматривается в
качестве положения захвата). СТЗ должно позволять манипулятору безопасно
помешать инструмент в руку пользователя.
Требования к подсистеме управления манипулятором. Системой
необходимо обеспечить аварийный останов манипулятора при опасности
столкновения.
Слайд №11
В диссертационной работе для разработки системы распознавания речи
сравнил и выбрал методы и алгоритмы распознавания речи, разработал
алгоритмы распознавания речи с использованием глубокой нейронной сети,
проводил экспериментальные исследования.
Слайд №12
На слайде из таблицы можно видеть, что распознавания речи с
использованием глубокой нейронной сети и скрытой Марковской модели
имеет высокая точность. По результатам сравнения выборная глубокая
нейронная сеть имеет 6 скрытых слоёв по 2048 нейронов, 440 входных и 1024
выходных сигналов.
Слайд №13
В диссертационной работе приложено разработанное программное
обеспечение для предобработки голосовых сигналов с помощью алгоритма
MFCC.
Нижний рисунок покажет, что голосовой сигнал «команда»
преобразуется в частотный режим с помощью алгоритма MFCC.
Слайд №14
На слайде показана схема системы распознавания русской речи. Для
реализации акустической модели использовалась разработанная глубокая
нейронная сеть на основе скрытой Марковской модели. Дня реализации
языковой модели использовалась модель n-gram.
Слайд №15
Существо метода распознавания непрерывной речи с использованием
глубокой нейросети и скрытой Марковской модели – поиск сравнения между
звуковыми сигналами и словами. Этот алгоритм распознавания речи
реализован с помощью глубокой нейронной сети. Входом глубокой
нейронной сети является голосовые признаки, преобразуемые методом
MFCC. Схема этой модели, разработанная в диссертации, показана на следе.
В схеме глубокая нейронная сеть используется для вычисления наблюдаемые
вероятности В.
Слайд № 16
В ходе проведения эксперимента распознавания речи была произнесена
сто раз, таким образом, за все время эксперимента было произнесено 1600
фраз (16 команд).
По результатам эксперимента можно получить вывод, что правильный
процент распознавания речи достигает 97%. Задержка автоматического
распознавания речи 0.12 секунд. Таким образом разработана система
распознавания речи, удовлетворяющая требованиям, сформулированным
выше.
Слайд №17
В диссертационной работе рассматривается организация системы
компьютерного зрения КоРТС. Она включает две подсистемы. RGB- камера
устанавливается на последнем звене манипулятора и обеспечивает поиск и
распознавание объектов на рабочем столе по голосовому запросу хирурга.
Вторая RGB-D камера предназначена для внешнего наблюдения, и для
передачи инструмента хирургу с помощью манипулятора.
Слайд №18
Для задачи поиска и распознавания объекта разработана параллельная
сверточная сеть. Разработанная сеть состоит из верхней сверточной сети и
верхней сверточной сети.
Верхняя свёрточная сеть разделяет области распознавания на три
группы: головная часть объекта, хвостовая часть объекта и оставшаяся часть
объекта. Нижняя свёрточная сеть анализирует полное изображение для
определения названия объекта.
Разработанная сеть способна распознавать более 5 объектов и
одновременно определить координаты ориентацию центра тяжести для
захвата объекта.
Слайд №19
В диссертационной работе ещё сравнил разработанную параллельную
сверточную сети с другими сетями. Разработанная сеть имеет относительно
уровень точности 96% и не требует большого количества обучающих
изображений. Параллельная аркатура сети способна экономить время
обработки.
Слайде №20
В данной работе используется электромагнитный захват для захвата
медицинских инструментов. Для безопасности передачи инструмента не
обходимо вычислять центр тяжести с помощью разработанной сети. Можно
вычислять центра тяжести объекта по формуле….. вычислять углов поворота
инструмента по формуле…
Слайд №21
На слайде показаны основные этапы предобработки изображения сцены
с помощью P-CNN. Цель предобработки изображения состоит в том, чтобы
обеспечивать входное изображение верхнему сетью и нижнему сетью. На
рисунке а) – это входное изображение нижней сети, b) – это входное
изображение верхней сети.
Слайд №22
В эксперименте обучения параллельной сверточной сети используется
CPU i5 больше 2 часа. Правильный процент распознавания тестовых данных
достигает 96%
Слайд №23
На слайде показаны результаты поиска и распознавания инструментов
Слайд №24
После эксперимента разработанной сети можно заключить выводы о
том, что время обработки одной изображений 0.5 секунд. Точность
распознавания инструментов достигает 96%. Таким образом разработан
метод поиска инструмента, удовлетворяющий требованиям,
сформулированным выше.
Слайд №25
В диссертационной работе для безопасности передачи инструмента в
руку пользователя разработал методику определения пространственных
координат руки (ладони). Эта методика состоит из двух этапа. Поиск руки
пользователя и определение пространственной координаты. Цель поиска руки
пользователя для того, чтобы распознавать и определять положение руки в
изображении. Затем можно определять пространственную координату в
системе координат манипулятора с помощью формулы.
Слайд №26
В эксперименте по определению пространственных координат руки с
помощью RGB-D камеры Kinect 360 была проведены отдельная калибровка
геометрии D и RGB камеры с помощью пакета OpenCV и было обеспечено
совпадение цветного изображения с изображением глубины из RGB-D
камеры.
Из таблицы можно заключить вывод, что средняя погрешность
измерения составляет не более 10 мм, что достаточно для передачи
инструмента в руку оператора. Время распознавания и определения
координат руки пренебрежимо мало (≈ 0.03 секунд). Таким образом
разработан метод поиска и вычисления 3D-координат руки оператора,
удовлетворяющий требованиям, сформулированным выше.
Слайд №27
На слайде показана функциональная схема системы речевого
диалогового управления
Слайд №28
Для профессионально-ориентированной диалоговой системы
управления роботом в диссертации разработаны четыре типа сценария
диалога: (1) сценарий диалога для постановки задачи, (2) для уточнения
требований к задаче, (3) для получения помощи пользователя и (4) для
пояснения запроса. Эти четыре типа сценария диалога разработаны в
соответствии с ситуациями, которые могут возникнуть во время
профессионально-ориентированного диалога.
Слайд №29
Процесс организации диалога и действий робота включает пять этапов:
1. Распознавание голосовых сигналов с использованием алгоритма DNN-
HMM c их предварительной обработкой с помощью метода MFCC. 2.
Проверка результатов распознавания голосовых запросов пользователя с
помощью базы данных. 3. Определение задачи для подсистемы
компьютерного зрения и подсистемы управления роботом по голосовым
запросам пользователя. 4. Этап захвата медицинского инструмента
манипулятором. 5. Этап проверки результатов решения поставленной
пользователем задачи с помощью СТЗ.
Слайд №30
В диссертации для организации действий робота на основе диалога
«человек-робот» была разработана архитектура системы диалогового
управления, представленная на слайде.
Эта система включает управляющий уровень всей системы и
исполнительный уровень. К последнему можно отнести алгоритм
организации диалога, алгоритм организации действий робота и алгоритм
работы СТЗ. Управляющий уровень назначает задачи исполнительному
уровню в момент времени t на основе информации обратной связи от
исполнительного уровня в предыдущий момент времени t-1.
На правом рисунке показано алгоритм организации диалога и действий
робота при участии человека для голосового запроса «вложить ножницы в
руку».
Слайд №31
На слайде показаны результаты управления диалогом с использованием
разработанных сценариев диалога.
Фрагменты диалога показывают, что метод организации диалога и
действий робота при участии оператора позволяют роботу поддерживать
двустороннюю связь с человеком при выполнении задач, чтобы вовремя
корректировать результат выполнения задачи с помощью оператора.
Слайд №32
Далее проведется экспериментальное исследование разработанной
диалоговой каллаборативной системы. Экспериментальный стенд включает
манипулятор KUKA LBR 14, оснащенный RGB камерой, и внешнюю RGB-D
камеру, контролирующую положение человека в рабочей зоне; RGB камера
установлена на последнем звене манипулятора, а RGB-D камера находится
прямо перед манипулятором. На Рисунке показано также оборудование для
наблюдения за процессом с целью визуального контроля за процессом
диалога и управления с помощью виртуального коллаборативного робота и
положение экспериментатора, выполняющего исследование системы. На
правой рисунке показана функциональная схема экспериментального
комплекса КоРТС.
Слайд №33
В данной работе предложена методика проведения экспериментов. Их
цель состоит в том, чтобы продемонстрировать работоспособность и
эффективность методики проектирования профессионально-
ориентированной диалоговой коллаборативной системы управления
роботами. Задачей экспериментов является демонстрация работоспособности
предложенной системы. В процессе эксперимента требовалось установить
время выполнения одного запроса, процент успешного выполнения запроса,
исследовать влияние факторов внешней среды, включая фактор освещения с
учетом отражающих свойств настольных материалов и характер источника
света (солнечный свет и искусственное освещение). Исследуется также
безопасность помещения инструмента в руку хирурга, и опасность
столкновения манипулятора с человеком.
Слайд №34
На слайде показано определение зоны обслуживания хирурга –
пользователя.
Слайд №35
На слайде показано согласование рабочих зон манипулятора и RGB-D
камеры
Слайд №36
Результаты экспериментального исследования комплексной диалоговой
системы управления коллаборативным манипулятором, включая отдельные
этапы её работы, показаны в Таблице. В процессе выполнения экспериментов
человек отправлял каждую команду 20 раз в диалоговую систему. Таким
образом, всего было проведено 100 реализаций голосового запроса.
Из таблицы можно сделать вывод о том, что после получения голосового
запроса диалоговая система выполняет задачу примерно за 6.62 с. В том
числе 0.12 с. составляет задержка распознавания речи, менее 0.5 с. процедура
обработки изображения и выполнение движения манипулятора. Таким
образом, полное время выполнения операции передачи инструмента хирургу
по голосовому запросу не превышает времени выполнения этой операции
хирургической сестрой. Точность работы манипулятора достаточна для
захвата плоского инструмента с помощью электромагнитного захвата и
безопасного вложения инструмента в руку хирурга. Разработанная система
диалогового управления работает достаточно надежно – в проведенных
экспериментах процесс успешно выполненных операций составил не менее
92 %.
Таким образом, экспериментальные исследования подтвердили
работоспособность и эффективность разработанной коллаборативной
системы «Робот-ассистент хирурга»
Слайд №37
Приложенная методика проектирования профессионально-
ориентированной диалоговой коллаборативной системы управления
роботами широкого назначения. Она включает в себя ….
Слайд №38
Заключения работы включает:
Слайд №39
На слайде показана научная новизна диссертации.
Слайд №40
Разработанная методика проектирования профессионально-
ориентированной диалоговой коллаборативной системы управления роботом
с использованием нейросетевых алгоритмов и разработанное программно-
алгоритмическое обеспечение могут быть использованы для создания
коллаборативных роботов с речевым диалоговым управлением не только при
решении рассмотренных в диссертационной работе задач, но и для сервисной
робототехники широкого назначения, в том числе, для реабилитации
инвалидов, для помощи людям с дефектами зрения и органов движения.
Слайд №41
На слайде показаны публикации.
Слайд №42
Спасибо за внимание!