Локализация игл в реальном времени в двумерных ультразвуковых изображениях

для роботизированной биопсии.

В данной статье описан метод отслеживания кончика иглы в режиме реального времени с
помощью двумерных ультразвуковых изображений для роботизированной биопсии.
Данный метод использует алгоритм обработки изображений (фильтра Габора) для
определения положения кончика иглы, и фильтрацию выходных данных с помощью
фильтра Калмана. В статье так же представлен эксперимент по отслеживанию кончика иглы
для проверки точности фильтра Калмана при смещении положения и деформации ткани.
Для выполнения предлагаемого способа в режиме реального времени, используется
алгоритм формирования в ячейки, позволяющий сократить время обработки изображений
на 56% без использования графического процессора. Предлагаемый метод был
протестирован в четырех различных образцах и водной среде. Полученная
среднеквадратичная ошибка определения положения иглы, измеренная при помощи
лазерного трекера, равна 1.17 мм. Эксперименты показали, что метод позволяет
отслеживать кончик иглы в режиме реального времени.

I. Введение

Чрескожная пункционная биопсия – часто выполняемая операция в медицине. Точность

введения иглы играет значительную роль в успехе операции. В частности, во время ручного
введения, если игла размещена неточно, образец ткани может быть собран вне требуемой
зоны. Помимо этого, повторные введения иглы могут привезти к внутреннему
кровотечению. Для улучшения точности введения иглы, ее траектория должна быть
правильно определена и кончик иглы должен быть отслежен.
Процедуры биопсии обычно выполняются с использованием методов медицинской
визуализации. Среди других вариантов, ультразвуковая визуализация (УЗИ) не имеет
каких-либо известных побочных эффектов и обеспечивает большее рабочее пространство.
Тем не менее, качество изображения УЗИ низкое и содержит артефакты, что делает
видимость иглы плохой, особенно ее кончика. При ручном введении прогнозирование
траектории движения иглы требует опыта и не всегда является точным. Введение иглы с
помощью робота является более надежным и точным способом выполнения этих операций,
в связи с тем, что он может двигаться с высокой точностью, осуществляя планирование
траектории, а также обеспечивать визуальную обратную связь для управления.
Эта статья описывает отслеживание острия иглы в двумерных ультразвуковых
изображениях с использованием фильтра Габора. Игла вводится с помощью
робототехнического устройства, а кончик иглы отслеживается благодаря двумерным
ультразвуковым изображениям. Для выполнения метода в режиме реального времени
используется алгоритм формирования в ячейки. Также для проверки системы на наличие
визуальных дефектов и деформаций тканей выполняется моделирование отслеживания
острия иглы.

II. Смежные исследования

В литературе «Существует большое число статей, где» было проведено множество

исследований о применении роботов в биопсии и локализации иглы в двумерных
ультразвуковых изображениях. Vrooijink и др. разработали систему для отслеживания
острия иглы в трех координатах с помощью двумерных ультразвуковых изображений. Игла
вводилась с помощью моторизированного, перемещение ультрозвукового зонда
осуществлялось при помощи специализированного устройства, а роботизированная
система осуществляла свое движение на основании полученных изображений.
Специфичный рисунок иглы на снимках УЗИ, известный как дефект «хвост кометы»,
использовался для обнаружения кончика иглы. После пороговой обработки и сегментации
дефект («хвост кометы») был обнаружен, а кончик иглы локализирован. Novotny и др.
разработали ультразвуковую управляемую роботизированную 3Д систему для
отслеживания хирургического инструмента и локализации цели. Пассивные маркеры
использовались для определения положения и угла поворота наконечника инструмента.
Радоновое преобразование использовалось для определения маркеров в ультразвуковых
трехмерных изображениях. Робот контролировался с помощью пропорционально-
дифференцирующих (ПД) регуляторов, а для отслеживания инструмента в режиме
реального времени использовался графический процессор. Проверка системы проводилась
в водном резервуаре

Chatelain предложил метод обнаружения и отслеживания введенной вручную иглы в

режиме реального времени с помощью трехмерныного ультразвукового зонда
установленного на робота манипулятор, имеющего 6 степеней свободы. Обнаружение
зоны введения иглы осуществлялось путем нахождения разности данных о геометрическом
среднем и объемной интенсивности изображения. После введения были получены
предполагаемые пиксели иглы с разницей в объемной интенсивности, а ось иглы
локализована с помощью RANSAC (RANdom SAmple Consensus, по случайной выборке). Был
применен фильтр Калмана для более точного отслеживания иглы. Mathiassen и др.
использовали производную второго порядка по двумерной Гауссовской функции и данные
разности кадров последовательных кадров для предварительного расчета острия иглы на
двумерных ультразвуковых изображениях. Точность системы измерялась с помощью
лазерного трекера.

Ayvaci и др. отслеживали биопсийную иглу в двумерных трансректальных ультразвуковых

изображениях. Пиксели иглы на изображении были обозначены благодаря знанию
положения иглы, модели фона изображения и ультразвукового зонда. Ding и др.
предложили алгоритм автоматической локализации иглы в ультразвуковых изображениях
для операций на груди. Пиксели иглы были отфильтрованы с помощью метода
дисперсионного картирования. Определяемый пользователем порог был использован для
бинаризации отфильтрованного изображения, а затем анализ основных компонентов
использовался для локализации оси иглы и ее острия. Cao и др. предложили
автоматическое обнаружение катетера в 3Д изображениях. Карта вероятностей появления
иглы была сгенерирована в соответствии с физической моделью катетера. Карта
спроецирована на одну плоскость изображения с учетом максимальной интенсивности
приближения для более быстрого обнаружения катетера. Renfrew и др. предложили
вероятностный метод активной локализации игл и целей. Их метод был основан на
максимизации данных для иглы и положений целей. Для предварительного расчета
состояния использовался фильтр частиц. Работоспособность метода подтвердилась при
имитационном моделировании.

Fronheiser и Adebar и др. локализировали кончик иглы с помощью 3Д устройства –

цветного допплера (показывает есть ли движение крови в данном участке ткани). Игла вибрировала
с высокой частотой благодаря пьезоэлекрическому звукоизлучателю (зуммеру).
Радиочастотные и цветовые фильтры доппера использовались для обнаружения острия
иглы по трехмерным ультразвуковым изображениям.
Эта статья улучшает работу, представленную в статьях M. Kaya и O. Bebek благодаря
реализации отслеживания в режиме реального времени острия иглы в двухмерных
ультразвуковых изображениях. В предыдущих исследованиях были предложены методы
локализации и предварительного расчета положения острия иглы в двумерных
ультразвуковых изображениях, где ось иглы локализована благодаря фильтру Габора. В
этом исследовании кончик иглы также отслеживался с помощью двумерных
ультразвуковых изображений и, кроме того, погрешность оценки острия иглы сглаживается
благодаря использованию фильтра Калмана. Время обработки предлагаемого метода
локализации сокращается примерно на 56% при использовании алгоритма формирования в
ячейки, поэтому алгоритм может быть выполнен в режиме реального времени. Кроме того,
было представлено моделирование отслеживания острия иглы для проверки эффективности
фильтра Калмана при несоответствии изображений и деформации такни.

III. Обработка двухмерных ультразвуковых изображений

На ультразвуковом изображении управляемая биопсийным роботом игла отслеживается

для направления к цели. Как упоминалось выше, ультразвуковые снимки содержат дефекты
и артефакты. Поэтому изображения обрабатываются для сегментации иглы. Метод
локализации, использованный в этой статье, впервые был представлен в (13),

Алгоритм локализации состоит из двух похожих этапов обработки (рис.1). Траектория иглы
и угол ее введения оцениваются на первом этапе; а положение кончика иглы на втором
этапе. На обоих этапах фильтр Габора используется для сегментирования пикселей иглы.
Отфильтрованные изображения бинаризируются благодаря методу настройки параметров
на основе определения энтропии изображения.
На первом этапе создается ядро фильтра Габора в соответствии с заданным значением угла
введения. После того, как исходное изображение свернуто с помощью ядра фильтра,
применяется медианный фильтр размером 7 на 7 для сглаживания, отфильтрованного
изображения. Затем сглаженное изображение преобразуется в двоичную
форму(оцифровывается) благодаря умножению параметра настройки (α) и порогового
значения Оцу. затем применяется морфологическая эрозия с помощью линейного
структурирующего элемента 3 на 3. Наконец, траектория иглы и ее угол введения
оцениваются благодаря подгонке линии RANSAC и выделяется интересующая область
иглы.
На втором этапе ядро фильтра Габора создается с использованием параметра угла равному
углу введения, оцененного на первом этапе, поскольку при таком подходе видимость иглы,
особенно ее кончика, достигает максимума. Затем исходное изображение сворачивается
благодаря ядру фильтра и применению медианного фильтра 7 на 7 для сглаживания,
отфильтрованного изображения. Затем сглаженное изображение преобразуется в двоичную
форму(оцифровывается), используя средние значения Оцу и настроенные пороговые
значения. На следующем этапе интересующая область иглы обрезается от оцифрованного
изображения и вычисляется вероятность соответствия каждого пикселя острию иглы.
Пиксель с максимальной вероятностью определяется как острие иглы, а также
сглаживаются выбросы значений координат положения острия иглы благодаря фильтру
Калмана(рис.2).

Рис.2 : Результаты предложенного алгоритма локализации острия иглы с шагом (dt)

равным 0.2 секунды.

Фильтр Калмана для сглаживания шума оценки положения: Геометрическая форма иглы
очень близка к прямой линии на двухмерных ультразвуковых снимках. В режиме реального
времени возможны колебания оценочной траектории острия иглы из-за шума оценки
положения, исходящих из алгоритма, описанного выше. Оценочный шум возникает из-за
различной видимости острия иглы и погрешностей выравнивания между плоскостью
изображения ультразвукового зонда и иглой.
На двухмерных ультразвуковых изображениях видимость острия иглы может быть низкой
либо острие может рассматриваться как независимая структура от иглы. В этом случае
острие иглы обнаруживается с погрешностью оценки. Однако, если есть смещение, то шум
оценки положения может быть высоким. Точка, в которой игла пересекает плоскость
ультразвукового снимка, оценивается как острие иглы во время возникновения
смещения(несоответствия). Кроме того, игла может полностью исчезнуть или RANSAC не
обнаружит иглу на изображении. В результате острие иглы не может быть оценено. Фильтр
Калмана используется для сглаживания оценочного шума и оценки положения острия иглы,
когда ось иглы не обнаружена. двумерное положение (x,y) и линейные скорости
выбираются в качестве состояний для фильтра Калмана и описываются формулой:
 𝑥𝑡 = [𝑥 𝑦 𝑥̇ 𝑦̇ ] 𝑇 ;
Динамическая модель системы xk и модель измерения zk могут быть сформулированы как:
𝑥𝑘 = 𝐴𝑥𝑘−1 + 𝜔𝑘 ,
𝑧𝑘 = 𝐻𝑥𝑘 + 𝑣𝑘 ,
1 0 𝑑𝑡 0 1
0 1 0 𝑑𝑡 1
Где 𝐴= [ ]; 𝐻= [ ];
0 0 1 0 0
0 0 0 1 0
Шум процесса (wk) и шум измерения (vk) предполагаются как Гауссовы распределения с
нулевым средним с ~N(0,Q) и ~N(0,R) соответственно. Q и R – ковариационная матрица
шума и ковариационная матрица шума измерения. Эти матрицы набираются вручную и
связаны с производительностью фильтра Калмана. Для того, чтобы оценить
производительность фильтра Калмана в реальных условиях и для получения оптимальных
значений для матриц Q и R, разработана симуляция для отслеживания острия иглы.
Моделирование подробно объясняется в следующем разделе.

IV. Моделирование отслеживания острия иглы

Ультразвуковые снимки по своей сути являются «шумными». Разработка новых
алгоритмов для улучшения локализации острия иглы может быть медленной или сложной.
Поэтому платформа моделирования реализована для быстрой разработки алгоритмов
локализации. Кроме того, платформа моделирования может быть более эффективной для
тестирования различных условий системы. Например, несоответствие между иглой и
плоскостью ультразвукового изображения не может быть легко проверено. Основная цель
моделирования – улучшение производительности фильтра Калмана при различных типах
помех измерения иглы. Для более реалистичного моделирования отслеживания острия
иглы учтены деформации ткани и временные смещения(несоответствия) плоскости
изображения. На рис.3 показано введение и отвод иглы. Также проиллюстрированы случаи
смещения иглы и деформации ткани. Погрешность оценки острия иглы в зависимости от
времени, включая этапы моделирования, показанные на рис.3, показаны на рис.4.

Рис.3: Имитация снимков отслеживания острия иглы. Область введения иглы обозначена
пунктирными линиями. Ткань не жесткая. Круглая область указывает на область ткани с
возможным поражением, а знак «+» в этой области указывает на цель для иглы. Прямая
линия в области введения иглы обозначает иглу, а фактический кончик иглы указывается с
помощью «+». Расчетный кончик иглы и выходной сигнал фильтра Калмана указывается
как «*» и «о» соответственно. Состояния смещения указаны метками, а игла не видна.
Писал выше про это Как показана на изображениях, фильтр Калмана позволяет оценить
положение острия иглы, когда сама игла не видна.

Рис.4 : Зависимость погрешности оценки острия иглы от времени. Погрешность каждого

кадра, показанного на рис.3, обозначена знаком «+», и указан соответствующий номер
кадра.

Исходными параметрами для моделирования являются: (1) расположение цели, (2) угол
введения угла, (3) ширина интересующей области иглы, (4) модель движения иглы, (5)
модель шума измерения острия иглы, (6) модуль упругости и коэффициент Пуассона для
ткани, (7) приложенное усилие и (8) шаг моделирования (dt).
Выходными параметрами для моделирования являются: (1) деформированная сетка
относительно dt и (2) погрешность фильтра Калмана.
Виртуальная модель пружины была использована для моделирования деформации ткани в
статье (14). В этой модели ткань предполагалась однородной и сделанной из линейно
упругого материала (15). Пока игла вводится с приложенным усилием(𝐹𝑎𝑝𝑝𝑙𝑖𝑒𝑑 ), ткань
сопротивляется движению в обратном направлении. Сила реакции вызывает силы
внутреннего демпфирования(Fdamping, искусственное подавление колебаний системы) ткани
и жесткости(Fstiffness). Общая сила, которую нужно приложить к острию иглы для надреза
ткани описывается следующим образом:
𝐹𝑐𝑢𝑡𝑡𝑖𝑛𝑔 = 𝐹𝑎𝑝𝑝𝑙𝑖𝑒𝑑 − 𝐹𝑠𝑡𝑖𝑓𝑓𝑛𝑒𝑠𝑠 − 𝐹𝑑𝑎𝑚𝑝𝑖𝑛𝑔 ;
 𝑀𝑎𝑡 = 𝐹𝑎𝑝𝑝𝑙𝑖𝑒𝑑 − 𝐾𝑢𝑡 − 𝐶𝑣𝑡 ;

Где М, С и К – матрицы массы, демпфирования и жесткости соответственно. at, vt и ut –

ускорение, скорость и положение узлов в момент времени t. Следующая позиция
узлов(ut+1) может быть рассчитана следующим образом:
𝑎𝑡 𝑑𝑡 2
𝑢(𝑡+1) = 𝑢𝑡 + 𝑣𝑡 𝑑𝑡 + ;
2
В этой модели вращаемая прямоугольная область интереса создается в соответствии с
углом введения иглы и местоположением цели(рис.3). узлы создаются с использованием
равных пространств, а узлы триангулируются с использованием триангуляции Делоне. На
рисунке 5 созданы двухмерные 7 на 7 узлы, показывающие структурную деформацию при
введении иглы в ткань.
Рис.5 : Изображения деформированной ткани при введенной игле. Двухмерные 7 на 7 узлы
проиллюстрированы кружками. Ось иглы показана прямой линией, а «+» указывает
фактическое положение острия иглы.

Точность работы фильтра Калмана тестируется в реальных условиях на платформе

моделирования. Кроме того, для получения оптимальных значений оценивается
производительность фильтра в отношении матриц R и Q. В режиме реального времени при
предварительном расчете локализации иглы сглаживается шум(помехи) путем получения
матриц Калмана R и Q при моделировании.

V. BIN PACKING
Чтобы выполнить предложенный способ локализации острия иглы в режиме реального
времени, время его обработки должно быть значительно уменьшено. Предложенный
алгоритм локализации иглы является довольно сложным и состоит из двенадцати основных
этапов обработки. В течение локализации кадры обрабатываются последовательно, так как
каждый шаг обработки зависит от вывода предыдущего. Кроме того, разделение
изображений на подизображения и их параллельная обработка не лучший способ ускорения
процесса, поскольку структура иглы может быть не обнаружена, а объединение этих
подизображений увеличивает время вычислений. Следовательно, ускорить время
обработки для значительного количества одиночных изображений сложно. Однако
последовательность кадров можно обрабатывать параллельно, применяя специальный
метод многопоточной обработки изображений «метод формирования ячеек» для ускорения
процесса.
Метод формирования в ячейки делит операции на равные интервалы времени, а процессы
упаковываются в ячейки. Процессы в ячейках применяются к разным кадрам
последовательно в отдельных потоках. Каждый поток начинает обрабатывать новый
входящий кадр, когда процессы в первой ячейке завершены. Схематическое представление
методов последовательного и формирования в ячейки показано на рис.6. В этом
исследовании измеряется время обработки шагов метода (таблица 1), и, соответственно,
метод делится на четыре ячейки (Р1,Р2,Р3 и Р4) по времени их обработки. Предполагается,
что время обработки каждой ячейки примерно одинаковое, Т/4 в лучшем случае. Если за
один раз обрабатывается одно изображение, то за время Т острие иглы локализуется в кадре
№1 в потоке №1.
Время
Процесс Ячейка
процесса (мс)
Считывание изображения 2.51 ± 0.41
Фильтр Габора 0.92 ± 0.18 P1
Этап №1 Медианный фильтр 7.43 ± 1.22
Метод Оцу 0.42 ± 0.09
Настройка параметров 1.98 ± 0.39
Морфологические операции 0.10 ± 0.02
P2
Подбор направления RANSAC 3.99 ± 0.55
Фильтр Габора 0.31 ± 0.05
P3
Медианный фильтр 7.25 ± 1.13
Этап №2 Метод Оцу 0.31 ± 0.06
Настройка параметров 1.70 ± 0.21 P4
Предварительный расчет острия иглы 3.31 ± 0.34
Общее время процесса 35.01 ± 3.04

Таблица 1 : Время каждого из процессов рис.1.

Однако, если используется метод формирования в ячейки, каждый кадр обрабатывается в

своем потоке, и, в случае завершения работы, этот поток начинает работать над следующем
кадром. При упаковке в ячейки острие иглы определяется в четырех последовательных
кадрах в лучшем случае за время 1.75Т, в то время как четыре кадра могут быть
проанализированы с помощью метода последовательной обработки за время равное 4Т.
Конвейер – это структура, в которой выполнение инструкций центральным процессором
делится на несколько этапов, причем операция выполняется по различным блокам,
отвечающим за обработку каждого этапа. В результате можно начать выполнение
следующей инструкции, не дожидаясь завершения выполнения предыдущей инструкции,
так что выполнение программы может быть ускорено. Метод формирования в ячейки
сокращает время обработки в лучшем случае на 56% при эффективном использовании
процессора. Это значение было рассчитано путем нахождения разницы между 4Т и 1.75Т,
а затем делением результата вычитания на 4Т. Острие иглы может отслеживаться в режиме
реального времени без использования графического процессора, если предполагаемая
локализация иглы происходит с помощью метода формирования в ячейки.

Рис.6 : Схематическое изображение

методов. Время обработки каждой ячейки
(Т/4) предполагается одинаковым. В
лучшем случае время определения иглы в
четырех кадрах (а) последовательным
методом и (b) методом формирования в
ячейки составляет 4Т и 1.75Т
соответственно. Обратите внимание, что
время локализации иглы в первом кадре
одинаково для двух методов.

VI. Экспериментальная часть

А. Экспериментальная установка.
1. Робот для биопсии – OBR: Роботизированная система, которая используется для
введения игл, называется OzU Biopsy Robot (OBR) и имеет 5 степеней свободы (рис.7).
Робот предназначен для проведения биопсии на людях.
2. Ультразвуковой аппарат (УЗИ): Изображения были получены благодаря устройству
LOGIQ P5 2D US machine (General Electric, USA) с линейным 2Д ультразвуковым зондом
(11L, General Electric, USA). Полученные изображения были размером 680 на 480 пикселей.
Изображения получены с ультразвукового аппарата с помощью платы видеозахвата
EURESYS PICOLA HD 3G.
3. Во время экспериментов по введению иглы использовались четыре различных фантомах
и резервуары с дистиллированной водой. Использовались - дистиллированная вода (25оС),
смесь дистиллированной воды и этанола (25оС), желатиновые, агаровые и смеси из
желатина и агара. Смеси были приготовлены по рецептам в (13) и (18). В экспериментах
использовались иглы для биопсии 22 калибра.
4. Время выполнения: Алгоритм был реализован в С++ с использованием библиотеки
OpenCV и запускалась на 64-битной Window 7 с процессором Intel Xeon E5-2620,
работающим на 2ГГц и имеющим 32ГБ оперативной памяти. Время выполнения
предполагаемой локализации оси иглы и предварительного расчета острия иглы для одного
кадра составляет 17.00 ± 2.03 мс и 12.95 ± 1.54 мс соответственно.
Было использовано 112 кадров для измерения времени обработки последовательного
метода и метода формирования в ячейки. Время выполнения локализации острия иглы в
кадре с использованием метода последовательного и метода формирования в ячейки
составляют 35.01 ± 3.04 мс и 13.28 ± 3.30 мс соответственно. Таким образом, метод
формирования в ячейки сокращает время обработки на 56%.
Рис.7 : Вид 2Д ультразвуковой
системы с пятью степенями
свободы для подкожных
операций с иглой.

Б. Результаты локализации иглы

1. Результаты моделирования: Точность отслеживания острия иглы первоначально
оценивалась с помощью моделирования. OBR вводит иглу с помощью контроллера
PD(пропорционально-дифференцирующего), поэтому при моделировании острие иглы
достигает цели благодаря этому контроллеру. При моделировании dt дискрета времени
была равной 50 мс, а длительность введения иглы и отвода предполагалась одинаковой.
Моделирование было повторено 50 раз, и оценено 11100 кадров. Параметры были
настроены для получения минимальной и максимальной погрешности предполагаемой
ошибки отслеживания. Минимальная и максимальная среднеквадратичная погрешность
предлагаемого метода отслеживания при моделировании составила 0.25 мм и 0.84 мм
соответственно.
2. Результаты эксперимента: Точность оценки угла введения иглы и методов локализации
острия иглы оценивали с помощью оптической системы захвата движения OptiTrack.
Оптические маркеры диаметром 11.4 мм были закреплены на ультразвуковом зонде и игле.
Для того чтобы определить положение острия иглы в двумерном ультразвуковом
изображении с использованием захвата движения, система была откалибрована с помощью
предложенной системы в (19). Иглы вводилась в образец на основе агара-желатина
вручную. После того, как иглы была введена, значение угла и положение острия измерялись
одновременно с помощью оптической системы отслеживания и предложенного метода
оценки.
Для оценки точности предполагаемой оценки угла введения использовалось 54 2Д кадра.
Погрешность метода составляет 1.95о ± 1.15о(среднее ± стандартное отклонение). Было
использовано 38 кадров для оценки точности отслеживания острия иглы. Чтобы найти
погрешность предлагаемого метода, было рассчитано евклидово расстояние между
фактическим и предполагаемым местоположениями острия иглы для каждого кадра.
Погрешность предлагаемого способа определения составляет 1.22 ± 1.22 мм.
В этом исследовании четыре различных образца и водная среда были использованы для
оценки способности алгоритма локализовать ось иглы и ее острия на разных уровнях
контрастности. Реалистичные образцы были использованы специально, чтобы доказать, что
предлагаемый метод работает на различных ультразвуковых изображениях с разным
фоном. В сумме было использовано 20 образцов. Иглы была введена в каждый образец по
крайней мере 30 раз, и примерно по 3 ультразвуковых снимка были захвачены при каждом
введении. Всего для оценки алгоритма было использовано 1417 одиночных двумерных
ультразвуковых изображений для разных типов образцов. На всех снимках траектория иглы
и ее острие были успешно определены. Алгоритм позволил локализовать ось иглы биопсии
и ее острия во всех образцах, подтверждая надежность метода.