Вы находитесь на странице: 1из 14

Применение методов детектирования

движения камеры для компенсации


погрешности показаний IMU-сенсора
Кравченко И.С.
kraftjrivo@gmail.com
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Введение
• В рамках задачи реализации
VR-трекинга применяются
IMU-устройства
(Intertial Measurement Unit)
• Работа с IMU всегда сопряжена с
компенсацией различного рода
погрешностей
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Проблема
• В частности, нередки случаи, когда, при статичном
положении IMU появляется дрейф показаний сенсоров
• Поэтому для осуществления компенсации бывает
необходимо знать находится ли устройство в движении
или же оно относительно статично
• Одним из вариантов решения этой задачи является
использование данных с камеры
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Задачи работы
• Таким образом, были поставлены задачи:
• создать алгоритм автоматического детектирования движения
камеры
• по возможности обеспечить вывод не только самого факта
движения камеры, но и его скорость
• обеспечить достаточную производительность метода
• проверить работоспособность метода
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе поблочной разности яркости пикселей

• Основан на предположении, что кадры, между которыми


происходит движение, будут значительно различаться по
суммарной яркости пикселей
• Несколько оговорок:
• Во-первых, нужно помнить о возможности наличия динамических
объектов на сцене, они могут вызвать ложную реакцию
• Во-вторых, ложную реакцию может также вызвать изменение
освещённости сцены
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе поблочной разности яркости пикселей


• Итоговый алгоритм:
1. Суммируются яркости пикселей блоков размера WхW, расставленных на
интервале T, текущего кадра
2. Получившееся значение делится на сумму яркостей пикселей всего
текущего кадра.
3. Находится разность по модулю результатов, полученных на шаге 2 для
текущего и предыдущего кадров
4. Она сравнивается с порогом S. Если порог превышен, камера двигалась,
иначе – нет.
5. Загружается следующий кадр и алгоритм переходит к шагу №1.
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе поблочной разности яркости пикселей


Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе алгоритма вычисления


оптического потока Лукаса-Канаде
• Основан на предположении, что группа минимально
сдвинувшихся локальных точек принадлежит фону
• Алгоритм позволяет не только определить наличие
движения камеры, но и скорость смещения фона
• Уязвим к ситуациям, когда динамические объекты
движутся медленнее фона
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе алгоритма вычисления


оптического потока Лукаса-Канаде
• Итоговый алгоритм:
• 1. Выделяются ключевые точки на кадре.
• 2. Вычисляется их оптический поток методом Лукаса-Канаде
• 3. Находится минимально сдвинувшаяся точка.
• 4. Находятся разности среднеквадратичного смещения всех точек со смещением
минимальной
• 5. Отсеиваются те точки, разности которых оказались по модулю больше порога S
• 6. Вычисляется среднее смещение по X и по Y среди оставшихся точек
• 7. Получившиеся значения – приблизительная скорость смещения фона по двум осям
• 8. Если точек >= 5, следующий кадр обрабатывается с шага 2, иначе – с шага 1
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе алгоритма вычисления оптического потока


Лукаса-Канаде
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Метод на основе алгоритма вычисления оптического потока


Лукаса-Канаде
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Результаты
Реальное движение камеры
Метод на основе поблочной разности
яркости пикселей

Метод на основе алгоритма вычисления


оптического потока Лукаса-Канаде
Применение методов детектирования движения камеры для компенсации погрешности показаний IMU-сенсора

Выводы
• Судя по полученным результатам, в ситуациях, когда
нужно знать только сам факт наличия движения камеры
первый метод подходит лучше
• Второй метод имеет преимущество, когда нужно знать
скорость смещения фона по двум осям, но он не устойчив
к размытию картинки с камеры
Спасибо за внимание!
www.ifmo.ru

Вам также может понравиться