18698/0236-3933-2017-3-76-94
76 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 77
Кэ Кэ Гэн, Н.А. Чулин
78 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
т
zcif ⋅ [ ui , vi ,1] = mi ⋅ xwf , xwf , xwf ,1 , i = 1, 2;
т
UWV т U [ 0, 01]т ;
UWV т −U [ 0, 01]т ;
[ R l ]3×4 = (2)
UW т V т U [ 0, 01] ;
т
UW т V т −U [ 0, 01] ,
т
где l = L ρ — матрица перемещения камеры; ρ — масштабный коэффициент;
0 −1 0
матрица W = 1 0 0 ; U, V — сингулярное разложение матрицы E = UDV т ,
0 0 1
алгоритм которого представлен в работах [19, 20]; матрица D = diag(k1 , k2 , 0),
k1 ≥ k2 .
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 79
Кэ Кэ Гэн, Н.А. Чулин
80 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
т т
X wf , k = xwf , k , ywf , k , z wf ,k , X wv , k = x wv , k , ywv , k , z wv , k — координаты характерных
точек и центра масса БПЛА в связанной системе координат; RVB , LBV ,k — матри-
цы вращения и перемещения системы координат БПЛА на неподвижную си-
V
стему координат; RW , LVW — матрицы преобразования и перемещения системы
координат камеры на систему координат БПЛА; Rk , Lk — матрицы вращения
и перемещения системы координат первого кадра изображения на систему ко-
ординат второго кадра изображения.
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 81
Кэ Кэ Гэн, Н.А. Чулин
X bf ,k = X bv ,k + RVB ,k X wf ,k .
т
где Vbv = v x bv , v y bv , v z bv — скорость камеры в неподвижной системе координат;
т
X bf ,i = xbf ,i , ybf ,i , zbf ,i — координаты i-го ориентира в неподвижной системе
координат; n — число наблюдаемых ориентиров.
Расширенный вектор состояния камеры на БПЛА и ориентиров карты в не-
подвижной системе координат имеет вид X = [ XV , X M ] .
т
82 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
∂f ( X
ˆ k , uk ) ∂f ( X k , uk )
где Fk = , Gk = — матрицы частных производ-
∂Xˆk
ˆ k ,uk
∂uk ˆ k ,uk
X
X
ных первого порядка (матрица Якоби) при разложении нелинейных функций
f ( Xk , uk ) в ряд Тейлора в окрестности оценки на k-м шаге ( Xˆ k , uk ):
ˆ k , uk ) + ∂f ( X k , uk )
f ( X k , uk ) ≈ f ( X ( ˆ k ).
Xk − X
∂X k ˆ k ,uk
X
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 83
Кэ Кэ Гэн, Н.А. Чулин
Xk
X new ,k = f , j .
X w ,k
Ковариационная матрица нового вектора состояния
Pvv Pvm ∇g X Pvv
Pnew , k = Pmv Pmm ∇g Z Pmm ,
( ∇g X Pvv )т ( ∇g Z Pmm )т ∇g X Pvv ∇g X т + ∇g Z Pmm∇g Z т
( )
где ∇g X , ∇g Z — матрицы Якоби g XV , k , X wf ,, kj для XV ,k и Zk .
Ассоциация данных для алгоритма SLAM. Во-первых, необходимо обна-
ружить, есть ли новые ориентиры в области S1 по алгоритму ассоциации дан-
ных. В настоящее время наиболее часто используемым алгоритмом ассоциации
данных является алгоритм ближайшего соседа [22, 23] ввиду его простоты и не-
большого объема вычислений. В этом алгоритме для ассоциации каждого
наблюдаемого ориентира проводится сравнение расстояния до существующих
ориентиров с заранее заданным порогом ( Gate ). Если расстояние от наблюдае-
мого до уже существующего на карте ориентира меньше определенного порога,
то наблюдаемый ориентир совмещается с существующим ориентиром. Когда на
84 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 85
Кэ Кэ Гэн, Н.А. Чулин
86 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
Рис. 6. Результаты эксперимента навигации по монокулярным данным 583 (а) и 584 (б)
кадров изображения, вычисленные координаты ориентиров из кадров 583 и 584 (в), траек-
тория движения камеры и координаты ориентиров в неподвижной системе координат (г)
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 87
Кэ Кэ Гэн, Н.А. Чулин
88 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
Рис. 9. Результаты эксперимента навигации по монокулярным данным 1604 (а) и 1605 (б)
кадров изображения, вычисленные координаты ориентиров из кадров 1604 и 1605 (в), тра-
ектория движения камеры и координаты ориентиров в неподвижной системе координат (г)
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 89
Кэ Кэ Гэн, Н.А. Чулин
ЛИТЕРАТУРА
1. Cheeseman P., Smith R., Self M. A stochastic map for uncertain spatial relationships // 4th Int.
Symp. on Robotic Research. 1987. P. 467–474.
2. Biswas J., Veloso M. Depth camera based indoor mobile robot localization and navigation // IEEE
Int. Conf. on Robotics and Automation. 2012. P. 1697–1702.
DOI: 10.1109/ICRA.2012.6224766 URL: http://ieeexplore.ieee.org/document/6224766
3. Tu Y., Huang Z., Zhang X., et al. The mobile robot SLAM based on depth and visual sensing in
structured environment // Robot Intelligence Technology and Applications 3. 2015. P. 343–357.
DOI: 10.1007/978-3-319-16841-8_32
URL: https://link.springer.com/chapter/10.1007/978-3-319-16841-8_32
4. Choi Y.W., Kim K.D., Choi J.W., Lee S.G. Laser image SLAM based on image matching for navi-
gation of a mobile robot // Journal of the Korean Society for Precision Engineering. 2013. Vol. 30.
No. 2. P. 177–184. DOI: 10.7736/KSPE.2013.30.2.177
URL: http://koreascience.or.kr/article/ArticleFullRecord.jsp?cn=JMGHBV_2013_v30n2_177
5. Fabresse F.R., Caballero F., Maza I., Ollero A. Localization and mapping for aerial manipulation
based on range-only measurements and visual markers // IEEE Int. Conf. on Robotics and Auto-
mation (ICRA). 2014. P. 2100–2106. DOI: 10.1109/ICRA.2014.6907147
URL: http://ieeexplore.ieee.org/document/6907147
6. Roh H.C., Sung C.H., Kang M.T., Chung M.J. Fast SLAM using polar scan matching and particle
weight based occupancy grid map for mobile robot // 8th Int. Conf. on Ubiquitous Robots and
Ambient Intelligence (URAI). 2011. P. 756–757. DOI: 10.1109/URAI.2011.6146004
URL: http://ieeexplore.ieee.org/document/6146004
7. Qu L., He S., Qu Y. An SLAM algorithm based on improved UKF // 24th Chinese Control and
Decision Conf. (CCDC). 2012. P. 4154–4157. DOI: 10.1109/CCDC.2012.6243112
URL: http://ieeexplore.ieee.org/document/6243112
90 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
8. Chatterjee A., Ray O., Chatterjee A., Rakshit A. Development of a real-life EKF based SLAM sys-
tem for mobile robots employing vision sensing // Expert Systems with Applications. 2011. Vol. 38.
No. 7. P. 8266–8274. DOI: 10.1016/j.eswa.2011.01.007
URL: http://www.sciencedirect.com/science/article/pii/S0957417411000273
9. Sola J., Vidal-Calleja T., Civera J., Montiel J.M.M. Impact of landmark parametrization on mo-
nocular EKF–SLAM with points and lines // Int. Journal of Computer Vision. 2012. Vol. 97. No. 3.
P. 339–368. DOI: 10.1007/s11263-011-0492-5
URL: https://link.springer.com/article/10.1007/s11263-011-0492-5
10. Consistency of the EKF–SLAM algorithm / T. Bailey, J. Nieto, J. Guivant, M. Stevens, E. Nebot //
IEEE/RSJ Int. Conf. on Intelligent Robots and Systems. 2006. P. 3562–3568.
DOI: 10.1109/IROS.2006.281644 URL: http://ieeexplore.ieee.org/document/4058955
11. Geng Ke Ke. An improved EKF–SLAM algorithm for mobile robot // Интернаука. 2016. № 2.
С. 74–78.
12. Krig S. Computer vision metrics: Survey, taxonomy, and analysis. Apress, 2014.
13. Smith S.M., Brady J.M. SUSAN — a new approach to lowlevel image processing // Int. Journal
of Computer Vision. 1997. Vol. 23. No. 1. P. 45–78. DOI: 10.1023/A:1007963824710
URL: https://link.springer.com/article/10.1023%2FA%3A1007963824710
14. Гэн Кэ Кэ, Чулин Н.А. Метод реконструкции облачно-точечной карты окружающей сре-
ды на основе монокулярного компьютерного зрения в режиме реального времени // Меж-
дународный журнал экспериментального образования. 2015. № 12-3. С. 437–442.
URL: https://expeducation.ru/ru/article/view?id=9163
15. Di Stefano L., Mattoccia S., Mola M. An efficient algorithm for exhaustive template matching
based on normalized cross correlation // Proc. 12th Int. Conf. on Image Analysis and Processing.
2003. P. 322–327. DOI: 10.1109/ICIAP.2003.1234070
URL: http://ieeexplore.ieee.org/document/1234070
16. Armangué X., Salvi J. Overall view regarding fundamental matrix estimation // Image and
Vision Computing. 2003. Vol. 21. No. 2. P. 205–220. DOI: 10.1016/S0262-8856(02)00154-3
URL: http://www.sciencedirect.com/science/article/pii/S0262885602001543
17. Camera calibration toolbox for Matlab // Vision.caltech: веб-сайт
URL: http://www.vision.caltech.edu/bouguetj/calib_doc (дата обращения: 19.10.2016).
18. Hartley R.I. Estimation of relative camera positions for uncalibrated cameras // European Conf.
on Computer Vision. 1992. P. 579–587. DOI: 10.1007/3-540-55426-2_62
URL: https://link.springer.com/chapter/10.1007/3-540-55426-2_62?no-access=true
19. Hartley R., Zisserman A. Multiple view geometry in computer vision. Cambridge University
Press, 2003.
20. Bunschoten R., Krose B. Visual odometry from an omnidirectional vision system // IEEE Int.
Conf. on Robotics and Automation. 2003. Vol. 1. P. 577–583. DOI: 10.1109/ROBOT.2003.1241656
URL: http://ieeexplore.ieee.org/document/1241656
21. Nistér D., Naroditsky O., Bergen J. Visual odometry // Proc. 2004 IEEE Computer Society Conf.
on Computer Vision and Pattern Recognition. 2004. No. 1. P. 652–659.
DOI: 10.1109/CVPR.2004.1315094 URL: http://ieeexplore.ieee.org/document/1315094
22. A solution to the simultaneous localization and map building (SLAM) problem / M.G. Dis-
sanayake, P. Newman, S. Clark, H.F. Durrant-Whyte, M. Csorba // IEEE Transactions on Robotics
and Automation. 2001. Vol. 17. No. 3. P. 229–241. DOI: 10.1109/70.938381
URL: http://ieeexplore.ieee.org/document/938381
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 91
Кэ Кэ Гэн, Н.А. Чулин
23. Bailey T. Mobile robot localization and mapping in extensive outdoor environments.
The University of Sydney, 2002.
24. Гэн Кэ Кэ, Чулин Н.А. Алгоритм локальной ассоциации данных SLAM на основе улуч-
шенного муравьиного алгоритма // Наука и образование: научное издание МГТУ
им. Н.Э. Баумана. 2015. С. 340–355. DOI: 10.7463/1015.0818707
URL: http://technomag.edu.ru/jour/article/view/165
Abstract Keywords
The paper proposes an improved algorithm for the ex- UAV, improved algorithm for
tended Kalman filter for simultaneous localization and EKF–SLAM, data fusion, charac-
mapping (EKF–SLAM), allowing the essential reduction teristic points
of the amount of computation required by adapting the
range of observation in real time in different three-
dimensional environments for unmanned aerial vehicles
(UAVs). We built cloudy-point environment map and
calculated coordinates of the characteristic points using
8-point normalized algorithm based on computer vision
monocular. The improvement is achieved by adaptive
dynamic restriction of the current dimensions of the
environmental observable part and the number of ob-
servable targets for UAV positioning correction. The
simulation results show that the proposed method signifi-
cantly reduces the volume of calculations, while main-
taining the accuracy of localization, and can be applied to
the UAV navigation
92 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3
Алгоритм навигации беспилотного летательного аппарата на основе улучшенного алгоритма…
REFERENCES
[1] Cheeseman P., Smith R., Self M. A stochastic map for uncertain spatial relationships. 4th Int.
Symp. on Robotic Research, 1987, pp. 467–474.
[2] Biswas J., Veloso M. Depth camera based indoor mobile robot localization and navigation. IEEE
Int. Conf. on Robotics and Automation, 2012, pp. 1697–1702. DOI: 10.1109/ICRA.2012.6224766
Available at: http://ieeexplore.ieee.org/document/6224766
[3] Tu Y., Huang Z., Zhang X., et al. The mobile robot SLAM based on depth and visual sensing in
structured environment. Robot Intelligence Technology and Applications 3, 2015, pp. 343–357.
DOI: 10.1007/978-3-319-16841-8_32 Available at: https://link.springer.com/chapter/10.1007/
978-3-319-16841-8_32
[4] Choi Y.W., Kim K.D., Choi J.W., Lee S.G. Laser image SLAM based on image matching for
navigation of a mobile robot. Journal of the Korean Society for Precision Engineering, 2013, vol. 30,
no. 2, pp. 177–184. DOI: 10.7736/KSPE.2013.30.2.177 Available at: http://koreascience.or.kr/article/
ArticleFullRecord.jsp?cn=JMGHBV_2013_v30n2_177
[5] Fabresse F.R., Caballero F., Maza I., Ollero A. Localization and mapping for aerial manipulation
based on range-only measurements and visual markers. IEEE Int. Conf. on Robotics and Automa-
tion (ICRA), 2014, pp. 2100–2106. DOI: 10.1109/ICRA.2014.6907147
Available at: http://ieeexplore.ieee.org/document/6907147
[6] Roh H.C., Sung C.H., Kang M.T., Chung M.J. Fast SLAM using polar scan matching and parti-
cle weight based occupancy grid map for mobile robot. 8th Int. Conf. on Ubiquitous Robots and
Ambient Intelligence (URAI), 2011, pp. 756–757. DOI: 10.1109/URAI.2011.6146004
Available at: http://ieeexplore.ieee.org/document/6146004
[7] Qu L., He S., Qu Y. An SLAM algorithm based on improved UKF. 24th Chinese Control and
Decision Conf. (CCDC), 2012, pp. 4154–4157. DOI: 10.1109/CCDC.2012.6243112
Available at: http://ieeexplore.ieee.org/document/6243112
[8] Chatterjee A., Ray O., Chatterjee A., Rakshit A. Development of a real-life EKF based SLAM
system for mobile robots employing vision sensing. Expert Systems with Applications, 2011, vol. 38,
no. 7, pp. 8266–8274. DOI: 10.1016/j.eswa.2011.01.007 Available at: http://www.sciencedirect.com/
science/article/pii/S0957417411000273
[9] Sola J., Vidal-Calleja T., Civera J., Montiel J.M.M. Impact of landmark parametrization on
monocular EKF–SLAM with points and lines. Int. Journal of Computer Vision, 2012, vol. 97, no. 3,
pp. 339–368. DOI: 10.1007/s11263-011-0492-5
Available at: https://link.springer.com/article/10.1007/s11263-011-0492-5
[10] Bailey T., Nieto J., Guivant J., Stevens M., Nebot E. Consistency of the EKF–SLAM algorithm.
IEEE/RSJ Int. Conf. on Intelligent Robots and Systems, 2006, pp. 3562–3568.
DOI: 10.1109/IROS.2006.281644 Available at: http://ieeexplore.ieee.org/document/4058955
[11] Ke Ke Geng. An improved EKF–SLAM algorithm for mobile robot. Internauka, 2016, no. 2,
pp. 74–78.
[12] Krig S. Computer vision metrics: Survey, taxonomy, and analysis. Apress, 2014.
[13] Smith S.M., Brady J.M. SUSAN — a new approach to lowlevel image processing. Int. Journal
of Computer Vision, 1997, vol. 23, no. 1, pp. 45–78. DOI: 10.1023/A:1007963824710
Available at: https://link.springer.com/article/10.1023%2FA%3A1007963824710
[14] Geng Ke Ke, Chulin N.A. Environment reconstruction method with cloudy-point maps based
on real-time monocular computer vision. Mezhdunarodnyy zhurnal eksperimental'nogo obra-
zovaniya [International Journal of Experimental Education], 2015, no. 12-3, pp. 437–442.
Available at: https://expeducation.ru/ru/article/view?id=9163
ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3 93
Кэ Кэ Гэн, Н.А. Чулин
[15] Di Stefano L., Mattoccia S., Mola M. An efficient algorithm for exhaustive template matching
based on normalized cross correlation. Proc. 12th Int. Conf. on Image Analysis and Processing, 2003,
pp. 322–327. DOI: 10.1109/ICIAP.2003.1234070 Available at: http://ieeexplore.ieee.org/
document/1234070
[16] Armangué X., Salvi J. Overall view regarding fundamental matrix estimation. Image and
Vision Computing, 2003, vol. 21, no. 2, pp. 205–220. DOI: 10.1016/S0262-8856(02)00154-3
Available at: http://www.sciencedirect.com/science/article/pii/S0262885602001543
[17] Camera calibration toolbox for Matlab. vision.caltech: website
Available at: http://www.vision.caltech.edu/bouguetj/calib_doc (accessed 19.10.2016).
[18] Hartley R.I. Estimation of relative camera positions for uncalibrated cameras. European Conf.
on Computer Vision, 1992, pp. 579–587. DOI: 10.1007/3-540-55426-2_62
Available at: https://link.springer.com/chapter/10.1007/3-540-55426-2_62?no-access=true
[19] Hartley R., Zisserman A. Multiple view geometry in computer vision. Cambridge University
Press, 2003.
[20] Bunschoten R., Krose B. Visual odometry from an omnidirectional vision system. IEEE Int.
Conf. on Robotics and Automation, 2003, vol. 1, pp. 577–583. DOI: 10.1109/ROBOT.2003.1241656
Available at: http://ieeexplore.ieee.org/document/1241656
[21] Nistér D., Naroditsky O., Bergen J. Visual odometry. Proc. 2004 IEEE Computer Society Conf.
on Computer Vision and Pattern Recognition, 2004, no. 1, pp. 652–659.
DOI: 10.1109/CVPR.2004.1315094 Available at: http://ieeexplore.ieee.org/document/1315094
[22] Dissanayake M.G., Newman P., Clark S., Durrant-Whyte H.F., Csorba M. A solution to the
simultaneous localization and map building (SLAM) problem. IEEE Transactions on Robotics and
Automation, 2001, vol. 17, no. 3, pp. 229–241. DOI: 10.1109/70.938381
Available at: http://ieeexplore.ieee.org/document/938381
[23] Bailey T. Mobile robot localization and mapping in extensive outdoor environments.
The University of Sydney, 2002.
[24] Gen Ke Ke, Chulin N.A. Algorithm of particle data association for SLAM based on improved
ant algorithm. Nauka i obrazovanie: nauchnoe izdanie MGTU im. N.E. Baumana [Science and
Education: Scientific Publication of BMSTU], 2015, pp. 340–355. DOI: 10.7463/1015.0818707
Available at: http://technomag.edu.ru/jour/article/view/165
94 ISSN 0236-3933. Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2017. № 3