TCNICAS DE CALIBRADO DE CMARAS

Carlos Ricolfe Viala Antonio Jos Snchez Salmern Ral Simarro Fernndez {cricolfe, asanchez, rausifer}@isa.upv.es Departamento de Ingeniera de Sistemas y Automtica Universidad Politcnica de Valencia

Resumen
La calibracin de una cmara representa un paso importante para procesos de reconstruccin 3D o sensorizacin mediante una cmara. Con la calibracin de la cmara se consiguen estimar los parmetros intrnsecos y extrnsecos de la misma los cuales son necesarios para realizar la reconstruccin 3D del entorno y situar la cmara en el mismo. En este artculo se presentan una serie de mtodos que se utilizan en la actualidad para la calibracin de cmaras. Palabras Clave: Calibracin de cmaras, tcnicas lineales, restricciones.

puede solucionar para obtener los elementos de la matriz de proyeccin M. El objetivo es presentar diferentes tcnicas para la estimacin de la matriz de proyeccin a partir de las coordenadas de los puntos en la imagen y en el escenario. Los mtodos que se presentan son soluciones cerradas. No se plantea ninguna tcnica basada en tcnicas iterativas de optimizacin.

ESTIMACIN LINEAL DE LA MATRIZ DE PROYECCIN

INTRODUCCION

Cuando se utiliza una escena conocida para estimar los elementos de la matriz M de proyeccin, se parte de la posicin conocida de los puntos en el mundo 3D respecto a su sistema de referencia ( xw , y w , z w ) y de la posicin de los puntos correspondientes en la imagen (u , v ) respecto al sistema de coordenadas de la imagen. La transformacin entre los dos puntos esta dada por la matriz de proyeccin M. q=M p

El proceso de calibracin de una cmara consiste en estimar los parmetros intrnsecos y extrnsecos de la misma. Este proceso se puede realizar en dos pasos. Primero se estima la matriz de proyeccin M y despus se estiman los parmetros intrnsecos y extrnsecos de la cmara a partir de la matriz de proyeccin M estimada en el paso anterior. En algunas aplicaciones, este paso no es necesario realizarlo. La estimacin de la matriz de proyeccin M puede ser realizado partiendo de diferentes escenarios conocidos o desconocidos. En el caso de tener una escena conocida, se sitan una serie de puntos en el mundo 3D cuyas posiciones respecto al sistema de coordenadas del mundo 3D son conocidas. Se recoge una imagen de la escena y se obtienen la posicin en pxeles de los correspondientes puntos en la imagen. El conjunto de posiciones de los puntos 3D r T p = [ X , Y , Z , T ] junto con sus correspondientes r T posiciones en la imagen q = [U , V , S ] se utiliza para definir una ecuacin lineal del sistema, la cual se

U m11 V = m 21 S m31
siendo:

m12 m22 m32

m13 m23 m33

X m14 Y m24 Z m34 T

u=

V X Y Z U ; v = ; xw = ; yw = ; zw = S S T T T

Para tener una notacin ms compacta se va a separar la matriz de proyeccin M en varias submatrices, tenindose:

m1 M = m2 m3
1 2 3

m14 m1 2 m 24 = m 3 m34 m

donde m , m , m , son los vectores fila de la matriz M y m1 , m2 , m3 son los 1x3 vectores fila de la matriz M sin la ltima coordenada.

2.1 La relacin que existe entre las coordenadas de los puntos utilizados para la calibracin y los elementos de la matriz de proyeccin se conoce como Direct Linear Transformation (DLT). Se tiene un punto 3D p junto con su equivalente en la imagen 2D q, con la transformacin que los relaciona q = M p . Por lo tanto, el vector q y el vector resultado de Mp tienen que ser iguales. Dado que estn expresados en coordenadas homogneas, esta condicin de igualdad se traduce en que ambos dos tengan la misma direccin pero pueden tener distinto mdulo. Por lo tanto se tiene que cumplir que el producto vectorial de ambos sea nulo. Esto garantiza que tienen la misma direccin. qM p = 0 Para un punto p en el espacio 3D, el vector Mp esta definido de la siguiente forma:
m1 p M p = m 2 p 3 m p

SOLUCIN NO HOMOGNEA

Una alternativa para obtener los elementos de la matriz de proyeccin contenidos en el vector m es expresar la ecuacin (1) en forma no homognea imponiendo que m34 = 1 . Esta decisin esta justificada desde el punto de vista que la solucin esta sujeta a un factor de escala ya que la matriz de proyeccin es homognea. m34 es la componente t z del vector de traslacin que sita a la cmara en el sistema de referencia del mundo 3D. Por lo tanto, este elemento nunca slo en casos muy concretos ser nulo para los cuales no ser valido este mtodo. Teniendo esto en cuenta, la expresin (1) se transforma en: A'm' = b (2) siendo A' la matriz formada por la once primeras columnas de la matriz A y b el vector columna con la doceava columna de A. En este caso el vector m' son los elementos de la matriz de proyeccin menos m34 , el cual no es necesario estimar su valor ya que este se ha forzado a 1. Para obtener el valor del vector m' que satisface la expresin (2) se recurre a un algoritmo de mnimos cuadrados de la siguiente forma: (3) Con esto se consigue estimar una matriz de proyeccin M siendo el elemento m34 = 1 . La matriz de proyeccin M definitiva se obtendr multiplicando cada uno de los elementos calculados por la componente t z del vector de traslacin de la cmara en el sistema de coordenadas 3D. Este puede ser uno de los inconvenientes que presenta este mtodo. Es necesario conocer la traslacin de la cmara a lo largo del eje Z del sistema de coordenadas del mundo 3D para saber cual es el factor de escalado de la matriz obtenida. Una forma alternativa de conocer el factor de escalado de la matriz de proyeccin obtenida es mediante la restriccin m3 = 1 . El factor de escalado que hace que el modulo de vector m3 de la matriz obtenida sea unitario, coincide con la traslacin de la cmara a lo largo del eje Z y por lo tanto se puede utilizar para escalar la matriz de proyeccin obtenida por el mtodo de ajuste por mnimos cuadrados. 2.2 SOLUCIN HOMOGNEA

Por lo tanto el producto vectorial de ambos vectores ser: Vm 3 p Sm 2 p q M p = Sm1 p Um 3 p = 0 Um 2 p Vm1 p que organizado en funcin de los elementos de la matriz de proyeccin queda: T 0 Sp T Vp T m1 T T Up T m 2 = 0 0 Sp m 3T Vp T Up T 0 Dado que la tercera fila es una combinacin lineal de las dos primeras, ya que se trabaja en coordenadas homogneas, slo se tienen dos ecuaciones linealmente independientes con cada pareja de puntos m 1T 0 Sp T Vp T 2 T T m = 0 Up T 3 T 0 Sp m Esto se puede representar de forma genrica (1) donde el vector m son los elementos de la matriz de proyeccin M colocados en un vector columna, los cuales son desconocidos y A es la matriz formada por las coordenadas de los puntos de inters tanto en la imagen como en el mundo 3D, la cuales son conocidas.

m' = A'T A'

A'T b

Am = 0

m= m

3 T

Otra alternativa para obtener los elementos de la matriz de proyeccin contenidos en el vector m es utilizar la ecuacin (1) en forma homognea. Dada que la solucin obvia m=0 no tiene inters, es necesario imponer algn tipo de restriccin. Un

vector m que sea solucin de la expresin (1), y cualquier otro vector km son igual de vlidos, ya que la norma del vector m no es importante debido a que este, est definido con un factor de escala. 2.2.1 Con restriccin ||m||=1 Dado que no hay una solucin exacta para solucin para A m = 0 , se puede minimizar la norma de

esta nueva restriccin es necesario evaluar una nueva funcin de Lagrange. Calculando explcitamente los coeficientes de M en funcin de los parmetros que componen la matriz de proyeccin se encuentra la particularidad de que r3 = m3 , en donde r3 corresponde con la tercera fila de la matriz de rotacin. Es fcilmente demostrable que
2 2 2 r31 + r32 + r33 =1

A m sujeta a la restriccin m = 1 Esto es lo

mismo que encontrar el mnimo del cociente

por lo tanto

Am / m .
Para la obtencin de m se trata de resolver un problema de minimizacin de un ndice sujeto a restricciones. El ndice en este caso es

m3

2 2 2 = m31 + m32 + m33 =1

Por lo tanto se puede obtener el vector m con los parmetros de la matriz de proyeccin M minimizando la ecuacin A m 2 = 0 teniendo en cuenta esta ltima restriccin m3 (1) se puede escribir de la forma:
2

J = m T AT A m sujeto a la restriccin m = 1 . La correspondiente

funcin de Lagrange es
T T

= 1 . La ecuacin

L = m A Am m m 1
T

D m9 + F m3 = 0
siendo

Obteniendo el mnimo de esta funcin realizando la derivada respecto de m e igualando a cero se tiene

L = 2 AT A m 2m = 0 m
AT A m = m

lo que se puede expresar como Por lo tanto, la solucin m es el vector propio unitario de la matriz A A con valor propio ms pequeo. Este vector se pude obtener a partir de la descomposicin en valores propios de la matriz simtrica definida positiva A A . 2.2.2 Con restriccin ||m3||=1 Faugeras [1] contina su anlisis examinando la matriz de transformacin M cuando el sistema de coordenadas cambia. Se define una nueva matriz de transformacin M' que incluye un cambio en el sistema de coordenadas del mundo 3D respecto del inicial.
T T

x1 0 D = .. xn 0

y1 0 .. yn 0

z1 0 .. zn 0

1 0 0 x1 .. .. 1 0 0 xn

0 y1 .. 0 yn

0 z1 .. 0 zn

0 u1 1 v1 .. .. 0 un 1 vn

u1 x1 u x 1 1 F = .. u n xn vn xn

u1 y1 u1 y1 .. u n yn vn y n

u1 z1 u1 z1 .. un zn vn z n

El vector m que contiene los parmetros de la matriz de proyeccin a estimar tambin se divide en dos segn:

m9 = [m1

m14 m2 m24 T m3 = [m3 ]

m34 ]

La funcin a minimizar es

Q = D m9 + F m3
sujeta a la restriccin

R T P = P 0 1

m3

=1

donde R' y T' son la matriz de rotacin y el vector de traslacin del anterior sistema de coordenadas al nuevo. Su anlisis muestra que la solucin no homognea en la cual m34 = 1 , hace que los valores obtenidos para los parmetros intrnsecos dependan del sistema de coordenadas del mundo 3D. Debido a este inconveniente, se impone una nueva restriccin

Si se introduce la restriccin dentro de la funcin a minimizar aplicando multiplicadores de Lagrange se obtiene:

Q = D m9 + F m3 + 1 m3
que desarrollado se tiene T T Q = m9 D T D m9 + m3 F T F m3 +
T T

(4)

m3

= 1 . Para la obtencin del vector m sujeto a

+ m9 D T F m3 + m3 F T D m9 + 1 m3 m3
T

Realizando derivadas parciales respecto a m9 y m3 .

Q = F T F m3 + F T D m9 m3 = 0 L3
de estas expresiones se obtiene que:

Q = D T D m9 + D T F m3 = 0 m9

(F F F
T

m9 = D T D
T T

( ) D Fm D (D D ) D F )m
1 T 1 T

representan los parmetros extrnsecos de la cmara con ri sus correspondientes columnas y A son los intrnsecos. U 0 A= 0 V0 0 0 1 (5)

3 3

= m3

la ltima expresin indica que m3 es un vector propio de la matriz

G = F T F F T D DT D

G es una matriz simtrica positiva de 3x3 y por lo tanto tiene sus valores propios positivos. m3 es un vector propio de G asociado a un valor propio . El valor de m3 es el vector propio asociado al valor propio mas pequeo a la matriz G. Para obtener su valor es necesario calcular los valores propios de G, escoger el ms pequeo el cual tendr asociado el vector propio que minimizar la expresin (4). Cuando se ha obtenido m3 se puede obtener m9 con la ecuacin (5). Los elementos de la matriz de proyeccin M se obtienen a partir de los vectores m9 y m3 . Dado que el signo de m3 no est definido, existen dos posibles soluciones de la matriz de proyeccin, M y -M. Se puede elegir una de las dos soluciones sabiendo si el objeto utilizado para la calibracin se encuentra en una situacin, respecto al eje Z del sistema de coordenadas, delante o detrs de la cmara. Si es positivo m34 = t z > 0 . 2.2 MTODO DE ZHANG

DT F

siendo y los factores de escala en el eje U y V, (Uo,Vo) las coordenadas del punto principal de la imagen y es el parmetro que representa la perdida de ortogonalidad de los ejes en la imagen. Si se asume que los puntos de inters estn colocados de forma que su coordenada z=0 el modelo se puede reducir segn q = sA[R t ] p = sA[r1 r2 r3 t ] p = sA[r1 r2 t ] p transformndose el modelo inicial en una homografa H que relaciona las coordenadas de los puntos de la plantilla plana del escenario con sus correspondientes en la imagen.

q = sA[r1

r2

t ]p = H p

Esta homografa puede ser calculada de varias formas con los mtodos descritos en el captulo 3. Si se separan las columnas de la holografa se obtiene que

[h1

h2

h3 ] = sA[r1
T

r2
T

t]

Dado que R es una matriz de rotacin, los vectores que la componen cumplen las restricciones de ortonormalidad, es decir, r1 r1 = r2 r2 y que

r1 r2 = 0 por lo tanto si se extraen los vectores de

rotacin a partir de la ltima expresin se tiene que

h1 A T A 1 h1 = h2 A T A 1 h2

h1 A T A 1h2 = 0
Estas son las dos restricciones bsicas de los parmetros intrnsecos dada una homografa. Para resolver este problema se propone una solucin analtica seguida de una optimizacin no lineal. La matriz A A est compuesta por los parmetros intrnsecos de la cmara de la siguiente forma
B11 A T A 1 = B = B21 B31 1 2 = 2 V0 U 0 2 B12 B22 B32 B13 B23 = B33 U0 (V0 U 0 ) 2 2 (V0 U 0 )2 V0 + +1 2 2 V0 U 0

Zhang [5] propone una tcnica de calibracin basada en al observacin de una plantilla plana desde varias posiciones. La ventaja de este mtodo de calibracin es que permite obtener los parmetros de la cmara fcilmente a partir de una plantilla plana en la cual no es necesario conocer la posiciones de los puntos de inters, ni tampoco es necesario conocer las posiciones de la cmara desde donde se han tomado las imgenes de la misma. La cmara se puede mover simplemente con la mano. Esto hace que sea una tcnica muy flexible ya que los mtodos descritos hasta ahora necesitan de una preparacin exhaustiva de la escena ya que es necesario que los puntos no formen un plano y tambin es necesario conocer las posiciones de los mismos. El modelo de la cmara que utiliza es.

2 2 U (V0 U 0 ) 0 2 2

2
+ 1

Teniendo en cuenta que se trata de una matriz simtrica se puede definir con un vector de 6 elementos de la forma:

b = [B11

B12

B22

B13

B23

B33 ]

q = sA[R t ] p = sA[r1

r2

r3

t ]p

Por lo tanto si la columna i-esima de la matriz H es T T T hi = [hi1 hi 2 hi 3 ] se tiene que hi B hi = vij b siendo
vij = hi1 h j1
T

donde s es un factor de escala dado que las coordenadas de los puntos son homogneas, [R t]

hi1 h j 2 + hi 2 h j1

hi 2 h j 2

hi 3 h j1 + hi1 h j 3

hi 3 h j 2 + hi 2 h j 3

hi 3 h j 3

Con estas expresiones se pueden escribir las

restricciones de los parmetros intrnsecos en dos ecuaciones homogneas en funcin de b de la siguiente forma

parmetros de la cmara es ms elaborada. La exactitud de los resultados con este mtodo es menor.

v11T v 22 T b = 0 T v12
Si se calculan n homografas a partir de n imgenes obtenidas de la plantilla se obtiene un sistema de ecuaciones de la forma Referencias [1] [2] [3] [4] [5] Faugeras O. (1993) Three dimensional computer vision: A geometric viewpoint. The MIT press, Cambridge. Garca J., Lpez M.. (1992) Algebra lineal y geometra. Marfil. Hartley R., Zisserman A. (2000) Multiple view geometry in computer vision. Cambridge Trucco E., Verri A. (1998) Introductory techniques for 3-D computer vision. Prentice Hall Zhang Z. (1999) A flexible new technique for camera calibration. 7th International Conference on Computer Vision.

Vb = 0

donde V es una matriz de dimensiones 2sx6. Si n 3 se tiene una solucin general con solucin nica de b definida con un factor de escala. Si n=2 se puede imponer la restriccin = 0 la cual se aade a las ecuaciones anteriores. La solucin es el vector propio de V V = 0 asociado al valor propio ms pequeo. Cuando se ha estimado b se pueden obtener los parmetros intrnsecos de la cmara que forman la matriz A segn:
T

= B33 B13 + V0 (B12 B13 B11 B23 ) B11

2

V0 = (B12 B13 B11 B23 ) B11 B22 B12

= B11
= B11 B11 B22 B12 2

= B12 U 0 = V0 B13 2
2

Cuando A ha sido estimada, los parmetros extrnsecos se pueden calcular segn:

r1 = sA1h1 ; r2 = sA 1h2 ; r3 = r1 r2 ; t = sA 1h3

obteniendo
1

el

factor
1

de

escala

segn

s = 1 A h1 = 1 A h2 . Por supuesto debido al

ruido en las medidas, los vectores de la matriz de rotacin obtenida no cumplir con las caractersticas de dicha matriz.

CONCLUSIONES

Existen diferentes tcnicas para la obtencin de los parmetros del modelo lineal de la cmara. Las tcnicas basadas en el conocimiento del escenario tienen un proceso de calibracin ms elaborado ya que es necesario confeccionar escenarios con medidas ms o menos exactas de los puntos de inters para realizar la calibracin. La exactitud de estas medidas har que la estimacin de los parmetros de la cmara sea ms o menos ajustada. Por otro lado est el mtodo de Zhang que permite realizar la calibracin de la cmara con un desconocimiento total de la situacin de los puntos de inters en escenario. Sin embargo, con este mtodo es necesario tomar un mayor nmero de imgenes del mismo y la estimacin de los