ESTUDIO COMPARATIVO DE ESTIMADORES NO LINEALES DEL TENSOR DE ESTRUCTURA LOCAL

C.A. Casta no Moraga

Centro de Tecnolog a M edica Departamento de Se nales y Comunicaciones Universidad de Las Palmas de Gran Canaria e-mail: ccasmor@ctm.ulpgc.es

J. Ruiz Alzola
Centro de Tecnolog a M edica Departamento de Se nales y Comunicaciones Universidad de Las Palmas de Gran Canaria e-mail: jruiz@ctm.ulpgc.es

Abstract Local structure tensor is a basic tool in image processing and computer vision, since it encodes valuable structure information, such as orientation and local energy. In this paper, we present a method to improve energy estimators of the structure tensor based on nonlinear diffusion. Furthermore, we perform a comparative analysis on the quality of different estimators presented in the literature, measuring the precision in corner detection, since it is one of the more important applications of the structure tensor.

En este art culo, se exponen los m etodos de gradiente (Secc. II-A), tanto lineales como no lineales, y se proponen versiones no lineales de los tensores de estructura basados en ltros de cuadratura (Secc. II-B). Adem as, se realiza un estudio comparativo de la calidad de los distintos estimadores utilizando la detecci on de esquinas como criterio ltimo, se presentan las principales de clasicaci on. Por u conclusiones extra das de nuestro trabajo. DEL T ENSOR DE E STRUCTURA L OCAL II. E STIMACI ON El tensor de estructura local de una imagen I (x) en el punto x Rm es una matriz m m sim etrica y semidenida positiva que contiene la informaci on sobre la intensidad y la orientaci on de la estructura en el entorno de dicho punto. El lector interesado puede encontrar la forma de interpretar la informaci on proporcionada por el tensor de estructura en [9], [2]. En cuanto a la forma de estimaci on, se distinguen dos m etodos [6]. A. M etodos de Gradiente Estos m etodos construyen una matriz inicial a partir del producto externo del gradiente: T(x0 ) = I (x0 )I (x0 )T . Esta matriz no contiene m as informaci on que la proporcionada inicialmente por el gradiente. Sin embargo, tiene la ventaja de que se puede suavizar sin efectos de cancelaci on en las zonas donde los gradientes tienen signos opuestos, como sucede, por ejemplo, a ambos lados de una l nea na [10]. As pues, seg un el tipo de suavizado que se realice, obtendremos distintas estimaciones del tensor de estructura. 1) Versi on Lineal: La versi on cl asica del tensor de estructura presentada en [1] suaviza los tensores mediante una convoluci on de las componentes del tensor con un Kernel gaussiano G con desviaci on t pica , tal como muestra la siguiente ecuaci on: T(x) = G2 (1 I (x0 ) 1 I (x0 )T ) (1)

I. I NTRODUCCI ON El tensor de estructura es hoy d a una de las herramientas b asicas en el procesado de im agenes. Inicialmente propuesto por Bigun [1], este descriptor permite codicar la informaci on de estructura en el entorno de un punto y, a diferencia de otros como el gradiente, recoge informaci on tanto en la direcci on de m axima variaci on de se nal, como en la ortogonal [2]. Por eso, no es de extra nar que su empleo est e tan extendido en todo tipo de aplicaciones, como la detecci on autom atica de bordes y esquinas [3], an alisis de estructuras [2], estimaci on ptico y de la orientaci del ujo o on [4], ltrado anis otropo de im agenes [5], an alisis de texturas y segmentaci on [6], etc. Debido al inter es despertado, es l ogico que la forma m as apropiada de estimarlo sea un continuo debate. La literatura presenta dos m etodos distintos: los que se basan en el producto externo del gradiente [1] y los que utilizan un banco de ltros en cuadratura junto con un an alisis en frecuencia (asociado a los conceptos de frecuencia y fase local) [7]. Para mejorar ltimos no la calidad de la estimaci on, aunque para estos u es estrictamente necesario, se suele suavizar el resultado mediante la convoluci on con un ltro gaussiano, que aporta coherencia espacial. M as recientemente, se han propuesto versiones no lineales de los tensores de estructura basados en el gradiente [4], mediante la utilizaci on de una generalizaci on no lineal y anis otropa para campos de datos tensoriales [8]. Las versiones no lineales y anis otropas tienen la ventaja de no difuminar los elementos de estructura, lo que permite mejorar la precisi on en los resultados. Hasta el momento, esta generalizaci on no ha sido llevada a cabo para los otros m etodos.

Este suavizado gaussiano, adem as de reducir el ruido presente en la estimaci on, introduce un factor de escala 2 ya que el tama no del n ucleo para la convoluci on viene

determinado por el valor de este par ametro. Previamente, s olo por motivos de regularizaci on en la estimaci on del gradiente, se suele hacer la convoluci on de la imagen con un ltro gaussiano con desviaci on t pica 1 muy peque na, tal como se justica en [5]. Sin embargo, uno de los principales inconvenientes del suavizado gaussiano es la delocalizaci on de los bordes seg un aumenta el valor de 2 , lo que justica la utilizaci on de m etodos no lineales y anis otrpos. 2) Versi on No Lineal: La convoluci on con un n ucleo gaussiano es equivalente a la resoluci on de la ecuaci on de difusi on (Ec. 2) [11]. Por este motivo, se han propuesto modelos no lineales del tensor de estructura que tienen en cuenta la estructura a la hora de darle coherencia espacial [4]. t I = div (I ) (2)

3) Versi on Anis otropa No Lineal: Del mismo modo que se dene la difusi on no lineal, se puede denir un proceso de difusi on anis otropo. En este caso, a diferencia de la ecuaci on 3, una matriz D(x), denominada matriz de difusi on, es la que favorece el suavizado en la direcci on del borde y lo evita en la direcci on ortogonal. Tal como se demuestra en [13], existe una relaci on entre el tensor de estructura y la matriz de difusi on a trav es de la inversa. t I (x) = div (D(x)I (x) = div (T1 (x)I (x)) (6)

La cantidad de suavizado en un proceso de difusi on viene determinado por el tiempo de difusi on t. La resoluci on num erica de esta ecuaci on implica una discretizaci on del tiempo de difusi on, de forma que t = nt, donde t es el paso temporal en cada una de las n iteraciones. Las versiones no lineales, tal como muestra la Ec. 3, introducen una funci on g (x), llamada difusividad, de forma que se reduce el suavizado seg un aumenta alg un par ametro de estructura, t picamente el m odulo del gradiente. En la literatura se pueden encontrar diversas funciones adecuadas para realizar este trabajo, inuyendo de forma distinta en el resultado nal, tal como se discute ampliamente en [11]. t I (x) = div (g ( I (x)
2

En la literatura, se han propuesto distintas matrices de difusi on que consisten en aplicar alguna de las funciones de difusividad g (x) a los autovalores del tensor de estructura J(x) = I (x) I (x)T , de forma que D(x) = g (J(x)) = S diag (g (i )) S T , donde S es una matriz ortonormal cuyas columnas son los autovectores de J(x) y diag (i ) una matriz diagonal con los autovalores correspondientes [4]. Nuevamente, la generalizaci on de la Ec. 6 para un campo tensorial, pasa por aplicar dicha ecuaci on a cada componente (i, j ) del campo tensorial T(x) [4], [8]:
m

t Ti,j = div (g (
k,l=1

T Tk,l Tk,l )Ti,j )

(7)

Para este paper, tambi en se ha optado por utilizar la Ec. 5 como funci on de difusividad, evitando as introducir m as grados de libertad a la hora de comparar el comportamiento de cada m etodo. B. M etodos de Energ a

)I (x))

(3)

La generalizaci on de la Ec. 3 para un campo tensorial, pasa por aplicar la ecuaci on anterior a cada una de las componentes (i, j ) del tensor T(x), lo que nos conduce a la siguiente ecuaci on [4], [8]:
m

t Ti,j (x) = div (g (

k,l=1

Tk,l (x)

)Ti,j (x))

(4)

Los m etodos de energ a fueron propuestos inicialmente por Knutsson [7] y, a diferencia de los anteriores, no se apoya en el c rculo del gradiente para la estimaci on del tensor, sino que detecta los cambios de fase y frecuencia local haciendo uso de ltros en cuadratura [14]. 1) Estimaci on del Tensor de Estructura: Para el caso de im agenes escalares multidimensionales, se propone la estimaci on del tensor calculando sus N coordenadas qk en una base de N tensores Mk , tal como se muestra a continuaci on [7].
N

N otese que aunque la difusi on se haga de forma independiente para cada componente, la difusividad es la misma para todas ellas y tiene en cuenta la estructura de todas las componentes, por lo que un borde en una de ellas afecta a la difusividad, es decir, la cantidad de suavizado en el resto. En este paper, utilizaremos la funci on de difusividad denida en la ecuaci on 5, donde es una constante peque na para evitar singularidades en el origen. Esta funci on presenta propiedades interesantes que est an bien estudiadas te oricamente en [12]. g ( I (x) ) = 1
2+

T=
k=1

qk

Mk ,

(8)

Las coordenadas qk se obtienen a partir del an alisis en frecuencia de la se nal. Para ello, se hace uso de una serie de ltros paso banda esf ericamente separables, cada uno de ellos orientado en la direcci on establecida por el vector unitario n k , como indica: Q( ) = e(B2 ln2)(ln 0,
4 2

))

, si T n k > 0 resto

(9)

I (x)

(5)

donde es el vector de frecuencias y B el ancho de banda del ltro. Estos ltros se pueden interpretar como funciones

gaussianas en escala logar tmica, orientadas segn n k , centradas en o y una desviaci on t pica B . La cuesti on que queda abierta es la elecci on de las N orientaciones n k que son necesarias. Puesto que el tensor de estructura debe ser invariante a rotaciones de los ltros de cuadratura, el n umero m nimo de direcciones viene determinado por los ejes que pasan por los v ertices de un politopo regular (un hex agono en 2D y un icosaedro en 3D), de forma que el n umero m nimo de orientaciones en un espacio +1) . n-dimensional es N = n(n2 Finalmente, los elementos de la base tensorial {Mk } representan los tensores asociados a las orientaciones de los ltros en cuadratura, por lo que se obtienen mediante su kn T producto externo Mk = n k. 2) Versiones No Lineales: A diferencia de los m etodos de gradiente, la estimaci on del tensor de estructura con la Ec. 8 no requiere un suavizado posterior para proporcionar un tensor de rango completo, ya que condensa la informaci on en todas las direcciones. Sin embargo, un suavizado posterior ayuda, por una parte a reducir el ruido y, por otra, a regularizar el resultado de la estimaci on cuando existe m as de una direcci on dominante en la que var a la se nal [6]. Hasta el momento, la regularizaci on se ha realizado mediante la convoluci on con un n ucleo gaussiano, tal como indica la Ec. 1. Por tanto, parece natural denir una versi on no lineal haciendo uso de la Ec. 4, as como una versi on anis otropa suavizando el resultado con la Ec. 7. III. R ESULTADOS A. Detecci on de esquinas La detecci on autom atica de esquinas es una de las aplicaciones del tensor de estructura que mayor inter es ha despertado en la literatura [4], [3], ya que estos puntos son importantes para muchas aplicaciones de procesado de imagen. Por tanto, parece un buen criterio de clasicaci on de la calidad de las distintas estimaciones analizar la precisi on y la robustez frente al ruido con la que los distintos estimadores propuestos en este art culo son capaces de detectar. En nuestros experimentos, emplearemos el m etodo propuesto en [3] para decidir si un punto es esquina o no. Por tanto, su localizaci on viene determinada por los m aximos locales del autovalor m as peque no del tensor de estructura. Para comparar los resultados, partimos de una imagen con varias estructuras geom etricas a la que a nadimos ruido blanco gaussiano de media nula y diferentes desviaciones t picas N . Despu es, se calculan los tensores de estructura adaptando los respectivos par ametros ( , n t para los distintos procesos de difusi on y f0 y B para la estimaci on de los tensores de la secci on II-B) hasta obtener el mejor resultado posible. La Fig. 1 muestra los resultados obtenidos con cada una de los m etodos estudiados. El nivel de ruido en la imagen es del 30%. Con un aspa roja se presentan las esquinas detectadas con los m etodos de gradiente (Secc. II-A) y con un c rculo azul las detectadas con los de energ a (Secc. II-B), con f0 = /3 y B = 2. La primera gura corresponde a las deniciones cl asicas del tensor de estructura, es decir, las que utilizan un

suavizado gaussiano como el indicado en la Ec. 1 con = 1.4. La gura central corresponde a la versi on no lineal (Ec. 4) y ltima a las versiones suavizadas seg la u un la Ec. 7, donde n t = 1.6 s en todos los casos.

Fig. 1. Localizaci on de esquinas. Aspa Roja: M etodos de Gradiente en secci on II-A. C rculo Azul: M etodos de Energ a en secci on II-B. De arriba a abajo: Suavizado Lineal (Ec. 1), Suavizado No Lineal (Ec. 4), Suavizado Anis otropo No Lineal (Ec. 7)

Repitiendo el experimento descrito anteriormente, es posible ver que el suavizado lineal es el que presenta menor precisi on en la localizaci on de las esquinas, algo que cab a esperar desde el principio, pues este ltrado produce una delocalizaci on en los bordes. Por otra parte, se puede apreciar la presencia de

varios m nimos azules en torno a las esquinas producidos por el efecto Gibbs. Por el contrario, al utilizar suavizado no lineal, no s olo se encuentran las esquinas con mayor precisi on, sino que se detectan algunas que antes se hab an perdido. Adem as, el efecto de doble esquina observado anteriormente ltimo, utilizando un tambi en disminuye y casi desaparece. Por u suavizado anis otropo se obtiene una precisi on pr acticamente igual a la obtenida en el caso no lineal, pero aparecen m as casos rojos de falsa esquina. Sin embargo, el efecto Gibbs s se reduce respecto al caso anterior. La Fig. 2 muestra el error medio cometido en la localizaci on de las esquinas como funci on del ruido en 50 realizaciones de cada experimento. Con el mismo c odigo de colores que en el caso anterior, la l nea continua representa las estimaciones que utilizan un suavizado lineal (Ec. 1), la discontinua corresponde al suavizado no lineal (Ec. 4) y la discontinua con puntos un suavizado anis otropo no lineal (Ec. 7). A la vista de los resultados se puede ver que los m etodos de energ a son menos sensibles al ruido que los equivalentes que utilizan el producto externo del gradiente. Cabe destacar que las versiones lineales producen un error que var a lentamente seg un aumenta el ruido. Sin embargo, las versiones no lineales y anis otropas el error medio cometido tiende a cero para niveles bajos de ruido, aumentando hasta alcanzar valores similares al error del caso lineal cuando el ruido es grande.
3.5

Se ha comprobado que la utilizaci on de m etodos no lineales y anis otropos para ese postprocesado contribuye a reducir el error en la detecci on de puntos de estructura como las esquinas. Por otra parte, se ha podido comprobar que los estimadores basados en el gradiente son m as sensibles al ruido que los estimadores basados en ltros de cuadratura, que resultan m as robustos. ltimo, es necesario destacar que, aunque los resultados Por u obtenidos son esperanzadores, a un es necesario validar estos resultados en otras aplicaciones del tensor de estructura, como ptico o segmentaci ujo o on de texturas. AGRADECIMIENTOS Este trabajo ha sido nanciado por el Ministerio de Educaci on, mediante la concesi on de una beca FPU (Ref: 2002-2774) y por el Ministerio de Ciencia y Tecnolog a (TIC2001-3808). R EFERENCES
[1] J. Bigun and G.-H. Granlund, Optimal orientation detection of linear symmetry. in IEEE First International Conference on Computer Vision - June - London, Great Britain, 1987, pp. 433438. [2] C.-F. Westin, A tensor framework for multimiensional signal processing, Ph.D. dissertation, Linkoping University, Sweden, 1994, dissertation No 348, ISBN 91-7871-421-4. [3] U. Kothe, Edge and junction detection with an improved structure tensor, Pattern Recognition - Lecture Notes in Computer Science, vol. 2781, pp. 2532, 2003. [4] T. Brox, J. Weickert, B. Burgeth, and P. Mrazek, Nonlinear Structure Tensors, 2004. [5] M.-A. Rodriguez-Florido, Procesado anis otropo de campos tensoriales multidimensionales y sus aplicaciones al ltrado y segmentaci on de im agenes m edicas, Ph.D. dissertation, Universidad de Las Palmas de Gran Canaria, Centro de Tecnolog a M edica, 2003. [Online]. Available: http://www.ctm.ulpgc.es/ marf [6] R. San Jose, Local structure tensor for multidimensional signal processing. applications to medical image analysis, Ph.D. dissertation, Universidad de Valladolid, E.T.S. Ingenieros de Telecomunicaci on, 2004. [7] H. Knutsson, Representing local structure using tensors, in 6th Scandinavian Conference on Image Analysis. Oulu, Finland, 1989, pp. 244251. [8] J. Weickert and T. Brox, Diffusion and regularization of vector- and matrix-valued images, Inverse Problems, Image Analysis and Medical Imaging. Contemporary Mathematics, vol. 313, pp. 251268, 2002. [9] C.-F. Westin, S. Maier, H. Mamata, A. Nabavi, F.-A. Jolesz, and R. Kikinis, Processing and visualization for diffusion tensor mri, Medical Image Analysis, vol. 6, no. 2, pp. 93108, June 2002. [10] M.-A. Rodriguez-Florido, K. Krissian, J. Ruiz-Alzola, and C.-F. Westin, Comparison between two restoration techniques in the context of 3d medical imaging, LNCS - Springer-Verlag, vol. 2208, pp. 10311039, 2001. [11] J. Weickert, Anisotropic Diffusion in Image Processing. Teubner-Verlag, 1998. [12] F. Andreu, V. Caselles, J.-I. Diaz, and J. Maz on, Qualitative properties of the total variation ow, Journal of Functional Analysis, vol. 188, no. 2, pp. 516547, Feb 2002. [13] C.-A. Casta no-Moraga, L. Alvarez, M.-A. Rodr guez-Florido, and J. Ruiz-Alzola, Esquema variacional para el ltrado de im agenes m edicas tensoriales, in Actas del XIX Symposium de la Uni on Cient ca de Radio-URSI, Barcelona, Sept. 2004. [14] H. Knutsson and M. Andersson, Whats so good about quadrature lters? in 2003 IEEE International Conference on Image Processing, 2003.

2.5

Error (Num. Pixels)

1.5

0.5

50

Potencia Ruido

100

150

Fig. 2. Error medio de localizaci on frente al ruido en la imagen. En rojo, m etodos de gradiente. En azul, m etodos de energ a. L nea continua: Suavizado lineal. L nea discontinua: Suavizado no lineal. L nea discontinua con puntos: Suavizado anis otropo.

IV. C ONCLUSIONES Motivados por la importancia que tiene el tensor de estructura en las tareas de procesado de im agenes, en este art culo se han estudiado los distintos estimadores que hasta el momento se han propuesto en la literatura: los basados en el producto externo del gradiente y los que utilizan ltros de cuadratura junto con un an alisis en el dominio de la frecuencia. En ambos casos, el suavizado gaussiano inuye en la delocalizaci on de los elementos de estructura, lo que introduce un cierto nivel de incertidumbre.