Tesis Roitman

Facultad de Ingeniera, Universidad de Buenos Aires, Argentina
Tesis de grado de Ingeniera Electronica
Teora y tecnicas de Fusion de Datos, con aplicaciones

a la Fusion de Imagenes Digitales
Gustavo Roitman
14 de noviembre de 2010
Dr. Ing. Bruno Cernuschi-Fras ............................................

FI-UBA, CONICET, Argentina Tutor
Ing. Sara Tressens ............................................................

FI-UBA, Argentina Jurado
Dr. Ing. Ariel Lutenberg .....................................................

Dr. Ing. Silvano Zanutto .....................................................

Indice general
1.. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
2.. Fusion de datos: Modelos, criterios e hipotesis . . . . . . . . . . . . . . . . . . . 5

2.1. Modelos de observacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
2.1.1. Esquema centralizado . . . . . . . . . . . . . . . . . . . . . . . . . . 6
2.1.2. Esquema descentralizado . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.3. Modelos dinamicos . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
2.1.4. Modelos linealizados . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2.2. Criterios de estimacion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2.1. Estimacion de x como variable aleatoria . . . . . . . . . . . . . . . 9
2.2.2. Estimacion de x como parametro determinstico . . . . . . . . . . . 11
2.3. Principales trabajos e hipotesis . . . . . . . . . . . . . . . . . . . . . . . . 13
2.3.1. Deteccion mediante m ultiples sensores . . . . . . . . . . . . . . . . 13
2.3.2. Fusion de trayectorias . . . . . . . . . . . . . . . . . . . . . . . . . 14
2.3.3. Fusion de imagenes . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.3.4. Hipotesis y modelos en este trabajo . . . . . . . . . . . . . . . . . . 17
3.. Fusion BAUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.1. Primer acercamiento: Fusion de 2 mediciones . . . . . . . . . . . . . . . . . 18
3.1.1. Descripcion del modelo . . . . . . . . . . . . . . . . . . . . . . . . . 18
3.1.2. Planteo y desarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3.1.3. Analisis de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3.1.4. Conclusiones preliminares . . . . . . . . . . . . . . . . . . . . . . . 23
3.2. Generalizacion del modelo . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3.2.1. Descripcion del modelo . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.2. Planteo y desarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
3.2.3. Analisis de resultados . . . . . . . . . . . . . . . . . . . . . . . . . . 26
3.3. Analisis de hipotesis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3.3.1. Modelo de observacion . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.2. Regla de fusion afn . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.3.3. Regla de fusion insesgada . . . . . . . . . . . . . . . . . . . . . . . 30
3.4. Alternativas al criterio BAUE . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.1. Regla de fusion sesgada . . . . . . . . . . . . . . . . . . . . . . . . . 31
3.4.2. Criterio Maximum Likelihood, ruido Gaussiano . . . . . . . . . . . 36
3.5. Conclusiones del captulo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
Indice general 3
4.. Modelos de camara y lente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4.1. Camara Pinhole o camara estenopeica . . . . . . . . . . . . . . . . . . . 40
4.1.1. Descripcion cualitativa del modelo . . . . . . . . . . . . . . . . . . . 40
4.1.2. Descripcion cuantitativa del modelo . . . . . . . . . . . . . . . . . . 42
4.2. Lentes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
4.2.1. Distorsion radial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
4.2.2. Distorsion tangencial . . . . . . . . . . . . . . . . . . . . . . . . . . 47
4.2.3. MTF: Funcion Transferencia de Modulacion . . . . . . . . . . . . . 48
4.2.4. Otras limitaciones y efectos distorsivos . . . . . . . . . . . . . . . . 52
4.3. Camaras digitales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
4.3.1. Parametros del modelo Pinhole . . . . . . . . . . . . . . . . . . . 54
4.3.2. Calibracion de camara y camaras metricas . . . . . . . . . . . . . . 55
4.3.3. MTF y aliasing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
4.3.4. Ruido y saturacion . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4.4. Caracterizacion de una camara digital . . . . . . . . . . . . . . . . . . . . . 57
4.4.1. Medicion de la MTF . . . . . . . . . . . . . . . . . . . . . . . . . . 58
4.4.2. Caracterizacion estadstica del ruido . . . . . . . . . . . . . . . . . 65
5.. Fusion BAUE de imagenes digitales . . . . . . . . . . . . . . . . . . . . . . . . . 71

5.1. Parametros del modelo de observacion . . . . . . . . . . . . . . . . . . . . 71
5.1.1. Confeccion de la matriz H . . . . . . . . . . . . . . . . . . . . . . . 71
5.1.2. Confeccion de la matriz . . . . . . . . . . . . . . . . . . . . . . . 75
5.2. Estabilidad numerica de la implementacion: Regularizacion . . . . . . . . . 76
5.2.1. Descomposicion en valores singulares y tecnica TSVD . . . . . . . . 77
5.2.2. Factores de filtro . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
5.2.3. Analisis de los resultados . . . . . . . . . . . . . . . . . . . . . . . . 81
5.2.4. Errores de regularizacion . . . . . . . . . . . . . . . . . . . . . . . . 82
5.3. Conclusiones del captulo: Validacion de la tecnica propuesta . . . . . . . . 84
5.3.1. Caracterizacion del ruido . . . . . . . . . . . . . . . . . . . . . . . . 84
5.3.2. Caracterizacion de la MTF de la lente . . . . . . . . . . . . . . . . 87
6.. Conclusiones . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Apendice 92
A.. Referencias al contenido del DVD . . . . . . . . . . . . . . . . . . . . . . . . . . 93

1. INTRODUCCION
Este trabajo tiene la intencion de dar un marco teorico al problema de la Fusion de

Datos, y desarrollar tecnicas de fusion que se ajusten a la problematica particular de la
Fusion de Imagenes. El problema de la Fusion de Datos sera estudiado desde el punto
de vista de las teoras de estimacion, y por lo tanto se veran involucrados conceptos de
estadstica. Por otra parte, como ocurre en casi todo problema de ingeniera, una parte
fundamental del trabajo estara destinada a la confeccion de modelos que representen
y expliquen los fenomenos que dan lugar a las caractersticas observadas. Dado que el
problema particular que se propone resolver es el de la Fusion de Imagenes Digitales, en
el desarrollo de los modelos apareceran conceptos de optica y optoelectronica.
En el captulo 2 se presentara el problema de la Fusion de Datos desde el punto de
vista de la estimacion, y se propondra analizarlo seg un dos componentes fundamentales:
los modelos de observacion y los criterios de estimacion. Se realizaran clasificaciones que
ayuden a introducir distintos esquemas de fusion, y se presentaran las hipotesis y criterios
bajo los cuales se trabaja en la bibliografa del tema. Finalmente, se especificaran las
hipotesis bajo las cuales se realiza este trabajo de investigacion.
En el captulo 3 se desarrollara la teora de Fusion de Datos seg un las hipotesis y
los criterios adoptados. Se comenzara estudiando el caso mas elemental de fusion con
la intencion de hacer una caracterizacion clara y fundamental de los conceptos que se
ven involucrados, y con la idea de mostrar resultados que motiven el estudio. Luego, se
ampliara el esquema de fusion de forma tal de dar un marco teorico mas general. Por
u
ltimo, se realizaran comparaciones de los esquemas desarrollados con otros esquemas de
fusion, que surgen de adoptar otras hipotesis u otros criterios.
En el captulo 4 se presentaran modelos que explican el proceso de observacion a
traves de sistemas opticos, partiendo del modelo de camara mas elemental posible, e
incorporando los efectos que surgen de la utilizacion de lentes y sensores electronicos.
Finalmente, se tratara el modelado de una camara digital en particular, que es mediante
la cual se realizaran las experiencias de fusion.
En el captulo 5 se desarrollara un posible esquema de Fusion de Imagenes, basado
en la teora de fusion presentada en el captulo 3 y haciendo uso del modelado realizado
en el captulo 4. Se analizaran los problemas que aparecen a la hora de implementar el
esquema propuesto y se dise naran soluciones. Se presentaran los resultados obtenidos y
se extraeran conclusiones acerca de la conveniencia y la validez del esquema propuesto.
DE DATOS: MODELOS, CRITERIOS E HIPOTESIS
2. FUSION
La fusion de datos trata con el problema de combinar la informacion proveniente de un

numero de fuentes (mediciones de sensores, camaras, antenas) con el objetivo de realizar
una estimacion de alg un parametro o caracterstica, y que dicha estimacion sea mas in-
formativa o mas precisa que cualquiera de las mediciones originales. Un posible esquema
de fusion se muestra en la Fig. 2.1. En dicho esquema, x es un parametro que caracteriza
cierto fenomeno fsico, el conjunto {z1 , z2 , . . . , zK } representa K mediciones u observa-
ciones de dicho fenomeno, y el esquema de fusion realiza la estimacion xF contemplando
las observaciones disponibles.
z1
z2
x .. F xF
zK
Fig. 2.1: Posible esquema de fusi

on de datos.
En cada observacion zi se encuentra, en mayor o menor medida, informacion del

parametro x, y es el objetivo del esquema de fusion aprovechar toda la informacion
disponible a la hora de realizar la estimacion. Cada proceso de medicion (x zi ) podra
ser modelado a partir de las caractersticas del dispositivo sensor (curvas, parametros
caractersticos), las condiciones de ruido del mismo, las interrelaciones entre mediciones,
etc; y toda dicha informacion debe ser tenida en cuenta a la hora de realizar la fusion de
datos.
En las siguientes secciones se clasifican y analizan distintos enfoques que surgen a
la hora de modelar el proceso de observacion, y distintas tecnicas de estimacion para la
confeccion de la regla de fusion.
2.1. Modelos de observacion

Una clasificacion interesante que se puede hacer de los modelos de observacion, y a
la cual se hace amplia referencia en la bibliografa, es aquella que se propone en [1]. En
dicho trabajo se distingue a los esquemas de observacion segun si los dispositivos sensores
realizan alg
un tipo de procesamiento sobre la medicion, o si simplemente se tienen datos
crudos (raw data). Dicho procesamiento puede consistir, por ejemplo, en una estimacion
2. Fusi
on de datos: Modelos, criterios e hipotesis 6
local del parametro x, o en alg un tipo de filtrado sobre la senal medida. De acuerdo a
esta clasificacion, se pueden distinguir dos grandes clases de esquemas de observacion, el
esquema centralizado y el esquema descentralizado.
2.1.1. Esquema centralizado

En este caso el centro de fusion dispone directamente de las mediciones tomadas por
los sensores, sin ningun procesamiento previo. En la Fig. 2.2 se muestra este esquema de
fusion, en el que ahora se supone que hay un conjunto de parametros a estimar, y que
se encuentran ordenados en el vector x <N . Cada observacion zi tambien esta repre-
sentada mediante un vector, cuyas dimensiones no necesariamente son iguales a las de x,
significando esto ultimo el hecho de que cada dispositivo sensor podra, en algun caso,
percibir solo una parte del fenomeno fsico (algunas componentes de x), o incluso una
combinacion de varias de ellas.
z1
z2
x .. F xF
zK
Fig. 2.2: Esquema de fusi

on centralizado.
El total de las mediciones {z1 . . . zK } puede ser a su vez ordenado en un u nico vector
M
z < , y la relacion que existe entre los vectores x e z es aquella que surge de modelar
las caractersticas de los dispositivos sensores, mediante las leyes fsicas y curvas que los
describen. Dicha relacion puede representarse mediante una funcion h() : <N 7 <M .
Teniendo en cuenta tambien el ruido que afecta a las observaciones, y suponiendo que el
mismo es aditivo, se puede formular el siguiente modelo de observacion:
z = h(x) + , (2.1)
donde es un vector de dimension M que contiene los ruidos asociados a todas las
mediciones. En funcion del criterio de estimacion que se utilice para la confeccion de la
regla de fusion se requerira conocer, con mayor o menor detalle, las caractersticas de la
funcion h() y del ruido . En la bibliografa, este esquema de fusion en el que solo se
dispone de las mediciones z, es tambien denominado measurement fusion.
Es importante notar que dependiendo de las dimensiones de los vectores x e z se tienen
problemas distintos, desde el punto de vista de la informacion disponible. A saber, si la
cantidad de mediciones disponibles (M ) es menor que la cantidad de parametros a estimar
(N ) se tiene un problema indeterminado (o subdeterminado). Ademas, dependiendo de
la forma de la funcion h(), podra ocurrir que para M N se tenga un problema
indeterminado (falta de informacion), determinado (ni falta ni exceso de informacion) o
sobredeterminado (existe redundancia). Tambien es importante analizar los efectos del
2. Fusi
ruido en la condicion del problema, ya que peque

nas perturbaciones pueden hacer que un
problema indeterminado parezca determinado o sobredeterminado.
2.1.2. Esquema descentralizado

En este tipo de esquemas, ademas del proceso de observacion descripto por la funcion
h(), existe un procesamiento previo a la fusion de los datos, es decir que cada sensor
realiza cierta operacion sobre la medicion. La Fig. 2.3 esquematiza esta situacion: las
mediciones zi son procesadas en cada dispositivo sensor y muestran al centro de fusion
un resultado yi = gi (zi ).
z1 y1 = g1(z1)
z2 y2 = g2(z2)
x .. .. F xF
zK yK = gK (zK )
Fig. 2.3: Esquema de fusi

on descentralizado.
Las funciones gi () pueden representar procesamientos sencillos, como la eliminacion de un

sesgo o la correccion de cierto factor de escala, u operaciones mas complejas, tales como un
filtrado o una estimacion en tiempo real, dependiendo de la capacidad de procesamiento
del sensor.
Puede imaginarse tambien un esquema hbrido (ni centralizado, ni descentralizado),
que contemple la posibilidad de fusionar mediciones sin procesar y datos procesados. En
el trabajo publicado en [1] se desarrolla un tratamiento unificado que contempla todos
estos esquemas de observacion, al cual se hara referencia mas adelante.
2.1.3. Modelos dinamicos

En lo precedente se hizo referencia a x como un vector de parametros a estimar. Esta
denominacion tpicamente se refiere a que las componentes del vector x se mantienen
fijas a medida que se registran las observaciones. La forma en que se suelen modelar las
variaciones en el vector x es mediante un modelo dinamico como el siguiente
x(k + 1) = f (x(k), u(k), w(k)) , (2.2)
donde cada valor de k es un instante de tiempo, siendo f () una funcion que representa
la evolucion del sistema, u(k) una eventual variable de control y w(k) un ruido propio
del proceso dinamico. Por su parte, un esquema de observacion adecuado a este modelo
dinamico sera
zi (k) = hi (x(k)) + vi (k) con i = 1, . . . , K , (2.3)
donde el subndice i representa que hay una ecuacion de observacion por cada dispositivo
sensor. Ordenando las observaciones de todos los sensores en un u nico vector, puede
2. Fusi
escribirse esta ecuacion bajo la misma forma de la ecuacion (2.1):
z(k) = h(x(k)) + v(k) . (2.4)
El esquema de fusion entonces debe contemplar las observaciones provenientes de todos

los sensores para hacer una estimacion del vector x(k).
2.1.4. Modelos linealizados

Es natural que el modelado, o la aproximacion, que se haga de las funciones h() y g()
determine en gran medida la forma en que la estimacion xF dependera de las mediciones.
Siendo que las curvas y caractersticas de los sensores dependen de la aplicacion particu-
lar y, por ejemplo, pueden no estar parametrizadas, o estar especificadas solo en ciertos
puntos, es muy com un encontrar que en la bibliografa la funcion h() sea linealizada, y
por lo tanto las relaciones entre el vector x y las observaciones esten aproximadas por una
matriz H. Tambien suele asumirse que el procesamiento que se hace localmente es lineal
o afn y tiene asociada una matriz G (en [1], denominado linearly-processed data model ).
Si bien la linealizacion puede a veces representar un recorte notable de la informacion de
las curvas, y ademas requiere conocer a priori un entorno cerca del cual se encuentra x,
esta simplificacion permite desarrollar reglas de fusion que pueden aplicarse a diversos
problemas bajo una misma forma.
El esquema de observacion linealizado para problemas en que x es un vector de
parametros sera:
z = Hx + , (2.5)
donde
h
H= , (2.6)
x
y las ecuaciones linealizadas correspondientes a un modelo dinamico seran:
x(k + 1) = F(k)x(k) + D(k)u(k) + C(k)w(k) (2.7)

z(k) = H(k)x(k) + v(k) , (2.8)
donde
% % %
f f f
F(k) = , D(k) = , C(k) = . (2.9)
x u w
x=x(k) u=u(k) w=E[w(k)]
En las linealizaciones, las derivadas se calculan para un entorno de cada vector al instante
k, dado por x(k), u(k). En el caso de la derivada respecto de w, se puede adoptar como
punto de reposo el valor medio de w(k).
2. Fusi
2.2. Criterios de estimacion

As como el modelado que se haga del sistema de observacion tendra repercusiones
en la forma que adopta la regla de fusion, tambien es de esperar que la adopcion de un
criterio de estimacion tenga influencia directa en dicha regla. Existen diversos criterios
para la confeccion de una regla de fusion optima, y cada uno se desprende de alguna
tecnica de estimacion, heredando sus hipotesis, tecnicas y filosofas de trabajo. Siendo
que existen numerosas alternativas, cada una con sus caractersticas, y con el objetivo de
poder mencionar y contrastar los criterios mas utilizados en la disciplina de Fusion de
Datos, en esta seccion se hace una clasificacion de los mismos de acuerdo a si suponen
que la variable a estimar, x, es aleatoria o determinstica (tal como se propone en [2]).
2.2.1. Estimacion de x como variable aleatoria

Bajo esta concepcion, se supone que existe una funcion de densidad de probabilidad a
priori p(x), y que la variable a estimar es una realizacion de acuerdo a dicha funcion. El
procedimiento mas general para realizar la estimacion a partir de las observaciones, con-
siste en obtener la funcion de densidad de probabilidad a posteriori, tal como se desprende
del Teorema de Bayes:
p(z|x)p(x) p(z|x)p(x)
p(x|z) = =R . (2.10)
p(z) p(z|x)p(x)dx
Si bien esta densidad condicional contiene toda la informacion disponible (tanto la que
aporta la densidad a priori como la que aportan las mediciones disponibles), y representa
la descripcion mas completa que puede hacerse de la variable x, muchas veces resulta
necesario o conveniente disponer de una estimacion puntual del valor de x. La funcion de
densidad a posteriori puede utilizarse de diversas maneras para realizar una estimacion
puntual, y es por ello que se desprenden de aqu diferentes criterios de estimacion. A esta
forma de plantear el problema de estimacion se la suele denominar enfoque Bayesiano.
Maximum a posteriori (MAP) El criterio Maximum a posteriori adopta como esti-

macion puntual al valor mas probable (o moda) de x de acuerdo a la funcion de densidad
a posteriori, es decir:
M AP = arg max p(x|z) = arg max p(z|x)p(x) .

x (2.11)
x x
En esta ultima expresion no interviene la densidad marginal p(z) ya que a efectos de la

maximizacion es un factor constante. Se puede imaginar que el valor de x M AP esta vin-
culado con la ubicacion de los maximos de las funciones p(z|x) y p(x). Por ejemplo, en
aquellos casos en que la densidad a priori es poco informativa (p(x) con poca selectivi-
dad), la estimacion esta practicamente dada por el maximo de la densidad condicional1
p(z|x). Ademas, en el caso en que las variables x y z son Gaussianas, x M AP resulta ser
una combinacion lineal de las ubicaciones de los maximos de p(z|x) y de p(x) ([2]).
1
Ver tambien: criterio Maximum Likelihood, en Estimacion de x como parametro determinstico.
2. Fusi
Una de las desventajas de este metodo de estimacion es que solo considera al maximo
absoluto de la funcion de densidad a posteriori, sin dar importancia a los maximos locales
que pudiera presentar una densidad multimodal. Por otra parte, este metodo requiere
de la b
usqueda de un maximo lo cual implica, en general, la implementacion de alg un
algoritmo de maximizacion.
Minimo error cuadr atico medio (MMSE) Muchos criterios de estimacion surgen
de definir una funcion costo (loss function), que cuantifique la cercana de la estimacion
al valor de x que dio origen a las observaciones. A cada estimacion se puede asociar un
x
), que tpicamente aumenta cuando la distancia entre x
costo L(x, x y x crece, y la forma
de medir el costo asociado a la estimacion x para todos los posibles valores que asume la
variable aleatoria x es a traves del calculo de la siguiente expectacion (perdida media o
expected loss): Z
)] =
E [L(x, x ) p(x)dx .
L(x, x (2.12)
x
Para el caso en que la estimacion se basa en un conjunto de mediciones z, la expresion
(2.12) pasa a tomar la siguiente forma:
Z
)|z] =
E [L(x, x ) p(x|z)dx ,
L(x, x (2.13)
x
y llamamos estimacion optima a aquella que minimiza esta perdida media:
opt = arg mn E [L(x, x

x )|z] . (2.14)

x
A los estimadores derivados de la definicion de una funcion costo se los suele denominar
estimadores Bayes ([3]).
En particular, el criterio de mnimo error cuadratico medio (MMSE) surge de adoptar
una funcion costo denominada error cuadratico, dada por L(x, x k2 , y por lo
) = kx x
tanto la estimacion optima es aquella que cumple:
k2 |z .

M M SE = arg mn E kx x
x (2.15)

x
Es posible demostrar que para la norma Eucldea, la solucion a esta minimizacion es la

expectacion condicional:
Z
M M SE = E [x|z] =
x x p(x|z)dx , (2.16)
x
es decir, el valor medio de x de acuerdo a la funcion de densidad de probabilidad a

posteriori.
A diferencia del criterio Maximum a posteriori, el criterio de mnimo error cuadratico
medio hace una ponderacion de todos los valores que puede adoptar x, de acuerdo a la
magnitud correspondiente de la funcion de densidad a posteriori. Esto permite que la
estimacion este influenciada tanto por maximos absolutos como por maximos locales. Por
2. Fusi
su parte, en el caso mas general, la estimacion de mnimo error cuadratico medio consiste
en un proceso de integracion.
Si la optimizacion de la expresion (2.15) se limita a soluciones en que la estimacion
sea una funcion afn de las observaciones, el problema admite una solucion cerrada. El
problema se plantea del siguiente modo:
k22 |z ,

x (2.17)
=Bz+u
x
y la solucion a dicho problema es:

M M SE = x + xz 1
x zz (z z ), (2.18)
donde
x = E [x] (2.19)
z = E [z] (2.20)
xz = E (x x )(z z )T

(2.21)
zz = E (z z )(z z )T .

(2.22)
A esta estimacion se la suele denominar estimacion BAUE (Best Affine Unbiased Esti-
mate). Como su nombre lo indica, es una estimacion insesgada de la variable x, es decir
que
E [
xM M SE ] = E [x] . (2.23)
Ademas, en el caso en que x y z son vectores aleatorios conjuntamente Gaussianos, la
estimacion BAUE cumple con (2.15).
Un caso de especial importancia es el de estimacion BAUE bajo un modelo dinamico,
como el de la expresion (2.7). La solucion a tal problema de estimacion lleva el nombre
de filtro de Kalman, y consiste en el computo de estimaciones optimas seg un el criterio
BAUE para cada instante de tiempo k, basandose en el total de las observaciones de los
tiempos anteriores, z(0) . . . z(k).
Mnimo error absoluto medio Este criterio adopta como funcion costo al valor abso-
) = kx x
luto del error: L(x, x k2 . Es posible demostrar que la solucion a la minimizacion
de esta funcion costo es, para el caso unidimensional, la mediana de x de acuerdo a la
funcion de densidad de probabilidad a posteriori.
Este criterio practicamente no se utiliza, debido a la complejidad asociada al hecho
de que la funcion costo no es derivable, y que la definicion de mediana no es u nica para
casos en que x tiene dimension mayor a uno.
2.2.2. Estimacion de x como parametro determinstico

Bajo esta concepcion, el vector a estimar es considerado un conjunto de parametros
determinsticos y por lo tanto, a diferencia de los casos ya mencionados, su valor no surge
de una densidad de probabilidad a priori, sino que existe un u nico x posible, que es
desconocido y a veces denominadox verdadero (true parameter ).
2. Fusi
Maximum Likelihood Este criterio supone conocida la funcion de densidad de prob-

abilidad de las observaciones como funcion del parametro a estimar, y se la denota como
una densidad condicional, p(z|x). Es importante remarcar que esta notacion no debe ser
interpretada como que x es variable aleatoria, y simplemente busca explicitar la depen-
dencia de la funcion de densidad con el parametro a estimar. A esta funcion de densidad se
la denomina Funcion de Verosimilitud Lx (z) (Likelihood Function), y el criterio Maximum
Likelihood propone buscar el valor de x que maximice dicha densidad:
M L = arg max Lx (z) = arg max p(z|x) .
x (2.24)
x x
En general, la forma de encontrar este maximo depende del tipo de funcion de densidad
del que se trate. En casos de funciones diferenciables para todo parametro x, se pueden
buscar posibles maximos calculando el gradiente e igualando a cero:
k
x Lx (z) =0. (2.25)
M L
x
Resulta interesante notar que la estimacion Maximum Likelihood coincide con la esti-
macion Maximum a posteriori en el caso en que la densidad a priori sea poco informativa.
Esta condicion se da, por ejemplo, cuando p(x) es uniforme en un dominio lo suficien-
temente grande como para incluir a los maximos de p(z|x), o cuando tiene muy poca
selectividad (ej: x Gaussiana con varianzas mucho mayores que las de z).
Minimo error cuadr atico medio (MMSE) As como se ha planteado el problema

de estimacion de mnimo error cuadratico medio bajo la suposicion de que x es un vector
aleatorio, es posible proponer un enfoque equivalente para el caso en que x es considerado
determinstico. Tal como es de esperar, la funcion costo sigue siendo el error cuadratico, y
el criterio de optimizacion elige el valor de x que minimice el valor medio de dicha funcion
costo:
k2 |z .

x (2.26)

x
Dado que x es ahora considerado determinstico, el operador expectacion act ua solo sobre
las observaciones z, que son aleatorias por estar afectadas por ruido.
sera una funcion de las observaciones, cuya expresion deseamos cono-
La estimacion x
cer, y su forma sera altamente dependiente de cual sea el modelo de observacion. Por
ejemplo, para un modelo de observacion dado por z = h(x) + , la estimacion sera una
funcion de las observaciones x = (z), y la estimacion optima sera aquella funcion que
minimice la funcion costo:
M M SE = arg mn E kx (z)k2 |z ,

x (2.27)

donde
(z) = (h(x) + ) . (2.28)
Esta u dependera de
ltima expresion aclara el hecho de que la forma en que la estimacion x
las muestras estara ntimamente relacionada con el modelado que se haga del esquema de
observacion.
Cuando las funciones h() y () son linealizadas se tiene un problema de minimizacion
que admite una solucion cerrada, y que se analiza en el captulo 3.
2. Fusi
2.3. Principales trabajos e hipotesis

2.3.1. Deteccion mediante m
ultiples sensores
La Fusion de Datos tuvo sus orgenes al rededor de 1980, y comenzo tratando el prob-
lema de la decision mediante m ultiples sensores (Distributed Detection o Multiple Sensor
Detection Systems). Este problema trata con un modelo en el que la variable x puede
adoptar valores de acuerdo a un conjunto finito {x1 , . . . , xm }, con probabilidades cono-
cidas P (x = xj ). El valor que adopta x da lugar a las observaciones de cada sensor
{z1 , . . . , zK }, y las observaciones de cada sensor tienen funciones de densidad de proba-
bilidad conocidas p(zi |xj ). El objetivo es encontrar reglas de decision acerca del valor de
x que dio origen al conjunto de observaciones, en las que se contemplen, o bien las obser-
vaciones de cada sensor sin procesar, o bien las decisiones realizadas localmente (esquema
centralizado o esquema descentralizado, respectivamente).
El trabajo publicado por Tenney y Sandell ([4]) en el a no 1981, resuelve un problema
de decision descentralizada, que mas que dise nar una regla de fusion, establece reglas de
decision locales en cada sensor para lograr un desempe no optimo a nivel global. El modelo
planteado es el caso de dos estados posibles para x y dos sensores, con sus respectivas
observaciones, z1 y z2 . Se plantea que existen dos hipotesis, x = x0 y x = x1 (hipotesis
H0 y H1 ), y en base a las observaciones se hace un test de hipotesis en cada detector, cada
uno con su umbral de decision. El criterio de optimizacion viene dado por una funcion
de costos determinada a priori. Salvo en casos particulares de independencia estadstica
y de funcion de costos simetrica, las reglas de decision locales difieren de aquellas que se
obtendran aplicando las tecnicas clasicas de decision en cada detector individualmente
(Decision Bayesiana), ya que la deteccion descentralizada propone optimizar el desempe no
global de ambos detectores, mediante una funcion de costos u nica. Como resultado de
dicha propuesta, los umbrales de decision locales vinculan las caractersticas de ambos
detectores.
Por otro lado, en el mismo trabajo se trata el problema de la decision centralizada, y se
deriva una regla u nica basada en una combinacion de las dos observaciones. Finalmente,
se comparan ambos enfoques desde el punto de vista de la informacion que debe transmi-
tirse al centro de fusion: en el caso centralizado se transmiten las mediciones {z1 , z2 } sin
realizarse ninguna decision local, y en el caso descentralizado se transmiten las decisiones
binarias locales (en cada sensor se decide por H0 o por H1 ). Dado que las decisiones locales
se pueden representar mediante un estado logico, y que las observaciones requieren de una
representacion mediante, por ejemplo, variables reales, se ofrece el esquema descentral-
izado como una solucion cuando la capacidad del canal de transmision es una limitacion
importante.
Dos conclusiones interesantes que se desprenden del trabajo son:
El esquema centralizado, si bien requiere una capacidad de transmision mayor, se

caracteriza por tener probabilidades de deteccion (PD ) mayores y probabilidades
de falsa alarma (PF ) menores que las que logra el esquema descentralizado, para
condiciones equivalentes de relacion se
nal a ruido.
2. Fusi
Las curvas de performance (PD vs. PF ) para el caso descentralizado se acercan mas
a las curvas del caso centralizado cuanto mas desbalanceados esten los sensores, en
terminos de relacion se
nal a ruido. En el caso extremo de que un sensor tenga relacion
senal a ruido nula, se tiene coincidencia entre el desempe no de ambos esquemas.
As como Tenney y Sandell concentraron su analisis mayormente en reglas de deteccion
locales, el trabajo publicado por Chair y Varshney ([5]) en el ano 1986 concentra su analisis
en una regla de fusion de dichas decisiones locales. En este segundo trabajo se generaliza el
esquema de observacion a una cantidad arbitraria de sensores, y tambien se realiza un test
de hipotesis binario (H0 vs. H1 ). Se supone que los detectores locales ya estan dise
nados,
y que se conocen sus probabilidades de error individuales. El criterio de optimizacion es
el de mnima probabilidad de error global.
Algunas caractersticas de la regla de fusion dise
nada son:
Se deriva una regla de fusion que contempla los resultados de todas las detecciones
locales, sin descartar a ninguna.
Las decisiones locales influyen en la decision centralizada de acuerdo a sus niveles
de confiabilidad. Aquellos detectores que tienen mayor confiabilidad (mayor PD y
menor PF ) son los mas influyentes, y los detectores con menor confiabilidad son los
que menos influyen en la decision centralizada.
El problema mas general, tal como se lo describe al comienzo de esta seccion, con
cantidades arbitrarias de sensores {z1 , . . . , zK } e hipotesis marias {x1 , . . . , xm }, se trata
en el trabajo publicado por Sadjadi ([6]). Se resuelve el problema para una funcion de
costos generica, y se obtienen las ecuaciones que conducen a las regiones de decision
para la deteccion optima. Al igual que en el primer trabajo mencionado, el desarrollo
esta orientado a determinar reglas de decision locales, que optimicen el desempe no global
mediante una funcion de costos unica.
2.3.2. Fusion de trayectorias

Paralelamente, durante las decadas de 1980 y 1990, se comenzo a tratar el problema
de la estimacion descentralizada de procesos dinamicos y de la fusion de estimaciones
locales. Uno de los primeros trabajos fue desarrollado por A. Willsky et al. ([7]). En
primera instancia, dicho trabajo trata el desarrollo de una estimacion x f global como
combinacion afn de estimaciones computadas localmente, x 1 y x 2 , siendo cada una de
estas el resultado de la implementacion de un filtro de Kalman local. Se contempla tambien
el caso en el que el centro de fusion dispone de una estimacion, x 1 , y de una observacion
sin procesar, z2 , tratandose as de un esquema de fusion hbrido.
Otro trabajo interesante es el de Bar-Shalom y Campo ([8]), que trabaja con la fusion
de dos estimaciones locales de una misma trayectoria x. Las estimaciones locales, x 1 y x
2,
son fusionadas haciendo una estimacion lineal como la de la expresion (2.18), y luego se
hace un analisis que explica la necesidad de incluir en el esquema de fusion la correlacion
que existe entre las estimaciones locales. Dicha correlacion es producto de que el ruido
del proceso (w(k), en la expresion (2.7)) afecta a ambas estimaciones. Si no se contempla
2. Fusi
dicha correlacion, entonces las cotas de error en la fusion resultan sub-valoradas. Un

ejemplo de fusion de trayectorias se presenta en el libro publicado por Bar-Shalom ([2]),
donde dos sistemas de estimacion de coordenadas (INS, Inertial Navigation System, y
GPS, Global Positioning System) dan lugar a una fusion, y se contemplan los casos de
errores descorrelacionados y correlacionados.
El trabajo publicado por H. R. Durrant-Whyte et al. ([9]) plantea una implementacion
totalmente descentralizada para la estimacion. Dado un conjunto de sensores, donde en
cada uno se implementa una estimacion de acuerdo al Filtro de Kalman, cada dispositivo
sensor recibe las estimaciones que se hicieron en otros sensores con sus matrices de covar-
ianza respectivas, y actualiza su propia estimacion en base a ellas. El resultado al que se
llega es equivalente al que se tendra si se aplicara un Filtro de Kalman simultaneamente
sobre el conjunto de todas las observaciones. Lo interesante de este enfoque es que no se
requiere de una estructura que centralice la fusion.
Se publicaron trabajos en los que se generalizan los esquemas desarrollados en [7], [8] y
otros. Un ejemplo es el trabajo [1], en el que se propone un esquema general de fusion que
describe casos centralizados y descentralizados, y se resuelve el problema de la estimacion
de mnimo error cuadratico medio a partir de todos los datos, ya sean observaciones sin
procesar o estimaciones locales. Los modelos de observacion que se proponen son lineales,
como en la expresion (2.5), la variable a estimar se supone aleatoria, y descripta por
sus momentos de primer y segundo orden, y las reglas de fusion que se desarrollan son
lineales. Resulta interesante que en dicho trabajo se desarrollan reglas de fusion distintas
de acuerdo al nivel de conocimiento previo que se tiene de x. Por ejemplo, se propone
una regla para casos de total incerteza (sin suponer conocidos los momentos de primer
y segundo orden de x), otra para casos de informacion previa incompleta (conociendo el
momento de primer orden de x y ciertos coeficientes de su matriz de covarianza), y otra
para casos de conocimiento completo (ambos momentos del vector x).
Se observa que en la bibliografa sobre fusion de trayectorias el criterio de estimacion
mas ampliamente utilizado es el de mnimo error cuadratico medio, bajo las hipotesis de
linealidad del sistema de observacion y linealidad de la regla de estimacion. Existen, sin
embargo, otros criterios de estimacion utilizados para la fusion de datos. En el trabajo
publicado por Y. Xu et al. ([10]), se proponen diversos criterios para la confeccion de
una regla de fusion lineal, basados en un esquema de observacion dinamico como el de
la expresion (2.7). Para encontrar el vector que resulta de la fusion, xf , se proponen los
criterios de mnima traza de la matriz de covarianza de xf y mnima norma infinito de
la matriz de covarianza de xf . Por su parte, el trabajo de Zhou y Leung ([11]) propone
un criterio de minimizacion de la norma varimax de la estimacion xf , que lleva a una
solucion de mnima entropa. Si bien los enfoques que se presentan en estos trabajos
son interesantes, no se tienen a un aplicaciones concretas para las cuales estos criterios
representen una mejora respecto al criterio de mnimo error cuadratico medio.
El trabajo publicado por S. Chen et al. ([12]), propone una tecnica que resuelve el
problema de la fusion conjuntamente con los problemas de registracion y asociacion. La
registracion consiste en encontrar una correspondencia entre las caractersticas observadas
en las diferentes mediciones. Por ejemplo, para una secuencia de imagenes capturadas en
movimiento, la registracion puede consistir en determinar la correspondencia de puntos o
2. Fusi
estructuras entre las imagenes. La asociacion consiste en decidir si las mediciones que se
observan provienen de un mismo conjunto de parametros o no. Por ejemplo, en aplicaciones
de radar, es com un que cada sensor observe puntos que corresponden a trayectorias de
moviles distintos. La asociacion, en ese caso, consiste en decidir cuales observaciones
corresponden a la trayectoria de un mismo movil. En muchos casos, la registracion y la
asociacion son pasos necesarios previos a la fusion de los datos. La tecnica propuesta en
[12] se basa en un modelo dinamico, como los mencionados anteriormente, y en un criterio
de optimizacion basado en Maximum-Likelihood.
2.3.3. Fusion de imagenes

En la fusion de imagenes no hay un criterio de estimacion tan ampliamente utilizado,
como lo es el de mnimo error cuadratico medio para la fusion de trayectorias, sino que
existen diversas propuestas de acuerdo al tipo de imagenes de las que se disponga.
Un caso de especial interes en la fusion de imagenes satelitales, es aquel en el que se
tienen imagenes tomadas tanto en regiones del espectro visible como en distintas regiones
del infrarrojo. El objetivo es sintetizar una imagen que concentre la informacion de to-
das las imagenes, preservando las ventajas que presenta cada imagen individual. En los
trabajos presentados por N. Mascarenhas et al. ([13], [14], [15]) se propone una fusion
de imagenes que permite sintetizar una imagen de mayor resolucion que las imagenes
originales. Para la sntesis de la nueva imagen, se genera una grilla del doble de densi-
dad de pxeles, y se realiza una interpolacion en la cual intervienen todas las imagenes
disponibles. El criterio de optimizacion utilizado para la interpolacion es el de mnimo
error cuadratico medio, y se propone una solucion afn, como la de la expresion (2.18).
El trabajo publicado por R. Blum ([16]), tambien propone una tecnica de fusion para
imagenes en distintas zonas del espectro. A diferencia de los trabajos de N. Mascarenhas,
en este trabajo se propone hacer una interpretacion de las imagenes que no sea a nivel
pixel, sino a partir de regiones, y por lo tanto es necesario que, antes de realizar la fusion, se
implemente alguna tecnica de segmentacion de las imagenes disponibles. A partir de dicha
segmentacion, se realiza una fusion por sectores de la imagen, adoptando como criterio
el de Maximum-Likelihood, cuya solucion se obtiene a partir de una implementacion del
algoritmo EM (Expectation-Maximization).
Otro caso de interes es la fusion de imagenes que fueron tomadas con diferente foco. En
los trabajos publicados por Y. Zhang ([17], [18]) se propone estimar el nivel de foco local
para cada pixel de cada imagen, y luego componer cada pixel de la imagen fusionada
como una combinacion lineal de los pxeles correspondientes de cada imagen original.
Los coeficientes de la combinacion lineal se eligen a partir de una comparacion de los
niveles de foco en cada imagen. Un enfoque alternativo se presenta en [19] y [20], donde
se realiza una descomposicion wavelet de las imagenes disponibles. La imagen sintetizada
se genera a partir de una combinacion lineal de las descomposiciones, y los coeficientes
de la combinacion lineal se eligen de acuerdo a una medicion del nivel de calidad de cada
imagen. Por otra parte, R. Blum ([21]) presenta un marco teorico unificado para tecnicas
de fusion de imagenes basadas en descomposicion wavelet, que puede adecuarse a distintos
criterios de fusion.
2. Fusi
2.3.4. Hipotesis y modelos en este trabajo

En este trabajo de investigacion se parte de modelos de observacion estaticos y lin-
ealizados, como los que representa la expresion (2.5). Tal como se desprende del analisis
bibliografico, la gran mayora de los trabajos de investigacion en fusion suponen un mod-
elo de observacion lineal con ruido aditivo. En el caso de fusion de trayectorias es natural
que se proponga un modelo dinamico, ya que el proceso que se desea estimar tiene una
descripcion temporal conocida. Sin embargo en fusion de imagenes la informacion de in-
teres esta tpicamente en una misma posicion en todas las imagenes, y no necesariamente
existe una descripcion temporal que explique las caractersticas que afectan a las distintas
imagenes observadas.
Por otra parte, en este trabajo se supone que la variable a estimar, x, no es aleatoria
sino determinstica. El hecho de que la variable a estimar no sea aleatoria, lleva a que en el
desarrollo de una regla de fusion, no intervenga el conocimiento a priori de las estadsticas
de x. Solamente se tiene conocimiento acerca del sistema de observacion (matriz H) y
de las estadsticas del ruido (vector ). Esta filosofa de trabajo es compatible con los
criterios de estimacion presentados en la seccion 2.2.2, y es as que se decide trabajar
principalmente con el criterio de mnimo error cuadratico medio. Se decide, tambien,
vincular las soluciones que se obtienen mediante este criterio y el de Maximum-Likelihood
bajo condiciones particulares.
Tambien, se propone encontrar reglas de fusion que sean funciones afines de las obser-
vaciones. Esta es una hipotesis muy adoptada en la bibliografa mencionada, y reduce el
universo de soluciones xF = (z), a solo aquellas en que la funcion () es de la forma
(z) = Bz + u . (2.29)
Esta simplificacion permite tratamientos matematicos que en general admiten soluciones

cerradas. Cuando no se hace esta suposicion, las soluciones al problema de estimacion
tpicamente deben hallarse en forma numerica.
Finalmente, se adopta como condicion que la regla de estimacion desarrollada produzca
a un vector xF que no tenga sesgo respecto del valor de x. Condicionarse a una estimacion
insesgada tambien es com un cuando se realiza una estimacion de mnimo error cuadratico
medio, y en ocasiones conduce a soluciones mas sencillas. Sin embargo, oportunamente se
propone analizar las consecuencias que surgen de dejar de lado esta hipotesis.
BAUE
3. FUSION
En este captulo se plantea el problema de la fusion de datos partiendo de un modelo

linealizado, en el que la variable de interes es un vector determinstico, y el ruido es
aditivo y es la u nica componente aleatoria del problema. El criterio de optimizacion es
el de mnimo error cuadratico medio, y las reglas de fusion que se desarrollan son, por
hipotesis, afines e insesgadas. Denominamos a las reglas de fusion desarrolladas en este
captulo, reglas de fusion BAUE, por mas que las hipotesis no sean las mismas que en el
problema de estimacion BAUE descripto por la expresion (2.17).
3.1. Primer acercamiento: Fusion de 2 mediciones

En esta seccion se estudia un caso de fusion concreto, que resulta de plantearse el
problema mas sencillo y fundamental posible, bajo las hipotesis de este captulo: la fusion
de dos observaciones escalares, z1 , z2 , provenientes de sensores distintos. Si bien este es
un caso de extrema simplicidad en cuanto al modelado del problema, sin dudas permite
concluir caractersticas esenciales de la fusion de datos en forma clara y concisa.
3.1.1. Descripcion del modelo

El modelo de sensor mas sencillo que se puede imaginar es aquel en el que cada
observacion se relaciona con el parametro a estimar, x, del siguiente modo:
z1 = x + 1 (3.1)
z2 = x + 2 , (3.2)
siendo i ruidos de cualquier tipo, con media nula y matriz de covarianza conocida:

1
E =0 (3.3)
2

1
E 1 2 = . (3.4)
2
El esquema de fusion a construir es una funcion afn de las observaciones:
xF = 1 z1 + 2 z2 + u , (3.5)
es decir que 1 , 2 y u son escalares, independientes del valor de x.

3. Fusion BAUE 19
3.1.2. Planteo y desarrollo

El problema de optimizacion que se propone resolver se puede expresar del siguiente
modo:
xF = arg mn E (xF x)2 ,

siendo xF = 1 z1 + 2 z2 + u. (3.6)
xF
La condicion de que la regla de fusion sea insesgada implica que

E [xF ] = x (3.7)
E [1 z1 + 2 z2 + u] = 1 x + 2 x + u = x , (3.8)
y por lo tanto se debe cumplir que
u = 0 y 1 + 2 = 1 . (3.9)
Para buscar una regla de fusion optima se escribe el error cuadratico medio como funcion
de las variables 1 , 2 , y para ello se reemplaza la expresion (3.5) en la expectacion de la
expresion (3.6), y se utilizan las condiciones dadas por (3.9):
E (xF x)2 = E (1 (z1 x) + 2 (z2 x))2 = 12 12 + 22 22 + 21 2 12 .

(3.10)
Aqu se adopto la siguiente notacion:
12 = E (z1 x)2 = E 12

22 = E (z2 x)2 = E 22

12 = E [(z1 x)(z2 x)] = E [1 2 ] . (3.11)

Dado que se busca la minimizacion de una funcion derivable, sujeta a las restricciones de
la ecuacion (3.9), se puede proceder por el metodo de los multiplicadores de Lagrange. Se
define, entonces, una funcion costo, que se compone del error cuadratico medio y de un
multiplicador para la restriccion que vincula a 1 con 2 :
J(1 , 2 , ) = 12 12 + 22 22 + 21 2 12 2(1 + 2 1) . (3.12)
De este modo, al minimizar J(1 , 2 , ) se esta minimizando E[(xF x)2 ] bajo la condicion
de que E[xF ] = x. Graficamente, E[(xF x)2 ] puede representarse como un paraboloide
con variables 1 , 2 , y la condicion 1 + 2 = 1 significa que las posibles soluciones son
solo aquellas ubicadas sobre una recta (Fig. 3.1).
Para buscar el mnimo de esta funcion costo, se calcula su gradiente y se lo iguala a
cero, obteniendose como resultado un sistema de tres ecuaciones con tres incognitas:
J
=0 = 1 12 + 2 12 =
1
J
=0 = 1 12 + 2 22 =
2
J
=0 = 1 + 2 1 = 0 . (3.13)

3. Fusion BAUE 20
Fig. 3.1: Error cuadr

atico medio y condici
on sobre 1 y 2 .
Resolviendo primero para 1 y 2 , y aplicando luego la condicion asociada al multiplicador

se obtiene:
2 12 2 12
1 = 2 2 2 y 2 = 2 1 2 . (3.14)
1 + 2 212 1 + 2 212
Es as que la regla de fusion optima para las observaciones es:
22 12 12 12
xFBAU E = z1 + z2 . (3.15)
12 + 22 212 12 + 22 212
3.1.3. Analisis de resultados

Al utilizar como criterio de optimizacion el de mnimo error cuadratico medio, y dada
la propiedad de que la regla de fusion es insesgada, se tiene que la funcion costo es la
varianza de la fusion xFBAU E . En caso de encontrarse que la varianza de esta regla de
fusion es mayor que la propia varianza del ruido de cualquiera de las mediciones, entonces
resulta mas favorable conservar la medicion cuyo ruido tiene menor varianza y no realizar
la fusion, en otras palabras, descartar por completo la medicion cuyo ruido tiene mayor
varianza.
El calculo de la varianza de xFBAU E consiste en reemplazar los valores encontrados de
1 y 2 en la expresion (3.10). Desarrollando dicha expresion, se obtiene
12 22 12
2
F2 BAU E = , (3.16)
12 + 22 212
3. Fusion BAUE 21
y para averiguar si esta varianza resulta menor o mayor que 12 y 22 , se plantea la siguiente
desigualdad, para luego desarrollarla y validarla:
F2 BAU E 12
12 22 12 2
2 2
12
1 + 2 212
12 22 122
14 + 12 22 212 12
2
0 14 212 12 + 12
0 (12 12 )2
Esta u ltima expresion se cumple siempre, es decir para cualquier par de valores de 12 y
12 , lo cual indica que siempre se cumple que F2 BAU E 12 . Trabajando de forma analoga
se llega a que F2 BAU E 22 .
Es interesante, ademas de verificar esta mejora de la varianza, analizar que forma
toman la regla de fusion BAUE y su varianza frente a condiciones particulares del prob-
lema.
Ruidos descorrelacionados Una primera condicion es aquella en la cual los ruidos i

(y por lo tanto las mediciones zi ) estan descorrelacionados, es decir que 12 = 0. En ese
caso, la regla de fusion toma la siguiente forma:
22 12
xFBAU E = 2 z1 + 2 z2 (3.17)
1 + 22 1 + 22
Este resultado indica que si las mediciones tienen varianzas diferentes, se pondera con
mayor peso la medicion de menor varianza, y con menor peso la de mayor varianza. Es
decir que por mas imprecisa que sea alguna de las mediciones, la regla de fusion BAUE
nunca decide desecharla por completo. Estas dos ideas son consistentes con los resultados
de los trabajos mencionados en la seccion 2.3.
Bajo esta condicion de descorrelacion, la varianza de la regla de fusion resulta ser
12 22
F2 BAU E = . (3.18)
12 + 22
Se puede cuantificar el grado de mejora de la precision, respecto de la precision de las

observaciones, llamando a la relacion de desvos estandar = 21 , y expresando el grado
de mejora mediante el cociente
s
FBAU E 2
= , (3.19)
1 1 + 2
que indica, para cada valor de , cuan parecido es FBAU E a 1 . En la Fig. 3.2 muestra un
grafico donde se traza este cociente como funcion de . Este grafico puede interpretarse
del siguiente modo. En el caso en que 1 = 2 (es decir, = 1) el desvo estandar de la
3. Fusion BAUE 22
Fig. 3.2: Nivel de mejora del desvo de la fusi

on.
regla de fusion resulta FBAU E = 12 0, 71 . Con valores de crecientes (2 > 1 ), el

desvo de la fusion se parece cada vez mas a 1 , es decir al desvo de la observacion con
menor nivel de ruido. Se logran relaciones del 90 % con = 2, del 95 % con = 3 y del
99 % con = 7. Estos valores sugieren que aunque una medicion sea, por ejemplo, siete
veces mas imprecisa que la otra, a un se puede tener una ganancia de precision del orden
del 1 % mediante esta tecnica de fusion. Resulta evidente que siempre que sea posible es
conveniente realizar la fusion, ya que en el peor de los casos (22 12 ) la fusion conserva
la varianza de la medicion mas precisa, y en los casos en que 22 12 las mejoras resultan
notables.
Ruidos totalmente correlacionados Una segunda condicion de analisis es aquella

en que los ruidos estan totalmente correlacionados, es decir que 12 = 1 2 . Bajo esta
condicion, el sistema de ecuaciones (3.13) puede tener diferentes soluciones.
Si 1 y 2 son iguales, el determinante del sistema es identicamente nulo, y se tienen
infinitas soluciones, dadas por:
xFBAU E = z1 + (1 ) z2 para 01. (3.20)
Bajo esta condicion, los ruidos estan totalmente correlacionados y tienen igual varianza,
con lo cual las observaciones son estadsticamente iguales, y la estrategia de fusion no
hace ninguna distincion entre las observaciones a la hora de hacer la combinacion lineal.
La fusion resulta igual a cualquiera de las observaciones, y por lo tanto tiene la misma
varianza, F2 BAU E = 12 = 22 .
3. Fusion BAUE 23
Si 1 y 2 no son iguales, existe una solucion u

nica dada por:
2 1
xFBAU E = z1 + z2 . (3.21)
1 2 1 2
Esta es una solucion que teoricamente existe, pero que fsicamente no es posible de lograr,
ya que hace uso de la condicion de correlacion total para anular el ruido de la fusion
xFBAU E .
Queda claro que el caso de correlacion total no es de interes practico.
3.1.4. Conclusiones preliminares

Alcanzado este punto del analisis se pueden extraer algunas conclusiones acerca del
proceso de fusion:
En primera medida se observa que al realizar una fusion de datos se gana precision
respecto de las mediciones originales. Esta mejora se manifiesta en la varianza de la
fusion, F2 BAU E . Dependiendo de las relaciones entre las varianzas de las mediciones,
de la cantidad de mediciones utilizadas y de su grado de correlacion, se logran
distintos niveles de mejora.
Esta mejora en la precision ocurre siempre y cuando la fusion se haga sobre medi-
ciones estadsticamente diferentes. Esto es, no hay mejora cuando las mediciones

estan correlacionadas totalmente, es decir con |ij | = | iijj | = 1.
Se observa que los esquemas de fusion parecen hacer uso de todas las mediciones,
incluso de aquellas cuyas varianzas son mayores, y es as que logran reducir la
varianza de la fusion por debajo de la de cualquiera de las mediciones originales.
Esto da la pauta de que nunca se deben descartar mediciones, por mas imprecisas
que sean.
El enfoque BAUE para la fusion de magnitudes escalares permite un tratamiento

matematico sencillo y solo requiere que se conozcan el modelo de observacion y los
momentos de primer y segundo orden del ruido aditivo (E[i ] y E[i j ]), pero no su
distribucion. Esto significa que la regla de fusion afn optima sera la misma para
cualquier tipo de ruido aditivo (Gaussiano, exponencial, uniforme, etc).
3.2. Generalizacion del modelo

Hasta aqu se ha contemplado el caso en el que hay dos observaciones, z1 , z2 , que
contienen informacion de una misma magnitud escalar, x. De aqu en adelante se trabaja
con un modelo general, en el que se dispone de M observaciones que contienen informacion
de N magnitudes escalares desconocidas.
3. Fusion BAUE 24
3.2.1. Descripcion del modelo

Se tiene ahora un conjunto de variables desconocidas, x = [x1 , x2 , . . . , xN ]T , y se
dispone de un conjunto de observaciones, z = [z1 , z2 , . . . , zM ]T , afectadas por ruido. Un
modelo de observacion linealizado y de ruido aditivo es el de la ecuacion (2.5):
z = Hx + , (3.22)
donde H <M N es una matriz conocida que modela al sistema de observacion y <M
es un conjunto de perturbaciones a la medicion, que sin perdida de generalidad se puede
asumir que tiene media nula. La matriz de observacion H puede representar un sistema
de medicion sencillo, como es el caso en que H = [1, 1]T <21 , que analizamos en la
seccion 3.1, o puede representar a un sistema de medicion mas complejo, en el que cada
sensor zi observa sumiltaneamente a varias de las magnitudes de interes a la vez.
Ahora, para que sea posible recuperar informacion de todas las componentes del vector
x, la matriz H debe consistir en una buena observacion, es decir que debe comprender
una cantidad de obsevaciones linealmente independientes que sea mayor o igual a N .
En otras palabras: Rg(H) = N . Resultan de interes aquellos casos en los que existe
redundancia, con M > N = Rg(H), ya que son los que permiten realizar analisis tales
como los presentados en la seccion 3.1, y representan casos practicos de fusion de m
ultiples
sensores.
Bajo las mismas hipotesis y lnea de razonamiento de la seccion 3.1, el problema
es ahora encontrar la forma optima afn de combinar las observaciones z, para obtener
una fusion insesgada de mnimo error cuadratico medio. Esto es, encontrar una matriz
B <N M y un vector u <N constantes, tales que:
+u = arg mn E kxF xk2

x
FBAU E = Bz (3.23)
xF =Bz+u
3.2.2. Planteo y desarrollo

Al igual que se hizo en la seccion anterior, se comienza por definir una funcion costo
que permita hacer la optimizacion. Siendo que se adopta como criterio el de mnimo error
cuadratico medio, la cantidad que se debe minimizar es la expectacion:
E kxF xk2 .

(3.24)
Para el desarrollo de la regla de fusion se adopta una norma de Mahalanobis arbitraria,

k km , definida seg
un:
k km : <N 7 < ; kvk2m = vT Mv (3.25)
siendo M una matriz simetrica y definida positiva. Dado que esta matriz permite pon-
derar o asignar prioridades a las componentes del vector error, los resultados obtenidos
seran m
as generales que los que se obtendran al adoptar, por ejemplo, la norma Eucldea:
kvk2 = vT v.
3. Fusion BAUE 25
La condicion de que la regla de fusion sea insesgada implica que
E[xF ] = E [B(Hx + ) + u] = BHx + BE [] + u = BHx + u = x ,
es decir que
BH = I y u = 0 . (3.26)
Estas son restricciones que se deben contemplar durante el problema de minimizacion.
Se procede expresando el error cuadratico medio como funcion de la matriz incognita
B, a la vez que se hace uso de las condiciones de la ecuacion (3.26):
E kxF xk2m = E (xF x)T M(xF x)

= E (BHx + B x)T M(BHx + B x)

= E ((BH I)x + B)T M((BH I)x + B)

= E (B)T M(B) .

(3.27)
Dado que el argumento de la expectacion es un escalar, es posible aplicar el operador

traza, sin afectar a la expresion. Luego, utilizando la propiedad cclica de la traza de un
producto de matrices:
T r (ABC) = T r (BCA) = T r (CAB) , (3.28)
se obtiene
E kxF xk2m = E T r MB T BT

, (3.29)
y dado que la operacion T r() es una sumatoria y la expectacion es un operador lineal,
puede intercambiarse el orden de los operadores para luego obtenerse:
1 1
2 T T

E kxF xkm = T r MB B = T r B MB2 ,2
(3.30)

donde se adopta la notacion = E T .
Para la confeccion de la funcion de costos, a
un queda por dar forma a la condicion
BH I = 0. Ya que esta ecuacion matricial representa N N ecuaciones escalares, para
cada una de las cuales existe un multiplicador de Lagrange, resulta conveniente agrupar a
todos los multiplicadores en una matriz <N N . Si se parte de las N N condiciones
escalares:
XM
bln hnm = lm , (3.31)
n=1
siendo lm la funcion Delta de Kronecker, y se expresa la suma de todas las condiciones

con sus multiplicadores de Lagrange:
N XN M
!
X X
lm bln hnm lm , (3.32)
l=1 m=1 n=1
3. Fusion BAUE 26
se reconocen dos terminos que se restan:

N X
X N M
X N X
X N
lm bln hnm lm lm , (3.33)
l=1 m=1 n=1 l=1 m=1
de los cuales el primero representa T r (BH) y el segundo T r (). Por lo tanto, la funcion
costo puede expresarse finalmente como:
1 1
T
J(B, ) = T r B MB2 + T r ((BH I)) .
2
(3.34)
Para encontrar la matriz B que minimiza la funcion costo se puede calcular su gradiente
([22]):
J
= 2MB + (H)T , (3.35)
B
para luego igualarlo a cero. Si la matriz de covarianza del ruido tiene inversa, se puede

despejar B:
+ (H)T = 0
2MB
= 1 (H)T
MB
2
1
= M (H)T 1 .
1
B (3.36)
2
Finalmente, multiplicando a derecha por la matriz H y aplicando la condicion BH =I
se encuentra la matriz que da solucion al problema. Para realizar el despeje se supone
momentaneamente que tambien el producto HT 1 H tiene inversa:
1
M1 T HT 1
H = I
2
T = 2M(HT 1
H)
1
= 2(HT 1 1
H) M . (3.37)
Reemplazando este resultado en la expresion (3.36) se obtiene:

T
= M1 H(HT 1 H)1 M
B 1 T 1 1 T 1
= (H H) H , (3.38)
y por lo tanto la regla de fusion afn optima es:

1
FBAU E = HT 1
x H HT 1
z . (3.39)
3.2.3. Analisis de resultados

Es importante notar que la regla de fusion desarrollada es independiente de la elec-
cion que se haga de la matriz M, que da origen a la norma k km y a la definicion del
error cuadratico medio. Este resultado, si bien puede resultar llamativo, es conocido y se
3. Fusion BAUE 27
menciona en [23]. Sin embargo, el error cuadratico medio asociado a la regla de fusion
s depende de la matriz M, tal como lo muestra la expresion (3.30).
Analogamente a lo que se concluyo en la seccion 3.1, respecto de adoptar como figura
de merito a la varianza de la regla de fusion, bajo este modelo general es de interes conocer
la matriz de covarianza de la regla de fusion, ya que esta es un ndice de cuan dispersa
o perturbada se ve la fusion como consecuencia del ruido aditivo. Aplicando la definicion
de matriz de covarianza y teniendo en cuenta la expresion (3.26), resulta:
xFBAU E x)T

FBAU E = E (
xFBAU E x)(
T
=E B (Hx + ) x B (Hx + ) x
T
=E I x + B
BH I x + B
BH
h i
T T
= E B B = B B
T . (3.40)
de acuerdo a la ecuacion (3.38), y agrupando

Reemplazando la expresion de la matriz B,
se obtiene:
FBAU E = ((HT 1 1 T 1 T 1 1 T 1 T
H) H ) ((H H) H )
= (HT 1 1 T 1 T 1
H) (H H)(H H)
1
,
1
FBAU E = HT 1
H . (3.41)
Se observa que la matriz de covarianza de la fusion tambien resulta independiente de la
matriz M.
Los resultados que presentan las expresiones (3.39) y (3.41) son equivalentes a lo
publicado en [11], como Minimum Variance Fusion Approach bajo las simplificaciones
M = I, N = 1 y HT = [1, 1, . . . , 1], y a lo publicado en [24] como Minimax MSE
Estimation in the Linear Gaussian Model.
Para caracterizar mas claramente el desempe no de la regla de fusion, mas alla de
conocer su matriz de covarianza, se analizan diversas condiciones del problema realizando
simulaciones donde se varan tanto la cantidad de observaciones M como la relacion senal
a ruido de las mismas.
Numero de observaciones Es de esperar que con un aumento en la cantidad de

observaciones, M (mayor redundancia), para un x fijo y cierta condicion de ruido, el error
cuadratico medio disminuya. Con la intencion de analizar la ley que rige dicha variacion
se realizan simulaciones bajo diferentes escenarios. Por ejemplo, se adopta en primera
medida N = 4 y x = 12 [1, 1, 1, 1]T , y se suponen ruidos independientes, distribuidos de
acuerdo a i N (0, 2 ), y por lo tanto = 2 I. En la Fig. 3.3 (i.i.d. Gaussian) se
muestra un trazado del error cuadratico medio como funcion del n umero de observaciones
3. Fusion BAUE 28
Fig. 3.3: MSE vs. M, ruido Gaussiano y uniforme.
M . Un segundo caso, en el que los ruidos estan descorrelacionados pero con varianzas
diferentes, = diag(21 , 22 , . . . , 2M ), se muestra en la Fig. 3.3 (uncorr. Gaussian).
Dado que la regla de fusion desarrollada en la seccion 3.2 solo depende de los momentos de
primer y segundo orden del ruido, se espera que para cualquier tipo de ruido con la misma
media y matriz de covarianza se logren iguales niveles de performance. Se simula, entonces,
un escenario equivalente pero con densidades uniformes, con las mismas estadsticas de
primer y segundo orden que en el caso Gaussiano, Fig. 3.3 (i.i.d. Uniform y uncorr.
Uniform).
Una caracterstica com un se observa en todos los trazados:
1
M SE para M > N = 4 , (3.42)
M
y se observa que los niveles de error cuadratico medio son iguales, para ruido uniforme
y para ruido Gaussiano. Identicas conclusiones se extraen adoptando distintos valores de
N y x. En todos los casos, la matriz de observacion H <M N se genero aleatoriamente,
cumpliendo que Rg(H) = N . Casos con matriz de covarianza arbitraria (no diagonal) no
fueron presentados, debido a la inestabilidad numerica en la inversion de la matriz
para valores elevados de M .
Relaci
on senal a ruido Tambien es de esperar que el error cuadratico medio vare
dependiendo de cual sea la relacion se
nal a ruido de las mediciones. Entonces, para un
3. Fusion BAUE 29
valor fijo M = 12, y mismos N , x y H que en el analisis anterior, se simulan distintas

condiciones de ruido. La definicion adoptada de relacion se
nal a ruido (SNR) es ([24]):
kxk2 kxk2
SN R = = , (3.43)
E[kk2 ] T r [ ]
y
SN RdB = 10 log10 (SN R) . (3.44)
Se presenta un ejemplo en el que el ruido aditivo es Gaussiano, y se proponen tres condi-
ciones de correlacion distintas, Fig. 3.4. Dos de los trazados se corresponden con = 2 I
Fig. 3.4: MSE vs. SNR, ruido Gaussiano.
(i.i.d. Gaussian) y = diag(21 , 22 , . . . , 2M ) (uncorr. Gaussian), y un tercer traza-

do se corresponde con una matriz de covarianza arbitraria (no diagonal). En los tres casos
se observa la misma tendencia:
1
M SE (3.45)
SN R
y, nuevamente, los mismos niveles de error cuadratico medio se alcanzan para todas las
condiciones de correlacion del ruido. Resultados equivalentes se obtienen bajo la suposicion
de distribucion de ruido uniforme, y otras elecciones de M , N y x.
3.3. Analisis de hipotesis

Al comienzo de esta seccion se especificaron las hipotesis para las cuales se buscaba
encontrar la regla de fusion BAUE, sin embargo a lo largo de la seccion se asumieron algu-
3. Fusion BAUE 30
nas hipotesis adicionales. En esta seccion analizamos las implicancias de haber adoptado
cada una de dichas hipotesis.
3.3.1. Modelo de observacion

En la b
usqueda de una expresion cerrada para la regla de fusion se supuso que la matriz
tiene inversa. Tal como se discutio en la seccion 3.1, esta suposicion tiene sentido en la
medida en que sabemos que los ruidos, y por lo tanto las mediciones, son estadsticamente
diferentes. Tener una matriz de covarianza no inversible significa, por ejemplo, que alguno
de los ruidos es combinacion lineal de los otros.
Otra suposicion que se hizo fue que la matriz HT 1 H <
N N
tiene inversa. Aqu in-
terviene la matriz de observacion H para la cual hemos establecido que Rg(H) = N , al
principio de esta seccion. Dado que en el producto de matrices interviene la matriz no
negativa definida 1 T 1
, se cumple que Rg(H H) = Rg(H) = N , y por lo tanto existe
1
la matriz inversa HT 1

H en todos los casos en los que se centra nuestro analisis.
3.3.2. Regla de fusion afn

Esta hipotesis implica que la regla de fusion esta determinada solamente por un conjun-
to de parametros constantes, que dan lugar a una combinacion lineal de las observaciones.
La regla, por lo tanto, es independiente del valor que asuman z y x: la regla de fusion
es siempre la misma, una vez caracterizadas las estadsticas de primer y segundo orden
del ruido aditivo, y la matriz de observacion H. Esta hipotesis, ademas, da lugar a una
funcion costo J() que resulta ser funcion cuadratica de las incognitas del problema, y
permite encontrar una solucion cerrada a partir de un sistema de ecuaciones lineales.
3.3.3. Regla de fusion insesgada

Es com un imponer como condicion a un estimador el hecho de que sea insesgado.
Si bien es una caracterstica muchas veces deseable, y en nuestro desarrollo derivo en
notables simplificaciones, no siempre resulta prioritario concebirlo as. Si no se imponen
las condiciones de estimador insesgado dadas por la expresion (3.26), el error cuadratico
medio de la expresion (3.27) toma la siguiente forma:
J (B, u, x) = E kxF xk2m

h i h 1 1i
= ((BA I)x + u)T M ((BA I)x + u) + T r 2 BT MB2 . (3.46)
Aqu se ve que en la minimizacion de J() intervienen las variables B, u y x. Esto nos hace
pensar que, por ejemplo, para un determinado valor de x habra un conjunto de valores
de B, u que minimizan a J(), y que tanto el valor que adopte J() como los que adopten
B y u dependeran del valor de x. Esta situacion, en que el conjunto de parametros se
adecua al valor de x, puede ser particularmente u til si se dispone, a priori, de alg un
conocimiento acerca del valor de x. Si, en cambio, no se conoce nada acerca del valor de
x, resulta natural buscar la minimizacion de la funcion costo J() bajo la condicion de que
3. Fusion BAUE 31
u
la optimizacion (Jmin , B, ) no dependa del valor de x, es decir que ni el error cuadratico
medio ni la regla de fusion dependan del valor de la variable a estimar. Para buscar dicha
condicion, escribimos el valor mnimo de la funcion costo como
T h 1
1i
Jmin = I x+u
BH M BH I x+u + T r 2 B T MB 2 , (3.47)
y pedimos que su derivada respecto de x sea cero, cualquiera sea el valor de x:

Jmin T
I M BH

I x+u

= 2 BH = 0 x . (3.48)
x

Aqu tambien se utilizo que x
B
= xu = 0 (i.e., la regla de fusion es afn). Siendo que el
tercer factor del producto depende de x, y que la matriz M es positiva definida, para que
la igualdad se cumpla en todo valor de x, debe cumplirse que BH = I. Si volvemos ahora
a la expresion (3.47) y hacemos uso de este resultado, obtenemos
h 1 1i
Jmin = k uk2m + T r 2 B T MB
2 (3.49)
Aqu, el termino que depende del vector u aporta una cantidad constante al valor de
la funcion costo, y no interactua con ninguna de las demas variables del problema. Es
as que el mnimo valor que puede adoptar J() se da cuando u = 0. Resulta, entonces,
que bajo la hipotesis de regla de fusion afn, pedir que la minimizacion de la funcion costo
sea independiente de x lleva a que la regla de fusion resulte insesgada. Por otra parte, a
la luz de lo desarrollado a lo largo de la seccion 3.2, si imponemos la condicion de que el
estimador sea insesgado llegamos a una funcion costo independiente del valor de x. Estas
dos afirmaciones dan lugar a la siguiente doble implicancia:
E[xF ] = x {Jmin independiente de x} (3.50)
Conclusi on Bajo el criterio de mnimo error cuadratico medio y regla de fusion afn,
son equivalentes la hipotesis de regla de fusion insesgada y la hipotesis de error cuadratico
medio independiente del valor de la variable x a estimar.
3.4. Alternativas al criterio BAUE

Se presentan, a continuacion, algunas variantes respecto de las hipotesis adoptadas a
lo largo del captulo, distinguiendo coincidencias, ventajas o desventajas.
3.4.1. Regla de fusion sesgada

Es bien conocido que permitiendo un sesgo a la hora de realizar una estimacion se
pueden lograr errores cuadraticos medios menores que aquellos obtenidos mediante una
estimacion insesgada. Se analiza, en primera medida, un caso de estimacion escalar ses-
gada, para el cual se muestran las perspectivas de mejora respecto de la regla de fusion
BAUE. Mas adelante se presenta una solucion mas general, en correspondencia con el
nivel de generalidad de la seccion 3.2.
3. Fusion BAUE 32
Estimacion de un escalar
Bajo los mismos modelos y notaciones utilizadas en la seccion 3.2, se analiza el caso
en que N = 1, esto es, H = h <M , x = x <:
z=hx+ , (3.51)
bT <1M y u = u <:
y por lo tanto B =
xF = bT z + u . (3.52)
El error cuadratico medio logrado mediante una fusion BAUE, adoptando la norma Eu-
cldea (M = I), sera de acuerdo a la expresion (3.30)
h
T b
i
= 1
M SEu = T r b T
, (3.53)
h h
que por corresponder a una estimacion insesgada, cumple que M SEu = F2 BAU E . Para un
valor particular x = x, el error cuadratico medio para una regla de fusion sesgada, dado
por la expresion (3.46), resulta ser:
2
x) = bTb h 1 x + ub + bTb bb ,

M SEb ( (3.54)
donde se reservan los subndices b para referirse a los parametros de la regla de fusion
sesgada. Si para este valor de x = x se logra que
bTb h 1 x + ub = 0 y bTb bb = M SEu ,

(3.55)
por ejemplo adoptando

ub = bTb h 1 x ,

bb = b y (3.56)
entonces el error cuadratico medio correspondiente a la regla de fusion sesgada es:
M SEb (
x) = M SEu . (3.57)
Es decir, si < 1 resulta preferible utilizar la regla de fusion sesgada frente a la insesgada.
Si bien esta igualdad es valida solamente para x = x, y requiere de conocer el valor
exacto de x, existe un intervalo xmin < x < xmax dentro del cual sigue siendo cierto que
M SEb < M SEu , y cuyos extremos se pueden calcular partiendo de la siguiente inecuacion:
T 2
bb h 1 x + ub + M SEu < M SEu . (3.58)
Haciendo uso de las expresiones (3.53) y (3.56) se obtiene:
x FBAU E < x < x + FBAU E , (3.59)
donde s
1+
= . (3.60)
1
3. Fusion BAUE 33
Conclusi on 1 Si se conoce una solucion aproximada al problema, x, es posible construir

una regla de fusion afn sesgada que tenga menor error cuadratico medio que la regla de
fusion BAUE en el intervalo dado por la expresion (3.59), y que tenga un error cuadratico
medio arbitrariamente peque no para x = x. El factor vincula el factor de ganancia en
el error cuadratico medio, , con la longitud del intervalo mencionado.
Conclusi on 2 Alternativamente, si se sabe que x esta comprendida en un intervalo

(xmin , xmax ), se puede construir una regla de fusion afn sesgada:
xFb = bTb z + ub , (3.61)
siendo
1 1 1
h xmin + xmax
bb = b= T 1 y ub = , (3.62)
+1 + 1 h h +1
con 2
xmax xmin
hT 1

= h , (3.63)
2
de modo tal que se logra un error cuadratico medio
2 2
xmin + xmax 2x 1 1
M SEb (x) = + T 1 , (3.64)
+1 +1 h h
que es menor que M SEu en todo el intervalo dado para x.
El sesgo y la varianza de la regla de fusion sesgada son:

T 2
E [xb x] = E bb z + ub x = 1 x + ub = x + ub (3.65)
+1
2
2 T 1 1
E (xb E[xb ]) = bb bb = T 1 = T 1 (3.66)
h h +1 h h
Es decir, la regla de fusion tiene un sesgo afn y una varianza menor que aquella de la
regla de fusion BAUE.
Ejemplo Se muestran resultados provenientes de simulaciones, con la intencion de com-

parar el desempeno de la regla de fusion sesgada respecto de la regla BAUE, para el caso
de estimacion escalar que se acaba de analizar. Se adoptaron los siguientes parametros
para el esquema de observacion:

0,0027
0,1538

0,5937

0,6256

0,8079
x = 9,81, M = 10, h = 0,0279 , N (0, = 1 I)
(3.67)

0,9260

0,9935

0,7078
0,3603
3. Fusion BAUE 34
donde el vector h, que modela al sistema de observacion, se genero aleatoriamente, y se

supuso conocido un intervalo para el valor de x:
9 < x < 11 (3.68)
Aplicando la regla de estimacion sesgada dada por las expresiones (3.61) y (3.62) y sim-
ulando un total de 10000 realizaciones para el ruido , a efectos de calcular estadsticas,
se obtuvieron los siguientes resultados para los errores cuadraticos medios:
M SEb = 0,0959 M SEu = 0,2566 , (3.69)
es decir que el error cuadratico medio se reduce en un 63 % respecto de la regla de fusion

BAUE. A continuacion se presentan dos trazados: en la Fig. 3.5 se trazan las estimaciones
realizadas mediante la regla BAUE y la regla sesgada, y el valor real de x; y en la Fig. 3.6
se muestran histogramas para las dos reglas de estimacion. En ambos graficos se ilustra el
hecho de que si bien la regla de fusion sesgada tiene su valor medio desplazado respecto del
valor real de x, en promedio comete menos error que la regla de fusion BAUE y ademas
tiene menor varianza.
Fig. 3.5: Estimaci

on BAUE vs. estimaci
on sesgada.
3. Fusion BAUE 35
Fig. 3.6: Comparaci

on de histogramas.
Estimacion de un vector
Se presenta ahora una generalizacion de la regla de fusion sesgada, para el caso en que
x <N , y por simplicidad se asume que M = I, es decir que se adopta la norma Eucldea.
Haciendo dicha simplificacion, la expresion (3.46) toma la forma:
h i
M SEb (B, u, x) = ((BA I) x + u)T ((BA I) x + u) + T r B BT .

(3.70)
Resulta u til notar que en el caso particular en que Bb = B y ub = 0, es decir la regla de

fusion es la insesgada, se cumple:
h 1 i

M SEb B, 0, x = T r H H T 1
= M SEu . (3.71)
Por lo tanto, el problema de encontrar una regla de fusion sesgada optima, que tenga
menor error cuadratico medio que la regla BAUE, puede plantearse como encontrar un
conjunto de parametros Bb , ub que cumplan:

0, x
M SEb (Bb , ub , x) < M SEb B, x X
M SEb (Bb , ub , x) M SEb (B, u, x) B, u, x X (3.72)
En otras palabras, que la regla sesgada tenga menor error cuadratico medio que la regla
BAUE en cierto intervalo X <N , y que sea la regla de menor error cuadratico medio
entre todas las posibles reglas sesgadas. Para realizar la optimizacion puede utilizarse un
criterio minimax:
n o
(Bb , ub ) = arg mn max M SEb B, u, x M SEb B, 0, x (3.73)
B,u xX
3. Fusion BAUE 36
La resolucion de este problema y la demostracion de la unicidad de la solucion se pueden

encontrar en [24] y [25]. En [24], el problema se plantea del siguiente modo: encontrar una
estimacion sesgada cuyo error cuadratico medio sea inferior a la cota de Cramèr-Rao. Sea
el vector z, con funcion de densidad de probabilidad p(z|x), y Jx la matriz de informacion
de Fisher. Entonces, si x es un estimador insesgado que alcanza la cota de Cramèr-Rao,
existe un estimador sesgado que tiene menor error cuadratico medio. En dicho trabajo
se encuentra la solucion al problema en que x no esta condicionado, es decir X = CN ,
mediante una descripcion SDP (Semidefinite Programming), cuyo tratamiento excede el
marco de este trabajo. Se trata, sin embargo, un ejemplo de optimizacion bajo la condicion
de que X sea un conjunto cuadratico de la forma:
X = {x : xH x + 2<{cH
1 x} + d1 0} , (3.74)
y en dicho trabajo (Proposition 4 ) se encuentra como solucion al problema:
T r(J1 T r(J1

x ) x )
xb = 1 H
+
x H
c1 . (3.75)
T r(J1
x ) + c 1 c 1 d1 T r(J1
x ) + c 1 c 1 d1
Si se retoma la segunda conclusion del desarrollo de la regla de fusion sesgada para

un escalar, pero ahora para dimension N , se tiene como condicion sobre x: kx x k c,
y por lo tanto, la regla de fusion sesgada de acuerdo a las expresiones (3.74) y (3.75) es:
T r(J1 T r(J1

x ) x )
xb = 1 +
x .
x (3.76)
T r(J1
x )+c
2 T r(J1
x )+c
2
El error cuadratico medio asociado a esta regla de fusion sesgada es

2
[T r(J1
x )] kx x k2 + c4 T r(J1
x )
M SEb (x) = 2 , (3.77)
1 2
(T r(Jx ) + c )
que a k = c, es menor que la cota de Cramèr-Rao:

un en el peor caso, kx x
1
M SEbM AX = 1 1 < T r(J1
x ) . (3.78)
T r(J1
+ c2
x )
Hasta aqu se verifico la conveniencia de utilizar, en ciertas ocasiones, una regla de

fusion sesgada. Se desarrollaron dos esquemas para la estimacion de un escalar, uno en el
que se conoce una solucion aproximada x y otro en el que se conoce un intervalo para x,
y se presento una regla de fusion sesgada para el caso en que x <N .
3.4.2. Criterio Maximum Likelihood, ruido Gaussiano

En esta seccion se trabaja con un modelo de observacion igual al que se viene uti-
lizando, dado por la expresion (3.22), sin embargo se propone encarar el problema de
optimizacion seg
un un criterio distinto: Maximum-Likelihood (ML). Este criterio, tal co-
mo se presento en el captulo 2, supone que la variable a estimar es parametro de la
3. Fusion BAUE 37
funcion de densidad de probabilidad de las observaciones, y se busca el valor de x que

maximice dicha densidad, en otras palabras:
FM L = arg max Lx (z) = arg max p(z|x)

x
x x
Al plantear la optimizacion desde el punto de vista de Maximum Likelihood aparecen

las funciones de densidad de probabilidad de las observaciones z, cosa que no ocurrio al
plantear la optimizacion mediante el criterio de mnimo error cuadratico medio. Es por
ello que el desarrollo de la regla de fusion ahora esta sujeto a la distribucion del ruido i .
En este apartado, las hipotesis de regla de fusion insesgada y regla de fusion afn no seran
requeridas, aunque s se limita el estudio al caso de ruido con distribucion Gaussiana.
Planteo y desarrollo
Dado que se supone a x un parametro determinstico, y siendo que la matriz H es
conocida, entonces las mediciones z estan distribuidas de acuerdo a N (Hx, ). En primer
lugar se define la funcion de verosimilitud Lx (z):
1 1 T 1 (zHx)
Lx (z) =
p(z|x) = e 2 (zHx)
. (3.79)
(2)M/2 | |1/2
Para encontrar el valor de x que maximiza esta expresion, es conveniente notar que la
funcion et es monotona creciente y por lo tanto se puede maximizar su argumento:
1
ln (Lx (z)) = k (z Hx)T 1
lx (z) = (z Hx) . (3.80)
2
Esta expresion tiene un u
nico maximo que puede encontrarse igualando su gradiente a
cero. Para calcular la derivada de lx (z) respecto de x se hace primero un cambio de
variable: v = z Hx, y se aplica la regla de la cadena para la derivacion respecto de un
vector:
lx (z) v lx (z)
= .
x x v
El primero de los terminos resulta ser:
v [z Hx]
= = HT ,
x x
y el segundo:
1 vT 1

lx (z) v
= = 1 1
v = (z Hx) .
v 2 v
lx (z)
Por lo tanto, de la condicion x
= 0, resulta la siguiente ecuacion:
HT 1
(z H
xF M L ) = 0
3. Fusion BAUE 38
Esta ecuacion vincula a la regla de fusion optima x FM L con las observaciones z. Si se

FM L , se obtiene:
desarrolla la expresion intentando despejar x
HT 1 z HT 1
H
xFM L = 0
HT 1
HxFM L = HT 1
z
1
FM L = HT 1 HT 1

x H z . (3.81)
Por las mismas razones que se expusieron en la seccion 3.3, se supone que la matriz
T 1

H H tiene inversa.
Analisis de resultados
Se encuentra, en primer lugar, que la regla de fusion Maximum Likelihood para el caso
de ruido Gaussiano resulta ser la misma que la regla de fusion afn derivada mediante el
criterio de mnimo error cuadratico medio (BAUE). Esta coincidencia hace evidente el
hecho de que la regla de fusion Maximum Likelihood es afn e insesgada para el caso de
ruido Gaussiano, y ademas, por ser ambas reglas de fusion exactamente iguales, la matriz
de covarianza de la regla ML tambien es:
FM L = (HT 1
H)
1
(3.82)
Cota de Cram` er-Rao Cuando se conoce la distribucion del ruido, se puede estudiar
la eficiencia de la estimacion mediante la comparacion con la Cota de Cramèr-Rao. Esta
cota es un lmite inferior para la varianza (o matriz de covarianza) de cualquier estimacion
insesgada que se haga para un cierto parametro. La cota establece que, en el caso escalar:
" 2 #
1 l (X)
V AR[] donde I() = E ,
I()
y en el caso vectorial:
" T #
I()1 l (X) l (X)
COV [] donde I() = E , (3.83)

siendo X el conjunto de muestras, l (X) el logaritmo de la funcion de verosimilitud, y o

(seg
un corresponda) el parametro a estimar. Es importante mencionar que en la expresion
(3.83), el signo debe interpretarse como que la matriz diferencia COV [] I()1
es semi definida positiva.
En el caso de la fusion Maximum Likelihood, el parametro que se estima es el vector
x, y el logaritmo de la funcion de verosimilitud, de acuerdo a la expresion (3.80), es:
1
lx (z) = k (z Hx)T 1
(z Hx) .
2
3. Fusion BAUE 39
Derivando, de la misma manera en que se busco el maximo, se obtiene:
lx (z)
= HT 1 T 1
(z Hx) = H ,
x
y reemplazando este resultado en la ecuacion (3.83) se encuentra que:
1 1
x] E (HT 1 T 1 T
= HT 1 T 1

COV [ )(H ) E[ ] H
1
x] HT 1
COV [ H . (3.84)
Dado que la matriz de covarianza de la regla de fusion ML para ruido Gaussiano es

coincidentente con la cota de Cramer-Rao, se dice que la regla de fusion ML resulta
una estimacion eficiente del vector x. Ademas, como las reglas de fusion BAUE (ruido
arbitrario) y MLE (ruido Gaussiano) son iguales, tambien la regla de fusion afn BAUE
resulta en una estimacion eficiente bajo el supuesto de ruido Gaussiano. Esto significa que
si bien los resultados obtenidos mediante el criterio BAUE son suboptimos en el caso mas
general, por haberse adoptado la hipotesis de regla de fusion afn, la regla BAUE es la
optima en el caso de ruido Gaussiano.
3.5. Conclusiones del captulo

En este captulo se desarrollaron principalmente, reglas de fusion afines e insesgadas
a partir de modelos de observacion linealizados y utilizando el criterio de estimacion de
mnimo error cuadratico medio. Se realizaron analisis de los resultados mediante el calculo
de varianzas y matrices de covarianza, e ilustrando conceptos y caractersticas a partir de
graficos y simulaciones.
Tambien se analizaron de las implicancias de haber adoptado ciertas hipotesis, y se
justifico la incorporacion de otras a lo largo del desarrollo. Con el objetivo comprender las
hipotesis desde un punto de vista mas amplio, se desarrollaron reglas de fusion sesgadas
basadas en el criterio de mnimo error cuadratico medio, y tambien reglas basadas en el
criterio Maximum-Likelihood. En ambos casos, se compararon los resultados obtenidos
con las reglas de fusion BAUE previamente desarrolladas.

4. MODELOS DE CAMARA Y LENTE
En el captulo 2 se hizo referencia al modelo de observacion como uno de los puntos de

partida para realizar la Fusion de Datos, y en el captulo 3 se resolvio el problema de la
fusion bajo el criterio BAUE cuando se conoce una linealizacion del sistema de observacion,
es decir su matriz H. En este captulo se analizan los modelos que describen el proceso
de observacion al tomar imagenes mediante una camara digital. Se comienza estudiando
las caractersticas geometricas de la camara, se contin
ua describiendo fenomenos opticos
que dan lugar a aberraciones, para luego caracterizar los efectos que surgen al utilizar
sensores opticos. Finalmente, se realiza el modelado de algunas de estas caractersticas
para el caso particular de una camara comercial, lo cual da un modelo de observacion
para implementar el proceso de fusion en el captulo siguiente.
4.1. Camara Pinhole o camara estenopeica

Se denomina camara pinhole, o camara estenopeica, a una camara fotografica for-
mada por una caja oscura (completamente cerrada), en la que se hace un peque no orificio
en una de las caras, y se ubica una pelcula o sensor fotosensible en la cara opuesta (plano
focal). Los rayos de luz del exterior de la camara, al pasar por el orificio, proyectan una
imagen de la escena sobre el plano focal. Este esquema representa al sistema fotografico
mas elemental posible, cuyo modelo se representa en la Fig. 4.1.
Este modelo de camara resulta en una aproximacion lineal de los fenomenos, explica
las proyecciones y el efecto de perspectiva, pero no contempla ning un efecto distorsivo,
ya que la camara pinhole no tiene lentes. El hecho de que la camara pinhole no tenga
lentes, tiene el particular efecto de que todas las figuras de la escena son tomadas en foco,
independientemente de sus distancias respecto de la camara. Las limitaciones en cuanto
a la nitidez de las figuras proyectadas son las limitaciones propias de la propagacion de la
luz en el sistema optico, como por ejemplo la difraccion en los bordes del orificio y en los
bordes de las figuras de la escena. Si bien para la fusion de imagenes en este trabajo no se
utilizara una camara pinhole, el analisis de este modelo de camara permite comprender
ciertos conceptos fundamentales.
4.1.1. Descripcion cualitativa del modelo

El modelo esta caracterizado por un u nico parametro, que es el que relaciona la ge-
ometra de la camara con la geometra de la escena: la distancia focal. Este es principal
parametro de cualquier camara fotografica. En la camara pinhole, la distancia focal es la
distancia entre el plano focal y el plano del frente de la camara, donde se ubica el orificio
4. Modelos de camara y lente 41
Fig. 4.1: Modelo de c

amara Pinhole.
(punto c en la Fig. 4.1). Este parametro se simboliza con la letra f y determina el

campo visual de la fotografa. Si se toman dos fotografas con distancias focales diferentes,
y suponiendo un mismo tama no de sensor o pelcula, la fotografa de mayor distancia focal
tiene un campo visual mas reducido, y la de menor distancia focal tiene un campo visual
mas amplio. Este fenomeno se ilustra en la Fig. 4.2, donde f2 > f1 .
Fig. 4.2: Relaci

on entre la distancia focal y el campo visual.
4.1.2. Descripcion cuantitativa del modelo

En la Fig. 4.1 se muestra una figura de la escena (hexagono), cuyos puntos se pueden
referir mediante un sistema de coordenadas (xc , yc , zc ) al punto c de la camara. Los
subndices c indican que el sistema de referencia esta centrado en la camara, y resulta
conveniente que el eje zc sea ortogonal al plano focal. Por otra parte, las coordenadas
de un punto en la imagen proyectada, por estar en el plano focal, pueden identificarse
mediante dos coordenadas, (u, v), y la proyeccion del centro de coordenadas c en la
imagen es el punto (uo , vo ).
Entre el punto c, un punto (xc , yc , zc ) cualquiera de la escena, y su proyeccion al eje zc ,
(0, 0, zc ), se forma un triangulo rectangulo, y entre los puntos (uo , vo ), c, y la proyeccion
(u, v), se forma otro triangulo rectangulo. Dado que los triangulos son semejantes, se
tienen las siguientes identidades:
u uo xc
= (4.1)
f zc
v vo yc
= , (4.2)
f zc
despejando u y v de estas expresiones se tiene
xc
u= f + uo (4.3)
zc
yc
v = f + vo , (4.4)
zc
y se observa que las coordenadas xc e yc aparecen en ambas ecuaciones normalizadas con
el valor de zc . Para poder describir la proyeccion como una operacion lineal se procede
multiplicando ambos miembros de las ecuaciones por el factor zc :
uzc = xc f + uo zc (4.5)
vzc = yc f + vo zc (4.6)
para finalmente agrupar en forma de producto matricial:

xc
u f 0 uo
zc = yc . (4.7)
v 0 f vo
zc
Es importante notar que as como el punto (xc , yc , zc ) se proyecta en el punto (u, v),
cualquier punto que se encuentre sobre la recta que une a dichos puntos tendra la misma
proyeccion (u, v) (ver Fig. 4.1). Observando las ecuaciones, queda claro que si se toma un
punto cualquiera de la recta (x0c , yc0 , zc0 ) = s (xc , yc , zc ), la proyeccion (u, v) es la misma:

s xc
u f 0 uo
s zc = s yc . (4.8)
v 0 f vo
s zc
Este hecho se suele representar agregando una ecuacion mas al sistema de ecuaciones
(4.7), que indique que puede haber un factor de escala s arbitrario, proporcional al valor
de zc :
u f 0 uo xc xc
s v = 0 f vo
yc = A yc .
(4.9)
1 0 0 1 zc zc
De este modo, para cada punto del espacio (xc , yc , zc ) se realiza el producto matricial de
la ecuacion (4.9) y se obtiene como resultado un vector

U u
V = s v , (4.10)
s 1
que permite calcular la posicion de la proyeccion correspondiente haciendo el cociente

entre cada una de las dos primeras componentes, y la tercera componente,
U
u= (4.11)
s
V
v= . (4.12)
s
En la bibliografa ([26], [27]) se suele incluir un factor mas a la matriz de proyecciones,
que representa una perdida de ortogonalidad en la proyeccion, y al que se denomina
skewness factor, o simplemente skew. Este factor se simboliza con la letra , y cumple el
rol de vincular, por ejemplo, la variable u con la variable yc , del siguiente modo:

u f uo xc
s v = 0 f vo
yc . (4.13)
1 0 0 1 zc
Dicho factor es tpicamente cero, salvo en casos muy especiales, que no son de interes para
nuestro estudio (ver [26]).
Generalizacion del modelo

Si en lugar de conocerse las coordenadas del punto de la escena respecto del origen
c, se conocen sus coordenadas respecto de otro sistema de referencia, se requiere de una
transformacion de coordenadas. Dado un sistema de referencia arbitrario, se puede con-
struir una transformacion que convierta sus coordenadas a aquellas referidas al punto c,
y que se componga de una rotacion y una traslacion. Si las coordenadas de un punto en
el sistema arbitrario son (xa , ya , za ), entonces se pueden encontrar una matriz de rotacion
R <33 y un vector t <3 tales que

xc xa
yc = R ya + t . (4.14)
zc za
A simple vista se concluye que esta transformacion no es lineal, ya que contiene al vector
constante t. Sin embargo, es posible expresar esta operacion como una transformacion
lineal si se representa al vector (xa , ya , za ) en un espacio de dimension 4, bajo la siguiente
equivalencia:
xa
xa ya
ya , (4.15)
za
za
1
y a la transformacion como el producto

xa xa
xc ya ya
yc = R t = r1 r2 r3 t , (4.16)
za za
zc
1 1
donde ri son los vectores columna de la matriz de rotacion. Finalmente, expresando la op-
eracion de proyeccion para este nuevo conjunto de coordenadas, se tiene la transformacion
completa:
xa
u ya
s v = A R t za .
(4.17)
1
1
4.2. Lentes
El modelo de camara pinhole permite explicar solo los efectos de proyeccion en el
sistema fotografico. Es por ello que cuando se trabaja con camaras convencionales que
s involucran una lente o un conjunto de lentes, es necesario incorporar modelos que
expliquen otros fenomenos que aparecen. En esta seccion trataremos algunos de los efectos
distorsivos de la lente, haciendo particular enfasis en aquellos que se especifican en las
hojas de datos de lentes para fotografa profesional.
Las lentes del sistema fotografico tienen por funcion lograr un tama
no de campo visual
distinto del que se tendra seg
un el esquema de camara pinhole. Se pueden utilizar lentes
para reducir el campo visual y magnificar un sector de la escena (como si se aumentara
la distancia focal f ), o tambien para ampliar el campo visual (como si se redujera f ).
En el ambito de la fotografa, a estas dos configuraciones se las suele denominar teleob-
jetivo (telephoto) y gran angular (wide-angle), respectivamente, y en general se las logra
mediante un sistema de varias lentes.
El modelo pinhole supone que los rayos ingresan a la camara a traves de un punto sin
dimensiones, sin embargo las camaras fotograficas tienen un diafragma cuyas dimensiones
pueden variar. Al cociente entre la distancia focal y el diametro del diafragma se lo
denomina apertura relativa, y se lo simboliza como f/ o f-stop. Por ejemplo, una
apertura relativa f/8 representa un diametro del diafragma ocho veces mas chico que la
distancia focal. El valor de la apertura relativa por un lado influye, al igual que el tiempo
de exposicion, en la cantidad de luz que ingresa a la camara; y por otro lado tambien
afecta a la resolucion espacial de la imagen proyectada1 .
4.2.1. Distorsion radial

As como las lentes permiten reducir y ampliar el campo visual de un sistema fotografi-
co, tambien traen aparejados fenomenos de distorsion de la imagen. Estos fenomenos de
distorsion son principalmente resultado de la curvatura de las lentes, y se perciben como
una deformacion de la imagen. Los efectos de la distorsion se evidencian al fotografiar
patrones con lineas rectas, y dependiendo del tipo de configuracion de lentes se reconocen
dos casos de distorsion tpicos, denominados distorsion tipo barrel y tipo pincushion, ver
Fig. 4.3. A estos dos casos de distorsion se los clasifica como fenomenos de distorsion
radial, ya que la deformacion depende solamente de la distancia de los puntos al centro
optico, lo cual supone una geometra simetrica respecto del eje optico zc .
Fig. 4.3: Distorsi

on tipo barrel (izquierda) y tipo pincushion (derecha).
La caracterizacion y modelado de estos fenomenos de distorsion radial se comenzaron

a hacer en los trabajos publicados por D. C. Brown (como [28], y otros anteriores), con
el objetivo de hacer correcciones en las fotografas. Uno de los modelos que se presenta
en [28], y que es sin duda el mas utilizado en publicaciones posteriores, se describe a
continuacion.
En el modelo propuesto, las desviaciones entre los puntos observados (u0 , v 0 ) y los
puntos que predice el modelo de camara pinhole (u, v), son funcion de la distancia del
punto (u, v) respecto del centro optico (uo , vo ), y dicha dependencia se expresa en forma
de serie de potencias:
X
0
r = r r = kn rn , (4.18)
n=0
1
Esta u
ltima idea se desarrolla en la seccion 4.2.4
donde
p
r= (u uo )2 + (v vo )2 : distancia del punto (u, v) al centro optico
p
r0 = (u0 uo )2 + (v 0 vo )2 : distancia del punto (u0 , v 0 ) al centro optico.
En la bibliografa se suele expresar la serie de potencias con terminos desde r3 , es decir

con coeficientes k0 = k1 = k2 = 0. Estas consideraciones tienen sustento en el hecho de
que en el centro de la lente los rayos de luz no se desvan (k0 = 0), que en el centro de la
lente hay un mnimo de desviacion (k1 = 0), y que las desviaciones aparecen gradualmente
a medida que los rayos de luz se apartan del centro de la lente.
En la Fig. 4.4 se muestran las curvas de distorsion que especifican dos fabricantes de
lentes para fotografa profesional, Schneider Optics y Rodenstock Photo Optics. En dichas
curvas, se muestran las distorsiones porcentuales como funcion de la distancia reltiva al
centro optico, en el primer caso, y como funcion del angulo de campo visual, en el segundo
caso.
Fig. 4.4: Curvas de distorsion porcentual, para los modelos Apo-Digitar 5.6/24, de Schneider
Optics (izquierda), y Apo-Sironar digital 35 mm f/4.5, de Rodenstock Photo Optics
(derecha).
De acuerdo al modelo de distorsion presentado, la distorsion porcentual esta dada por

r
D% = 100 , (4.19)
r
que bajo la suposicion de que k0 = k1 = 0, resulta
k2 r2 + k3 r3 + . . .
D % = 100 = 100 (k2 r + k3 r2 + . . .) . (4.20)
r
De la observacion de las curvas de distorsion en los casos mencionados (y en el com un de
las lentes profesionales), se justifica la suposicion de k2 = 0, ya que la distorsion radial
porcentual tiene pendiente nula en r = 0.
En las curvas de distorsion radial presentadas, se observan caractersticas distintas

segun cierto parametro ( 0 = 0 . . . 0,0266 en un caso, y 0x . . . 0,1x en el otro caso). Este
parametro es un factor de escala que surge de relacionar la distancia entre la lente y el
plano focal, di , y la distancia entre la lente y el punto de la escena en el que se hace foco,
do , es decir 0 = di /do . Por ejemplo, 0 = 0, o 0x, significa que se hace foco en el infinito
(do = ), y = 0, 02, o 0, 02x, significa que se hace foco a una distancia do = 50di .
Tambien se observa que las curvas asumen valores positivos y negativos, dependien-
do de la distancia r, lo cual representa el tipo de distorsion radial: valores positivos de
r/r indican distorsion tipo pincushion y valores negativos indican distorsion tipo barrel.
Es decir que algunas lentes presentan solamente distorsion radial tipo barrel, otras tipo
pincushion, y otras presentan distorsion de ambos tipos.
A partir de la ecuacion (4.18) se deducen las expresiones para la distorsion radial en
las variables u y v:
u = u u0 = k3 r3 + k4 r4 + . . . (4.21)
v = v v 0 = k3 r3 + k4 r4 + . . . , (4.22)
o en forma equivalente
u0 = u (k3 r3 + k4 r4 + . . .) (4.23)
v 0 = v (k3 r3 + k4 r4 + . . .) , (4.24)
donde se asumio k0 = k1 = k2 = 0.
En la bibliografa ([26], [27], [29]), al realizarse la calibracion de los parametros k3 , k4 , . . .,
en camaras digitales para vision artificial, se asume que solo el primer termino (o los
primeros dos terminos) es relevante para un buen ajuste, y que la inclusion de terminos
de orden superior no es de importancia, e incluso lleva a problemas de estabilidad numeri-
ca. Sin embargo, para explicar la distorsion en todo el campo visual de la lente, resulta de
importancia la consideracion de terminos de ordenes superiores (ver trazados en la Fig.
4.4).
4.2.2. Distorsion tangencial

La distorsion tangencial (tangential distortion o decentering distortion) es un tipo de
distorsion que tiene que ver con un apartamiento de la condicion de simetra respecto del
eje zc . Esto podra deberse a imperfecciones en la alineacion del sistema optico y/o en la
fabricacion de la lente. Este tipo de distorsion es menos frecuente, en especial si se trata
de lentes para fotografa profesional. El modelo que se presenta en la bibliografa ([26],
[28]) relaciona las variables observadas (u0 , v 0 ) con las variables del modelo pinhole (u, v)
mediante las siguientes expresiones:
u = u u0 = P1 (r2 + 2u2 ) + 2P2 uv (4.25)

v = v v 0 = P2 (r2 + 2v 2 ) + 2P1 uv . (4.26)
No se entra en mayor detalle acerca de este efecto de distorsion, ya que en lentes profe-
sionales predomina la distorsion radial frente a la tangencial2 .
En caso de tenerse ambos tipos de distorsion, las variables observadas se relacionan
con las variables del modelo pinhole sumando ambos efectos de distorsion:
u u0 = ur + ut (4.27)
v v 0 = vr + vt , (4.28)
donde se utilizan los superndices r y t para representar a las desviaciones debidas a la

distorsion radial y tangencial, respectivamente.
4.2.3. MTF: Funcion Transferencia de Modulacion

La Funcion Transferencia de Modulacion (MTF) representa un fenomeno de limitacion
del nivel de detalle que se puede alcanzar mediante un sistema optico. Analogamente al
concepto de respuesta en frecuencia que se utiliza para caracterizar sistemas lineales e
invariantes en el tiempo, existe una funcion de respuesta en frecuencia asociada a un
sistema optico. En el caso de una camara fotografica, el sistema bajo analisis es de dos
dimensiones, y puede imaginarse que como entrada al sistema se tiene una se nal de in-
tensidad de luz I(u, v), y como salida del sistema se tiene otra se nal de intensidad de luz
I 0 (u, v), que esta afectada por la respuesta del sistema optico. La se nal I(u, v) representa
la imagen que se proyectara si el sistema optico no tuviese limitaciones, es decir la ima-
gen que predice el modelo de camara pinhole, y la se nal I 0 (u, v) representa la imagen
observada a traves del sistema de lentes utilizado.
Para el caso de un sistema espacial de dos dimensiones, las hipotesis que se requieren
para poder caracterizarlo mediante una Funcion Transferencia son que el sistema sea
lineal, y que sea invariante ante desplazamientos espaciales:
Sistema lineal
(
H
I10 (u, v)
I1 (u, v) H
H a1 I10 (u, v) + a2 I20 (u, v) ,
a1 I1 (u, v) + a2 I2 (u, v)
I20 (u, v)
I2 (u, v)
I1 , I2 , a1 , a2 (4.29)
Sistema invariante ante desplazamientos

H H
I 0 (u, v) I(u ud , v vd )
I(u, v) I 0 (u ud , v vd ) ,
ud , vd (4.30)
H
donde la notacion
representa la transformacion del sistema.
A la luz de lo expuesto en esta seccion respecto de los fenomenos de distorsion y su
dependencia con la distancia al centro optico, es evidente que el sistema optico no es
2
En las hojas de datos de las lentes mencionadas, los fabricantes solo hacen mencion a la distorsi
on
radial.
invariante ante desplazamientos. Dependiendo de los niveles de distorsion propios de cada

lente, se puede justificar la aproximacion de que el sistema es invariante ante desplaza-
mientos, en algunos casos a nivel global (en todo el dominio (u, v)), y en otros casos a
nivel local (en sectores del dominio (u, v)). Por otra parte, suponer que el sistema optico
es lineal tambien es una suposicion que debe justificarse en funcion de las caractersticas
de la lente, del dispositivo sensor, y de los niveles de intensidad particulares, ya que por
ejemplo, los fenomenos de saturacion del sensor optico o de la pelcula dependen de los
niveles de luz y tiempos de exposicion. A lo largo de esta seccion, se supone que se conoce
una linealizacion de la respuesta del sistema optico H, para un determinado rango de in-
tensidades, y en un determinado sector del dominio (u, v). Mas adelante, cuando se trate
la caracterizacion de una camara en particular (seccion 4.4) se evaluara la validez de estas
aproximaciones.
Tal como ocurre en sistemas temporales, el concepto de Funcion Transferencia de un
sistema en dos dimensiones esta acompa nado del concepto de respuesta impulsiva del
sistema. La respuesta impulsiva es la se nal que se observa a la salida del sistema cuando
la entrada es una se nal impulso, o Delta de Dirac, de dos dimensiones, definida seg un:
Z Z
(u, v)dudv = 1 y (u, v) = 0 (u, v) 6= (0, 0) . (4.31)

Tratandose de sistemas opticos, a la respuesta impulsiva se la denomina Point Spread

Function, ya que es la se nal de intensidad que se observa cuando la se nal de entrada es
un punto de intensidad de luz, y de aqu en adelante se simboliza como h(u, v).
La relacion que existe entre la respuesta impulsiva h(u, v) y la respuesta en frecuen-
cia del sistema es la Transformada de Fourier en dos dimensiones, dada por el par de
expresiones
Z Z
H(1 , 2 ) = h(u, v)ej2(u1 +v2 ) dudv (4.32)

Z Z
h(u, v) = H(1 , 2 )ej2(u1 +v2 ) d1 d2 , (4.33)

y as como la respuesta impulsiva esta definida en un dominio de dos dimensiones, la

respuesta en frecuencia tambien lo esta, y se tienen por lo tanto dos frecuencias. Las
frecuencias 1 y 2 describen los cambios de intensidad de luz con respecto a las direcciones
espaciales dadas por u y v, respectivamente.
Finalmente, la denominada Funcion Transferencia de Modulacion (MTF) queda defini-
da como ([30]):
H(1 , 2 )
MT F = . (4.34)
H(0, 0)
En el caso mas general, esta funcion puede tener variaciones diferentes dependiendo de
la direccion en que se eval
ue la frecuencia. Sin embargo, en una primera aproximacion
puede suponerse que la MTF depende solo del valor absoluto de la frecuencia de la se nal
de entrada, y no de los valores individuales de 1 y 2 . Esta condicion de simetra ante
rotaciones da lugar a que el sistema optico quede caracterizado

p por una curva de respuesta
2 2
en frecuencia M T F = |H ()/ H (0)|, siendo = 1 + 2 .
En la Fig. 4.5 se muestra un ejemplo de curva MTF (publicado por Schneider Optics,
[31]), donde se distinguen algunas caractersticas generales.
Fig. 4.5: Ejemplo de curva MTF.
p
El eje de las abscisas, que representa la frecuencia espacial = 12 + 22 , se mide
en unidades de pares de lineas por milmetro, [lp/mm]. La escala [lp/mm] mide
la cantidad de pares de lineas (linea clara - linea oscura) que se observan en un
milmetro de la imagen proyectada.
La curva MTF tpica de un sistema optico es decreciente con la frecuencia, es decir

que el sistema de lentes actua limitando el ancho de banda de las imagenes. Es
comun definir frecuencias caractersticas de corte, por ejemplo de 50 %, 10 %, etc.
Tal como se menciono con anterioridad, es un hecho que las caractersticas de la lente
tienen variaciones importantes para valores crecientes de la distancia r. Tambien es natural
imaginar que, en general, la MTF depende de ambas frecuencias, 1 y 2 , y por lo tanto
la curva cambia dependiendo de la orientacion del patron de intensidades. Para ilustrar
estos efectos, se muestran en la Fig. 4.6 curvas MTF de las mismas lentes a las que se
hizo referencia durante el analisis de distorsion radial.
De estas curvas se extraen algunas caractersticas mas especficas:
El eje de las abscisas no representa frecuencias espaciales, como en la Fig. 4.5, sino
distancia al centro optico r, absoluta (en mm) o relativa al radio de la lente. De esta
manera se describe la dependencia de la MTF con la posicion.
Se trazan curvas en linea solida y en linea punteada, denominadas radial (o sagittal )

y tangential (o meridional ). Estas curvas indican el valor de la MTF a la distancia r,
Fig. 4.6: Curvas MTF para los modelos Apo-Digitar 5.6/24, de Schneider Optics (izquierda), y
Apo-Sironar digital 35 mm f/4.5, de Rodenstock Photo Optics (derecha).
para patrones cuyas lineas de intensidad se orientan perpendiculares y tangenciales

a una curva de r constante (ver Fig. 4.7). De esta manera se caracteriza la MTF
seg
un dos direcciones distintas de frecuencias (1 , 2 ).
Se trazan varios pares de curvas (solida y punteada) en cada grafico, y cada par de
curvas se asocia a un valor de frecuencia . Por ejemplo, en las curvas de la izquierda
las frecuencias son = 7,5 lp/mm, 15 lp/mm y 30 lp/mm; y en las curvas de la
derecha las frecuencias son = 3,75 lp/mm, 7,5 lp/mm, 15 lp/mm y 30 lp/mm.
Para frecuencias crecientes, las curvas de MTF tienen menor amplitud. Es decir que
la MTF se parametriza para ciertos valores de frecuencia, y se trazan las curvas
como funcion de la distancia al centro optico.
Los graficos que se muestran tambien estan dados para valores especficos del factor
de escala ( 0 = 0, en un caso, y 0,02x, en el otro) y de la apertura del diafragma3
(f/11, en un caso, y f/8, en el otro).
De este analisis se concluye que la descripcion de un sistema optico mediante la Funcion

Transferencia de Modulacion no se limita a conocer una curva de la funcion transferencia
H, sino que mas bien existe un conjunto de curvas que describen la respuesta en frecuencia
seg
un la region (valor de r), segun la orientacion del patron de intensidades, seg un la
apertura relativa del diafragma, y la distancia a la que se hace foco (factor de escala 0 ).
3
En las hojas de datos se presentan curvas equivalentes para otros valores de 0 y apertura relativa
f-stop.
Fig. 4.7: Medici

on de la MTF seg
un las direcciones sagittal y tangencial.
As como cada lente produce una limitacion en el ancho de banda de la imagen, un

sistema optico compuesto por varias lentes u otros accesorios agregados (por ejemplo,
filtros), tiene una MTF equivalente que surge de superponer los efectos de cada etapa del
sistema. Analogamente a como se da en los sistemas temporales, la MTF de un conjunto
de sistemas ubicados en cascada (la salida de un bloque es entrada del bloque siguiente)
es el producto de las MTF individuales.
Por otra parte, el uso de pelculas fotosensibles y sensores tambien incorpora limita-
ciones en el ancho de banda, debido a los efectos de integrar la luz que se proyecta en el
area de las celdas sensoras elementales. Los efectos del muestreo en el sensor electronico
se contemplaran en la seccion 4.3.3.
4.2.4. Otras limitaciones y efectos distorsivos

Existen otros fenomenos que afectan a la calidad de la imagen proyectada, para los
cuales, a efectos de este trabajo, no interesa explayarse en modelos cuantitativos. A con-
tinuacion se mencionan algunos de dichos fenomenos.
Difraccion en el sistema optico En la seccion 4.1 se hizo referencia a que en una

camara pinhole las limitaciones en la calidad de la imagen proyectada son las limitaciones
propias de la propagacion de la luz en el sistema, y se menciono como ejemplo la difraccion.
La difraccion es un fenomeno que experimentan las ondas de luz cuando se las limita a
atravesar un orificio o un borde, y como resultado de dicho fenomeno se observa que ante
una onda plana que incide en el sentido dado por el eje zc (ver el esquema de camara
pinhole), la imagen proyectada no es un punto, sino que se observa un patron con un
maximo de intensidad en el centro (uo , vo ), y alternando maximos y mnimos en forma de

aros concentricos, con intensidades decrecientes (Airy disk, ver Fig. 4.8). El diametro del
Fig. 4.8: Patr

on de difracci
on para una abertura circular.
disco central esta dado por la siguiente expresion ([32]):
f
D 2,44 = 2,44 f-stop , (4.35)
d
siendo d el diametro de la apertura del orificio y la longitud de onda. Esta es una
limitacion en la maxima resolucion que se puede alcanzar en la imagen proyectada.
Aberraci on crom atica longitudinal La aberracion cromatica longitudinal es un

fenomeno que surge del uso de una lente, y que tiene origen en que la lente tiene dis-
tancias focales levemente distintas para longitudes de onda distintas. Esto hace que cada
color este en foco en un plano focal distinto, y en definitiva se perciba una imagen con
algunos colores en foco y otros fuera de foco. Este efecto se hace notar sobre todo en
zonas donde hay cambios de contraste importantes, en que se observan colores que no
corresponden al objeto fotografiado.
El efecto de la aberracion cromatica puede resolverse combinando lentes de distintas
caractersticas, y es comun que las lentes para fotografa profesional compensen en gran
medida este efecto. A continuacion se muestra una curva que indica el desplazamiento de
la distancia focal como funcion de la longitud de onda, para una de las lentes ya citadas
(Fig. 4.9).
Fig. 4.9: Curva de aberracion crom

atica longitudinal, para la lente Apo-Sironar digital 35 mm
f/4.5, de Rodenstock Photo Optics.
4.3. Camaras digitales

Cuando se utilizan camaras fotograficas digitales, ademas de los fenomenos descriptos
en la seccion 4.2 aparecen otros efectos, que son propios de la utilizacion de un sensor
electronico para la proyeccion de la imagen. A un as, varios de estos efectos se pueden
incorporar a los modelos ya presentados, mediante el agregado de ciertos parametros
caractersticos.
4.3.1. Parametros del modelo Pinhole

Respecto del modelo matematico de camara pinhole presentado en la seccion 4.1, se
deben incorporan parametros relacionados con las caractersticas geometricas del sensor.
Suponiendo que el sensor es una superficie plana de dimensiones H V (horizontal y
vertical, respectivamente), y que en su superficie se distribuyen los sensores elementales
en forma de matriz, de dimensiones NH NV (horizontal y vertical, respectivamente), se
pueden estimar las densidades de pxeles en ambas direcciones a partir de los cocientes
respectivos
NH NV
du = dv = , (4.36)
H V
y por lo tanto las expresiones (4.3) y (4.4) pueden modificarse para que las coordenadas
de los puntos proyectados esten dadas en pxeles (up , vp ):1
xc xc
up = udu = f du + uo du = + upo (4.37)
zc zc
yc yc
vp = vdv = f dv + vo dv = + vpo , (4.38)
zc zc
donde y representan la distancia focal f medida en cantidad de pxeles horizontales

y verticales, respectivamente4 , y (upo , vpo ) son las coordenadas del pxel ubicado en el
centro optico (uo , vo ). Mediante el mismo desarrollo que se hizo en la seccion 4.1, se llega
al siguiente resultado:

xa
up 0 upo ya
s vp = 0 vpo R t za .
(4.39)
1 0 0 1
1
4.3.2. Calibracion de camara y camaras metricas

El proceso de calibracion de una camara consiste en realizar una serie de experiencias
que permitan estimar los parametros que caracterizan a la camara. Conocer los parametros
geometricos de una camara (modelo pinhole) permite relacionar las posiciones de los
puntos en la imagen con las posiciones de los puntos de una escena. Este hecho es de
fundamental importancia en disciplinas como la fotogrametra, la vision artificial (o vision
robotica), la vision estereoscopica y la formacion de modelos en 3D, y en innumerables
campos profesionales que hacen uso de estas tecnicas.
Existen diversas tecnicas para realizar la calibracion de una camara, pero todas se
basan en la idea de fotografiar objetos o escenas de las que se conozcan ciertas carac-
tersticas geometricas, como dimensiones, orientaciones, y condiciones de ortogonalidad,
con el objetivo de encontrar un conjunto de parametros que se ajuste a las proyecciones
observadas. El trabajo de Z. Zhang ([27]), trata la calibracion de una camara a partir
de una serie de fotografas de un patron plano en el cual se ubican marcas en posiciones
conocidas. En dicho trabajo se desarrollan metodos para estimar las componentes de la
matriz A y los primeros dos coeficientes de distorsion radial. Se han desarrollado tambien
tecnicas de calibracion a partir de fotografas de patrones lineales ([33], [34]), esfericos
([35], [36]), etc.
Las Camaras Metricas son sistemas fotograficos complejos que permiten tomar imagenes
de muy alta calidad, y seg un parametros precisamente calibrados (en la etapa de fabri-
cacion). Estos sistemas se utilizan principalmente en fotogrametra aerea, para caracterizar
propiedades de la superficie terrestre, y suelen producir imagenes en diferentes zonas del
espectro de la luz (rango visible y los distintos infrarrojos). El hecho de que se conozcan sus
parametros geometricos y opticos con precision, hace que sea posible realizar mediciones
confiables de distancias en las fotografas, con escalas conocidas.
4.3.3. MTF y aliasing

En la seccion 4.2.3 se desarrollo el concepto de MTF para un sistema de dos dimen-
siones, en particular para el caso de lentes fotograficas. Se menciono, al final de dicha
seccion, que la MTF de un sistema de varias etapas se compone como el producto de las
4
En la practica, las densidades u y v pueden no ser iguales, significando esto u
ltimo el hecho de que
los pxeles no son cuadrados.
MTF de cada etapa, y que el sensor electronico afecta a la MTF del sistema fotografico.
En efecto, el hecho de que el pxel tenga un area determinada sobre la cual se proyecta la
senal de luz, implica que la senal electrica generada resulta en una integracion de toda la
luz que ilumina al sensor. Esto hace que, por ejemplo, una se nal de luz cuya intensidad
tenga variaciones a lo largo del area del sensor, sea interpretada como una se nal cuyo
valor de intensidad sea el valor promedio de la verdadera se nal proyectada.
Es natural, entonces, afirmar que la maxima frecuencia espacial que puede detectarse
con certeza en un sensor electronico es aquella que corresponde a un ciclo cada dos pxeles
(una lnea con luz en un pxel, y una lnea sin luz en el pxel vecino). Esto no es otra cosa
que el Criterio de Nyquist para el muestreo de una se nal. Si se conocen las densidades de
pxeles du y dv , entonces las dimensiones horizontal y vertical del pxel promedio son 1/du
y 1/dv , y las frecuencias maximas que pueden detectarse cumplen:
1 2
= (4.40)
1M AX du
1 2
= , (4.41)
2M AX dv
es decir que si du y dv se conocen en pxeles por milmetro, entonces las frecuencias 1 y

2 maximas en lp/mm (o ciclos por milmetro) son:
du
1M AX = (4.42)
2
dv
2M AX = . (4.43)
2
Las imagenes proyectadas que tengan frecuencias espaciales mayores que estos maximos
seran interpretadas erroneamente, ya que estaran afectadas por el efecto de aliasing.
Es importante mencionar que dado que en la imagen digital las distancias se observan
en pxeles, las frecuencias (1 , 2 ) se mediran en ciclos por pxel, o pares de linea por pxel.
De todas formas, conociendo las distancias entre pxeles se puede hacer la conversion de
unidades a pares de lineas por milmetro.
Al efecto de aliasing en imagenes se lo suele denominar Efecto Moire.
4.3.4. Ruido y saturacion

Existen principalmente dos tipos de sensores electronicos para la adquisicion de imagenes,
los sensores CCD y los sensores MOS. En ambos casos el principio de funcionamiento es
el efecto fotoelectrico: la posibilidad de inducir corrientes electricas a partir de la inci-
dencia de luz sobre conductores y semiconductores. Dada la naturaleza electronica de los
dispositivos sensores existen fenomenos de ruido que afectan a la imagen capturada.
No esta al alcance de este trabajo estudiar los fenomenos que dan origen al ruido en los
sensores y sus modelos explicativos, pero s se hara una estimacion de las caractersticas
del ruido en la seccion siguiente, para una camara digital en particular. Se asumira que
el ruido es aditivo y se lo modelizara como un proceso aleatorio.
Existen, al igual que en las pelculas fotosensibles, niveles de intensidad y tiempos

de exposicion maximos para la inteligibilidad de la imagen capturada, por encima de los
cuales los sensores se saturan y la imagen que se percibe no se corresponde con los modelos
expuestos a lo largo de esta seccion. Estos fenomenos de saturacion no pueden describirse
por medio de modelos lineales, y por lo tanto no estara a nuestro alcance su modelizacion.
Sin embargo, se hara una caracterizacion del ruido y de la MTF para distintos niveles de
exposicion y apertura relativa.
4.4. Caracterizacion de una camara digital

En esta seccion se trata la caracterizacion de una camara digital semi-profesional,
modelo Canon G11. Esta camara no entra en la categora de camaras profesionales por no
ser una camara reflex, pero sin embargo tiene prestaciones que superan a las de la mayora
de las camaras comerciales. A continuacion se fundamenta la necesidad de utilizar una
camara semi-profesional o profesional para realizar un modelado destinado a la fusion de
imagenes.
En camaras digitales comerciales, el formato de imagen digital mas ampliamente uti-
lizado es el JPEG, ya que con niveles de compresion importantes alcanza niveles de resolu-
cion muchas veces aceptables para la fotografa comercial y semi-profesional. Sin embargo,
el proceso de compresion JPEG consiste en etapas de filtrado y compresion con perdida
de informacion, lo cual hace que este formato de imagen sea inadecuado en aplicaciones
que requieran alta calidad y maxima resolucion. Es as que resulta fundamental que la
camara que se utilice para la fusion permita la captura de imagenes en formato RAW, lo
cual significa que la imagen no se procesa ni se comprime antes de ser almacenada. La
utilizacion del formato JPEG para la caracterizacion de la MTF resulta inaceptable, dado
que el filtrado que implementa el formato JPEG enmascara completamente la respuesta
en frecuencia del sistema optico de la camara. Por otra parte, los procesos de filtrado
y compresion realizan promediaciones que eliminan gran parte del ruido que presenta el
sensor, por lo tanto tampoco se puede hacer una caracterizacion real de las estadsticas
del ruido.
Para el analisis de las curvas de acuerdo a parametros tales como la apertura relativa, el
tiempo de exposicion y factor de escala 0 , se requiere de una camara que permita controlar
manualmente dichos valores. Dado que la mayora de las camaras comerciales realizan un
ajuste automatico del foco y de la exposicion, su utilizacion resulta incompatible con el
analisis que nos proponemos hacer.
La camara digital a utilizar permite ajustar las posiciones de las lentes para lograr
fotografas con distancias focales de entre 6,1mm (gran angular) y 30,5mm (teleobjetivo),
que son equivalentes a distancias focales de 28mm y 140mm, respectivamente, en forma-
to de pelcula de 35mm. Como es de esperar, la caracterizacion de las curvas MTF es
altamente dependiente de la configuracion de lentes que se utilice, y por lo tanto cada
caracterizacion solo es valida para la configuracion de lentes utilizada. En esta seccion se
realizan experiencias que describen la MTF seg un distintas distancias r al centro optico,
y para distintas aperturas relativas, y por lo tanto se decide simplificar las experiencias
adoptando una u nica configuracion de lentes. Se elige arbitrariamente la configuracion

que corresponde a una distancia focal de 6,1mm (gran angular), pero debe quedar claro
que la misma caracterizacion se puede repetir tambien para distintas configuraciones de
lentes.
A la hora de medir la MTF se adopta una simplificacion mas, que consiste en suponer
que la respuesta a una determinada frecuencia en un determinado punto (u, v) es inde-
pendiente de la direccion de la se nal, es decir que en lugar de existir dos curvas, radial
y tangential (ver Fig. 4.6), existe una u nica curva. Dicha simplificacion es una buena
aproximacion en la zona del centro de la lente, donde para toda frecuencia ambas curvas
coinciden; y en general en bajas frecuencias, donde las curvas difieren menos. Sin embargo,
debemos tener en cuenta que puede llevar a errores en las zonas mas alejadas del centro de
la lente, especialmente en frecuencias altas. Esta aproximacion equivale a suponer que la
respuesta impulsiva del sistema optico (Point Spread Function) adopta los mismos valores
en la direccion u que en la direccion v.
En la tabla 4.1 se presentan algunas caractersticas de la camara, que resultan u tiles
a la hora de realizar las calibraciones. De dicha tabla se desprende que du = dv = 480
pxeles por milmetro, es decir que el pxel promedio es cuadrado.
Par
ametro Especificaci
on
H 7,60mm
V 5,70mm
NH 3648
NV 2736
f 6,1mm
Tab. 4.1: Caractersticas Canon G11.
4.4.1. Medicion de la MTF

Para la medicion de la MTF se dispone de un conjunto de patrones identicos que mues-
tran variaciones de tonos de gris con frecuencias crecientes. Dichos patrones se distribuyen
sobre un panel plano para cubrir varias zonas del encuadre de la fotografa y as disponer
de mediciones de la MTF a distintas distancias del centro de la imagen. Los patrones
son generados mediante la aplicacion de software Test Charts del paquete Imatest 5 . Se
adoptan patrones de intensidad senoidales (Log-Frequency Contrast), de forma tal que
la frecuencia mas baja sea de un ciclo cada 34mm (equivalente a 0,03 lp/mm), y que la
relacion entre maxima y mnima frecuencia sea de 200, es decir que la maxima frecuencia
espacial equivale a 6 lp/mm. En la Fig. 4.10 se muestra una version reducida del patron
de intensidades generado6 (dimensiones originales 250mm x 180mm).
La adopcion de los valores de frecuencia mnima y maxima esta ntimamente rela-
cionada con la distancia L entre el panel y la camara, y con la distancia focal f . Por
5
Imatest 3.6, Evaluation version, disponible en http://www.imatest.com/, al 13/11/2010.
6
Esta versi
on del patr
on est
a comprimida en formato PNG y afectada por el sistema de impresion.
Fig. 4.10: Patron senoidal de frecuencias generado mediante Test Charts (los patrones de onda
rectangular superiores e inferiores son de referencia).
ejemplo, en el patron, la distancia entre dos maximos en bajas frecuencias es de 34mm, y

a traves del sistema optico se proyecta como una distancia en pxeles de valor
34mm 34mm 6, 1mm 3648 99552mm
up = f du = = . (4.44)
L L 7, 6mm L
En caso de que esta cantidad de pxeles sea exactamente 2, se mide la respuesta a la
frecuencia maxima de 0,5 ciclos por pxel, sin embargo, dado que up es la distancia
asociada a la frecuencia mas baja del patron, resulta fundamental que sea mucho mayor
que 2. Por ejemplo, adoptando distancias L < 2, 48m se garantiza un mnimo de 40 pxeles
por ciclo de baja frecuencia, lo cual da una frecuencia observada 20 veces menor que la
maxima (la frecuencia de Nyquist).
Por otra parte, se debe tomar una distancia entre el panel y la camara que como
mnimo permita ver todos los patrones que se ubican en el panel. Dado que se ubican 5
patrones verticales a lo largo de la dimension horizontal (ver Fig. 4.11), se requiere que
la distancia mnima sea tal que:
5 180mm 2635200mm
3648 ' f du = , (4.45)
Lmin Lmin
y por lo tanto sea L & 722mm. Para este trabajo, se adopta una distancia L = 710mm,
que si bien no permite encuadrar todos los patrones completos, s permite incluir las zonas
de mayor contraste de todos los patrones (ver patron numero 6, en Fig. 4.11). Para la
medicion de la MTF conviene utilizar las zonas de mayor constraste, por ser las de mayor
relacion se
nal a ruido.
Los patrones se ubican en el panel de la forma en que se indica en la Fig. 4.11, y se

identifican sus ubicaciones mediante los numeros 0 a 10 (en total 11 patrones). El patron 0
caracteriza la MTF de la zona del centro del sistema optico, los patrones 1 a 4 caracterizan
la MTF a valores de r entre 700 y 1200 pxeles, y los patrones 5 a 10 caracterizan la MTF
a valores de r entre 1400 y 1800 pxeles. El hecho de utilizar 11 patrones resulta una
solucion de compromiso entre la cantidad de zonas que se desea caracterizar y el tama no
del panel de calibracion, en este caso de 1m x 0,75m.
Fig. 4.11: Ubicaci

on y numeraci
on de los patrones sobre el panel de calibraci
on.
La camara se monta sobre un trpode a una altura y con una inclinacion tales que
el panel de calibracion quede perpendicular al eje optico, y por lo tanto no haya defor-
maciones debido a la perspectiva. Se toman fotografas del patron para distintas aper-
turas relativas. En la tabla A.1 del apendice A se especifican los parametros bajo los
cuales fueron tomadas las fotografas de calibracion, y se hace referencia a las imagenes
disponibles en el DVD que acompa na a este trabajo.
Una vez tomadas las fotografas de calibracion, se capturan los niveles de gris obser-
vados en los patrones de cada fotografa, en las zonas de mayor contraste7 , y se obtiene
as un conjunto de 11 curvas en cada una de las 10 imagenes de calibracion. A modo de
ejemplo, en la Fig. 4.12 se muestran los perfiles de intensidades asociados a dos casos
extremos: respuesta en el centro del sistema optico (patron n
umero 0), y respuesta en una
esquina del sistema optico (patron numero 5), en ambos casos con apertura relativa f/7.1.
A partir de los perfiles de intensidad se realizan detecciones de frecuencias y de sus
amplitudes asociadas, lo cual permite trazar los diagramas MTF como funcion de la
frecuencia espacial. Las curvas MTF correspondientes a los trazados de la Fig. 4.12 se
7
Se utiliz
o el paquete de software ImageJ, disponible en http://rsbweb.nih.gov/ij/ al 13/11/2010, que
permite trazar una recta sobre la imagen, y obtener el perfil de intensidades que se observa sobre dicha
recta.
Fig. 4.12: Perfil de intensidad normalizada, para los patrones n

umero 0 (arriba) y n
umero 5
(abajo), para la imagen DPP 0003.
muestran en la Fig. 4.13. En ambas figuras se observa la alta dependencia de la MTF

con la distancia al centro optico: el ancho de banda mas amplio se logra en el centro de
la imagen, y para distancias r elevadas la respuesta en frecuencia es mas limitada. Es
interesante notar que dado que se esta midiendo la MTF de la camara en su conjunto,
la frecuencia maxima a la que se mide la MTF es la frecuencia de Nyquist asociada al
muestreo del sensor, esto es, 0,5 ciclos por pixel.
Fig. 4.13: Respuesta en frecuencia del sistema o

ptico en el centro de la imagen (patr
on n
umero
0) y en una esquina (patr
on numero 5), medidas a partir la imagen DPP 0003.
Un ultimo paso en la medicion de la MTF, que resultara de interes a efectos de modelar

al sistema optico para la fusion de imagenes, es describir los efectos del ancho de banda
en terminos de la respuesta impulsiva del sistema. La obtencion de la respuesta impulsiva
a partir de la MTF consiste en el calculo de la Transformada de Fourier inversa, teniendo
en cuenta que aunque conocemos la MTF para valores de la frecuencia absoluta , la
respuesta en frecuencia H es funcion de ambas frecuencias, (1 , 2 ), y por lo tanto la
Transformada de Fourier es de dos dimensiones.
Para la sntesis de la respuesta impulsiva a partir de las curvas MTF obtenidas se nota
lo siguiente:
Dado que el calculo de la Transformada de Fourier inversa no es posible de realizar
en forma analtica a partir de las curvas MTF disponibles, se requiere de un metodo
numerico que vincule las muestras de la MTF con las muestras de la respuesta
impulsiva. Se propone el uso de la FFT (Fast Fourier Transform) como algoritmo
eficiente para el calculo de la Transformada inversa de dos dimensiones.
Dado que las curvas MTF obtenidas estan afectadas por errores en los procesos de
observacion y de deteccion, y que se conocen para valores de frecuencia no uniforme-
mente espaciados, es conveniente realizar un ajuste de las curvas. De la observacion
de las curvas MTF y de sucesivas pruebas8 , se concluye que se logra un buen ajuste
mediante un modelo pasabajos de primer orden.
Para la determinacion del parametro caracterstico del modelo de primer orden (frecuencia
de corte, c ), se realiza un ajuste por Cuadrados Mnimos no lineal, mediante el algorit-
mo iterativo de Levenberg-Marquardt9 . Una vez realizado el ajuste, se dispone de una
parametrizacion de la MTF que tiene la siguiente forma
1
M T Fc () = r 2 (4.46)
1 + c
y para generar la respuesta en frecuencia como funcion de las dos frecuencias espaciales,
(1 , 2 ), se hace k
M T F (1 , 2 ) = M T Fc () 2 2 . (4.47)
= 1 +2
Para poder aplicar la FFT inversa de dos dimensiones10 sobre la respuesta en frecuencia,
se deben tener muestras uniformemente espaciadas, para lo cual se eval ua la funcion
M T F (1 , 2 ) una grilla de 16 x 16 con frecuencias en el intervalo {1 [1/2; 1/2] 2
[1/2; 1/2]}. De este modo se recupera una respuesta impulsiva, h(up , vp ), que tambien
esta evaluada sobre una grilla de 16 x 16 pxeles. En la Fig. 4.14 se muestran: el ajuste
de la MTF mediante un modelo de primer orden (arriba), la MTF como funcion de las
frecuencias (1 , 2 ) (abajo a la izquierda), y la respuesta impulsiva de dos dimensiones
que se obtiene de aplicar la FFT inversa de dos dimensiones (abajo a la derecha). La
curva MTF corresponde al patron n umero 6 de la imagen DPP 0003. Se observa que
la densidad de la grilla adoptada es suficiente para la caracterizacion de la respuesta
impulsiva, e incluso podra trabajarse con una grilla menos densa.
A partir de esta caracterizacion de la MTF del sistema optico puede encararse la
confeccion de la matriz H para la fusion de imagenes, al comienzo del captulo siguiente.
8
Se hicieron pruebas con modelos de primer y segundo orden.
9
Se utiliz
o la funci
on lsqcurvefit del paquete de software MATLAB & Simulink Student Version,
que implementa este algoritmo.
10
Mediante la funcion ifft2, del paquete de software MATLAB & Simulink Student Version.
Fig. 4.14: Resultados de hacer un ajuste de primer orden (arriba), evaluar la MTF de dos di-
mensiones (abajo izquierda) y aplicar la FFT inversa (abajo derecha).
4.4.2. Caracterizacion estadstica del ruido

El ruido que se observa en las imagenes tomadas por un sensor CCD se puede modelar
como la suma de distintos tipos de ruido ([37], [38], [39], [40]), a saber:
Ruido fotonico (photon noise, o shot noise): Es resultado del comportamiento cuanti-
co de la luz, y representa una incerteza o una fluctuacion en el flujo de fotones que
incide en una celda del sensor. La cantidad de electrones que se acumulan en cada
celda debido a la incidencia de fotones tiene una distribucion Poisson.
Ruido de patron fijo (fixed pattern noise): Es un efecto asociado a diferencias con-
structivas de los pxeles, y consiste en que los pxeles de un mismo sensor tengan
sensibilidades levemente diferentes. Esto provoca un error sistematico en la toma de
imagenes, cuya caracterstica puede depender del nivel de intensidad y de la longi-
tud de onda. En principio no puede hacerse una caracterizacion estadstica de dicho
ruido, aunque s puede medirse la presencia de un patron.
Ruido termico (dark current noise, readout noise y reset noise): Son ruidos asoci-
ados a la agitacion termica de los electrones en los dispositivos sensores, y en los
dispositivos de lectura y amplificacion. Tal como ocurre en cualquier dispositivo
electronico, el nivel de ruido es altamente dependiente de la temperatura. Dicho
aporte de ruido suele modelarse como ruido blanco.
Ruido de cuantizacion: Para la representacion numerica de la intensidad de luz en

una imagen se adopta una precision, que determina una mnima diferencia permi-
tida entre intensidades de luz. Dicho efecto suele modelarse mediante un ruido de
distribucion uniforme, con valores en [ 2q ; 2q ], siendo q el paso de la cuantizacion. Es
q2
un ruido de media nula y de varianza 12 .
Dado que en cada imagen se observa una combinacion de todos estos efectos, y que no es
nuestra intencion hacer una discriminacion del tipo de ruido a la hora de hacer la fusion
de imagenes, se tratara al ruido como si mostrase una u nica caracterstica. Por otra parte,
tal como se dedujo en el captulo 3, la regla de fusion BAUE solo requiere de conocer los
momentos de primer y segundo orden del ruido aditivo. Es por esto que nos limitaremos
a estimar una eventual correlacion del ruido (momentos de segundo orden).
Partiendo del modelo de observacion linealizado de la ecuacion 3.22, y aplicando dicho
modelo al sistema fotografico, puede imaginarse que el vector de ruidos contiene los
ruidos presentes en distintos pxeles de una misma imagen, o bien que sus componentes
representan el ruido que se observa en un mismo pixel para imagenes sucesivas. La car-
acterstica a estimar en el primer caso es la correlacion espacial del ruido (entre pxeles
vecinos), y en el segundo caso es la correlacion temporal (para un pixel en particular, de
una imagen a la siguiente). Es posible realizar estimaciones de ambos tipos de correlacion,
sin embargo, por la forma en que se representa el sistema de observacion mediante la ma-
triz H, en el captulo siguiente (ver seccion 5.1), solo se necesita estimar la correlacion
temporal del ruido.
Para la estimacion de la correlacion temporal del ruido se hacen las siguientes consid-
eraciones:
Ya que algunos de los fenomenos de ruido son dependientes de la cantidad de carga
acumulada, se hace una estimacion de las estadsticas del ruido para distintos niveles
de intensidad de luz.
Se supone que, para un determinado nivel de intensidad de luz, el ruido de cualquier
pixel del sensor responde a una misma distribucion. Esta suposicion representa la
hipotesis de que las celdas CCD no tienen diferencias constructivas significativas, y
evita tener que hacer una caracterizacion para cada pixel.
Para la medicion de la correlacion temporal del ruido, se toman fotografas de un
patron liso con luz uniforme11 . De este modo las imagenes pueden suponerse de igual
intensidad, y todas las diferencias que aparecen entre observaciones son debidas al ruido.
Para estudiar la correlacion temporal, puede formarse el vector a partir de muestras de
ruido en un pixel determinado en sucesivas imagenes. Si para la imagen nesima, en el
pxel i, jesimo se tiene un ruido ni,j , y se dispone de K imagenes, el vector para dicho
pixel es: i,j
1
i,j
2
i,j = . . (4.48)
..
i,j
K
Por otra parte, la funcion de autocorrelacion de un proceso aleatorio real de tiempo
discreto, X(n), se define como ([41]):
RXX (n1 , n2 ) = E [X(n1 )X(n2 )] , (4.49)
y su funcion de autocovarianza se define como
CXX (n1 , n2 ) = E [(X(n1 ) X (n1 )) (X(n2 ) X (n2 ))] (4.50)

= RXX (n1 , n2 ) X (n1 )X (n2 ) , (4.51)
donde X (n) = E [X(n)]. Todas las expectaciones son calculadas utilizando la funcion de
densidad de probabilidad de la variable X(n) en el instante de tiempo n:
Z
E [f (X(n))] = f (x)pX(n) (x)dx . (4.52)

Tanto la funcion de autocorrelacion como la funcion de autocovarianza caracterizan la

estructura temporal del proceso aleatorio, y la forma que adoptan dichas funciones indica
el nivel de correlacion del proceso. Por ejemplo, un proceso X(n) descorrelacionado cumple
con
CXX (n1 , n2 ) = 0 n1 6= n2 . (4.53)
11
Las imagenes utilizadas para la medicion de las estadsticas del ruido no se incluyen en el DVD por
cuestiones de espacio disponible.
Es util definir un coeficiente de correlacion normalizado seg

un
CXX (n1 , n2 )
XX (n1 , n2 ) = p
CXX (n1 , n1 )CXX (n2 , n2 )
CXX (n1 , n2 )
=p (4.54)
V AR [X(n1 )] V AR [X(n2 )]
que adopta valores entre 1 y +1, indicando el nivel y el tipo de correlacion del proceso.
Es as que, para el vector de ruidos i,j , puede confeccionarse una matriz CX , donde en
cada posicion de la matriz se ubiquen los coeficientes de la funcion de autocovarianza:
h T i
CX = E i,j i,j i,j i,j

, (4.55)
y de igual modo puede confeccionarse una matriz PX con los coeficientes de correlacion
normalizados.
Ahora, el problema de la estimacion es determinar la forma de computar las expecta-
ciones de forma tal de lograr una buena estimacion. Es aqu donde entra en juego la
segunda consideracion planteada: el ruido de cualquier pixel de la camara responde a una
misma distribucion de probabilidad. Bajo esta suposicion, el vector de ruidos para cada
pixel, i,j , es una realizacion de un mismo vector aleatorio . Por lo tanto, es posible aprox-
imar las expectaciones mediante promedios a lo largo de los pxeles vecinos (promedios
del ensamble):
1 X i,j

= (4.56)
NP i,j
= 1
X T
i,j
i,j

C C , (4.57)
NP i,j
siendo NP el n umero de pxeles vecinos que se utilice para realizar las estadsticas. Los
estimadores presentados aqu son estimadores Maximum Likelihood de la media y de la
matriz de covarianza.
En este trabajo se realizan estimaciones de la matriz de correlacion normalizada P ,
para distintos niveles de exposicion, con lecturas del fotometro digital desde 2 hasta +2,
y con pasos de 1/3 (en total 13 niveles de intensidad). La cantidad de imagenes tomadas
con cada nivel de intensidad12 es de 20 ( <20 ), y por lo tanto cada matriz P es de
dimensiones 20 20. Para el calculo de estadsticas se utilizan pxeles en un cuadrado de
100 100 pxeles ubicados en la esquina superior izquierda de las imagenes, lo cual da un
total de muestras de NP = 10000.
En la figura 4.15 se grafican las matrices P para los 13 niveles de exposicion. Los
niveles de correlacion (1 a +1) se muestran como niveles de gris (negro a blanco). Se
observa que sobre la diagonal de las matrices, el coeficiente de correlacion es +1, esto es
porque en dicha posicion se mide la correlacion de cada componente de consigo misma.
12
Para 3 de los 13 niveles de exposici
on se dispone de 10 imagenes, en lugar de 20.
Fuera de la diagonal, la correlacion tiene niveles cercanos a cero, lo cual indica en primera
instancia que la correlacion es nula, o que hay muy poca correlacion. Tambien se observa
que el coeficiente de correlacion tiene un nivel uniforme, es decir que la correlacion del
ruido entre dos imagenes cualesquiera es practicamente la misma y no hay una correlacion
de ruido mayor entre imagenes consecutivas.
Se da una particularidad en las imagenes con mayor intensidad (Exposicion +1,66
y +2,00), en las que se observa que fuera de la diagonal hay coeficientes de correlacion
mayores que 0, y del orden de +0,25. Estas imagenes fueron tomadas con el maximo nivel
de exposicion de la camara, y a simple vista se observa que en dichas imagenes los niveles
de ruido son muy inferiores a los que se presentan para niveles de exposicion menores.
Esto tiene que ver con que a mayor exposicion se almacena mayor cantidad de carga, y los
efectos del ruido aditivo se hacen menos perceptibles. Tambien ocurre que a altos niveles
de exposicion, los sensores se saturan y la posibilidad de que se sume ruido se ve limitada.
Estos fenomenos tienen repercusion en los coeficientes de correlacion medidos, ya que la
se
nal se vuelve mas determinstica y por lo tanto el coeficiente de correlacion comienza a
ser poco significativo13 , e incluso toma importancia el termino de ruido de patron fijo.
A la luz de este analisis de correlacion, se concluye que las componentes de ruido
aleatorio estan practicamente descorrelacionadas temporalmente. Sin embargo, se observa
que las varianzas de ruido tienen variaciones importantes con la intensidad de luz: a simple
vista, en la imagenes oscuras se observa un nivel de ruido mayor que en las imagenes claras.
Es necesario caracterizar de alg un modo este efecto, ya que a la hora de realizar la fusion,
toda informacion que se tenga acerca de los niveles de ruido resulta fundamental para
lograr la maxima reduccion del ruido.
De manera equivalente a como se realizo la estimacion de la media y de la matriz de
covarianza, se realiza ahora una estimacion de las varianzas de ruido como funcion de
la intensidad. Nuevamente, suponiendo que los pxeles de cada imagen son realizaciones
de acuerdo a una misma distribucion de probabilidad, es posible calcular la varianza
muestral, de acuerdo a
1 X i,j
2 2 = ( )2 (4.58)
NP i,j
Se calcula la varianza muestral de los mismos 100 100 pxeles (NP = 10000) en un
total de 130 imagenes distintas, 10 por cada nivel de exposicion y para los 13 niveles
de exposicion. En la Fig. 4.16, cada punto representa la varianza que se estima en cada
imagen.
Los puntos de la Fig. 4.16 muestran claramente una dependencia de la varianza del
ruido con el nivel de exposicion de la imagen, y la poca dispersion de los puntos da un
indicio de cuales son los valores caractersticos para la varianza del ruido. Tomando como
referencia a los centros de masa de los puntos medidos se puede confeccionar la siguiente
tabla:
13
Ver que en la Ec. 4.54, realiza una normalizacion dividiendo por los desvos del ruido, que al
hacerse cada vez m
as chicos llevan a valores de correlacion elevados.
Fig. 4.15: Matrices de covarianza normalizadas P , graficadas en escalas de grises.

Fig. 4.16: Varianzas del ruido como funci

on del nivel de exposici
on..
Exposici
on Varianza de ruido
2,00 9,06
1,66 11,32
1,33 12,06
1,00 11,91
0,66 10,07
0,33 8,39
0,00 7,44
+0,33 8,66
+0,66 7,33
+1,00 4,99
+1,33 2,57
+1,66 1,54
+2,00 0,84
Tab. 4.2: Varianza del ruido como funci

on de la exposici
on, para la c
amara Canon G11.
A modo de resumen de esta seccion, se concluye que el ruido que presenta la camara
digital puede considerarse aleatorio y descorrelacionado para un rango amplio de niveles
de exposicion (desde niveles de fotometro de 2,00 hasta +1,33). Se conocen tambien los
niveles de la varianza del ruido para los diferentes niveles de exposicion. Para los rangos de
exposicion mas elevados, (+1,66 a +2,00) empiezan a observarse fenomenos que no pueden
caracterizarse como ruido aditivo descorrelacionado, sin embargo, se tiene un calculo de
varianza muestral como medida de la dispersion debido a otros efectos.
BAUE DE IMAGENES
5. FUSION DIGITALES
En esta seccion se propone una posible implementacion de la regla de fusion BAUE

para la fusion de imagenes digitales en tonos de gris, y por lo tanto se integran los con-
tenidos de los captulos 3 y 4. Se trabaja con imagenes tomadas1 mediante la camara
Canon G11, de modo tal que para el modelado del esquema de observacion se hace uso de
los resultados de la caracterizacion hecha en la seccion 4.4, es decir sus curvas MTF y sus
caractersticas de ruido. Se analizan los problemas numericos que surgen al implementar
la regla de fusion propuesta y se realizan validaciones que permiten extraer conclusiones
acerca de su desempe no.
5.1. Parametros del modelo de observacion

Para el modelado del sistema de observacion, retomamos las hipotesis planteadas en
el captulo 3. Es decir que proponemos un modelo de observacion linealizado como el
siguiente:
z = Hx + , (5.1)
en el cual:
La variable a estimar, x <N , es determinstica.
La matriz del modelo H <M N es conocida, cumple con Rg(H) = N M , y

esta dada por el modelado de la camara fotografica en cuestion.
Se conocen los momentos de primer y segundo orden del ruido aditivo.
5.1.1. Confeccion de la matriz H

En el contexto de la fusion de imagenes, el vector x contiene las intensidades de luz de
una imagen original, una imagen que da origen a las imagenes observadas, y la matriz H
representa los efectos distorsivos del sistema optoelectronico de la camara. En el supuesto
caso en que la matriz H modelara todos los fenomenos de la camara, el objetivo de la
fusion sera estimar la imagen original, compensando todos los efectos distorsivos de la
camara, y la imagen original sera la imagen proyectada mediante el modelo pinhole. Desde
luego que el objetivo de este trabajo no es compensar todos los efectos de la camara, sino
1
Las imagenes est
an disponibles en formato digital en el DVD que complementa a este trabajo. En la
tabla A.2 del apendice A se especifican los nombres de las imagenes y las caractersticas con que fueron
tomadas.
5. Fusi
on BAUE de imagenes digitales 72
mas bien concentrarse en la MTF y en el ruido, que son los fenomenos que se modelaron y
midieron en el captulo anterior. Es as que, por ejemplo, si se tienen imagenes afectadas
tanto por la respuesta en frecuencia de la lente (MTF) como por la distorsion radial, el
esquema de fusion buscara recuperar la informacion que en cada imagen se pierde por los
efectos de la MTF, y obtendra una imagen que seguira teniendo distorsion radial.
Una imagen digital puede representarse mediante una matriz X, donde la intensidad
de luz de cada pixel de la imagen se ubica en forma de n umero real en una componente
de la matriz, y las coordenadas del pixel (up , vp ) en la imagen se corresponden con el
numero de columna y fila de la matriz. Por otra parte, es posible modelar al proceso
de convolucion en dos dimensiones, entre la imagen original y la respuesta impulsiva del
sistema optico, como un producto matricial de la forma (5.1) si se ordenan las columnas
de la matriz X en un u nico vector columna (una a continuacion de la otra). Bajo este
esquema de modelado, el vector x contendra las columnas de la imagen X, y la matriz
H sera una matriz bloque (block matrix, [30], [42]) conteniendo versiones desplazadas de
la respuesta impulsiva h(up , vp ). Para una imagen X <NH NV (de NH NV pxeles), el
vector x sera de dimension NH NV , y para una respuesta impulsiva de soporte cuadrado
de tama no LL, la matriz H sera de dimension (L+NV 1)(NH +L1)NH NV . Estas
dimensiones apenas contemplan la operacion de filtrado que tiene lugar en una sola imagen
observada, y dado que la fusion trata con varias observaciones simultaneamente, la matriz
H en realidad puede tener dimensiones mayores. El hecho de que las dimensiones de los
vectores y matrices crezcan en semejante medida lleva a que la regla de fusion BAUE, que
consiste en la inversion de una matriz y en sucesivos productos, sea impracticable bajo
este esquema.
A la luz de dicho problema, se propone una alternativa en la que no se realice el
modelado de toda la imagen simultaneamente, sino que se trabaje a nivel pixel, teniendose
as matrices y vectores de dimensiones mucho menores, y por lo tanto resultando en
reglas de fusion numericamente implementables. La propuesta consiste en suponer que
n
la intensidad del pixel i, jesimo de la nesima imagen observada (zi,j ) resulta ser una
combinacion lineal de las intensidades de los pxeles de la imagen original, ubicados en la
posicion i, j y sus alrededores. Es decir que
X
n
zi,j = hnk,l Xik,jl . (5.2)
k,l
Los coeficientes hnk,l , que determinan los pesos con que aportan los pxeles vecinos del pixel
i, jesimo de la imagen original, son los coeficientes de la respuesta impulsiva asociada a
la nesima imagen observada, y la sumatoria tiene tantos terminos como coeficientes de
la respuesta impulsiva se deseen incorporar. De este modo, para una cantidad de imagenes
5. Fusi
M , se pueden confeccionar M ecuaciones de la forma

X
1
zi,j = h1k,l Xik,jl
k,l
X
2
zi,j = h2k,l Xik,jl
k,l
..
.
X
M
zi,j = hM
k,l Xik,jl , (5.3)
k,l
que pueden expresarse como el producto de una matriz H con un vector x. Ahora, la
matriz H contiene en la fila nesima los coeficientes de la respuesta impulsiva asociada
a la imagen nesima, y el vector x contiene la intensidad del pixel i, jesimo y las
intensidades de sus pxeles vecinos.
La decision de cuantos coeficientes adoptar esta relacionada, por un lado, con la for-
ma de la respuesta impulsiva y la mnima cantidad de coeficientes que la describen con
precision (ver Fig. 4.14), y por otro lado, con la inestabilidad numerica resultante de
incorporar en la matriz H terminos nulos, o practicamente nulos. De un analisis de las
respuestas impulsivas obtenidas en el captulo 4, se puede observar que:
Para tener en cuenta pxeles vecinos que aporten como mnimo con un 5 % del aporte
que hace el pixel central, basta con tomar los 25 pxeles centrales de la respuesta
impulsiva (soporte de 5 5),
Para tener en cuenta pxeles vecinos que aporten como mnimo con un 10 % del
aporte que hace el pixel central, basta con tomar los 9 pxeles centrales de la re-
spuesta impulsiva (soporte de 3 3),
Para tener en cuenta pxeles vecinos que aporten como mnimo con un 20 % del
aporte que hace el pixel central, basta con tomar los 5 pxeles centrales de la re-
spuesta impulsiva (pixel central y los 4 pxeles adyacentes).
Ademas, dado que las respuestas impulsivas obtenidas mediante la FFT inversa son
simetricas respecto del pixel central, en realidad hay varios coeficientes de hnk,l que son
iguales. Esto lleva a que, por ejemplo, no se pueda hacer una estimacion individual de
cada uno de los 4 pxeles adyacentes al pixel i, jesimo, o de cada uno de los pxeles ubi-
cados en las esquinas del cuadrado de 3 3, ya que si todas las filas de H tienen algunos
elementos iguales, entonces no se cumple que Rg(H) = N . Es as que resulta necesario
hacer uso de esta propiedad de simetra de la respuesta impulsiva, y agrupar los pxeles
que son multiplicados por un mismo coeficiente, del siguiente modo:
n
zi,j = hn0,0 Xi,j + hn1,0 (Xi1,j + Xi+1,j + Xi,j1 + Xi,j+1 ) + (5.4)
de forma tal que se puede hacer una estimacion del valor del pixel Xi,j , una estimacion
de la suma de los 4 pxeles adyacentes, una estimacion de la suma de los 4 pxeles de las
5. Fusi
esquinas segun un soporte de 3 3, y continuando de forma equivalente para pxeles cada

vez mas alejados. En resumen, la matriz H contiene en cada fila solo coeficientes distintos,
ordenados seg un distancias crecientes al origen de la respuesta impulsiva, y el vector x
contiene las sumas de las intensidades de los pxeles ubicados a distancias constantes
respecto del pixel i, jesimo:
1
h0,0 h11,0 h11,1
h2 h2 h2 X i,j
0,0 1,0 1,1
H = .. x = Xi1,j + Xi+1,j + Xi,j1 + Xi,j+1 (5.5)

..

.
.
hM M M
0,0 h1,0 h1,1
De este modo, el vector que resulta de realizar la fusion, xF , contiene en su primera

componente el valor estimado de la intensidad del pixel i, jesimo, Xi,j , y las componentes
siguientes contienen los terminos suma. En este trabajo se utiliza el valor estimado de Xi,j
(primera componente del vector xF ) para la composicion del pxel en la imagen fusionada,
y no se utilizan las demas componentes del vector xF . Para las pruebas que se realizan
en este captulo se contemplan dos casos de modelado de la matriz H, uno con los 9
coeficientes mas importantes de las respuestas impulsivas (soporte de 3 3 pxeles) y otro
con los 5 coeficientes mas importantes (pixel central y los 4 pxeles adyacentes), y por lo
tanto las filas de la matriz H contienen, en un caso tres elementos cada una (N = 3):
hn0,0 , hn1,0 y hn1,1 , y en el otro caso dos elementos cada una (N = 2): hn0,0 y hn1,0 . El caso con
N = 1 no contempla los efectos de la MTF, y simplemente realiza una fusion en el pixel
i, jesimo como combinacion lineal de los pxeles i, jesimos de las M imagenes.
Es importante mencionar que no hay una u nica respuesta impulsiva para la imagen
nesima, sino que en realidad hay una respuesta impulsiva por cada zona de la imagen
en la que se realizo la medicion de la MTF, y por lo tanto la matriz H no sera la misma
si, por ejemplo, el pixel i, jesimo se ubica en un entorno del centro de la imagen o se
ubica en un extremo de la imagen. Es as que para cada pixel de la imagen se elige la
respuesta impulsiva mas cercana, en terminos de distancia eucldea, y quedan as definidas
regiones para las cuales la matriz H utilizada es la misma, ver Fig. 5.1. En la seccion
4.4 se obtuvieron tambien respuestas impulsivas seg un aperturas relativas, por lo tanto,
dependiendo de la apertura relativa con que haya sido tomada cada imagen, se utilizan los
coeficientes de la respuesta impulsiva para esa apertura relativa, en la fila correspondiente
de la matriz H.
Un u ltimo detalle a tener en cuenta es que, dado que se caracterizo la MTF de acuerdo
a la definicion que le asigna magnitud 1 en frecuencia = 0, todas las respuestas impul-
sivas tienen igual area. Sin embargo, es fundamental modelar de alg un modo el hecho
de que, dado que habra imagenes tomadas con valores de apertura relativa diferentes y
eventualmente tiempos de exposicion diferentes, habra imagenes mas claras e imagenes
mas oscuras. Dicho fenomeno tambien debe incluirse en la matriz de observacion H. Para
tal fin se propone multiplicar a las respuestas impulsivas (filas de H) por un coeficiente
que indique el nivel de exposicion general de la imagen. Las imagenes con mayor cantidad
de luz tendran asignado un coeficiente mayor que las imagenes con menor cantidad de
luz. Por supuesto que este modelado es una aproximacion valida en los rangos de inten-
sidad en los que el sensor tiene un comportamiento lineal, y no es capaz de explicar los
5. Fusi
Fig. 5.1: Zonas de la imagen dentro de las cuales se tiene una misma matriz H, con la misma
numeraci
on que se adopt
o en el captulo 4.
fenomenos de saturacion ni las variaciones que pueda haber en la MTF cuando los tiempos
de exposicion son demasiado elevados.
En este trabajo, dicho factor se calcula tomando el valor medio de todas las inten-
sidades de la imagen, y luego dividiendolo por el nivel de intensidad correspondiente a
un tono de gris al 50 %. Esto es equivalente a suponer que la imagen original X es una
imagen con nivel de exposicion normal (la que se indicara con el fotometro de la camara
en su valor 0), y que el hecho de tomar una fotografa con mayor o menor luz hace que
cada pixel individual de la imagen observada aumente o disminuya su intensidad en la
misma proporcion en que lo hace la intensidad media de toda la imagen.
5.1.2. Confeccion de la matriz

En base a la forma en que se propuso confeccionar la matriz H, queda claro que
las componentes del vector son observaciones de ruido de un mismo pixel en distintas
imagenes, y por lo tanto aplica la caracterizacion que se hizo en la seccion 4.4.2 acerca de
la correlacion del ruido y de sus varianzas, como funcion del nivel de exposicion. El hecho
de que el ruido sea descorrelacionado temporalmente hace que la matriz de covarianza del
ruido tenga estructura diagonal:
2
1 0 0
0 2 0
2
= .. .. . . .. , (5.6)

. . . .
0 0 2M
5. Fusi
donde las componentes de la diagonal son las varianzas del ruido en cada imagen. As como
en la matriz H cada fila se multiplica por un factor que indica el nivel de exposicion de
la imagen, en las componentes de la matriz se ubican las varianzas que corresponden
al nivel de exposicion con que fue tomada cada imagen (ver tabla 4.2).
Esta forma de modelar los efectos del ruido, tal como ocurre con la matriz H, funciona
bien para niveles de exposicion en que el sensor tiene una respuesta lineal. Por ejemplo,
para una imagen con un nivel de exposicion muy elevado, al extremo de estar saturada en
varias zonas, su varianza de ruido de acuerdo a la tabla 4.2 sera muy peque na y, seg
un
se analizo en el captulo 3, por ser una de las observaciones con menor varianza de ruido
entonces es una de las que realiza el mayor aporte a la fusion. Es de esperar, entonces que
la imagen resultante del proceso de fusion este saturada si es que alguna de las imagenes
originales esta saturada. Este efecto podra corregirse adoptando alg un criterio para las
zonas en que una imagen este saturada, por ejemplo asignando una varianza de ruido
arbitrariamente elevada (para reducir su nivel de aporte), o simplemente excluyendola de
la fusion. En las secciones siguientes se ilustraran los resultados de la fusion distinguiendo
los casos en los que se incluye una imagen saturada de los casos en los que no se incluye
ninguna imagen saturada.
5.2. Estabilidad numerica de la implementacion: Regularizacion

Al implementarse la regla de fusion en cada pixel de acuerdo a los modelados que se
hicieron de las matrices H y , incorporando todas las imagenes disponibles2 , se observa
que los resultados de la fusion son numericamente inestables, al punto que se pierde
practicamente toda la informacion de las imagenes3 . El origen de dicho comportamiento
es la inversion del producto matricial HT 1 H. Una de las hip
otesis bajo las cuales se
desarrollo la regla de fusion es que el rango de la matriz H es igual a N (cantidad de
columnas). Sin embargo, es de esperar que las respuestas impulsivas sean similares, y
que por lo tanto la matriz H tenga filas muy parecidas: con un valor determinado en
la componente hn0,0 (coeficiente central), y con valores decrecientes en las componentes
siguientes, hn1,0 , hn1,1 , etc. Incluso, si hay dos imagenes tomadas con la misma apertura
relativa, la matriz H tiene dos filas linealmente dependientes. Se puede decir, entonces:
Si en total no hay al menos N filas linealmente independientes, es decir al menos

N imagenes tomadas con distintas aperturas relativas, la matriz H no llega a tener
rango N , y por lo tanto el problema de la fusion teoricamente no tiene solucion. Este
es un resultado que se menciona en el captulo 3. Se supondra que se dispone de
M imagenes, con M N , entre las cuales hay al menos N tomadas con diferentes
aperturas relativas.
Aun en los casos en los que haya mas de N imagenes tomadas con aperturas relativas
diferentes (Rg(H) = N M ), las filas de la matriz H seran similares, por estar
2
Ver tabla A.2 en el apendice A.
3
Ver SIN REGULARIZAR N2 M11.TIF y SIN REGULARIZAR N3 M11.TIF, con N = 2 y con N = 3, respec-
tivamente, en directorio Sin Regularizar.
5. Fusi
representando respuestas impulsivas que sabemos que tienen una misma forma.
La solucion al problema de fusion BAUE puede interpretarse como la solucion al
siguiente sistema lineal de ecuaciones:
HT 1 T 1

H xF = H z , (5.7)
en el cual la matriz del sistema es A = HT 1 T 1

H , el vector de datos es b = H z y
el vector de incognitas es xF , de forma tal que
AxF = b , (5.8)
siendo A una matriz simetrica de dimensiones N N . Tal como se menciono en el captulo

3, el rango de la matriz A coincide con el rango de la matriz H ya que la matriz de
covarianza del ruido es no negativa definida. Suponiendo que hay al menos N imagenes
tomadas con distintas aperturas relativas, la matriz A, si bien tiene rango N , esta cerca
de ser una matriz singular y su inversion produce errores importantes. Para matrices con
esta caracterstica, ocurre que pequenas perturbaciones en el vector b provocan grandes
perturbaciones en la solucion xF , y por lo tanto la solucion que surge de invertir la matriz
A resulta muy poco confiable. La forma de medir los efectos numericos que provoca la
inversion de la matriz A es mediante el n umero de condicion (A), y a las tecnicas de
mitigacion de dichos efectos se las denomina tecnicas de regularizacion.
5.2.1. Descomposicion en valores singulares y tecnica TSVD

El estudio de la estabilidad numerica de la solucion puede hacerse
aN partir de una
descomposicion en valores singulares de la matriz A = H H < N , es decir
T 1
expresandola como el producto de tres matrices:
A = UDVT , (5.9)
donde D <N N es una matriz diagonal, y las matrices U <N N y V <N N son
unitarias, es decir que UT U = I y VT V = I. Los elementos de la matriz diagonal D se
denominan valores singulares de la matriz A, son positivos, y se los suele ordenar de mayor
a menor a lo largo de la diagonal: D = diag(d1 , d2 , . . . , dN ), con d1 d2 . . . dN . Los
vectores columna de las matrices U y V se denominan vectores singulares izquierdos y
derechos, respectivamente, y son ortonormales. El n umero de condicion de la matriz A
se define, a partir de esta descomposicion, como el cociente entre el valor singular mas
grande y el valor singular mas chico:
d1
(A) = . (5.10)
dN
El n
umero de condicion de la matriz permite estimar el efecto que tienen posibles pertur-
baciones del vector b en la solucion xF ([43]):
kxF k kbk
(A) . (5.11)
kxF k kbk
5. Fusi
Aqu, las perturbaciones b no necesariamente se refieren a los efectos del ruido aditivo
del modelo, sino que mas bien estan dominadas por los errores de redondeo del calculo.
Para matrices con n umero de condicion mucho mayor que 1, ocurre que el hecho de tener
peque nos errores en el vector b (i.e., una aritmetica con suficientes dgitos) no garantiza
una solucion confiable. Cuando una matriz tiene un n umero de condicion mucho mayor
que 1, se dice que es una matriz mal condicionada.
El concepto de n umero de condicion, tal como se lopresento hasta aqu vale para
cualquier matriz, sin embargo la matriz A = HT 1 H tiene la particularidad de ser
simetrica, y por lo tanto su desarrollo en valores singulares es en realidad:
A = UDUT , (5.12)
que no es mas que una descomposicion en autovalores, o descomposicion espectral, de la
matriz A. A partir de esta expresion, y teniendo en cuenta que la matriz D es diagonal,
puede escribirse la descomposicion de la siguiente manera:
N
X
A= di ui uTi , (5.13)
i=1
donde los vectores ui son las columnas de la matriz U. Dado que la matriz A tiene rango
N , es posible expresar su inversa a partir de la expresion (5.12) como
A1 = UD1 UT . (5.14)
Por lo tanto, la solucion al sistema de ecuaciones, xF , puede expresarse como
xF = A1 b = UD1 UT b , (5.15)
que tambien puede descomponerse seg
un
N N
X 1 T
X uTi b
xF = ui ui b = ui . (5.16)
d
i=1 i i=1
di
Esta u ltima expresion desarrolla la solucion al problema de fusion BAUE como combi-
nacion lineal de los N vectores ui , mediante los coeficientes (uTi b)/di . En el caso de una
matriz mal condicionada, el valor singular dN es mucho menor que el valor singular d1 ,
(uT b)
con lo cual la solucion xF esta dominada por el termino dNN uN . Sin embargo, seg un la
expresion (5.13) el sumando de mayor peso en el desarrollo de la matriz A, y por lo tanto
el termino fundamental, es aquel que tiene el valor singular mas grande, es decir d1 u1 uT1 .
Este analisis indica que al invertir una matriz mal condicionada, la solucion al sistema
lineal no resulta dominada por las caractersticas mas fundamentales de la matriz A sino
por aquellas de menor importancia.
Una solucion a este problema es considerar que se tiene una buena descripcion de la
matriz A mediante los primeros k terminos de su desarrollo:
k
X
A Ak = di ui uTi , (5.17)
i=1
5. Fusi
es decir, descartar los u

ltimos N k terminos, que corresponden a los valores singulares
mas pequenos. De esta manera, la solucion xF puede aproximarse como
k
X uTi b
xF xk = ui , (5.18)
i=1
di
donde queda claro que la solucion xk ya no esta dominada por el valor singular mas
pequeno, dN . A esta tecnica de regularizacion se la denomina Descomposicion en Valores
Singulares Truncada (o, por sus siglas en ingles, TSVD, [42]). De acuerdo al valor que
se adopte para k se tienen soluciones regularizadas en mayor o menor medida. En este
trabajo, el truncamiento puede hacerse con k = 1, si es que N = 2, o con k = 1 y k = 2,
si N = 3.
Las imagenes que se obtienen como resultado de la fusion mediante la tecnica de TSVD
se ordenan seg un la tabla A.3, del apendice A. Las imagenes que se eligen como entrada
al esquema de fusion para M = N = 2 son dos imagenes con nivel de exposicion normal
(nivel de fotometro +0) tomadas con diferentes aperturas relativas (IMAGEN 01.TIF e
IMAGEN 02.TIF). Para N = 2 y valores de M crecientes se van incorporando imagenes
con niveles de exposicion cada vez mas extremos, incluyendo con M = 3 una imagen
mas con exposicion normal (IMAGEN 03.TIF), luego incluyendo con M = 5 una ima-
gen sub-expuesta y otra sobre-expuesta (IMAGEN 04.TIF e IMAGEN 06.TIF), luego para
M = 8 otra imagen sub-expuesta (IMAGEN 05.TIF) y dos sobre-expuestas (IMAGEN 07.TIF
e IMAGEN 08.TIF), para M = 10 dos imagenes muy sub-expuestas (IMAGEN 10.TIF e
IMAGEN 11.TIF), y finalmente para M = 11 una muy sobre-expuesta (IMAGEN 09.TIF),
que es la que presenta saturacion en grandes zonas de la imagen. Para N = 3 se realiza
el mismo procedimiento, pero comenzando con M = N = 3.
5.2.2. Factores de filtro

El metodo de TSVD elimina por completo el aporte que hacen los N k valores
singulares mas chicos. Si bien los resultados que se observan para k = 1 son mucho mejores
que los que se obtienen aplicando la regla de fusion BAUE sin regularizar, cabe preguntarse
si es posible mejorar los resultados controlando el aporte que hace cada termino del
desarrollo sin la necesidad de eliminar por completo a ninguno, sobre todo en este caso
particular en el que la cantidad total de terminos que se suman (N ) es peque na.
La tecnica de los factores de filtro (filter factors, [42], [44]) consiste en multiplicar cada
termino del desarrollo de la expresion (5.16) por un coeficiente i , que sea cercano a 1 si
se trata de un valor singular grande, y cercano a 0 si se trata de un valor singular chico.
La aproximacion a la solucion se puede escribir de la siguiente manera
N
X uTi b
xF xf il = i ui . (5.19)
i=1
di
La tecnica de TSVD puede interpretarse bajo este esquema como un filtro que tiene i = 1
para i k y i = 0 para i > k, y representa el filtrado espectral mas sencillo que puede
5. Fusi
elegirse. La eleccion de un conjunto de coeficientes de filtro esta ntimamente relacionada

al problema particular que se pretende resolver. En este captulo se muestran algunos
ejemplos que dan lugar a resultados interesantes a efectos de la fusion de imagenes.
Ejemplo 1
Este primer ejemplo esta inspirado en el metodo de regularizacion de Tikhonov ([42],
[44]), ya que adopta los mismos coeficientes de filtro. Sin embargo, es importante men-
cionar que el metodo de Tikhonov no se propone resolver un sistema de ecuaciones en
el que la matriz A sea cuadrada, sino que trata con un problema sub-determinado o
sobre-determinado en el que la solucion sin regularizar se calcula a partir de la matriz
pseudo-inversa.
Se adoptan entonces los factores de filtro dados por
d2i
i = , (5.20)
d2i + 2
de forma tal que la solucion regularizada toma la siguiente forma:
N N
X d2i uTi b X di
uTi b ui .

xf il1 = 2 2
u i = 2 2
(5.21)
d +
i=1 i
di d +
i=1 i
Segun esta propuesta, para valores singulares que cumplan que di , el termino de
la suma sera el mismo que el de la solucion sin regularizar, y para valores que cumplan
2 (uTi b)ui
di , el termino de la suma sera di di
, que por ser di resulta muy atenuado
respecto del termino de la solucion sin regularizar.
Se realizan pruebas para distintos valores del parametro , y los resultados se ordenan
seg
un la tabla A.4 del apendice A. Las imagenes generadas se encuentran en el directorio
FF1 del DVD que acompa na a este trabajo.
Ejemplo 2
El segundo ejemplo que se muestra esta basado en la idea de sumar a la matriz
A = HT 1

H un m u ltiplo de la matriz identidad antes de realizar la operacion de
inversion de la matriz. Seg un esta idea, la solucion regularizada sera
xF xf il2 = (A + I)1 b , (5.22)
que aplicando el desarrollo en valores singulares de la matriz A resulta

1
xf il2 = UDUT + I b. (5.23)
Dado que la matriz identidad tambien se puede desarrollar segun una descomposicion
espectral, y siendo que la matriz U es unitaria, se cumple que
1
xf il2 = UDUT + UIUT b, (5.24)
5. Fusi
y agrupando queda
1
xf il2 = U (D + I) UT b. (5.25)
Esta expresion puede llevarse a la forma
N N T

X 1 X di u i b
uT b ui =

xf il2 = ui , (5.26)
i=1
di + i d + di
i=1 i
es decir que los factores de filtro asociados a esta idea son

di
i = , (5.27)
di +
y cumplen que para valores di vale i 1, y para valores di vale i di 1.
Las pruebas correspondientes a esta tecnica de regularizacion se ordenan seg
un la tabla
A.5 del apendice A, y las imagenes generadas se encuentran en el directorio FF2.
5.2.3. Analisis de los resultados

A partir de la observacion de las imagenes que resultan de realizar la fusion mediante
las distintas tecnicas de regularizacion se puede afirmar que:
En gran parte de los casos la imagen sintetizada tiene lineas que separan zonas con
distinto nivel de contraste. Dichas lineas son las que delimitan las zonas dentro de
las cuales la matriz H es la misma. El hecho de que haya quiebres en los niveles
de intensidad es una limitacion que surge de haber supuesto que la intensidad de
cada pixel aumenta o disminuye en la misma proporcion en que lo hace el nivel de
intensidad medio de la imagen. Denominaremos a este efecto zonificacion.
Para todas las tecnicas de regularizacion ocurre que para ciertos valores del parametro
de regularizacion (k, , o ) hay zonas de la imagen que resultan saturadas, a un
cuando no se incluyen imagenes saturadas al esquema de fusion. En estos casos,
la saturacion se da debido a la inestabilidad numerica de la solucion, ya que las
estimaciones de intensidad que resulten en valores excesivamente elevados son au-
tomaticamente recortadas al maximo nivel de intensidad representable. La reduccion
de estos efectos esta sujeta a las capacidades de regularizacion de cada una de las
tecnicas presentadas.
La tecnica de regularizacion TSVD muestra resultados inaceptables para valores
de k > 1, para todos los valores de M y N con que se hicieron las pruebas. Esto
ocurre debido a que tpicamente, el valor singular d2 es mucho menor que el valor
singular d1 , y la imagen sintetizada resulta dominada por por el segundo termino
del desarrollo en valores singulares. Para k = 1, los resultados son notablemente
mejores, aunque las imagenes a un resultan saturadas. El hecho de que la solucion
TSVD a un sea inestable y solo se consigan resultados aceptables con k = 1, indica
que la tecnica TSVD no es la adecuada para regularizar el problema de fusion tal
como esta planteado. Dado que en este problema N asume valores peque nos, el valor
de k no resulta ser un parametro u til para el dise
no de la fusion.
5. Fusi
La tecnica con los factores de filtro seg

un el primer ejemplo (FF1), muestra mejores
resultados que la tecnica TSVD, en el sentido de que permite controlar el nivel
de saturacion de la imagen. A la hora de elegir el valor del parametro se da
un compromiso entre lograr una imagen que no este demasiado saturada y lograr
una imagen en la que los efectos de la zonificacion no se hagan notar. Para valores
elevados de se evita que haya saturacion en los sectores mas claros de la imagen,
pero tambien se hace notar la diferencia de intensidad media de las distintas zonas
de la imagen. Contrariamente, para valores de menores se deja de notar el efecto
de la zonificacion, pero se tienen sectores saturados en la imagen sintetizada. No
es posible encontrar un u nico valor de que se adec ue a todas las condiciones de
prueba, y se observa que se requiere un valor de mayor cuando se incluye mayor
cantidad de imagenes y con mayor diversidad de niveles de exposicion, mientras
que se obtienen buenos resultados con valores de menores cuando se incluyen al
esquema de fusion menos imagenes y con menor diversidad de exposiciones.
La tecnica con los factores de filtro segun el segundo ejemplo (FF2), da lugar a
mejores resultados que las dos tecnicas anteriores. Es posible encontrar mas facil-
mente los valores del parametro que hacen que la imagen sintetizada no se vea
afectada por la saturacion ni por los efectos de la zonificacion. Se observa, al igual
que segun la segunda tecnica, que para valores de M menores se obtienen buenos
resultados con valores menores de , y que cuando se incluye mayor cantidad de
imagenes, el valor de debe aumentar para regularizar el problema. Sin embargo,
se observa que para M = 11, se da el mismo compromiso que con la tecnica anterior,
y resulta complicado encontrar un valor de adecuado.
Se observa que mediante las tecnicas de factores de filtro, las soluciones que estan
regularizadas mas de lo necesario (con valores de o demasiado altos) son mas
oscuras. Esto tiene que ver con que en ambos ejemplos, valores elevados de y
hacen que los factores i sean todos menores que 1, y por lo tanto que el vector
estimado xf il se componga de terminos demasiado atenuados.
La reduccion de los niveles de ruido aditivo debido a la fusion se observa para

todas las tecnicas de regularizacion, y el nivel de ruido de la imagen sintetizada
depende de la cantidad de imagenes que se incorporen a la fusion. En la seccion 5.3
se retomara la caracterstica de reduccion del ruido.
5.2.4. Errores de regularizacion

Al resolver el problema de inestabilidad numerica mediante las tecnicas de regular-
izacion presentadas, la estimacion del vector x deja de ser la estimacion BAUE presen-
tada en el captulo 3, y aparecen errores debido al proceso de regularizacion. Es natural
preguntarse si las soluciones regularizadas resultan en mejores o peores estimaciones que
las que propone la regla de fusion BAUE, y cuantificar dichas diferencias.
5. Fusi
Sesgo en la estimacion
La solucion regularizada puede escribirse, a partir de la expresion (5.19), como
xf il = UD1 UT b , (5.28)
donde la matriz es una matriz diagonal en la que se ordenan los valores de los factores
de filtro i . El sesgo en la estimacion de x puede calcularse del siguiente modo:
E [xf il x] = E UD1 UT b x .

(5.29)
Reemplazando el vector b por HT 1 z, y el vector z por Hx + , se tiene:
E [xf il x] = E UD1 UT HT 1

(Hx + ) x . (5.30)
Utilizando el hecho de que el producto HT 1 T

H se desarrolla como UDU , y que el ruido
tiene media nula, se obtiene
E [xf il x] = UD1 UT UDUT x x . (5.31)
Finalmente, dado que UT U = I, el sesgo se reduce a:
E [xf il x] = U ( I) UT x . (5.32)
Esta u
ltima expresion indica que para cada conjunto de factores de filtro, existe un
sesgo que depende linealmente del vector x. Ademas, se tiene que
E [xf il ] = UUT x , (5.33)
lo cual indica que si los factores de filtro son todos muy inferiores a 1 (solucion demasiado
regularizada), entonces la norma de la solucion regularizada xf il es, en promedio, inferior
que la norma del vector a estimar x. Esta idea es consistente con el hecho de que para
valores elevados de los parametros y , la imagen sintetizada se oscurece.
Error cuadratico medio de la estimacion

Para encontrar el valor medio del error cuadratico kxf il xk22 , se calcula
E (xf il x)T (xf il x) = E (UD1 UT b x)T (UD1 UT b x) ,

(5.34)
luego, reemplazando los vectores b y z, de la misma forma que se hizo para el calculo del
sesgo, calculando la expectacion sobre cada termino, y operando sobre la expresion, se
llega a que:
E kxf il xk22 = k ( I) UT xk22 + T r 2 D1 .

(5.35)
Para comparar la solucion regularizada con la de la fusion BAUE, se debe comparar
este error cuadratico medio con el de la estimacion BAUE, que se calculo en el captulo
3: h 1 i
xFBAU E xk22 = T r HT H

E k . (5.36)
5. Fusi
Aplicando el desarrollo en valores singulares al producto HT H, esta u

ltima expresion
resulta:
xFBAU E xk22 = T r UD1 UT = T r[D1 ] .

E k (5.37)
Al comparar los errores cuadraticos medios dados por las expresiones (5.35) y (5.37)
se observa que en ambas hay un termino que depende de la matriz de valores singulares
D. En la expresion (5.35), dicho termino puede desarrollarse como
N
2 1 X
Tr D = 2i d1
i , (5.38)
i=1
y en la expresion (5.37) como

N
X
1
T r[D ] = d1
i . (5.39)
i=1
Por ser todos los coeficientes de filtro menores o iguales que 1, el termino correspondiente
a la solucion regularizada resulta ser siempre menor que el error cuadratico medio de la
solucion BAUE. Sin embargo, el error cuadratico medio de la solucion regularizada se ve
afectado por el termino
k ( I) UT xk22 , (5.40)
que toma valores crecientes a medida que se reducen los factores de filtro i , por ejemplo,
aumentando los valores de los parametros y .
Este termino, que depende del valor de x, es un error que tiene origen en el sesgo del
estimador. Tal como se estudio en el captulo 3, el hecho de que un estimador tenga sesgo
lleva a que el error cuadratico medio sea dependiente del vector a estimar, x, y por lo
tanto es posible que para ciertos factores de filtro se tenga una solucion con menor error
cuadratico medio que la regla de fusion BAUE. Sin embargo, en las pruebas hechas a lo
largo de este captulo, los parametros y fueron variados sin considerar la posibilidad
de optimizar este error cuadratico medio, sino mas bien contemplando los compromisos
expuestos en la seccion 5.2.3.
5.3. Conclusiones del captulo: Validacion de la tecnica propuesta

En esta seccion se valida la propuesta de fusion BAUE en imagenes a partir de com-
paraciones entre los resultados que se obtienen mediante la tecnica propuesta y los re-
sultados que se obtienen si no se contemplan algunos o todos los efectos modelados. Las
imagenes que se comparan se encuentran en el directorio Validacion, en el DVD que
acompa na a este trabajo.
5.3.1. Caracterizacion del ruido

Tal como se analizo en el captulo 3, es fundamental incluir en el esquema de fusion todo
conocimiento que se tenga acerca de la matriz de covarianza de ruido de las mediciones. El
hecho de haber caracterizado el ruido de la camara como funcion del nivel de exposicion,
5. Fusi
permite lograr una fusion con mnimo error cuadratico medio. Los resultados se hacen
notables cuando se realiza una fusion de dos imagenes (M = 2) con niveles de exposicion
muy distintos, a los que corresponden varianzas de ruido muy distintas (ver tabla 4.2).
Las imagenes a las que se hace referencia a continuacion se encuentran en el sub-directorio
Caract Ruido.
Se toma como ejemplo la fusion de las imagenes IMAGEN 06.TIF (sobre-expuesta) y
IMAGEN 11.TIF (sub-expuesta), y se realiza la fusion bajo los siguientes casos:
1. Fusion BAUE, modelando la MTF con N = 2, y utilizando la matriz de covarianza

que surge de las varianzas de la tabla 4.2. Metodo de regularizacion seg
un el
segundo ejemplo de factores de filtro (FF2), con = 0, 06.
Imagen resultado: BAUE FF2 N2 M02 006.TIF.
2. Fusion BAUE, sin modelar la MTF (N = 1), con H = [h1 , h2 ]T , siendo h1 y h2 los
factores que modelan el nivel de exposicion de la imagen, y utilizando la matriz de
covarianza de ruido correspondiente.
Imagen resultado: BAUE N1 M02.TIF.
3. Fusion BAUE, sin modelar la MTF (N = 1), con H = [h1 , h2 ]T , siendo h1 y h2 los
factores que modelan el nivel de exposicion de la imagen, y sin distinguir las varian-
zas del ruido, es decir adoptando = 2 I (ruidos independientes e identicamente
distribuidos).
Imagen resultado: BAUE iid N1 M02.TIF.
4. Fusion (no BAUE) realizando un promedio de las dos imagenes, previa correccion
de los niveles de exposicion h1 y h2 .
Imagen resultado: Promedio M02.TIF.
Para la medicion del nivel de ruido de cada imagen resultado se trabaja de igual
forma que como se midio la varianza del ruido en la seccion 4.4.2. Para el calculo de
la varianza muestral se tomo un sector de las imagenes que tiene textura practicamente
uniforme (cuadrado de 20 20, cuyos vertices opuestos son el pixel (2620, 1120) y el pixel
(2640, 1140)). Las varianzas observadas para los cuatro casos se presentan en la tabla 5.1.
Caso de fusion Varianza muestral

Caso 1 10,47
Caso 2 10,87
Caso 3 13,51
Caso 4 104,58
Tab. 5.1: Medici

on de la varianza de ruido en la imagen resultado.
Estos resultados muestran que hay una ganancia en los niveles de ruido de la imagen
sintetizada, cuando se utiliza la matriz de covarianza dada por la caracterizacion
hecha en el captulo 4. Se tiene una reduccion del orden del 20 % en la varianza del ruido,
5. Fusi
respecto del caso en que se asume ruido identicamente distribuido en todas las imagenes
(casos 1 y 2 respecto del caso 3). Ademas, si bien el hecho de incluir el modelado de
la MTF hace que el problema sea numericamente inestable, los niveles de ruido que se
obtienen luego de realizar la regularizacion son equivalentes a los que se obtienen si no se
incluye el modelado de la MTF. Esto indica que el nivel de ruido debido a la inestabilidad
numerica esta correctamente controlado. Por otra parte, de la comparacion del caso 4 con
los primeros tres casos, queda claro que realizando una fusion BAUE se logra una solucion
notablemente menos ruidosa que si se propone fusionar mediante un simple promedio. En
la Fig. 5.2 se muestra un fragmento de cada una de las cuatro imagenes que se obtuvieron
segun los cuatro casos de fusion propuestos mas arriba.
Fig. 5.2: Fragmentos de las im agenes sintetizadas de acuerdo a los cuatro casos propuestos de
fusi
on, para el an
alisis del nivel de ruido. Caso 1 (a), caso 2 (b), caso 3 (c) y caso 4
(d).
5. Fusi
Otro analisis interesante, respecto de los niveles de ruido, es ver como vara la varianza
del ruido como funcion de la cantidad de imagenes incluidas en la fusion. Para este analisis
se calculan las varianzas de ruido de las imagenes presentadas en la seccion 5.2.2, es decir
para los dos ejemplos de regularizacion mediante factores de filtro, con N = 2 y N = 3,
y para valores de M crecientes entre N y 10. No se incluye en la fusion a la imagen
IMAGEN 09.TIF, que tiene un grado de saturacion importante, ya que su caracterstica
no solo se aparta del modelado lineal sino que ademas, por tener asociada una varianza
extremadamente peque na, resulta ser la imagen a la que mas peso se asigna. La varianza se
estima a partir de la observacion del mismo sector de textura uniforme que se utilizo para
los calculos anteriores. En la figura 5.3 se presentan dichas varianzas, normalizadas al
valor de la varianza del caso de fusion con M = N , en cada caso.
Fig. 5.3: Varianza del ruido en la imagen sintetizada, como funci

on del n
umero de im
agenes,
para los metodos de regularizaci
on FF1 y FF2.
Se observa que la varianza tiene una relacion aproximadamente inversa con la cantidad
de imagenes incorporadas. Esto es consistente con el hecho de que, tal como se estudio en
el captulo 3, el error cuadratico medio es inversamente proporcional al valor de M . Si
bien la varianza y el error cuadratico medio solo coinciden en el caso de una regla de
fusion insesgada, ambos indicadores dan cuenta del nivel de error y/o ruido de la imagen
sintetizada, y pueden suponerse equivalentes a efectos del analisis de este grafico.
5.3.2. Caracterizacion de la MTF de la lente

Es importante preguntarse si el hecho de haber modelado la respuesta impulsiva del
sistema optico (MTF), produce mejoras notables en la calidad de la imagen. Dado que
5. Fusi
la MTF representa una limitacion en la resolucion espacial de la camara, que se observa

como un filtrado pasabajos, es de esperar que en los resultados de la fusion se observen
imagenes mas ntidas, es decir con mayor capacidad de reproducir cambios de intensidad
(altas frecuencias).
En el subdirectorio Uso MTF se dispone de imagenes que resultan de aplicar el metodo
de fusion BAUE modelando la MTF con N = 3 y regularizando mediante el segundo caso
de factores de filtro (FF2 N3 M10 005.TIF, FF2 N3 M10 01.TIF y FF2 N3 M10 02.TIF, para
= 0, 05, = 0, 1 y = 0, 2, respectivamente) y de una imagen que resulta de aplicar
el metodo de fusion BAUE sin incluir el modelado de la MTF (BAUE N1 M10.TIF), es
decir con N = 1 y solamente modelando el nivel de exposicion de las imagenes. Se decide
realizar el analisis mediante el segundo caso de factores de filtro, por ser el que mejores
capacidades de regularizacion muestra. En la Fig. 5.4 se muestra un detalle de las cuatro
imagenes (extrado de la esquina inferior izquierda de cada imagen resultado).
De la comparacion de estas imagenes se pueden extraer algunas conclusiones respecto
del modelado de la MTF. Por empezar, se observa que para valores de peque nos (poca
regularizacion), la imagen resultado es mas contrastada y tambien mas ruidosa, y para
valores de mayores (mas regularizacion), la imagen resultado es menos contrastada y
menos ruidosa. El hecho de que las imagenes poco regularizadas esten mas contrastadas
habla de la capacidad que tiene el sistema de fusion de reproducir los cambios de intensidad
en forma abrupta, y el hecho de que una mayor regularizacion provoque imagenes menos
contrastadas representa el hecho de que al regularizar el problema se pierde esta respuesta
a los cambios de intensidad.
De las tres imagenes de las que se dispone en el subdirectorio Uso MTF que hacen uso del
modelado de la MTF, solo la imagen FF2 N3 M10 02.TIF tiene un nivel de regularizacion
adecuado, en el sentido de que es la u nica imagen sintetizada que no muestra saturaciones
importantes en la zona superior de la imagen. Sin embargo, es a su vez la imagen en la
que menos se aprecia el efecto de haber modelado la MTF, ya que no muestra diferencias
perceptibles en con respecto a la imagen BAUE N1 M10.TIF (ver Fig. 5.4 (a) y (d)). Estos
resultados indican que existe un compromiso entre la ganancia que se puede obtener en
la respuesta a altas frecuencias, y el nivel de ruido y saturacion de la imagen sintetizada.
Otras conclusiones
En el modelado que se hizo del sistema optico, en la seccion 4.4, se clasifico a las curvas
de respuesta en frecuencia seg un la apertura relativa del diafragma. Tal como se desprende
de hojas de datos de lentes profesionales, la relacion entre la respuesta en frecuencia y
la apertura relativa suele ser importante, a un en lentes de muy alta calidad. Bajo esta
premisa, en la seccion 5.1 se propuso confeccionar la matriz H de forma tal que en cada
fila se tengan los coeficientes de la respuesta impulsiva asociada a la apertura relativa de
la fotografa. Luego, dado que una de las hipotesis bajo las cuales se desarrollo la regla
de fusion, es que el rango de la matriz H sea N , es condicion necesaria para realizar la
fusion de imagenes de acuerdo al esquema propuesto, que se disponga de al menos N
imagenes tomadas con distinta apertura relativa. Si no se hubiera caracterizado la MTF
como funcion de la apertura relativa, la fusion no se hubiera podido realizar de acuerdo a la
5. Fusi
Fig. 5.4: Resultados del modelado de la MTF en la fusi on BAUE. Regularizaci on mediante se-
gundo caso de factores de filtro, con N = 3, y (b) = 0, 05, (c) = 0, 1, (d) = 0, 2.
Imagen de referencia (a): fusion BAUE sin modelar la MTF.
5. Fusi
propuesta de este captulo, ya que la matriz HT 1 H tendr a determinante identicamente

nulo.
En el modelado que se hizo en la seccion 4.4, tambien se clasifico a las curvas de re-
spuesta en frecuencia seg un zonas de la imagen. Esta decision estuvo basada en el hecho
de que la MTF tambien resulta ser altamente dependiente de la distancia al centro optico.
Es as que se decidio adoptar una matriz H distinta seg un la zona de la imagen en la que
se encuentra el pixel sobre el que se realiza la fusion. Es interesante analizar si se obtiene
alguna mejora perceptible como resultado de hacer un modelado por zonas, respecto de
un modelado uniforme sobre toda la imagen. Para ello, se realiza la fusion con el segundo
caso de factores de filtro utilizando una u nica matriz H en toda la imagen, confecciona-
da ubicando en cada fila los coeficientes de la respuesta impulsiva medida solamente en
el centro de la camara (zona 0). La imagen resultado de dicha fusion se encuentra en
el directorio Caract Sectores, bajo el nombre SIN ZONIF FF2 N3 M10 02.TIF, y corre-
sponde a un modelado con N = 3 coeficientes de la respuesta impulsiva, y a una fusion
que incluye M = 10 imagenes (se excluye a la imagen IMAGEN 09.TIF). La comparacion
se realiza con una imagen sintetizada bajo condiciones equivalentes, pero modelando la
matriz H seg un las 11 zonas en las que se hizo la calibracion. Dicha imagen lleva el nom-
bre FF2 N3 M10 01.TIF, y es una de las imagenes que se obtuvo como resultado en la
seccion 5.2.3. Se observa que la imagen que surge de utilizar una u nica matriz no muestra
el efecto de la zonificacion, es decir que no hay discontinuidades en los niveles de con-
traste de la imagen, y que la imagen que modela la MTF por sectores s muestra dichas
discontinuidades. Estas discontinuidades se caracterizan por mostrar mayores niveles de
contraste en las zonas correspondientes a las cuatro esquinas de la imagen. Dado que en
las cuatro esquinas de la imagen justamente se tiene una MTF con un ancho de ban-
da mas limitado, es razonable que al diferenciar el modelado en dichas zonas, se tenga
una ganancia de contraste y respuesta en las altas frecuencias. Este analisis indica que el
modelado por zonas muestra diferencias respecto de un modelado uniforme.
Respecto del n umero de coeficientes con que se modela la MTF, se pueden hacer anali-
sis similares a los que se hicieron, pero para N = 2, y las conclusiones a las que se llega son
exactamente las mismas que se mencionan mas arriba. Por otra parte, de la comparacion
de los resultados presentados en la seccion 5.2.2 para N = 2 y N = 3, se observa que
no hay diferencias perceptibles al incluir N = 3 coeficientes frente a incluir N = 2 coefi-
cientes de la respuesta impulsiva. Por ejemplo, al realizar una comparacion numerica de
las intensidades de los pxeles de las imagenes FF2 N2 M10 02.TIF y FF2 N3 M10 02.TIF,
se observa que la maxima diferencia que surge al realizar una resta de las imagenes es
igual a 3 en una escala de 256 tonos de gris (menos que un 2 %).
6. CONCLUSIONES
A lo largo de este trabajo se desarrollaron teoras y tecnicas de Fusion de Datos,

caracterizando conceptos y aspectos fundamentales a partir de desarrollos matematicos,
graficos y resultados de simulaciones por computadora. Se encontro que bajo las hipotesis
planteadas al comienzo del trabajo, y de acuerdo al esquema general que se presento en el
captulo 3, se pueden desarrollar tecnicas de fusion aplicables a diversos problemas bajo
una misma forma, y en particular pueden adecuarse al problema de la Fusion de Imagenes
Digitales.
Para realizar la Fusion de Imagenes Digitales de acuerdo a las tecnicas desarrolladas
en el captulo 3, hizo falta disponer de un modelo linealizado de la camara digital (matriz
H). Es as que se confecciono un modelo de observacion que explica dos fenomenos en
particular: la respuesta en frecuencia espacial del sistema optico (MTF) y el ruido que
incorpora el sistema electronico. Para cuantificar los parametros del modelo se realizaron
experiencias de calibracion para una camara digital en particular.
A la hora de implementar la tecnica de fusion BAUE a partir del modelado realizado
en el captulo 4 surgieron problemas de inestabilidad numerica, y por lo tanto fue nece-
sario presentar metodos de regularizacion para el computo de la solucion. Se realizaron
simulaciones que permitieron comparar distintas tecnicas de regularizacion y as elegir la
mas adecuada al problema de la fusion de imagenes tal como se lo planteo.
En el captulo 5 se realizaron diversos analisis que validan la tecnica de fusion prop-
uesta: desde un punto de vista cualitativo, a partir de la observacion de las imagenes
resultado; y desde un punto de vista cuantitativo, a partir de ciertas metricas de perfor-
mance. En los resultados hubo consistencia con los analisis realizados en el captulo 3, a
saber: se verifico la reduccion de la varianza del ruido, y se observo tambien la compen-
sacion de la MTF como una ganancia en la respuesta a altas frecuencias.
Se encontro que seg un el esquema propuesto, existe un compromiso entre los niveles
de ruido y saturacion en la imagen sintetizada y la ganancia a altas frecuencias. Se encon-
tro que la compensacion de la MTF se da al nivel del pixel, ya que las respuestas impulsivas
que resultan de la calibracion tienen pocos coeficientes distintos de cero. Ademas, dicha
compensacion se hace visualmente notable solo bajo condiciones de poca regularizacion.
Si para el mismo sistema de lentes se tuviera un dispositivo sensor con mayor densidad
de pxeles, las respuestas impulsivas tendran mayor cantidad de coeficientes no nulos, y
sera posible observar una mayor ganancia de nitidez y respuesta en altas frecuencias. Lo
mismo ocurrira si para el mismo dispositivo sensor se tuviera un sistema de lentes con
un ancho de banda mas limitado.
Apendice
A. REFERENCIAS AL CONTENIDO DEL DVD
En el directorio Calibracion se encuentran las imagenes de calibracion de las curvas

MTF, que fueron tomadas con los siguientes parametros.
Nombre Apertura relativa Tiempo exposici

on Indicaci
on fotometro
DPP 0001.TIF f/4.0 1/160 s Exp. normal (0)
DPP 0004.TIF f/7.1 1/100 s Sub-expuesta (1)
DPP 0005.TIF f/4.0 1/320 s Sub-expuesta (1)
DPP 0006.TIF f/2.8 1/125 s Sobre-expuesta (+1)
DPP 0007.TIF f/4.0 1/60 s Sobre-expuesta (+1)
DPP 0008.TIF f/4.0 1/30 s Muy sobre-expuesta (+2)
DPP 0009.TIF f/8.0 1/125 s Muy sub-expuesta (2)
DPP 0010.TIF f/5.6 1/250 s Muy sub-expuesta (2)
Tab. A.1: Par

ametros de las im
agenes de calibraci
on.
En el directorio Imagenes se tienen las imagenes utilizadas para la fusion, que fueron
tomadas con los siguientes parametros.
Nombre Apertura relativa Tiempo exposici

on Indicaci
on fotometro
IMAGEN 01.TIF f/4.0 1/800 s Exp. normal (0)
IMAGEN 04.TIF f/7.1 1/640 s Sub-expuesta (1)
IMAGEN 05.TIF f/4.0 1/2000 s Sub-expuesta (1)
IMAGEN 06.TIF f/2.8 1/800 s Sobre-expuesta (+1)
IMAGEN 09.TIF f/4.0 1/125 s Muy sobre-expuesta (+2)
IMAGEN 10.TIF f/8.0 1/800 s Muy sub-expuesta (2)
IMAGEN 11.TIF f/5.6 1/1600 s Muy sub-expuesta (2)
Tab. A.2: Par

ametros de las im
agenes para la fusi
on.
A. Referencias al contenido del DVD 94
En el directorio TSVD se presentan los resultados de la fusion de imagenes mediante la

tecnica de TSVD, cuyos nombres se especifican en la siguiente tabla.
N =2 N =3
k=1 k=1 k=2
M =2 TSVD N2 M02 k1.TIF - -
M =3 TSVD N2 M03 k1.TIF TSVD N3 M03 k1.TIF TSVD N3 M03 k2.TIF
M = 10 TSVD N2 M10 k1.TIF TSVD N3 M10 k1.TIF TSVD N3 M10 k2.TIF
M = 11 TSVD N2 M11 k1.TIF TSVD N3 M11 k1.TIF TSVD N3 M11 k2.TIF
Tab. A.3: Resultados de la fusion TSVD
En el directorio FF1 se presentan los resultados de la fusion de imagenes mediante el

primer ejemplo de regularizacion mediante coeficientes de filtro, cuyos nombres se especi-
fican en la siguiente tabla.
N =2 N =3
M =2 = 0, 03 : FF1 N2 M02 003.TIF -
= 0, 04 : FF1 N2 M02 004.TIF -
= 0, 05 : FF1 N2 M02 005.TIF -
M =3 = 0, 05 : FF1 N2 M03 005.TIF = 0, 05 : FF1 N3 M03 005.TIF
= 0, 06 : FF1 N2 M03 006.TIF = 0, 06 : FF1 N3 M03 006.TIF
= 0, 07 : FF1 N2 M03 007.TIF = 0, 07 : FF1 N3 M03 007.TIF
= 0, 1 : FF1 N2 M05 01.TIF = 0, 1 : FF1 N3 M05 01.TIF
= 0, 2 : FF1 N2 M05 02.TIF = 0, 2 : FF1 N3 M05 02.TIF
= 0, 1 : FF1 N2 M08 01.TIF = 0, 2 : FF1 N3 M08 02.TIF
= 0, 2 : FF1 N2 M08 02.TIF
M = 10 = 0, 1 : FF1 N2 M10 01.TIF = 0, 1 : FF1 N3 M10 01.TIF
= 0, 2 : FF1 N2 M10 02.TIF = 0, 2 : FF1 N3 M10 02.TIF
= 0, 45 : FF1 N2 M11 045.TIF = 0, 45 : FF1 N3 M11 045.TIF
= 0, 5 : FF1 N2 M11 05.TIF = 0, 5 : FF1 N3 M11 05.TIF
Tab. A.4: Resultados del metodo de los factores de filtro - Ejemplo 1

A. Referencias al contenido del DVD 95
En el directorio FF2 se presentan los resultados de la fusion de imagenes mediante

el segundo ejemplo de regularizacion mediante coeficientes de filtro, cuyos nombres se
especifican en la siguiente tabla.
N =2 N =3
M =2 = 0, 05 : FF2 N2 M02 005.TIF -
= 0, 06 : FF2 N2 M02 006.TIF -
= 0, 07 : FF2 N2 M02 007.TIF -
= 0, 06 : FF2 N2 M03 006.TIF = 0, 1 : FF2 N3 M03 01.TIF
= 0, 07 : FF2 N2 M03 007.TIF
= 0, 1 : FF2 N2 M05 01.TIF = 0, 1 : FF2 N3 M05 01.TIF
= 0, 2 : FF2 N2 M05 02.TIF = 0, 2 : FF2 N3 M05 02.TIF
= 0, 2 : FF2 N2 M08 02.TIF = 0, 2 : FF2 N3 M05 02.TIF
= 0, 2 : FF2 N2 M10 02.TIF = 0, 2 : FF2 N3 M10 02.TIF
= 0, 3 : FF2 N2 M10 03.TIF
= 0, 3 : FF2 N2 M11 03.TIF = 0, 3 : FF2 N3 M12 03.TIF
= 0, 4 : FF2 N2 M11 04.TIF = 0, 4 : FF2 N3 M13 04.TIF
Tab. A.5: Resultados del metodo de los factores de filtro - Ejemplo 2

Bibliografa
[1] X.R. Li; Y. Zhu; C. Han. Unified optimal linear estimation fusion part i: Uni-
fied models and fusion rules. Proceedings of the Third International Conference on
Information Fusion, 1:MOC2/10 MOC2/17, July 2000.
[2] Y. Bar-Shalom; X.R. Li; T. Kirubarajan. Estimation with applications to tracking

and navigation. Wiley Interscience, 2001.
[3] Morris H. Degroot. Probabilidad y estadstica. Addison-Wesley Iberoamericana, 2nd.

edition, 1988.
[4] R.R. Tenney; N.R. Sandell Jr. Detection with distributed sensors. IEEE Transactions
on aerospace and electronics systems, AES-17(4):501 510, July 1981.
[5] Z. Chair; P.K. Varshney. Optimal data fusion in multiple sensor detection systems.
IEEE Transactions on aerospace and electronics systems, AES-22(1):98 101, Jan.
1986.
[6] F.A. Sadjadi. Hypotheses testing in a distributed environment. IEEE Transactions

on aerospace and electronics systems, AES-22(2):134 137, Mar. 1986.
[7] A. Willsky; M. Bello; D. Castanon; B. Levy; G. Verghese. Combining and updating

of local estimates and regional maps along sets of one-dimensional tracks. IEEE
Transactions on Automatic Control, AC-27(4):799 813, Aug. 1982.
[8] Y. Bar-Shalom; L. Campo. The effect of the common process noise on the two-sensor
fused-track covariance. IEEE Transactions on Aerospace and Electronic Systems,
AES-22:803805, Nov. 1986.
[9] H.F. Durrant-Whyte; B.Y.S. Rao; H. Hu. Toward a fully decentralized architecture
for multi-sensor data fusion. IEEE Proceedings of the International Conference on
Robotics and Automation, 2:1331 1336, 1990.
[10] Y. Xu; Y. Jin; Y. Zhou. Several methods of radar data fusion. 3rd International
Symposium on Electromagnetic Compatibility, pages 664 667, May 2002.
[11] Y. Zhou; H. Leung. Minimum entropy approach for multisensor data fusion. Pro-
ceedings of the IEEE Signal Processing Workshop on Higher-Order Statistics, pages
336 339, July 1997.
Bibliografa 97
[12] S. Chen; H. Leung; E. Bosse. A maximum likelihood approach to joint registration,

association and fusion for multi-sensor multi-target tracking. 12th International Con-
ference on Information Fusion, pages 686 693, July 2009.
[13] G.T. ZANIBONI; N.D.A. MASCARENHAS. Fusao bayesiana utilizando coeficientes

de correlacao localmente adaptaveis. VIII Simposio Brasileiro de Sensoriamento
Remoto, pages 1003 1014, Sep. 1998.
[14] G.T. Zaniboni; N. D. Mascarenhas. Image data fusion using projection over the set
of solutions of an underdetermined least squares problem. Proceedings of the XII
Brazilian Symposium on Computer Graphics and Image Processing, pages 355 356,
Oct. 1999.
[15] M.L.S. Aguena; N.D.A. Mascarenhas. Multispectral image data fusion using projec-
tions onto convex sets techniques. XV Brazilian Symposium on Computer Graphics
and Image Processing, 2002. Proceedings, 2002.
[16] J. Yang; R.S. Blum. A region-based image fusion method using the expectation-
maximization algorithm. 40th Annual Conference on Information Sciences and Sys-
tems, pages 468 473, Mar. 2006.
[17] Y.J. Zhang; L.L. Ge; Y. Qian. New approach to pixel-based fusion for multifocus
images via blurring level measure. Proceedings of the 2007 International Conference
on Wavelet Analysis and Pattern Recognition, Beijing, China, pages 516 521, Nov.
2007.
[18] Y.J. Zhang; L.L. Ge. A simple and efficient hybird image fusion approach. 3rd
IEEE Conference on Industrial Electronics and Applications, ICIEA 2008., pages
1109 1113, Jun. 2008.
[19] M. Tico; K. Pulli. Image enhancement method via blur and noisy image fusion. 16th
IEEE International Conference on Image Processing (ICIP), pages 1521 1524, Nov.
2009.
[20] M.H. Arif; S.S. Shah. Block level multi-focus image fusion using wavelet transform.
International Conference on Signal Acquisition and Processing (ICSAP), pages 213
216, Apr. 2009.
[21] Z. Zhang; R.S. Blum. A categorization of multiscale-decomposition-based image

fusion schemes with a performance study for a digital camera application. Proceedings
of the IEEE, 87(8):1315 1326, Aug. 1999.
[22] K. B. Petersen; M. S. Pedersen. The matrix cookbook, Oct. 2008. Version 20081110,
disponible en http://www2.imm.dtu.dk/pubdb/p.php?3274 al 10/11/2010.
[23] Brian D. Anderson; John B. Moore. Optimal filtering. Prentice-Hall Inc., 1979.
Bibliografa 98
[24] Y.C. Eldar. Mse bounds with affine bias dominating the cramèr-rao bound. IEEE
Transactions on Signal Processing, 56(8):3824 3836, Aug. 2008.
[25] Y.C. Eldar. Comparing between estimation approaches: admissible and dominating
linear estimators. IEEE Transactions on Signal Processing, 54(5):1689 1702, May
2008.
[26] Oliver Faugeras; Quang-Tuan Luong. The Geometry of Multiple Images: The Laws
That Govern the Formation of Multiple Images of a Scene and Some of Their Appli-
cations. The MIT Press, 2001.
[27] Z. Zhang. A flexible new technique for camera calibration. IEEE Transactions on
Pattern Analysis and Machine Intelligence, 22(11):1330 1334, Nov. 2000.
[28] Duane C. Brown. Close-range camera calibration. Symposium on Close-range Pho-

togrammetry, Urbana, Illinois, pages 855 866, Jan. 1971.
[29] Roger Y. Tsai. A versatile camera calibration technique for high-accuracy 3d machine
vision metrology using off-the-shelf tv cameras and lenses. IEEE Journal of Robotics
and Automation, RA-3(4), Aug. 1987.
[30] Anil K. Jain. Fundamentals of Digital Image Processing. Prentice-Hall Inc., 1989.
[31] Schneider Optics Inc. Quality criteria of lenses. Disponible en

http://www.schneideroptics.com/info/whitepapers/whitepapers.htm, al 11/10/2010.
[32] D. Halliday; R. Resnick; K. Krane. Fsica, volume 2. CECSA, 1995. Version exten-
dida, 4ta. edicion.
[33] Zhengyou Zhang. Camera calibration with one-dimensional objects. IEEE Transac-
tions on Pattern Analysis and Machine Intelligence, 26(7):892 899, July 2004.
[34] Par Hammarstedt; Peter Sturm; Anders Heyden. Degenerate cases and closed form
solutions for camera calibration with one-dimensional objects. IEEE International
conference on computer vision, 1:317324, Oct. 2005.
[35] Xianghua Ying; Hongbin Zha. Linear approaches to camera calibration from sphere
images or active intrinsic calibration using vanishing points. IEEE Proceedings of the
10th International conference on Computed Vision, 1:596603, Oct. 2005.
[36] Hui Zhang; Kwan-Yee Wong; Guoqiang Zhang. Camera calibration from images of
spheres. IEEE Transactions on Pattern analysis and machine intelligence, 29(3):499
502, Mar. 2007.
[37] G.E. Healey; R. Kondepudy. Radiometric ccd camera calibration and noise estima-
tion. IEEE Transactions on Pattern analysis and machine intelligence, 16(3):267
276, Mar. 1994.
Bibliografa 99
[38] H. Faraji; W.J. MacLean. Ccd noise removal in digital images. IEEE Transactions
on Image Processing, 15(9):2676 2685, Sep. 2006.
[39] N. Teranishi; N. Mutoh. Partition noise in ccd signal detection. IEEE Transactions
on Electron Devices, 33(11):1696 1701, Nov. 1986.
[40] J. Hynecek. Spectral analysis of reset noise observed in ccd charge-detection circuits.
IEEE Transactions on Electron Devices, 37(3):640 647, Mar. 1990.
[41] K.S. Shanmugan; A.M. Breipohl. Random Signals: Detection, estimation and data
analysis. John Wiley & Sons, 1988.
[42] P.C. Hansen; J.G. Nagy; D.P. OLeary. Deblurring images. SIAM, 2006.
[43] R.L. Burden; J.D. Faires. Analisis numerico. Thomson Learning, 2002. 7ma. edicion.
[44] P.C. Hansen. Regularization tools: A matlab package for analysis and solution of
discrete ill-posed problems, Mar. 2008. http://www2.imm.dtu.dk/ pch/Regutools/.

Tesis Roitman

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Tesis Roitman

Загружено:

Авторское право:

Доступные форматы

Facultad de Ingeniera, Universidad de Buenos Aires, Argentina

Tesis de grado de Ingeniera Electronica

Teora y tecnicas de Fusion de Datos, con aplicaciones

Dr. Ing. Bruno Cernuschi-Fras ............................................

Ing. Sara Tressens ............................................................

Dr. Ing. Ariel Lutenberg .....................................................

Dr. Ing. Silvano Zanutto .....................................................

2.. Fusion de datos: Modelos, criterios e hipotesis . . . . . . . . . . . . . . . . . . . 5

3.. Fusion BAUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

4.. Modelos de camara y lente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

5.. Fusion BAUE de imagenes digitales . . . . . . . . . . . . . . . . . . . . . . . . . 71

A.. Referencias al contenido del DVD . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Este trabajo tiene la intencion de dar un marco teorico al problema de la Fusion de

La fusion de datos trata con el problema de combinar la informacion proveniente de un

Fig. 2.1: Posible esquema de fusi

En cada observacion zi se encuentra, en mayor o menor medida, informacion del

2.1. Modelos de observacion

2.1.1. Esquema centralizado

Fig. 2.2: Esquema de fusi

ruido en la condicion del problema, ya que peque

2.1.2. Esquema descentralizado

Fig. 2.3: Esquema de fusi

Las funciones gi () pueden representar procesamientos sencillos, como la eliminacion de un

2.1.3. Modelos dinamicos

x(k + 1) = f (x(k), u(k), w(k)) , (2.2)

escribirse esta ecuacion bajo la misma forma de la ecuacion (2.1):

z(k) = h(x(k)) + v(k) . (2.4)

El esquema de fusion entonces debe contemplar las observaciones provenientes de todos

2.1.4. Modelos linealizados

x(k + 1) = F(k)x(k) + D(k)u(k) + C(k)w(k) (2.7)

2.2. Criterios de estimacion

2.2.1. Estimacion de x como variable aleatoria

Maximum a posteriori (MAP) El criterio Maximum a posteriori adopta como esti-

M AP = arg max p(x|z) = arg max p(z|x)p(x) .

En esta ultima expresion no interviene la densidad marginal p(z) ya que a efectos de la

y llamamos estimacion optima a aquella que minimiza esta perdida media:

opt = arg mn E [L(x, x

Es posible demostrar que para la norma Eucldea, la solucion a esta minimizacion es la

es decir, el valor medio de x de acuerdo a la funcion de densidad de probabilidad a

y la solucion a dicho problema es:

2.2.2. Estimacion de x como parametro determinstico

Maximum Likelihood Este criterio supone conocida la funcion de densidad de prob-

Minimo error cuadr atico medio (MMSE) As como se ha planteado el problema

2.3. Principales trabajos e hipotesis

El esquema centralizado, si bien requiere una capacidad de transmision mayor, se

2.3.2. Fusion de trayectorias

dicha correlacion, entonces las cotas de error en la fusion resultan sub-valoradas. Un

2.3.3. Fusion de imagenes

2.3.4. Hipotesis y modelos en este trabajo

Esta simplificacion permite tratamientos matematicos que en general admiten soluciones

En este captulo se plantea el problema de la fusion de datos partiendo de un modelo

3.1. Primer acercamiento: Fusion de 2 mediciones

3.1.1. Descripcion del modelo

El esquema de fusion a construir es una funcion afn de las observaciones:

es decir que 1 , 2 y u son escalares, independientes del valor de x.

3.1.2. Planteo y desarrollo

La condicion de que la regla de fusion sea insesgada implica que

12 = E [(z1 x)(z2 x)] = E [1 2 ] . (3.11)

Fig. 3.1: Error cuadr

Resolviendo primero para 1 y 2 , y aplicando luego la condicion asociada al multiplicador

3.1.3. Analisis de resultados

Ruidos descorrelacionados Una primera condicion es aquella en la cual los ruidos i

Se puede cuantificar el grado de mejora de la precision, respecto de la precision de las