Movimiento 3-D.

3 D Estudio del
campo de movimiento en el
plano de la imagen. Flujo ptico
y correspondencia
Rafael
R
f l Molina
M li
Departamento de Ciencias de la
Computacin e I.A.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

Contenidos
I. Introduccin
A. Ejemplos de uso de movimiento
A
movimiento.
B. Tipos de problemas de anlisis de
movimiento.
i i t
C. Importancia del movimiento visual

II. Modelos de movimiento tridimensional

A. Movimiento rgido
A
B. Movimiento deformable
Rafael Molina

Campo de Movimiento en el plano de la

imagen

III.Movimiento
III
Movimiento 2
2-D
D vs movimiento aparente
aparente.
A. Correspondencia y flujo ptico.
B. Ejemplo.
IV Correspondencia 2-D
IV.
2D
V. Flujo ptico.
VI. El problema de la oclusin
VII El problema de la apertura
VII.El
VIII.Bibliografa

Rafael Molina

Campo de Movimiento en el plano de la

imagen

I. Introduccin
Los datos para la resolucin de un problema relacionado con el
movimiento son una secuencia temporal de imgenes.
El anlisis del movimiento est relacionado, entre otros, con
aplicaciones en tiempo real como la navegacin y seguimiento y
con la obtencin de informacin sobre los objetos estticos y en
movimiento en una escena.
El anlisis del movimiento es tambin fundamental en problemas
como la restauracin de secuencias de imgenes, as como su
compresin y la obtencin de imgenes y secuencias de
imgenes de alta resolucin a partir de secuencias de baja
resolucin
resolucin.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

I.A Ejemplos
j p
de uso de movimiento
Ejemplos vistos en el primer tema del curso
Universidad de Cambridge. Computer Vision and Robotics Group.
http://svr-www.eng.cam.ac.uk/research/vision/research.html
Universidad de Granada.
Granada Dpto.
Dpto Ciencias de la Computacin e
Inteligencia Artificial. http://decsai.ugr.es
Trinity College Dublin. The Department of Electronic and Electrical
Engineering. http://www.mee.tcd.ie.

Rafael Molina

Campo de Movimiento en el plano de la

imagen

Universidad de Oxford
Robotics Research Group
http://www.robots.ox.ac.uk/

Sistema de navegacin acercndose

Puntos importantes,
importantes localizacin y posicin
Rafael Molina

Sistema de navegacin alejndose

Navegacin y seguimiento

Campo de Movimiento en el plano de la

imagen

Vision & Autonomous Systems Center (VASC), The Robotics

Institute Carnegie Mellon University
Institute,
http://www.ri.cmu.edu/

S. Baker and T. Kanade, Limits on Super-Resolution and How to

Break Them, IEEE Transactions on Pattern Analysis and Machine
Intelligence Vol.
Intelligence,
Vol 24,
24 No.
No 9,
9 September,
September 2002
2002.
Secuencia
original

Secuencia de
alta resolucin

Rafael Molina

Campo de Movimiento en el plano de la

imagen

Cognitec http://www.cognitech.com
Restauracin de video

Rafael Molina

Campo de Movimiento en el plano de la

imagen

Fusin
de imgenes

Rafael Molina

Campo de Movimiento en el plano de la

imagen

Mosaicing
g

Rafael Molina

Campo de Movimiento en el plano de la

imagen

10

I B Problemas de anlisis del movimiento

I.B
Deteccin de movimiento
movimiento. El objetivo es detectar si hay
movimiento en la escena. Tiene aplicaciones a seguridad.
Deteccin y localizacin de objetos en movimiento. Es
ms complicado que el anterior y puede incluir tambin la
deteccin de trayectorias y prediccin de futuras trayectorias
trayectorias.
Obtencin de propiedades 3
3-d
d de objetos a partir del
movimiento. Un problema tpico de Visin Artificial.
Un cuarto grupo (relacionado con el primero): Estimacin
de movimiento en problemas de compresin de vdeo.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

11

I.C Importancia del movimiento visual

La dimensin temporal es importante en el procesamiento
visual
i
l fundamentalmente
f d
t l
t por dos
d razones:
El movimiento aparente de los objetos en el plano de la
imagen es fundamental para entender la estructura y el
movimiento 3-D.
Los sistemas visuales biolgicos utilizan el movimiento visual
para extraer
t
propiedades
i d d del
d l mundo
d 3-D
3 D con poco
conocimiento a priori sobre l. Recuerda los ejemplos del tema
primero
primero.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

12

II. Modelos de movimiento tridimensional

(T k l Digital
(Tekalp,
Di it l Vid
Video Processing,
P
i
1995)

El movimiento 3-D se puede clasificar en rgido y no rgido.

En ell movimiento
i i
rgido
id las
l distancias
d
relativas
l
entre ell
conjunto de puntos 3-D permanece fija en el tiempo. La forma
3-D del objeto que se mueve se puede modelar mediante
superficies no deformables.
En el movimiento no rgido se utiliza un modelo de superficie
deformable (tambin llamado template deformable) para
modelar
d l la
l estructura 3-D.
3D

Rafael Molina

Campo de Movimiento en el plano de la

imagen

13

II A Movimiento rgido en coordenadas

II.A
cartesianas
El desplazamiento 3-D de un objeto rgido en coordenadas
cartesianas se modeliza mediante
X= RX +T
donde R es la matriz de rotacin 3x3, T es un vector de traslacin
3x1 y X y X son las coordenadas en los tiempos t y t con respecto
al centro de rotacin respectivamente.

Rafael Molina

Campo de Movimiento en el plano de la

imagen

14

II.B Movimiento deformable

La modelizacin de la estructura 3-D y el movimiento de objetos no
rgidos es muy compleja. En principio, este movimiento puede
modelizarse mediante
X= (D+R)X +T
donde R es la matriz de rotacin 3x3, T es un vector de traslacin
3x1, X y X son las coordenadas en los tiempos t y t y D es una
matriz de deformacin arbitraria.
Para la modelizacin de la matriz D ver, por ejemplo,
A. Pentland y B. Horowitz, Recovery of nonrigid motion and structure, IEEE
Trans. Patt. Anal. Mach. Intel., vol. 13, 730-742. (1991).
D.
D T
Terzopoulos,
l
A.
A Witkin
Wi ki y M.
M Kass,
K
Constraints
C
i
on deformable
d f
bl models:
d l
recovering 3-D shape and non rigid motion, Art. Intel., vol. 36, 91-123, (1998).
D. Terzopoulos y K. Fleischer, Deformable models, Visual Comput., vol. 4, 306331, (1998).
Rafael Molina

Campo de Movimiento en el plano de la

imagen

15

III. Movimiento 2-D vs Movimiento Aparente

El movimiento 3
3-D
D produce un movimiento 2
2-D
D en el plano de
la imagen. No analizaremos aqu como el movimiento 3-D se
ve en el plano de la imagen y nos centraremos en el
movimiento 2-D.

El objetivo de esta seccin es clarificar la

diferencia entre velocidad 2-D y flujo ptico y
entre desplazamiento 2-D y correspondencia
2-D.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

16

El movimiento 2
2-D
D es la proyeccin del movimiento 3
3-D
D en el
plano de la imagen.
El objetivo es estimar el movimiento 2-D, bien sea la velocidad
i t t
instantnea
o ell desplazamiento,
d
l
i t a partir
ti de
d la
l secuencia
i de
d
imgenes de que disponemos.
Tanto la velocidad 2-D como el desplazamiento pueden no ser
observables, las razones las veremos despus.

En su lugar observaremos el llamado movimiento aparente (flujo

ptico o correspondencia).
Rafael Molina

Campo de Movimiento en el plano de la

imagen

17

III.A Correspondencia y Flujo ptico.

El desplazamiento de las coordenadas del plano de la
imagen x del tiempo t al t basado en la variacin del
nivel de g
gris,, f(x,t),
( , ), recibe el nombre de vector de
correspondencias.

El vector de flujo ptico se define como la razn de

cambio temporal de las coordenadas del plano de la
imagen,
g
((u,v)=(dx
) ( 1/dt,dx2/dt),
) en un p
punto ((x,t)R
) 3
determinado por la variacin espacio-temporal del patrn
de intensidades f(x,t).
Rafael Molina

Campo de Movimiento en el plano de la

imagen

18

El campo de correspondencias y el campo de flujo ptico

reciben tambin el nombre campo aparente de desplazamiento
2 y campo aparente de
2-D
d velocidad
l d d 2-D,
2
respectivamente.

Ya que slo podemos observar el flujo ptico y las

correspondencias supondremos que son lo mismo que el campo
de movimiento y los desplazamientos. Sin embargo ....

Rafael Molina

Campo de Movimiento en el plano de la

imagen

19

Puesto que estamos estimando el movimiento a partir de los

niveles de gris,
gris tenemos problemas:
Problema 1: Tiene
que haber suficiente
variacin en el nivel
de gris de la regin

que se mueve para

que su movimiento
se detecte. (esfera
con nivel de gris
g
constante que gira,
su movimiento no se
detecta). Flujo: No,
Movimiento: S.
Rafael Molina

Problema 2: Puede detectarse flujo

ptico cuando no haya movimiento.
(cambio en la iluminacin externa).
Fl jo S,
Flujo:
S Movimiento:
Mo imiento No.
No
Campo de Movimiento en el plano de la
imagen

20

III.BEjemplo
j p
Las
as imgenes
ge es han
a ssido
do obte
obtenidas
das de
del Co
Computer
pute Vision
s o Research
esea c
Group , Department of Computer Science, University of Otago
Dunedin, New Zealand
(http://www.cs.otago.ac.nz/research/vision/Research/OpticalFlow/opticalflow.html)
que posee generadores, de libre disposicin, de flujo ptico
basados en Tcl/Tk y ray-tracer.
ray tracer

Rafael Molina

Campo de Movimiento en el plano de la

imagen

21

La esfera gira de izquierda a derecha y genera el movimiento

que vemos en la imagen

Imagen
g 1

Flujo
j ptico
p

Imagen 2

En el directorio pub/vision de ftp.csd.uwo se encuentran los cdigos que

implementan
p
los mtodos de estimacin de flujo
j ptico
p
que
q veremos a
continuacin, as como varias secuencias y programas que generan imgenes y
su flujo ptico. Ver el trabajo de Barron y col. (1992) (material adicional de la
asignatura en pdf)
Rafael Molina

Campo de Movimiento en el plano de la

imagen

22

IV. Correspondencia 2-D

El problema de la correspondencia puede establecerse como la
estimacin hacia delante o hacia atrs del movimiento aparente,
d, que tiene la forma d=(d1(x1,x2),d2(x1,x2))
coordenadas,
tiempo

Hacia delante:
f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k+l)
con l>0, se ha suprimido en d su dependencia de k y l, de
hecho debemos escribir d(x,k,l).
Hacia atrs (usado ms en compresin):
con l>0.
Rafael Molina

f(x1,x2,k)=f(x1+ d1(x1,x2), x2+ d2(x1,x2),k-l)

Campo de Movimiento en el plano de la
imagen

23

Se dice que un problema est mal definido si no existe una

solucin nica y/o sus soluciones no dependen continuamente de
los datos. La estimacin del movimiento es un problema mal
definido ya que sufre de:
Problema de la oclusin,
Problema de la apertura,
No continuidad de la solucin.
Veremos estos problemas con posterioridad.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

24

V. Flujo
j ptico
p
Consideremos la distribucin de intensidades en un sistema
espacio-temporal continuo, f(x,y,t) (es importante recordar que
luego tendremos que aproximar nuestros clculos a partir de las
secuencias de imgenes, discretas en el espacio y el tiempo).

Rafael Molina

Campo de Movimiento en el plano de la

imagen

25

Hiptesis:
p
la intensidad de cada objeto
j
permanece
p
constante
durante el movimiento
La constancia de la intensidad puede escribirse como
df(
df(x,y,t)/dt=0
t)/dt 0
Tengamos en cuenta que esta derivada no es lo mismo que (f/
t) y que lo que estamos afirmando es que el nivel de gris como
p no cambia durante la trayectoria
y
((veremos,,
funcin del tiempo
posteriormente, en qu casos esto es cierto). Es decir, afirmamos
df( (t) (t) t)/dt 0
df(x(t),y(t),t)/dt=0
Por la regla de la cadena tendremos
Rafael Molina

Campo de Movimiento en el plano de la

imagen

26

df ( x ( t ), y ( t ), t ) f ( x , y , t ) dx f ( x , y , t ) dy f ( x , y , t )

dt
x
dt
y
dt
t
f ( x , y , t )
f ( x , y , t )
f ( x , y , t )

u
v
0
x
y
t
(1)
que podemos
d
escribir
ibi
ufx+vfy+ft=0

(2)

En esta ecuacin llamada del flujo ptico aparecen derivadas

parciales teniendo en cuenta que nosotros trabajamos con
parciales,
imgenes discretas, tanto en el espacio como en el tiempo
Cmo reescribiramos esta ecuacin en su versin discreta?.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

27

Si z=(x,y) podemos utilizar

f ( z , t ) 1
f ( x 1, y, t ) f ( x 1, y, t )
x
2
f ( z , t ) 1
f ( x, y 1, t ) f ( x, y 1, t )
2
y
f ( z , t )
f ( x, y, t 1) f ( x, y, t )
t
aunque es ms
razonable
bl filtrar
fil
las
l imgenes
i
tanto espacial
i l
como temporalmente antes de realizar los clculos.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

28

VI. Problema de oclusin

El trmino oclusin se refiere a `tapar/destapar una
superficie debido a la rotacin 3-D y a la traslacin de un
objeto que ocupa slo parte del campo de visin.
Imagen k+l

Imagen k

Se cubre este fondo en la imagen siguiente.

Ninguna regin en la imagen siguiente se
corresponde con sta.
sta
Rafael Molina

Se descubre este fondo en esta

imagen. Ninguna regin en la
imagen anterior predice esta regin.
regin

Campo de Movimiento en el plano de la

imagen

29

VIII. El problema de la apertura

Consideremos la ecuacin del flujo ptico,
ufx+vfy+ft=0
observemos que tenemos una ecuacin y dos incgnitas y por
tanto existen infinitas soluciones en u y v.
v Reexpresemos (u,v)
(u v)
en funcin de (fx,fy) y (fy,-fx) (dos vectores perpendiculares):

ft
(u , v) 2
( f x , f y ) ( f y , f x )
2
fx f y
con variable.
lo que significa que podemos determinar la componente de
(u,v) en la direccin del gradiente espacial (fx,fy) pero no en
su direccin perpendicular. Es el llamado problema de la
apertura.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

30

El problema de la apertura
direccin
normal al
gradiente
(fy,-ffx)

direccin del
gradiente (f
g
( x,,fy)

direccin del
gradiente (f
g
( x,,fy)

Cul es su flujo ptico?

Rafael Molina

Campo de Movimiento en el plano de la

imagen

31

IX. Bibliografa
Tekalp, A.M., (1996), Digital Video Processing, Prentice-Hall.
Trucco, E. y Verri, A., (1998), Introductory Techniques for 3D Computer Vision
Vision, Prentice Hall.
Hall
Complementaria
p
((incluida en material adicional))
J.L. Barron, D.J. Fleet, D.J., y S. Beauchemin, (1994) Performance of
optical flow techniques
techniques.. International Journal of Computer Vision,
12(1):43-77.
S. Beauchemin y J.L. Barron, (1996) The Computation of Optical
Flow. ACM Computing Surveys 27(3):433
Flow
27(3):433-467
467.
J. Stiller and J. Konrad, (1999), Estimating Motion in Image
Sequences, IEEE Signal Processing Magazine, 16(4):70-91.
A J Tabatabai and R.S.
A.J.
R S Jasinschi and T.
T Naveen,
Naveen (1998) Motion
Motion
estimation methods for video compression. A review, J. Franklin
Institute, vol. 335B, 8, 1411-1441.
Rafael Molina

Campo de Movimiento en el plano de la

imagen

32