VISIN 3D

Jos M. Sebastin - Luis M. Jimnez

Problema Central de la Visin Artificial Tridimensional.

A partir de una imagen o de una secuencia de imgenes de un objeto estacionario o en movimiento, tomada desde un observador monocular (una cmara) o policular (varias cmaras), la comprensin del objeto o la escena, y sus propiedades tridimensionales.

Problema Central de la Visin Artificial Tridimensional

Ejemplos:
Medida de distancias Medida de velocidad y direccin de movimiento Generacin de modelos de superficies 3D Localizar (pose) personas Detectar obstculos .

Visin 3D Humana
Receptores sensoriales Sensacin: estmulo que se produce en el sistema nervioso a travs de los receptores sensoriales. Percepcin: representacin interna que hace el hombre del estmulo de sus sentidos: - 2D - 3D

Visin 3D Humana
Binocularidad de las imgenes. Visin de imgenes desde distintos puntos de vista.
Mnima distancia para la formacin de imgenes tridimensionales Rango de mxima utilidad Mxima distancia de utilizacin

Visin 3D Humana
Binocularidad de las imgenes. Visin de imgenes desde distintos puntos de vista. Movimiento del punto de vista. Obtencin de una serie de imgenes consecutivas. Desplazamiento relativo de objetos
Rango de utilidad

Visin 3D Humana
Binocularidad de las imgenes. Movimiento del punto de vista. Solapamientos, reflejos y sombras. Aaden percepcn tridimensional a las imgenes.

Visin 3D Humana
Binocularidad de las imgenes. Movimiento del punto de vista. Solapamientos, reflejos y sombras. Realismo de las imgenes: el gradiente de textura o la proyeccin de perspectiva permite establecer distancias relativas

Etapas visin 3D
Recuperacin de la estructura tridimensional de la escena Modelado y Representacin de Objetos. Reconocimiento y localizacin. Interpretacin de la Escena.

Recuperacin de la estructura 3D de la escena. I

Mtodos activos
Proyectan haces controlados de energa (luz o sonido sobre la escena). Utilizan un observador activo

Mtodos pasivos.
Los no considerados como activos

Los mtodos se basan en principios: como el de la Triangulacin Espacial

Triangulacin Espacial.
L1 cos(a)+L2 cos(b)=D L1 sen(a)=L2 sen(b)

Recuperacin de la estructura 3D de la escena. II

Tiempo de vuelo Disparidad, par estereoscpico. Proyeccin de luz estructurada. MOIR Interferometra, Holografa. Enfoque. Forma a partir del sobreado Flujo ptico. Intersecciones de volmenes.

Tiempo de vuelo I.
Se basa en la medida directa o indirecta del tiempo invertido por una seal de velocidad conocida, en recorrer la distancia que separa una regin de la escena del dispositivo emisor/sensor.

Tiempo de vuelo II
Naturaleza del haz de energa.
Acstica (ultrasonidos). Electromagntica (lser). Presenta una mejor direccionalidad.

Inconvenientes
Baja direccionalidad (limita resolucin angular) Baja energa reflejada, ocasiona alto tiempo de integracin y un ajuste continuo de los umbrales de deteccin.

Tiempo de vuelo III

Tiempo de vuelo IV

Tiempo de vuelo V

Tiempo de vuelo VI

Disparidad, par esteoscpico I

La tercera dimensin es recuperada mediante triangulacin a partir de la escena observada por dos o ms captadores.

Disparidad, par esteoscpico II

Ventajas
Se emplean soluciones tanto activas como pasivas, en funcin de que los captadores posean o no alguna actividad controlada (convergencia, enfoque o movimiento) Slo requiere la captura de una imagen por captador.

Inconvenientes
Las inherentes a toda triangulacin, oclusiones. Correspondencia entre imgenes. Dispersin del mapa tridimensional(regiones de la escena con gradientes elevados de luminancia o color.)

10

Disparidad, par esteoscpico III

Disparidad, par esteoscpico IV

11

Disparidad, par esteoscpico V

Proyeccin de luz estructurada I

Realiza la triangulacin espacial con un captador de imgenes y un proyector de luz de direccin controlada. El proyector de elevada potencia lumnica origina fuertes gradientes de luminancia en zonas arbitrarias de la escena. Mtodo activo, emplea triangulacin.

12

Proyeccin de luz estructurada II

Ventajas
Proporciona mapas tridimensionales densos y precisos. Procesamiento sencillo.

Inconvenientes
Las inherentes de la triangulacin, oclusiones. Elevado nmero de imgenes requeridas, (alto tiempo de adquisicin) Mecanismo de barrido que asegure la iluminacin secuencial. Escenas lejanas, atenuacin de energa luminosa. Entornos donde el empleo de alta potencia sea peligroso.

Proyeccin de luz estructurada

Rejilla de luz estructurada proyectada sobre una superficie irregular

13

Proyeccin de luz estructurada V

Barrido mediante luz estructurada

MOIR I
Se basa en el fenmeno de interferencia de la luz. La superposicin de dos motivos de la misma frecuencia espacial produce una interferencia de baja frecuencia que nicamente vara con la diferencia de fase. Se hace pasar la luz a travs de dos rejillas. Permite la recuperacin de la informacin tridimensional.

14

MOIR II
Ventajas
No emplea triangulacin

Inconvenientes
Limitaciones que impones sobre los gradientes y la continuidad espacial de la escena.

Interferometra, holografa.
Se basa en hacer interferir dos haces de luz coherente que siguiendo caminos pticos distintos, iluminan el punto a medir. La amplitud de la interferencia resulta proporcional a la diferencia de fase, lo que permite determinar unvocamente las distancias inferiores a la longitud de onda utilizada (1 m lo que es el principal inconveniente).

15

Enfoque I
Determina la distancia entre sensor y escena buscando mximo contraste, mediante la variacin del enfoque. Ventajas
No emplea triangulacin.

Inconvenientes
La precisin disminuye con la distancia. Necesita puntos con alto contraste lumnico

Enfoque II
OBJETO LENTES IMAGEN SENSOR

f
H F dext P1 P2 A H

f
F p dint dsen p d

16

Forma a partir del sobreado I

Shape from shading La luminancia medida por un observador sobre un punto de una superficie se relaciona con la geometra local a travs del producto escalar entre la normal y la direccin de iluminacin. Se utiliza esta relacin para el clculo de un campo de normales asociado a las escena. La resolucin del problema se basa en la minimizacin de alguna funcin de coste (no lineal) relacionada con la diferencia entre la imagen original y la esperada

Forma a partir del sobreado II

17

Forma a partir del sobreado III

Ventajas
Ideal para cooperar con otros mtodos no emplea triangulacin.

Inconvenientes
No es adecuado en escenas con discontinuidades Requiere un alto tiempo de anlisis.

Forma a partir de la textura I

Shape from Patterns Si una superficie se encuentra cubierta con pequeos patrones (denominados texels), se puede determinar la forma de la misma en funcin de la deformacin que sufren los patrones.

18

Forma a partir de la textura II

Flujo ptico
Determina la posicin de un punto en el espacio, basandose en un campo instantneo de velocidades. Para determinar este campo se utiliza una secuencia de imgenes. Secuencia de imgenes, son distintas imgenes tomadas en intervalos conocidos de tiempo, y dotadas de un movimiento tambin conocido

19

Flujo ptico

Etapas visin 3D
Recuperacin de la estructura tridimensional de la escena Modelado y Representacin de Objetos. Reconocimiento y localizacin. Interpretacin de la Escena.

20

Modelado y representacin de objetos

Forma en que se almacenan los objetos percibidos y los modelos conocidos Caractersticas: Fiabilidad Mantener la informacin relevante Estabilidad ante errores en el proceso de captacin Estabilidad ante distintas vistas Eficiencia computacional Soporte local (oclusiones)

Modelado y representacin de objetos

Se pueden emplear: Primitivas de bajo nivel: puntos, elementos de borde, ... Primitivas de alto nivel: contornos, superficies, descriptores volumtricos Los mtodos de representacin pueden estar: Centrados en el objeto Centrados en el observador

21

Etapas visin 3D
Recuperacin de la estructura tridimensional de la escena Modelado y Representacin de Objetos. Reconocimiento y localizacin. Interpretacin de la Escena.

Reconocimiento y Localizacin
El reconocimiento de los objetos captados se define como el proceso de emparejamiento de cada uno de los componentes de la escena con los modelos o clases de objetos de los que el sistema tiene referencia Etapas: Extraccin de los objetos presentes en la escena. Seleccin del modelo. Correspondencia con un modelo. Incluye situacin y orientacin

22

Reconocimiento y Localizacin
Enfoques usados en el reconocimiento:
Emparejamientos de caractersticas modelo-datos. Utilizacin de vistas representativas del objeto Obtencin de medidas invariantes ante modificaciones en el punto de vista y la iluminacin

Etapas visin 3D
Recuperacin de la estructura tridimensional de la escena Modelado y Representacin de Objetos. Reconocimiento y localizacin. Interpretacin de la Escena.

23

Interpretacin de la Escena
La interpretacin va dirigida a soportar un proceso de toma de decisin, por lo que depende de la aplicacin: Control de calidad Guiado de un robot mvil Ingeniera Inversa. Prototipado rpido. Cartografa. Observaciones areas Seguimiento de objetos

Control de calidad

Sistema de inspeccin de piezas tridimensionales con alta precisin, de DISAM-UPM

24

Interpretacin de la Escena
La interpretacin va dirigida a soportar un proceso de toma de decisin, por lo que depende de la aplicacin: Control de calidad Guiado de un robot mvil Ingeniera Inversa. Prototipado rpido. Cartografa. Observaciones areas Seguimiento de objetos

Guiado de Vehculos Mviles

25

Interpretacin de la Escena
La interpretacin va dirigida a soportar un proceso de toma de decisin, por lo que depende de la aplicacin: Control de calidad Guiado de un robot mvil Ingeniera Inversa. Prototipado rpido. Cartografa. Observaciones areas Seguimiento de objetos

Ingeniera Inversa
Obtencin del modelo CAD A partir de la pieza.

Por puntos

Por lneas

26

Ingeniera inversa: Utilizacin

Ingeniera Inversa:
Digitalizador de hormas de calzado.

Se parte de un horma artesanal hecha a mano. Se sita en el digitalizador y se obtiene un modelo CAD a base de polilneas Con el modelo se hace un escalado para la fabricacin de los distintos nmero de zapatos, as como una simetra para fabricar las hormas del otro pie.

Detalle de la sujecin.

Detalle de la polilnea generada por el plano lser.

27

Ingeniera Inversa:
Digitalizador de hormas de calzado.

Resultados

Interpretacin de la Escena
La interpretacin va dirigida a soportar un proceso de toma de decisin, por lo que depende de la aplicacin: Control de calidad Guiado de un robot mvil Ingeniera Inversa. Prototipado rpido. Cartografa. Observaciones areas Seguimiento de objetos

28

Cartografa. Observaciones areas

Estepona (Espaa)

Interpretacin de la Escena
La interpretacin va dirigida a soportar un proceso de toma de decisin, por lo que depende de la aplicacin: Control de calidad Guiado de un robot mvil Ingeniera Inversa. Prototipado rpido. Cartografa. Observaciones areas Seguimiento de objetos

29

Seguimiento de Objetos

Fotogrametra - Modelado 3D

30

Fotogrametra

Modelado 3D

31

Modelado 3D

Teleciruga (Enseanza)

32

Anlisis Forense
PhotoModeler

Mosaicos

33

Captura de Movimiento

34