Cap.

7 Interpretarea imaginilor

Interpretarea imaginilor = interactiunea reciproca

a etapelor de procesare
SVA: - construirea de modele interne ale scenelor
- verificarea si actualizarea modelelor
- stabilirea etapelor de procesare
Vederea artificiala procesari de nivel scazut si
procesari de nivel ridicat
Interpretarea imaginilor
nivelul cel mai ridicat de procesare
strategii de control secventa de pasi de procesare

Cap. 7 Interpretarea imaginilor

7.1 Strategii de control

Sistemele de vedere biologice = includ strategii
complexe de control
Vederea artificiala = comportari similare cu cele ale
sistemelor biologice utilizand tehnici de control
Tehnici de control:
procesarea paralela si seriala
controlul ierarhic

strategii bottom-up

strategii bazate pe model (top-down)

Cap. 7 Interpretarea imaginilor

7.1.2 Procesarea paralela si seriala

Procesarea imaginii = tehnici paralele si seriale
Procesarea paralela = efectuarea simultana a
unor calcule sincronizare
Procesarea seriala = operatiile se efectueaza
secvential
Procesarile de nivel scazut = pot fi efectute in paralel
Procesarile de nivel ridicat = se efectueaza serial

Cap. 7 Interpretarea imaginilor

7.1.3 Controlul ierarhic

Controlul bazat pe date din imagini (bottom-up)
- procesarea incepe cu imaginea iconica si
continua cu etapele de segmentare,
descriere si recunoastere
Controlul bazat pe model (top-down)
- cunostinte = se construiesc ipoteze si
proprietati previzibile
- se testeaza proprietatile in diferite etape de
procesare a imaginii in directia top-down
- interpretarea imaginii = testarea si verificarea
modelelor interne

Cap. 7 Interpretarea imaginilor

Algoritm de control bottom-up

1. Preprocesare: se extrage din imaginea initiala iconica
trasaturi care pot fi folosite in etapele urmatoare de
procesare
2. Segmentare: se detecteaza regiunile din imagine care
corespund obiectelor
3. Descriere: descrierea regiunilor determinate la pasul 2
4. Interpretare: se compara obiectele detectate cu obiecte
reale folosind tehnici de recunoastere a formelor
Controlul bottom-up: in fiecare etapa se construiesc structuri
de date pentru etapele urmatoare

Cap. 7 Interpretarea imaginilor

Strategii de control bazate pe model (top-down)

Nu exista un algoritm general ca la controlul bottom-up

Principiul controlului top-down = construirea unui model intern

si verificarea acestuia

procesare orientata pe scop

Scopurile de la nivelul ridicat: divizate pentru a fi procesate la

nivelurile inferioare
divizarea continua pana cand
un subscop poate fi acceptat sau rejectat direct
Controlul top-down = generarea ipotezelor si testarea lor
Generatorul de model intern = cum va arata o parte a
modelului intr-o reprezentare la nivelul inferior

Cap. 7 Interpretarea imaginilor

7.2 Aplicatii - Sisteme servoing vizuale pentru

conducerea robotilor
Sisteme servoing vizuale
- controlul pozitiei si orientarii efectorului
- interpretarea informaiilor vizuale din
imagini 2D => estimarea poziiilor
- informatii vizuale = trasaturi
- extragerea trasaturilor (din imagini)
=> corelare cu modelele obiectelor

Cap. 7 Interpretarea imaginilor

7.2 Aplicatii - Sisteme servoing vizuale pentru

conducerea robotilor
Sisteme servoing vizuale

- erorile dintre poziiile dorite i cele msurate :

- pozitie => sisteme bazate pe pozitie
- trasaturi => sisteme bazate pe imagini
- configuratia camerei
- eye-to-hand (fixa) => se vizualizeaza robotul si obiectul
- eye-in-hand => se ataseaza camera efectorului

Cap. 7 Interpretarea imaginilor

7.2.1 Sisteme servoing vizuale eye-in-hand

Fc cadrul atasat camerei

Fo cadrul atasat obiectului
Fa cadrul atasat scenei (spatiului de lucru)

vc = [vc

c ]T

=> viteza camerei

Cap. 7 Interpretarea imaginilor

7.2.1 Sisteme servoing vizuale eye-in-hand

Ls - matricea de interactiune (Jacobianul imaginii)
Masurari din imagini => s (t ) f (t ), a
f(t) => vectorul trasaturilor
a => parametrii intrinseci ai camerei sau
modele 3D ale obiectului

Cap. 7 Interpretarea imaginilor

7.2.1 Sisteme servoing bazate pe imagini

L+s

pseudoinversa matricei de interactiune

Cap. 7 Interpretarea imaginilor

Sisteme servoing bazate pe pozitie

Cap. 7 Interpretarea imaginilor

Sisteme servoing hibride (2D/3D)

Cap. 7 Interpretarea imaginilor

7.2.2 Miscarea camerei si matricea de interactiune (Jacobianul imaginii)

vectorul

trasaturilor s(t)

u (t )
s (t ) =

v(t )

viteza

trasaturilor

viteza

camerei vc: viteza liniara v

viteza ungiulara

relatia

dintre s si vc

v
vc =

s = Ls ( s, q )vc

q = vectorul de pozitie al articulatiilor

Ls(s,q)

=> matricea de interactiune = Jacobianul imaginii

Cap. 7 Interpretarea imaginilor

Matricea de interactiune pentru o singura trasatura

P

punct fix in raport cu sistemul de coordonate al scenei

- pa => coordonatele lui P in raport cu scena (Fa)
- pc(t) => coordonatele lui P in raport cu camera (Fc)
- Rca (t ) = R (t ) => matricea de roatatie: orientarea camerei fata de scena
- o(t) => pozitia originii cadrului Fc fata de Fa
Planul imaginii

p a = R (t ) p c (t ) + o(t )

p c (t ) = RT (t ) p a o(t )

P =(x, y, z)

p =(u, v)
z

R matricea de rotatie RRT = I

v

Axa optic

Cap. 7 Interpretarea imaginilor

Matricea de interactiune pentru o singura trasatura

- Viteza punctului P in raport cu camera mobila:

d c
p (t ) = R T (t ) p a o(t ) RT o (t )
dt

- Notatii: S = matrice simetrica oblic S + S T = 0;

0 az a y
T

a = ax a y az S (a ) = a z
0 ax
a y ax
0

RS (a ) RT b = ( Ra )xb

()

a1 b1 a2b3 a3b2
axb = produs vectorial a2 x b2 = a3b1 a1b3

a3 b3 a1b2 a2b1

Cap. 7 Interpretarea imaginilor

Matricea de interactiune pentru o singura trasatura

R (t ) = S ( ) R (t ) R T (t ) = RT (t ) S T ( ) = RT (t ) S ( )

d c
p (t ) = R T (t ) p a o(t ) RT o (t )
dt
R T p a o RT o = RT S ( ) p a o RT o

= RT S ( ) RRT p a o RT o

= RT xRT p a o RT o
 viteza unghiulara a cadrului mobil fata de cadrul fix = a
 RT = Rac a = c vit. ung. a cadrului mobil in raport cu cadrul mobil
 RT ( p a o ) = p c

p c = c xp c o c

 RT o = o c

=> viteza punctului P in raport cu camera mobila

Cap. 7 Interpretarea imaginilor

7.2.2 Construirea matricei de interactiune

coord.

punctului P in raport cu camera mobila: p c = [ x

viteza

punctului P in raport cu camera mobila: p = [ x

c

vectorul

notatie:

viteza unghiulara: = x y

R o = vx

vy

z]

z ]

z = RT

vz = o c

x x v x
x

c
c c
c

p = xp o y = y x y v y


z v
z
z
z

Cap. 7 Interpretarea imaginilor

Construirea matricei de interactiune pentru un punct

x x vx x = y z z y vx
x
y = x y v y = z x v
x
z
y
y y

z v z = x y v
z
z
z
y
x
z
Proiectia perspectiva:
x=

uz
vz
, y = viteza p c
f
f

f: distanta focala

vz

=
x
z z y vx

uz

z v y
y
=
z

x
f

uz
vz
z = y x vz
f
f

Cap. 7 Interpretarea imaginilor

Construirea matricei de interactiune pentru un punct

d fx
zx xz
f
u
uv
f 2 + u2
u =
y + v z
= f
u = vx + vz + x
2
dt z
z
z
f
f
z
d y
zy yz
f
v
f 2 + v2
uv
v =
= f
v = v y + vz +
x y u z
2
dt z
z
z

f
z

Matricea de interactiune pentru un punct

f

u
z
v =

0

u
z

uv
f

f
z

v
z

f 2 + v2
f

f 2 + u2

s = Ls (u, v, z )vc

uv
f

vx
v
y
v
vz

x
u
y
z

Cap. 7 Interpretarea imaginilor

Construirea matricei de interactiune pentru mai multe puncte

Trasaturi:

s = [u1 v1 ... un

vn ] , z = [ z1 ... zn ]
T

Viteza trasat.: s = Ls ( s, z )vc

f

z1

Matricea de interact.

0
L1 (u1 , v1 , z1 )
= ...
Ls ( f , z ) =
...

Ln (un , vn , zn ) f
z
n

u1
z1

u1v1
f

f 2 + u12

f
z1

v1
z1

f 2 + v12
f

u1v1

...

...

...

...

un
zn

un vn
f

f 2 + un 2

f
zn

vn
zn

f 2 + vn 2
f

un vn

v1

u1

...

vn

un

Cap. 7 Interpretarea imaginilor

7.2.3 Calculul miscarii camerii

s => k valori pentru trasaturi

vc => m componente pentru viteza camerei (m = 6)
Cazuri:

L R kxm

(i ) k = m vc = L1s
(ii ) k < m nu exista L1 pseudoinversa L+ = LT ( LLT )1
v = L+ f + ( I L+ L)b
c

b R m vector arbitrar
Obs. => nu sunt suficiente viteze ale trasaturilor pentru a determina unic vectorul vc

(iii ) k > m

si L are rangul maxim pseudoinversa L+ = ( LLT )1 LT

vc = L+ s
Obs. => sunt prea multe viteze ale trasaturilor pentru a determina unic vectorul vc

Cap. 7 Interpretarea imaginilor

7.2.4 Regulator proportional bazat pe imagini

Regulator => stabilitatea asimptotica a sistemului de reglare

1
1
2
e(t ) = eT e V = eT e
2
2
e = e
V = eT e < 0 pentru > 0

Functia Lyapunov V =
Regulator

d
[ s(t ) sd ] = s(t ) = Lvc
dt
e(t ) = e(t ) e(t ) = Lvc
e(t ) =

(ii ) k = m vc = L1e(t )
(iii ) k > m v c = L+ e(t )
V = eT LL+ e stabilitate : LL+ = matrice pozitiv definita

Iesirea regulatorului (comanda) => viteza camerei vc