Problmes inverses en traitement

du signal et de limage

par Guy DEMOMENT

Professeur luniversit de Paris-Sud
Laboratoire des signaux et systmes, Suplec
Jrme IDIER
Charg de recherche au CNRS
Laboratoire des signaux et systmes, Suplec
Jean-Franois GIOVANNELLI
Matre de confrences luniversit de Paris-Sud
Laboratoire des signaux et systmes, Suplec
et Ali MOHAMMAD-DJAFARI
Directeur de recherche au CNRS
Laboratoire des signaux et systmes, Suplec

1. Deux exemples dinversion ................................................................... TE 5 235 - 3

2. Aspects mathmatiques ........................................................................ 5
3. Rgularisation ........................................................................................... 8
4. Approche baysienne de linversion .................................................. 12
5. Mthodes de minimisation de critre ................................................ 20
6. Questions plus avances ....................................................................... 22
7. Conclusion ................................................................................................. 24
Rfrences bibliographiques ......................................................................... 24

D ans de nombreux domaines de la physique applique, tels que loptique,

le radar, la thermique, la spectroscopie, la gophysique, lacoustique, la
radioastronomie, le contrle non destructif, le gnie biomdical, linstrumenta-
tion et limagerie en gnral, se pose le problme de la dtermination de la
distribution spatiale dune grandeur scalaire ou vectorielle, souvent appele
lobjet, partir de mesures. Selon les cas, ces mesures de lobjet sont directes
on parle alors dimage ou indirectes on parle alors de projection dans le
cas de la tomographie, ou de visibilit en astronomie, par exemple. La rsolution
dun tel problme dimagerie peut tre habituellement dcompose en trois
tapes :
un problme direct o, connaissant lobjet et le mcanisme dobservation,
on tablit une description mathmatique des donnes observes. Ce modle doit
tre assez prcis pour fournir une description correcte du phnomne physique
dobservation, et assez simple cependant pour se prter un traitement
numrique ultrieur ;
un problme dinstrumentation o lon doit recueillir des donnes le plus
informatives possible afin de rsoudre le problme dimagerie dans les
meilleures conditions ;

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 1
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

un problme inverse o lon doit calculer une image acceptable de lobjet

partir du modle et des donnes prcdents.
Une bonne estimation de lobjet ncessite videmment que ces trois sous-
problmes soient tudis de manire coordonne. Or, la caractristique
commune de ces problmes de reconstruction ou de restauration dimage est
quils sont souvent mal-poss ou mal-conditionns. Les problmes de plus haut
niveau que lon rencontre en vision par ordinateur, tels que la segmentation
dimage, le traitement du flot optique, la reconstruction de formes partir
dombrages, sont aussi des problmes inverses et ils souffrent des mmes
difficults.
Il existe, schmatiquement, deux grandes communauts scientifiques qui
sintressent ces problmes inverses, dun point de vue mthodologique :
celle de la physique mathmatique, que lon peut rattacher aux travaux
fondateurs de Phillips, Twomey et Tikhonov dans les annes 1960, dont P.C.
Sabatier fut un des pionniers en France (avec son action thmatique program-
me du mme nom), et dont une revue reprsentative est Inverse problems ;
celle du traitement statistique des donnes, que lon peut rattacher aux
travaux de Franklin la fin des annes 1960, dont les frres Geman ont constitu
les acclrateurs en traitement dimage, et dont une revue reprsentative est
IEEE Transactions on Image Processing .
On peut dire, grossirement, que les uns abordent le problme en dimension
infinie, avec les questions dexistence, dunicit et de stabilit qui deviennent
trs compliques avec des problmes directs non linaires, et le rsolvent
numriquement en dimension finie ; alors que les autres partent dun problme
dont la discrtisation est dj faite la rsolution souhaite, et non remise en
cause, et profitent du caractre fini du problme pour introduire une informa-
tion a priori labore au travers de modles probabilistes.
Nous nous proposons dindiquer brivement dans la suite quels sont, de
notre point de vue, ltat de lart et les questions ouvertes dans le domaine de
la rsolution des problmes inverses, en accordant une place importante aux
approches probabilistes.
(0)

Sigles et abrviations
AIC Akaike information criterion
AR autorgressif
ARMA auto-regressive moving average
ART algebric reconstruction technic
BIC Bayesian information criterion
DSP densit spectrale de puissance
EM expectation maximization
EQM erreur quadratique moyenne
EQMP erreur quadratique moyenne de prdiction
MAP maximum a posteriori
MUSIC multiple signal classification
MV maximum de vraisemblance
RIF rponse impulsionnelle finie
SEM stochastic expectation maximization
SVD singular value decomposition
TF transforme de Fourier
TFD transforme de Fourier discrte
VCG validation croise gnralise

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 2 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

1. Deux exemples dinversion

1.1 Restauration dimage

Le problme de la restauration dune image dgrade par un
processus dobservation tant frquemment rencontr en ingnierie,
nous le choisissons comme premier fil directeur afin dillustrer les
diffrents concepts qui seront introduits par la suite.
Une image est gnralement dfinie comme une fonction scalaire
de deux variables appartenant une rgion donne de lespace. Bien
que ce support soit souvent continu, il est habituellement
chantillonn sur une grille rectangulaire. Cela dfinit un ensemble
de pixels, et limage est reprsente par un signal bidimensionnel
xn, m des valeurs des intensits des pixels, o les indices n et m sont
ceux de leurs coordonnes.
Dans tous les problmes de traitement dimage voqus dans
lintroduction [1] [2] [3] [4] [5], lobjet dintrt ne peut pas tre
observ directement : il lest travers un systme de mesure en
gnral imparfait, pour lequel, par exemple, limage dun point nest
pas un point mais une tache de flou, ou rponse impulsionnelle. Un Figure 1 Objet original
modle simple pour dcrire un tel systme est le modle convolutif :

y (n, m ) = h (k, , ) x(n k, m , ) (1)

k, ,

qui est linaire et invariant. En ralit, pour intgrer les erreurs de

mesures et celles de modlisation, on crit plutt :

y (n, m ) = h ( k, , ) x ( n k , m , ) + b ( n , m ) (2)
k, ,

o b reprsente un terme derreur. Lopration raliser est donc

une dconvolution en prsence de bruit : il sagit de retrouver
limage originale (ou plutt den faire une estimation) partir des
donnes observes et de la rponse impulsionnelle.
En concatnant lensemble des valeurs des pixels de lobjet et
des donnes dans deux vecteurs x et y respectivement, la
relation (2) scrit sous la forme gnrique :
y = Ax + b (3)
dans laquelle A est la matrice de convolution constitue des coef-
ficients h ( k , , ) de la rponse impulsionnelle.
Pour notre exemple de dconvolution dimage, lobjet idal est
prsent figure 1. Il sagit dune image de 128 128 pixels dont les
niveaux de gris sont cods entre 0 et 255. La figure 2 donne un
exemple typique dimage dgrade. Elle a t obtenue par simula- Figure 2 Donnes : image floue bruite
tion numrique partir du modle de lquation (3) : la rponse
impulsionnelle est constante (gale 1/49) sur un carr de taille
7 7 et nulle en dehors. La convolution ralise donc une moyenne ci contient des contours nets sparant des rgions homognes
des 49 pixels du carr centr au pixel (n, m ) de lobjet idal x, pour sont trs attnues, ce qui explique la mauvaise rsolution de
construire le pixel correspondant de limage observe y. Le bruit b limage observe. Il existe en plus des zros de transmission qui
est une squence pseudo-alatoire gaussienne et spatialement renforcent les difficults du problme.
blanche, de puissance 2b = 1 .
Les grandes structures de limage restent discernables, mais la Lide qui vient naturellement lesprit pour amliorer la rsolu-
rsolution spatiale est insuffisante pour observer les petites struc- tion du dispositif est de rsoudre numriquement lquation
tures. Les contours francs de lobjet initial, et notamment les dtails linaire (3), connaissant les caractristiques du systme dobserva-
de la camra, ont disparu. Avec un modle convolutif tel que (2), une tion (matrice A ) et les donnes mesures (vecteur y ). Il sagit donc
interprtation frquentielle du processus dobservation permet dinverser le problme. Comme x et y ne sont pas ncessairement
dapprhender intuitivement ces dgradations. Lquation (2) est en de mme dimension, il est naturel de minimiser un critre des
effet quivalente : moindres carrs, de la forme :

Y ( x , y ) = H ( x , y ) X ( x , y ) + B ( x , y ) (4) 2
( ( x ) = & ( y Ax ) = y Ax 2 (5)
o x et y sont les frquences spatiales, et X, Y et H les transfor-
mes de Fourier respectives de x, y et h. La figure 3 prsente le La solution des moindres carrs ou de norme minimale scrit :
module de H, fonction de transfert en frquence du systme
dobservation. Il sagit clairement dun systme passe-bas, les hau- ^ ^
tes frquences de lobjet invitablement prsentes lorsque celui- x MC = ( A t A ) 1 A t y ou x IG = A y (6)

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 3
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

y -0,5

-0,4

-0,3

-0,2

-0,1

0,1

0,2

0,3

0,4

0,5
-0,5 -0,4 -0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5
x Figure 4 Solution des moindres carrs
a

1,2
1,0 doublement priodique, de priode 15 pixels environ, ce qui
0,8 correspond exactement au premier zro en 0,14. On comprend
0,6 donc bien pourquoi la solution obtenue est inacceptable.
0,4
0,2
0 1.2 Synthse de Fourier
-0,2
-0,5 -0,4 -0,3 -0,2 -0,1 0 0,1 0,2 0,3 0,4 0,5
y Pour illustrer les diffrents concepts utiliss, nous utilisons un
b coupe pour x = 0 second fil directeur, constitu du problme de lanalyse spectrale.
Ce problme, qui sapparente aussi celui de la synthse de Fourier
Figure 3 Module de la fonction de transfert
rencontr en radioastronomie par exemple, nest pas habituellement
en frquence du systme dobservation H
abord comme un problme inverse. Nous verrons cependant quil
gagne ltre, et que linversion se confond finalement avec
linfrence.
Le signal traiter est typique de ceux que lon peut recueillir en
selon que la matrice normale A t A est rgulire ou quelle nadmet interfromtrie optique visible, par exemple. Le problme est de
quune inverse gnralise A . Notons que, si la matrice A est dterminer le nombre de raies dans le spectre du signal analys,
carre et inversible, alors ^
x MC sobtient simplement en inversant la leur position, leur amplitude, leur largeur , bref deffectuer une
matrice A : estimation spectrale, cest--dire estimer :
^
x MC = A 1 y (7) S x ( ) = TF { x } 2

Ce choix des moindres carrs semble dautant plus raisonnable
que, sous hypothse de bruit blanc centr, la solution est aussi un
estimateur sans biais et variance minimale, proprit souvent
recherche en statistique.
Le rsultat dans notre exemple est reprsent figure 4. Aucune
amlioration nest obtenue, bien au contraire : les structures
spatiales qui apparaissent sont sans rapport avec celles de lobjet
rel de la figure 1 et, de plus, la valeur des pixels dpasse en de
nombreux endroits 10 4 alors que la valeur des pixels de lobjet
dorigine reste infrieure 255. Une interprtation frquentielle
permet ici encore danalyser le rsultat. La solution des moindres
carrs (6) est obtenue par lapplication dun filtre inverse limage
observe, cest--dire, dans le domaine frquentiel, la multiplica-
tion par la fonction de transfert 1/H (x , y ). Or la figure 3 montre
clairement que certaines frquences spatiales sont annules (ou
presque) par le processus dobservation au voisinage des zros de
transmission. Il sagit des frquences = 1/ 7 0,14, = 2/ 7 0,29
et = 3/ 7 0,43. Cela signifie que ces composantes frquentielles,
qui seraient absentes de donnes parfaites, non bruites, vont tre
considrablement amplifies par le filtre inverse qui tend corriger
ce trou frquentiel, et amplifie en fait exagrment les
composantes correspondantes du bruit. On observe dailleurs bien,
sur la figure 4, la prsence dominante dun motif rgulier et
partir dune mesure imparfaite y (support de mesure limit, bruit
de mesure, fond variable, etc.) de x.
Ce signal, dont le graphe est trac figure 5, est bien connu de la
communaut du traitement du signal puisquil fut utilis dans un
clbre article de synthse sur lanalyse spectrale au dbut des
annes 1980 [6]. Il est constitu de :
deux sinusodes de mme amplitude mais dont les frquences
sont spares dun intervalle de longueur infrieure la rsolution
des mthodes classiques danalyse spectrale ;
dune troisime sinusode bien spare des deux premires,
mais dont la puissance est infrieure de 20 dB ;
dun bruit color par passage dun bruit blanc gaussien
pseudo-alatoire dans un filtre moyenne glissante (ou filtre
rponse impulsionnelle finie, ou encore filtre MA), de manire
compliquer lanalyse.
Ltude du trac de ce signal montre clairement un battement
entre les frquences des deux sinusodes les plus proches. Son
spectre thorique est reprsent figure 6.
On note :
y = [y 1 , ... , yN ] t les donnes exprimentales ;
X ( ) la transforme de Fourier (TF) cherche (on sintresse
en fait plutt |X ( )|2) ;

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 4 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Mais il est important de comprendre que ce mauvais condition-

nement est lui-mme la consquence dune difficult fondamentale
Amplitude

2 de la rsolution des problmes inverses, difficult dj prsente dans

1 le problme continu initial dont lquation (3) est une approximation
discrte.
0
-1
-2 2.1 Problmes mal-poss
0 10 20 30 40 50 60
Indice des chantillons Hadamard a dfini les conditions pour quun problme
mathmatique soit bien-pos [8] :
Figure 5 Signal analyser (a) pour chaque donne y dans une classe dfinie Y, il existe une
solution x dans une classe prescrite X (existence ) ;
(b) la solution est unique dans X (unicit ) ;
(c) la dpendance de x par rapport y est continue, cest--dire
0
que lorsque lerreur y sur la donne y tend vers zro, lerreur x
Spectre (dB)

induite sur la solution x tend aussi vers zro (continuit ).

-10 Lexigence de continuit est relie celle de stabilit ou de
-20 robustesse de la solution. La continuit est cependant une
condition ncessaire, mais pas suffisante, de stabilit. Un pro-
-30 blme bien-pos peut tre mal-conditionn, ainsi que nous le ver-
-40 rons au paragraphe 2.3.
0 0,1 0,2 0,3 0,4 0,5 Tous les problmes classiques de la physique mathmatique,
Frquence relative
comme celui de Dirichlet pour les quations elliptiques, ou celui de
Cauchy pour les quations hyperboliques, sont bien-poss au sens
Figure 6 Spectre thorique du signal analyser de Hadamard. Mais les problmes inverses , obtenus partir
dun problme direct en changeant les rles de la solution et
des donnes, ne sont gnralement pas bien-poss.

EX
1 Prenons un exemple lmentaire emprunt loptique classique.
xk = ( ) exp ( 2j k ) d les coefficients du dveloppe-
0 trument optique et si les caractristiques de linstrument sont
ment en srie de Fourier de X ( ) qui est priodique.
Le problme danalyse spectrale peut tre ainsi formul [7] :
Trouver X ( ) [0,1],
tel que xk = yk k = 1, 2, ..., N
On pourrait aussi : 1o) rechercher le nombre de sinusodes et 2o)
estimer leur frquence et leur amplitude, ce que nous ne ferons
pas pour linstant. La formulation (8) diffre de la formulation habi-
tuelle des mthodes dites modernes qui consiste rechercher
la densit spectrale de puissance dun processus alatoire partir
de y considr comme un fragment dune trajectoire. Elle sappa-
rente plutt celle des problmes de synthse de Fourier dj vo-
qus. Remarquons aussi que cette formulation est continue-
discrte puisque lon recherche une fonction X ( ) partir dun
nombre fini de donnes discrtes y.
Il existe videmment une infinit de solutions (8) puisque la srie
des xk connus est tronque. Le problme est donc indtermin. Tous
les prolongements de la suite des xk connus qui assurent la conver-
gence de la srie de Fourier X ( ) = k Z x k exp ( 2j k ) sont
acceptables puisque compatibles avec les donnes exprimentales.
Ces deux exemples sont typiques des difficults rencontres
dans la rsolution de nombreux problmes inverses [1] [2] [5] et il
importe den comprendre la nature avant dtudier les solutions
permettant de les contourner.
2. Aspects mathmatiques
Nous verrons plus loin ( 2.3) que le caractre inacceptable de la
solution des moindres carrs obtenue dans notre premier exemple
( 1.1) est la consquence du mauvais conditionnement de la matrice
A qui a pour effet damplifier fortement le bruit affectant les donnes.
Si la distribution dnergie x est donne dans le plan objet dun ins-
connues, il est possible de calculer la distribution dnergie y dans
le plan image. Dans le cas de loptique de Fourier, on trouve une
relation linaire entre x et y :
(8) y (s,s ) = EE h ( s , r ; s , r ) x ( r , r ) d r dr (9)
qui est un cas particulier dquation de Fredholm de premire
espce. Le noyau h de cette quation intgrale est la rponse
impulsionnelle 2-D du systme dimagerie.
Supposons que h (s, r ; s , r ) = h (s r ; s r ) (lquation (9) est
alors une convolution) et que h (r ; r ) soit une fonction bande
limite. Il existe alors des fonctions x qui produisent une image nulle
(songer une fonction dont toutes les composantes de Fourier sont
en dehors de la bande passante de linstrument) et lunicit nest
donc pas assure. De plus, si y est le rsultat dune exprience, et
donc invitablement entache de bruit, elle nest pas ncessairement
bande limite, ou peut tre bande plus large que celle de linstru-
ment. Dans ces conditions, il nexiste pas de solution lquation (9).
Comme les donnes sont incertaines ou bruites, nous ne pouvons
pas esprer rsoudre exactement cette quation et la solution doit
tre approche dans un certain sens. Le concept de distance entre
signaux est alors un moyen naturel dvaluer la qualit dune
approximation, ce qui explique pourquoi x et y sont souvent sup-
poss appartenir des espaces de Hilbert. Le problme (9) peut alors
tre rcrit comme :
y = Ax avec xX et y= (10)
o x et y sont maintenant des lments despaces fonctionnels de
dimension infinie X et = , respectivement, et o A : X = est
loprateur linaire correspondant lquation intgrale (9).
Supposons que x et y appartiennent au mme espace de Hilbert
et que h soit de carr intgrable, condition remplie par beaucoup
de systmes dimagerie. Le problme direct est alors bien-pos :
une petite erreur x sur les donnes entrane une petite erreur y
sur la solution. Cette condition nest cependant pas remplie dans le

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 5
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________
problme inverse correspondant o cest lobjet x qui doit tre cal-
cul partir de la rponse y : x = A 1y. En effet, les conditions
ncessaires et suffisantes dexistence, dunicit et de continuit de
la solution scrivent alors respectivement :
= = ImA KerA = { 0 } ImA = ImA
o ImA est limage de A (cest--dire lensemble des y qui sont ima-
ges dun x X ), KerA son noyau (cest--dire lensemble des solu-
tions lquation A x = 0), et ImA la fermeture de ImA. Quand le
noyau h est de carr intgrable, le thorme de Riesz-Frchet indique
que loprateur A est born et compact [8]. Mais limage dun
oprateur compact nest pas ferme (sauf dans le cas dgnr o
sa dimension est finie). Cela signifie que loprateur inverse A 1 nest
pas born, son image nest pas ferme, et la troisime condition de
Hadamard nest pas remplie pour le problme inverse.
Pour mieux saisir ces notions abstraites, il est commode dutiliser
les proprits spectrales des oprateurs compacts dans des espaces
de Hilbert. La proprit la plus remarquable de ces oprateurs est
en effet quils peuvent tre dcomposs en valeurs singulires,
comme les matrices (la fameuse singular value decomposition, ou
SVD). Le systme singulier dun oprateur compact est dfini comme
lensemble des solutions des quations couples :
A un = n vn et A* vn = n un
o les valeurs singulires n sont des nombres positifs, o les
fonctions singulires un et vn sont respectivement des lments de
X et = , et o A* est loprateur adjoint de A, qui existe puisque A
est continu, et donc tel que : Ax, y = = x , A * y X pour tout
x X et y = .
Quand A est compact, il possde toujours un systme singulier
{un , vn ; n } avec les proprits suivantes [8] :
les n tant ordonnes et comptes avec leur multiplicit (qui
est finie) : 1 > 2 > ... > n > ...0 , n tend vers 0 quand n et,
ou bien la limite est atteinte pour n = n 0 (auquel cas loprateur A
est dgnr), ou bien elle nest atteinte pour aucune valeur finie
de n ;
les fonctions un forment une base orthonormale de (KerA ),
complment orthogonal de KerA dans la dcomposition :
X = Ker A ( Ker A ) , et les fonctions vn forment une base ortho-
normale de ( Ker A * ) = ImA , complment orthogonal de KerA*
dans la dcomposition : = = Ker A * ( Ker A * ) .
Soit E lensemble des indices n tels que n 0 ( E N ) . Le critre
de Picard [8] permet dtablir quune fonction y = est dans ImA
si, et seulement si :
2
y ( Ker A * ) et n2 | y, vn |
nE
Pour que la seconde condition (12) soit satisfaite, il faut, lorsque
loprateur A nest pas dgnr ( E N), que les composantes y, un
du dveloppement de limage y sur lensemble des fonctions propres
{vn } tendent vers zro plus vite que les valeurs propres 2n lorsque
n . Cette condition svre na aucune raison dtre satisfaite par
une fonction arbitraire de ImA . Remarquons cependant quelle lest
naturellement si y = A x est limage parfaite rsultant dun objet x
dnergie finie. La solution scrit alors :
x = n1 y , vn un
nE
mais cette solution, quand elle existe, est instable : une petite
perturbation additive y = vn , par exemple, sur les donnes
parfaites y entrane une perturbation x sur la solution calcule avec
les donnes y + y :
1 1
x = n y , v n u n = n u n
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 6 Techniques de lIngnieur, trait Tlcoms
Le rapport ||x ||/||y || vaut n1 qui peut tre arbitrairement
1
grand. Loprateur linaire inverse A : = X , dfini par (13),
nest donc pas born puisquil nest pas possible de trouver une
1
constante C telle que, pour tout y = , on ait || A y || X < C || y || = ,
ce qui est une condition ncessaire et suffisante pour que A 1 soit
continu [9].
2.2 Inversion gnralise
La ncessit dapprofondir des problmes qui ne sont pas
mathmatiquement bien-poss, mais cependant dun grand intrt
pour les sciences de lingnieur, est lorigine de deux branches
rcentes de lanalyse : la thorie de linversion gnralise et celle
de la rgularisation ( 3).
Supposons que lquation A x = 0 ait des solutions non triviales.
Lensemble KerA {0} de ces solutions est un sous-espace ferm de
X . Cest lensemble des objets invisibles , puisquils produisent
une image y nulle. Supposons aussi que ImA soit un sous-espace
ferm de = . Un exemple est fourni par loprateur intgral corres-
pondant un filtrage passe-bas idal :
(11)
(A x )(r ) = E +
sin ( r r )
----------------------------------- x ( r )d r
(r r ) (15)
2
Si nous choisissons X = = = L R , le noyau est lensemble de
toutes les fonctions x dont la transforme de Fourier sannule dans
la bande [ , + ], alors que limage de A est lensemble des fonc-
tions bande limite sur le mme intervalle, qui est un sous-espace
2
ferm de L R .
Un moyen de restaurer lexistence et lunicit de la solution dans
ces conditions est de redfinir la fois lespace X des solutions et
lespace = des donnes. Si nous choisissons un nouvel espace X
qui est lensemble de toutes les fonctions orthogonales Ker A
(dans le cas (15), X est lensemble des fonctions de carr
sommable et bande limite lintervalle [ , + ]), et si nous
prenons pour nouvel espace = des donnes Im A (qui est
nouveau, dans le cas (15), lensemble des fonctions de carr
sommable et bande limite lintervalle [ , + ]), alors, pour
tout y = , il existe un unique x X tel que A x = y (dans notre
exemple (15), la solution est mme triviale : x = y ) et le nouveau
problme est donc bien-pos.
Le fait quil soit en principe possible de choisir, dans la plupart
des cas, les espaces X et = pour que le problme devienne bien-
pos, est de peu dintrt pratique puisque cest lapplication vise
<+
(12) qui impose en gnral les espaces appropris. Un autre moyen
envisageable est de changer la notion mme de solution.
Pseudo-solutions
Considrons tout dabord le cas o A est injectif (KerA = {0}) mais
la condition dexistence nest pas toujours satisfaite ( ImA = ) .
Lensemble des fonctions x X solutions du problme variationnel
2
x = arg min Ax y =
xX
(16)
o . = dsigne la norme dans = , sont appeles pseudo-solu-
tions, ou solutions des moindres carrs du problme (10). En annu-
(13) lant la premire variation de la fonctionnelle minimiser dans (16),
on obtient lquation dEuler :
A * A x = A *y (17)
qui fait intervenir loprateur auto-adjoint A*A dont le systme
propre se dduit du systme singulier de A. Quand ImA est ferme,
lquation (17) possde toujours une solution, mais elle nest pas
unique si le noyau KerA nest pas trivial. Lorsquil lest, comme sup-
(14) pos ici, le caractre bien-pos a t restaur.
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Solutions gnralises
Considrons maintenant le cas o la condition dunicit nest pas 0

Spectre (dB)
satisfaite (KerA {0}, le problme est indtermin). Lensemble des
solutions de (17) tant un sous-ensemble ferm convexe de X , il -20
contient donc un lment unique de norme minimale, qui est not
x ou ^x IG , et appel solution gnralise de (10). x tant ortho- -40
gonal KerA, cette manire de dfinir la solution est quivalente
-60
choisir X = ( Ker A ) . 0 0,1 0,2 0,3 0,4 0,5
Comme il existe un unique x pour tout y = , une application Priodogramme
Frquence relative
linaire A de = dans X est dfinie par : Spectre thorique

A y = x = ^
x IG (18)
Figure 7 Spectre du priodogramme et spectre thorique
Loprateur A est appel inverse gnralis de A et il est
continu [10].
Le problme du calcul de la solution gnralise de Les relations de Plancherel et Parseval nous montrent que cest
lquation (10) est bien-pos si, et seulement si, ImA est ferme. La quivalent rechercher les coefficients :
raison essentielle est que cest une condition ncessaire et suffi-

E
1
sante pour que lon puisse dcomposer = selon ^

^
xk = X ( ) exp ( 2j k )d k Z
= = Im A ( Im A ) , o dsigne la somme directe et (Im A ) le 0
complment orthogonal de ImA.
tels que :
Cas des donnes discrtes
Lorsque les donnes sont discrtes, y est un vecteur de dimension
^
x = arg min
2
xk 2 s.c. x k = y k k = 1, ..., N
N dans un espace euclidien. Ignorant les erreurs sur les donnes, x ,C k Z
un problme inverse linaire avec des donnes discrtes peut tre
N La solution est triviale puisque le problme est sparable :
nonc comme suit : tant donn un ensemble { F i ( x ) } i = 1 , de
fonctionnelles linaires dfinies sur X , et un ensemble
N
{ yi }i = 1 de ^ yk si k { 1, 2, ..., N }
xk =
nombres, trouver une fonction x X telle que : 0 sinon
yi = Fi (x ) i = 1, ..., N
On a donc :
En particulier, quand les fonctionnelles Fi sont continues sur X , le
thorme de Riesz dit quil existe des fonctions 1 , ..., N telles ^
N
que : X IG () = yk exp ( 2 j k ) (19)
k=1
Fi ( x ) = x , i X
qui donne, aprs quadration, le priodogramme de Schuster, un
Lexemple lmentaire de (9) prend cette forme quand y (r ) est coefficient prs :
mesure sur un ensemble fini de points, disons r 1 , ..., r N , et que N 2
X est un espace L2. Dans ce cas, nous avons : def 1 1
P x ( ) = ------ X ( ) 2 = ------
N N x n exp ( 2 j n )
i ( s ) = h (r i , s ) n=1

Ce problme est un cas particulier de celui de lquation (10) si
nous dfinissons un oprateur A de X dans = par la relation :
( Ax ) i = x , i X i = 1, ..., N
Loprateur A nest pas injectif : KerA est le sous-espace ferm de
dimension infinie de toutes les fonctions x orthogonales au sous-
espace engendr par les fonctions i . Inversement, limage de A,
ImA est ferme : ImA est simplement = quand les fonctions i
sont linairement indpendantes ; sinon, cest un sous-espace de
dimension N < N.
Exemple
Pour illustrer cette notion dinversion gnralise, revenons
notre exemple de synthse de Fourier du paragraphe 1.2 qui entre
dans la catgorie dfinie dans le paragraphe prcdent, avec les
exponentielles de Fourier comme fonctions i . Pour imposer une
solution unique dans la classe des solutions possibles effectuant
un prolongement de la suite des xk connus, nous pouvons choisir
la solution inverse gnralise du problme initial (8) :
Le priodogramme de notre exemple est trac figure 7. Les deux
raies au voisinage de la frquence rduite 0,2 ne sont pas spa-
res, en raison dun nombre insuffisant dchantillons. La troisime
raie en 0,1 se distingue mal du bruit dont le spectre est assez mal
rendu. Nous avons rsolu le problme de lunicit mais la solution
nest pas pour autant satisfaisante.
2.3 Discrtisation
Une premire description dun problme direct fait souvent inter-
venir des fonctions de variables relles (temps, frquence, variables
despace, ...), reprsentant les grandeurs physiques mises en jeu :
grandeurs accessibles la mesure et grandeurs dintrt inconnues.
Lanalyse du problme ce niveau de description a permis de fournir
une explication des difficults rencontres lors de linversion, en se
plaant dans des espaces fonctionnels de dimension infinie. Nous
avons vu ainsi que dans le cas dun problme inverse dcrit par une
quation intgrale de premire espce, linversion tait un problme

E mal-pos au sens de Hadamard.

1
^
X IG ( ) = arg min X ( ) 2 d Cette analyse est cependant insuffisante. Les donnes exprimen-
2 0
X L C [ 0,1 ] tales disponibles sont presque toujours constitues de la mesure de
grandeurs physiques accessibles en un nombre ncessairement fini
s.c. xk = yk k = 1, ..., N de points du domaine de dfinition de leurs variables. Elles sont donc

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 7
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________
naturellement discrtes, et nous les regroupons dans le vecteur y
comme nous lavons fait dans le paragraphe 1.2. Mais lobjet inconnu
est lui aussi discrtis, soit demble, soit en cours de rsolution
(comme dans lexemple du priodogramme ( 2.2)), par dcompo-
sition sur un nombre fini de fonctions. Si celles-ci sont des lments
dune base de lespace auquel lobjet appartient, la dcomposition
est ncessairement tronque. En imagerie par exemple, on utilise
comme fonctions de base dans la trs grande majorit des cas les
indicatrices des pixels, ou les sinus cardinaux, selon que lobjet est
implicitement suppos support limit ou spectre limit. On
commence aussi utiliser des bases dondelettes [11]. Le point de
dpart est donc constitu dun modle paramtr par le vecteur x
des coefficients de la dcomposition, cest--dire dun ensemble
dhypothses exclusives dont chacune est indexe par la valeur des
coefficients. Cet espace dhypothses est donc lensemble des
valeurs possibles de ces paramtres inconnus, * = { x i } . Le choix
de ces fonctions de base fait videmment partie du problme dinver-
sion, mme sil est assez peu abord [12].
Dans le cas discret (ou plus exactement discret-discret), le
problme change sensiblement car x et y appartiennent des
espaces de dimension finie et loprateur linaire A devient une
matrice A . Lquation (3) possde une solution unique de norme
minimale ^ x IG = A y qui dpend continment de y puisque
linverse gnralise A est alors toujours borne [8]. Le problme
est donc toujours bien-pos au sens de Hadamard. Mais, mme
dans ce cadre, le problme dinversion a encore, dun point de vue
numrique cette fois, un caractre instable. La dcomposition
spectrale (14) est toujours valable, la seule diffrence que le
nombre de valeurs singulires de la matrice normale A tA est
maintenant fini et gal M. Ces valeurs singulires peuvent tre
rarement calcules explicitement, mais dans le cas particulier de la
restauration dimage avec un objet et un noyau supports finis (ce
qui est le cas de lexemple propos), la dcomposition
spectrale (14) est une dcomposition de Fourier et les valeurs
propres de A tA sont les valeurs du spectre de Fourier du systme
dimagerie, values des frquences spatiales rgulirement
espaces. Elles sont prsentes sur la figure 3 et certaines sont
clairement trs proches de zro. De manire plus gnrale, quand
le systme dimagerie est du type passe-bas, ce qui est trs
frquent, n prend de trs faibles valeurs lorsque n M. Mme si
nous excluons les valeurs singulires nulles, comme en utilisant
A , il y a toujours des valeurs singulires proches de zro. La
1
matrice A est donc mal-conditionne. Les coefficients n y, un
dans (14) deviennent trs grands pour les n proches de zro,
mme si y est petit.
De manire gnrale, que lon soit dans le cas discret ou non, sup-
posons que ImA soit ferme pour que linverse gnralis A soit
continu. Dsignons par y une erreur sur les donnes y et par x
lerreur induite sur la solution inverse gnralise x . La linarit
de (18) entrane que x = A y, ce qui implique :
x < A y ou linverse gnralis est toujours continu. En consquence,
x =
o A dsigne la norme de loprateur continu A . De manire
analogue, lquation (10) implique :
y Y < A x X
En combinant ces deux relations, on obtient lingalit :
x X y =
-< A
--------------------- A -------------------
x X y =
Il est important de noter que cette ingalit est prcise dans un
certain sens. Quand A est une matrice de dimensions (N M ) ou
correspond un problme inverse avec des donnes discrtes,
alors lingalit peut devenir une galit. Quand A est un oprateur
sur des espaces de dimension infinie, alors on peut seulement
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 8 Techniques de lIngnieur, trait Tlcoms
tablir que le membre de gauche de lingalit (20) peut tre arbi-
trairement proche du membre de droite. La quantit :
c= A A > 1 (21)
est appele nombre de condition du problme. Quand c est proche
de lunit, le problme est dit bien-conditionn, alors que quand il
est grand devant lunit, le problme est dit mal-conditionn.
Il est important en pratique davoir une ide du nombre de
condition qui renseigne sur la stabilit numrique du problme.
Quand A est une matrice de dimensions (N M ), A est la racine
carre de la plus grande des valeurs propres de la matrice A*A, de
dimensions (M M ) (les valeurs propres positives de cette matrice
concident avec celles de la matrice AA*), et A est linverse de
la racine carre de la plus petite de ces mmes valeurs propres :
c = max y min
2.4 Rsum
Quand nous avons affaire un oprateur dfini sur des espaces
de Hilbert X et =, et du type A : X =, linaire et continu, nous
avons trois situations principales.
Si A est injectif (lquation A x = 0 a comme seule solution la
solution triviale x = 0, donc KerA = {0}), et que son image est ferme
et donne par Im A = =, le problme inverse est bien-pos car
loprateur inverse est continu.
Si A nest pas injectif, mais que ImA est ferme, alors, en
recherchant une pseudo-solution, le problme inverse devient bien-
pos dans la mesure o linverse gnralis est continu.
Si limage ImA nest pas ferme, lemploi dune pseudo-solu-
tion ne peut, en soi, garantir lexistence et la continuit de la solu-
tion inverse.
Quand nous avons affaire un oprateur linaire dfini sur des
espaces de dimension finie R N et R M , et du type A : R N R M ,
nous avons nouveau trois situations principales.
Si p dsigne le rang de la matrice associe loprateur A et si
p = N = M, alors A est injectif et Im A = R M ; une solution existe
toujours, qui est unique, et le problme inverse est bien dfini.
Si p < N, alors lunicit nest pas assure, mais elle peut tre
rtablie en considrant une inversion gnralise.
Si p < M, alors lexistence ne peut tre assure pour des donnes
quelconques, mais elle peut ltre en considrant nouveau une
inversion gnralise.
Pour des oprateurs dans des espaces de dimension finie, linverse
lutilisation dune inversion gnralise suffit garantir le caractre
bien-pos. Mais il faut se souvenir quun problme bien-pos peut
tre mal-conditionn, et que dans ce cas il est ncessaire demployer
les mthodes de rgularisation que nous allons prsenter au
paragraphe 3, comme pour les problmes mal-poss.
3. Rgularisation
(20)
Quand limage ImA dun oprateur linaire inverser nest pas
ferme, alors linverse A 1, ou linverse gnralis A , nest pas dfini
partout sur = et nest pas continu. Cest le cas par exemple des
oprateurs compacts non dgnrs (ou de rang non fini), et il est
facile de voir que le nombre de condition du problme est infini. Des
techniques de rsolution appropries sont alors requises, mais il faut
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE
voir aussi quun problme bien-pos, mais svrement mal-
conditionn, se comporte en pratique comme un problme mal-pos
et doit tre trait par les mmes techniques.
Que lon soit en dimension finie ou infinie, un rgulariseur de
lquation (10) y = A x est une famille doprateurs {R ; } tels
que :
1) , R est un oprateur continu de = dans X ;
y ImA, lim 0 R y = A y.
Autrement dit, puisque loprateur inverse A 1 ne prsente pas
les proprits de continuit ou de stabilit requises, on construit
une famille doprateurs continus, indexs par un paramtre de
rglage (appel coefficient de rgularisation ), et incluant comme
cas limite A . Appliqu des donnes parfaites y, R fournit une
approximation de x dautant meilleure que 0. Cependant,
quand R est appliqu des donnes yb = A x + b invitablement
entaches dun bruit b, on obtient une solution approche
xb = R yb , et lon a :
R yb = R y + R b (22)
Le second terme diverge quand 0. Il sensuit quun
compromis doit tre trouv entre deux termes antagonistes,
lerreur dapproximation (premier terme) et lerreur due au bruit
(second terme). Cela se fait, au sein dune famille donne dopra-
teurs R , en ajustant la valeur du coefficient de rgularisation .
La plupart des mthodes qui ont t proposes depuis les annes
1970 pour rsoudre et stabiliser les problmes mal-poss entrent,
dune faon ou dune autre, dans ce schma gnral. On peut les
classer en deux grandes familles : celles qui procdent par contrle
dune dimension est alors un ensemble discret et celles qui
oprent par minimisation dun critre composite ou par optimisation
sous contrainte est alors R + . Nous nous intresserons ici
principalement la seconde famille mais nous consacrons le para-
graphe suivant la premire.
3.1 Contrle de dimension
3.1.1 Dcomposition tronque
en valeurs singulires
Un exemple typique de mthodes de la premire famille est fourni
par lexamen de (14) : pour supprimer le mauvais conditionnement
du problme, il suffit de tronquer le dveloppement en retenant les
composantes correspondant des valeurs singulires suffisamment
1 (elles sont en effet quivalentes avec les hypothses habituelle-
grandes pour que les termes derreur de la forme n y, un restent
faibles. Cest la dcomposition tronque en valeurs singulires [8].
Elle est trs efficace pour assurer la stabilit numrique. Se pose
tout de mme le problme du choix de lordre de la troncature, qui
joue ici le rle de linverse dun coefficient de rgularisation. Mais
le principal dfaut de cette approche est que lon renonce rtablir
les composantes spectrales qui ont t trop dgrades par le dis-
positif dimagerie. Comme pour la dfinition du critre de rsolution
de Rayleigh en optique, on nutilise aucune autre information sur
lobjet recherch que le fait que son nergie soit finie, alors que, la
plupart du temps, on sait quil est par exemple positif, ou bien quil
comporte des rgions variations spatiales douces spares par
des contours nets, ou bien quil est valeurs bornes, ou bien encore
support born. Si lon veut aller au-del de cette rsolution de
Rayleigh, il est indispensable de pouvoir prendre en compte ce genre
dinformation a priori.
3.1.2 Changement de discrtisation
Dans la dcomposition tronque en valeurs singulires, cest le
dispositif dimagerie qui impose, en quelque sorte, la discrtisation
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms
au travers des fonctions singulires de loprateur correspondant.
Mais on peut aussi contourner les difficults souleves par le
mauvais conditionnement de la matrice A, consquence dune
discrtisation de lobjet sur une grille cartsienne par exemple, en
choisissant une paramtrisation parcimonieuse de lobjet mieux
adapte aux proprits a priori de celui-ci. Cest ce que font les
mthodes de dcomposition sur une base dondelettes [11] [13],
par exemple. Le principe reste le mme : on procde par seuillage
parmi les coefficients de la dcomposition, en liminant le sous-
espace domin par les composantes du bruit.
Ce mode de discrtisation rsout, par principe, le problme de
stabilit ou de mauvais conditionnement analys plus haut, mais
ne fournit pas pour autant une solution satisfaisante. Tout dpend
de la dcomposition choisie. Pour lillustrer, nous allons tudier
deux des paramtrisations les plus utilises dans les problmes
danalyse spectrale.
Dans la premire, le signal analyser est suppos tre une
ralisation dun processus alatoire temps discret, stationnaire
(pour pouvoir parler de spectre ou, plus prcisment dans ce cas,
de densit spectrale de puissance ), et autorgressif (cest--dire
engendr par le passage dun processus alatoire u (n ) blanc et
stationnaire dans un filtre linaire, invariant, et de fonction de trans-
fert G (z ) tout ples ). Le filtre gnrateur est dcrit par lquation
rcurrente :
x (n ) = a 1 x (n 1) + ... + ad x (n d ) + u (n )
et possde une fonction de transfert en z :
1
G ( z ) = -------------------------------------------------------------
1 a 1 z 1 ... a d z d
Les coefficients ak sont appels coefficients de rgression ou
coefficients autorgressifs (AR). Si la variance de u (n ) est note
2
u , on a le rsultat conscutif :
2
g x ( ) = u G ( e 2j ) 2 (23)
Le problme danalyse spectrale se rduit ainsi celui de lestima-
tion de ces d + 1 paramtres (d paramtres AR et la variance du bruit).
De nombreuses variantes existent selon la nature du cadre statis-
tique adopt et les approximations faites [6].
La figure 8 donne un exemple de spectre obtenu avec une
mthode du maximum de vraisemblance, ou des moindres carrs
ment faites), et un ordre d dtermin par le critre classique de
Rissanen-Schwarz (BIC : Bayesian information criterion ). Le spec-
tre est beaucoup plus rgulier que celui du priodogramme
(figure 7), mais la rsolution de la mthode reste mdiocre.
Un autre exemple de paramtrisation parcimonieuse est fourni par
la figure 9. Le signal est cette fois modlis comme une somme de
sinusodes pures et dun bruit blanc, ce qui est manifestement mieux
adapt notre exemple. Sous ces hypothses, on peut mettre en
vidence des proprits gomtriques intressantes des sous-
espace signal (entendons par l les sinusodes) et sous-espace
bruit dont les dimensions respectives apparaissent dans le spectre
des valeurs propres de la matrice de corrlation du signal analys.
La dtermination de ces valeurs propres, et la rsolution dune qua-
tion polynomiale associe, permettent de dterminer le nombre et
les valeurs des frquences pures contenues dans le signal [6]. Mais,
dans la pratique, la corrlation du signal nest pas connue et doit
tre estime partir de ses chantillons. De plus, tout ceci repose
sur lhypothse dun bruit blanc, non vrifie dans notre exemple.
Les trois frquences pures rellement prsentes dans le signal sont
correctement estimes, mais sept autres, correspondant au bruit
color, ont t aussi extraites.
TE 5 235 9
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

La condition de non ngativit exclut beaucoup doprateurs,

180 mais la mthode peut tre applique la rsolution de lquation

Critre BIC
normale A* y = A* A x puisque A* A est un oprateur non ngatif.
160
On obtient ainsi la mthode de Landweber [14] :
140
120 x (n + 1) = x (n ) + A* (y A x (n ) ) n = 0, 1, ...
100
avec 0 < < 2 / A * A . La mthode bien connue de Gerchberg-
80
0 4 5 10 20 30 d Papoulis-Van-Cittert pour lextrapolation dun signal spectre
limit est un cas particulier de la mthode de Bialy-Landweber.
a critre BIC
Cest dans la mme catgorie des mthodes itratives que lon
peut ranger la mthode de Lucy [15], trs populaire en astronomie.
20

Spectre (dB)
Toutes ces mthodes ne peuvent fournir de solution acceptable
0 qu la condition de limiter le nombre ditrations (qui joue alors le
rle de linverse dun coefficient de rgularisation). Cela se fait
-20
souvent de manire empirique car le cadre thorique initial ne
prenant pas en compte le bruit dobservation, une thorie de rglage
du nombre ditrations pour limiter lamplification du bruit ne peut
-40
0 0,1 0,2 0,3 0,4 0,5 tre quhtronome [16]. Cela explique pourquoi nous nous
Frquence relative focalisons sur les mthodes de rgularisation de la seconde famille
qui sont, de ce point de vue, plus autonomes.
b densit spectrale de puissance du modle AR

Mthode du maximun de vraisemblance, variante prfentre,

avec un ordre d = 4
3.2 Minimisation dun critre composite
Figure 8 Spectre obtenu par une mthode du maximum
Le cadre adopt dans la suite relve de la seconde famille des
de vraisemblance ou des moindres carrs
mthodes de rgularisation dont la caractristique principale est de
demander la solution de raliser un compromis entre une fidlit
aux donnes mesures et une fidlit une information a priori [17].
Ce compromis est tabli laide dun unique critre doptimalit.
Cette dmarche peut sinterprter de la manire suivante.
60
Spectre (dB)

40 La solution des moindres carrs ^

x MC minimise lnergie de lerreur
entre le modle Ax et les donnes y. En ce sens, elle procure la plus
20
grande fidlit aux donnes. Mais lorsque le bruit dobservation est
0 large bande, lquation (14) montre que les composantes de lobjet
restaur ou reconstruit des frquences spatiales leves ont des
-20 amplitudes leves qui rsultent principalement du bruit. La solution
0 0,1 0,2 0,3 0,4 0,5
^
Frquence relative x MC , bien que statistiquement sans biais, est alors rejete car on
sattend ce que le vrai objet ait des variations spatiales
Les dix raies recherches ne sont pas reprsentes, mais le spectre
obtenu partir de la matrice de corrlation correspondante de
sensiblement plus douces. Il faut donc introduire un peu dinfidlit
dimensions (25 x 25) l'est. aux donnes pour obtenir une solution moins rugueuse que celle
des moindres carrs et plus conforme lide que lon sen fait a
priori. Un moyen dsormais classique dy parvenir est fourni par la
Figure 9 Spectre obtenu par la mthode MUSIC minimisation dun critre composite [8] [18] [19]. Lide de base est
de renoncer lespoir daccder la solution exacte partir de
donnes imparfaites, de considrer que lquation (3) dfinit une
3.1.3 Mthodes itratives classe de solutions admissibles {^ x : || y Ax || < || b || } , et de
rechercher dans cette classe une solution qui peut tre considre
Une famille de mthodes trs populaires est constitue des comme tant physiquement raisonnable, cest--dire compatible
mthodes itratives, de la forme : avec une certaine information a priori. Cela sobtient usuellement

x (n + 1) = x (n ) + (y A x (n ) ) n = 0, 1, ... (24) en recherchant une solution ^

o 0 < < 2 / A (mthode de Bialy [14]). Si A est un
oprateur linaire born non ngatif (cest--dire tel que
A x , x > 0, x X ), et si y = A x possde au moins une solu-
tion, alors la suite des x (n ) converge, et :
lim x ( n ) = P x (0)
n (premier terme du critre) ;
o P est loprateur de projection orthogonale sur KerA et x IG la
solution inverse gnralise. Cette mthode recherche en fait le
point fixe de loprateur G : G x = y + (I A ) x, mais si A est
compact et X de dimension infinie, alors (I A ) nest pas une
contraction et la mthode diverge. De plus, nous avons vu aussi
que, mme en dimension finie, la solution inverse gnralise tait
souvent domine par le bruit.
x ( , y ) qui minimise un critre de la
forme :
( ( x ) = & ( y A x ) + ^ ( x ), R*+ (25)
spcifiquement conu pour :
+ x IG que la solution soit, jusqu un certain point, fidle aux donnes
renforcer certaines proprits souhaitables qui rsument
notre connaissance a priori sur la solution (second terme).
Cette manire de procder soppose ainsi aux mthodes de
rgularisation par contrle de dimension qui, dans le cas dun
problme mal-pos ou mal-conditionn, contournent la difficult en
cherchant le minimum de (5) dans un sous-espace de dimension
rduite, aprs ventuellement un changement de base appropri.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 10 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Le choix des fonctionnelles ^ et & est un choix qualitatif qui

dtermine la manire selon laquelle la rgularisation est effectue.
Inversement, le choix du coefficient de rgularisation a est
quantitatif et permet dajuster le compromis entre les deux sources
dinformation. Une fidlit parfaite aux donnes est obtenue avec
= 0, alors quune fidlit parfaite la priori est obtenue si = .
La littrature sur le sujet est domine par quelques fonctionnelles
dont voici les plus frquentes [17].
Distances quadratiques
La distance euclidienne entre deux objets x 1 et x 2 est || x 1 x 2 || 2
P
o P est une matrice symtrique dfinie non ngative qui est choisie
pour traduire certaines caractristiques souhaites de la mesure de
proximit. Une distance de ce type constitue le choix habituel pour
& dans le cas o le bruit b est suppos gaussien, centr et
indpendant de x. Elle est aussi trs souvent utilise pour ^ afin
de pnaliser les objets x de grande amplitude.
Appliqu notre exemple danalyse spectrale (qui est, rappelons-
le, du type continu-discret), ce mode de rgularisation nous conduit
rechercher la transforme de Fourier du signal vrifiant :

E
Figure 10 Dconvolution linaire-quadratique

3 4
1
^ 2
X ( ) = arg min || x N y || + X ( )2 d
2 0
X LC [ 0,1 ]

EX
1
o xN = [x 1 , ..., xN ] t et x k = ( ) exp ( 2j k ) d
0 Le critre (25) rsume une vision de la rgularisation que lon
La solution scrit :
^( ) 1 ^
X ( ) = --------------- X IG ( )
+1
Le spectre ainsi rgularis est donc simplement proportionnel au
priodogramme (19) que lon obtient comme cas limite ( ). Ce
type de rgularisation ne convient donc pas dans cet exemple.
Mesures de rugosit
Une manire trs simple de mesurer la rugosit dune image
consiste lui appliquer un oprateur de diffrentiation appropri,
puis calculer la norme euclidienne de limage rsultante. Comme
lopration de diffrentiation est linaire, la mesure de rugosit
rsultante est quadratique :
k 2
^ ( x ) = || ( x )|| = || Dk x ||
Lordre k de loprateur des diffrences (.) vaut habituellement
1 ou 2. La mesure (27) est minimale lorsque toutes les
composantes de x sont gales (si k = 1).
Appliqu notre exemple de dconvolution dimage, ce mode
de rgularisation conduit au rsultat de la figure 10. Lamlioration
est cette fois sensible par rapport la solution des moindres carrs
de la figure 4, mais de nombreux dtails de lobjet original de la
figure 1 ne sont pas visibles, notamment ceux de la camra. Nous
y reviendrons au paragraphe 5.
Distance de Kullback
Dans de nombreux problmes de traitement dimage, une
caractristique essentielle prserver est la positivit des intensits
des pixels. Il existe plusieurs manires dy parvenir, lune dentre
elles tant de considrer que lobjet positif peut tre identifi, aprs
normalisation, une distribution de probabilit, puis dutiliser des
mesures de distance entre lois de probabilit. La pseudo-distance
de Kullback :
M la valeur de qui satisfait la contrainte (29).
^ ( x ) = $_ ( x , m ) = xj ln --------
mj
j=1
o lobjet de rfrence m est un vecteur positif, est souvent utilise.
Conclusion
peut qualifier de dterministe puisque la seule distribution de
probabilit utilise est, au moins implicitement au travers du
choix de la fonctionnelle & , celle du bruit. Elle a donn lieu des
(26) dveloppements thoriques importants, essentiellement en
physique mathmatique. Cependant, les questions du choix de
la fonctionnelle rgularisante ^ ( x ) et du coefficient de rgula-
risation y sont encore largement ouvertes.
3.3 Choix du coefficient de rgularisation
Dans de nombreux problmes inverses, un rglage prcis du
coefficient de rgularisation nest pas ncessaire, la solution ntant
sensible qu des variations denviron un ordre de grandeur de .
Il est alors possible, avec un peu dexprience, de choisir empirique-
2 ment , dans un mode supervis. Dans le cas contraire il existe, dans
(27) le cadre de ce paragraphe, quelques mthodes de rglage automa-
tique, partir des donnes, cest--dire en mode non supervis [20].
Contrle de lnergie de lerreur rsiduelle
Une des ides les plus intuitives et les plus anciennes pour rgler
la valeur de qui intervient dans le critre rgularis, ou
pnalis (25), est de considrer comme un multiplicateur de
Lagrange dans le problme quivalent :
x = arg min ^ ( x )
^
s.c. & ( y Ax ) = c (29)
x
Le degr de rgularisation est fix par la valeur de c . Lorsque &
est quadratique, on prconise souvent de choisir c = N si & est
pondre par linverse de la matrice de covariance du bruit, ou N 2
si & est le critre des moindres carrs ordinaires et si le bruit est
blanc, de variance 2. Mais un tel choix ne conduit pas toujours
une rgularisation acceptable. Une explication en est que, dans beau-
coup de problmes, le graphe de la fonction & ( y Ax ) = & ( ) est
^
presque horizontal sur une large plage de valeurs de : toute erreur
dans lestimation de 2 entrane donc de grandes variations dans
xj
- (28) Mthode de la courbe en L
On peut aussi utiliser une mthode alternative qui a fait ses preu-
ves dans des problmes inverses linaires de la forme (25) et dans

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 11
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

le cas o la fonctionnelle de rgularisation ^ ( x ) est quadratique, VCG = arg min V ( ), avec :

la mthode de la courbe en L [21]. Cette dernire consiste tracer,
N
en chelle log-log, la fonctionnelle de rgularisation ^ (x ( ) ) en
4
[ k ]
w k2 ( ) 3 yk y k
1 2
V ( ) = ---- () (34)
^ 2 N
fonction du critre des moindres carrs || y Ax en faisant ( )|| 2 k=1
varier le coefficient de rgularisation . Cette courbe a en gnral
lallure caractristique dun L (do son nom) et la valeur de o les coefficients w k2 ( ) sont introduits pour viter que le
correspondant langle de ce L fournit un bon compromis entre les critre (34) nait des proprits indsirables, telles que le manque
exigences contradictoires de fidlit aux donnes et de fidlit la dinvariance dans des rotations arbitraires de lespace des obser-
priori. vations ou labsence de minimum. Ils sont donns par :

Pour comprendre pourquoi il en va ainsi, on sait que si x 0 dsigne 1 3 B ( )4 k , k

w k ( ) = ---------------------------------------------------
-
la solution exacte, alors lerreur x ( ) x 0 peut tre dcompose en 1 trace3 B ( )4/ M
^

deux : une erreur de perturbation due la prsence de lerreur de

mesure b et une erreur de rgularisation due lemploi dun
oprateur rgularisant au lieu dun oprateur inverse (voir (22)). La
partie verticale de la courbe en L, dcrite pour de faibles valeurs de
, correspond des solutions pour lesquelles ^ ( x ^
( ) ) est trs
sensible aux variations de car lerreur de mesure b domine x ^
()
et ne satisfait pas la condition de Picard discrte [21]. La partie
horizontale de la courbe, dcrite pour des valeurs leves de ,
correspond des solutions pour lesquelles cest la norme au carr
2
des rsidus || y ^
Ax ( )|| 2
qui est la plus sensible aux variations de
car ^
x ( ) est domine par lerreur de rgularisation, pour autant
que y b satisfasse la condition de Picard discrte.
Validation croise
On veut videmment trouver une valeur du coefficient de
rgularisation telle que la solution rgularise x ^
( , y ) soit aussi
proche que possible du vritable objet x. Avec le choix de distances
quadratiques pour ^ et & , il est naturel de choisir aussi une distance
quadratique x pour mesurer lcart entre ^x ( , y ) et x. Une mthode
raisonnable de choix de serait donc de choisir la valeur qui mini-
mise ce risque en moyenne, cest--dire lerreur quadratique
moyenne destimation :
EQM ( , x ) = E x ( , x,y ) p ( y | x ) d y
Malheureusement, la solution de ce problme dpend de lobjet
rel qui est videmment inconnu. Comme la solution rgularise
x ( , y ) peut tre vue aussi comme un prdicateur des observa-
^
o [B ( )]k, k est le k e lment diagonal de la matrice :
1
t t
B ( ) = A ( AA + Q ) A
Le calcul du minimum sappuie sur le caractre linaire-
quadratique du problme qui permet dtablir la relation plus
simple :
2
N ||[I B ( )] y ||
V ( ) = --------------------------------------------------2- (35)
3trace { I B ( ) }4
qui montre clairement que la fonction de validation croise gn-
ralise V ( ) est en fait la somme des carrs des erreurs rsiduelles
pondre par un coefficient dpendant de . De nombreux rsultats
pratiques expliquent que cette mthode ait t souvent utilise dans
des problmes 1-D. Son emploi en traitement dimage est plus rcent
[23] [24].
Conclusion
Ces mthodes de choix du coefficient de rgularisation nont
de justification claire que dans le cas des critres rgulariss qua-
dratiques. Par ailleurs, la question du choix de la fonctionnelle
rgularisante ^ na pas reu, dans ce cadre dterministe, de
(30) rponse autre que des justifications empiriques. Le but du para-
graphe suivant est de montrer quil est possible den trouver une
dans le cadre de la thorie de linformation.

tions au travers de ^ y ( , y ) = Ax
^
( , y ) , on pourrait aussi mesurer
lcart entre les observations relles et prdites avec une fonction
de perte quadratique y (, x, y ) et rechercher la valeur de qui 4. Approche baysienne
minimise le risque moyen correspondant, qui est dans ce cas
lerreur quadratique moyenne de prdiction : de linversion
EQMP ( , x ) = E y ( , x , y ) p ( y | x ) d y (31) Il existe au moins deux raisons qui poussent inscrire la rsolution
des problmes inverses dans un cadre baysien. Tout dabord, cest
dans ce cadre quont t introduites les fonctions dnergie locale
mais, l encore, la solution dpend de lobjet rel. La difficult peut
et les modlisations markoviennes qui ont marqu durablement le
tre cependant surmonte car le critre EQMP (, x ) peut tre
traitement dimage bas niveau. Mais cest aussi lui qui offre les
estim par validation croise gnralise (VCG). Le principe de
rponses les plus cohrentes et les plus compltes des problmes
base en est le suivant [22]. Soit x ^
( , y [ k ] ) le minimiseur du
laisss ouverts dans les autres approches, comme le choix des hyper-
critre :
paramtres ou loptimisation dun critre multimodal.
N
[ k ]

2 2
( (x ) = 3 y n ( Ax ) n 4 + || x ||Q (32)
n k,n = 1
4.1 Inversion et infrence statistique
cest--dire lobjet restaur en utilisant toutes les donnes sauf
lchantillon yk . Il est possible de lutiliser ensuite pour prdire la Pour expliciter le lien qui unit inversion et infrence statistique,
donne manquante : il est utile, ce stade, de rsumer lanalyse faite au paragraphe 2.
Aprs discrtisation, le problme direct prend la forme gnrale
^ [ k ]
yk 3
( ) = Ax
^
(,y
[ k ]
) 4k (33)
A (x, y ) = 0, o A est un oprateur reliant lobjet inconnu x aux
donnes exprimentales y. Il prend mme souvent la forme explicite
y = A (x ), voire linaire y = Ax. Linversion, cest--dire le calcul de x
La mthode consiste rechercher la valeur de qui minimise connaissant A et y, est trs souvent un problme mal-pos, en deux
une nergie pondre de lerreur de prdiction : sens.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 12 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE
Premirement, loprateur A est souvent singulier dans le sens
o il existe une classe _ dobjets x _ invisibles, cest--dire tels
que Ax = 0 (le noyau Ker A = _ nest donc pas vide). Tout lment
de _ peut tre ajout toute solution pour donner une autre solu-
tion aussi compatible avec les donnes. Nous ne pouvons donc
inverser la relation directe pour dterminer uniquement x partir
de y. Ce manque dunicit fait que le problme inverse discret est
mal-pos au sens dHadamard. Cette situation survient chaque
fois que la rponse instrumentale dtruit une partie de linformation
au sujet de lobjet.
Deuximement, aucun dispositif exprimental nest complte-
ment affranchi dune incertitude, dont lorigine la plus simple est la
prcision finie des mesures. Il est donc plus raliste de considrer
que lobjet recherch et les mesures sont relis par une quation de
la forme y = A ( x ) e b dans laquelle A est un oprateur dcrivant la
partie essentielle de lexprience, et e b prend en compte la dgra-
dation de cette reprsentation idale par diffrentes sources derreur
(de discrtisation, de mesure) regroupes sous le terme de bruit.
Quand le mcanisme dobservation peut tre approch par une dis-
torsion linaire et lajout dun bruit, alors cette quation se rduit
y = Ax + b (3). La prsence de ce bruit a pour effet d largir
lensemble _ puisque tout lment x tel que Ax = e , o e est
petit par rapport au niveau suppos de bruit, peut tre ajout
toute solution possible pour obtenir une autre solution acceptable.
En pratique, cela se traduit par linstabilit des tentatives dinversion
directe de lquation (3), des petits changements dans les donnes
entranant de grandes variations de la solution calcule. Ce nest
plus, cette fois, ncessairement un problme mal-pos au sens
dHadamard puisque la solution peut trs bien lorsque le noyau _
est vide tre unique et dpendre continment des donnes. Lins-
tabilit provient du mauvais conditionnement de A [25].
On voit donc que, dans ces problmes mal-poss, lobtention
dune solution nest pas du tout un problme de dduction math-
matique, cest un problme dinfrence, cest--dire de traitement de
linformation : comment tirer les meilleures conclusions possibles
de linformation incomplte qui est disponible.
Toute mthode dinfrence scientifique devrait, pour tre
acceptable, 1o prendre en compte toute linformation pertinente
disponible et, 2o viter soigneusement de supposer une infor-
mation disponible alors quelle ne lest pas. La modlisation pro-
babiliste est un moyen commode et cohrent de dcrire une
situation dinformation incomplte. Nous allons voir comment
elle conduit une approche statistique baysienne.
4.2 Distribution directe
Il faut prciser demble que tout problme auquel on sattaque
par une approche baysienne doit tre bien-pos dans le sens o
une information suffisante doit tre apporte pour permettre dattri-
buer sans ambigut les distributions de probabilit ncessaires au
calcul. Cela signifie, au minimum, quun ensemble exhaustif de
possibilits doit tre spcifi au dbut de chaque problme. Nous
lappellerons espace des donnes (ou des preuves ) sil sagit des
rsultats possibles de lexprience, ou espace des hypothses sil
spcifie les hypothses que nous voulons vrifier. Il est utile aussi
de distinguer deux classes de problmes, appeles estimation et
choix de modle. Lestimation tudie les consquences du choix dun
modle particulier, suppos vrai , alors que le choix de modle
a pour but den retenir un par comparaison avec un ou plusieurs
autres.
Dans un problme destimation, on suppose que le modle est
vrai pour une valeur (inconnue) de ses paramtres, et on explore
les contraintes imposes aux paramtres par les donnes. Lespace
des hypothses est alors lensemble de toutes les valeurs possibles
des paramtres, * = { x i }. Les donnes consistent en un ou
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms
plusieurs chantillons ; pour rendre le problme bien-pos, lespace
de tous les chantillons possibles, 6 = {y i }, doit tre aussi prcis.
Les espaces * et 6 peuvent tre tous deux discrets ou continus.
Dsignant par x 0 la vraie valeur du paramtre, nous pouvons nous
attaquer au problme destimation en calculant la probabilit que
chacune des valeurs possibles du paramtre soit la vraie valeur.
Dsignons par D la proposition affirmant les valeurs des donnes
exprimentales rellement observes, par H la proposition x 0 = x
affirmant que lune des valeurs possibles du paramtre, x, est la vraie
valeur x 0 , et par I lenvironnement logique du problme. Cest cet
environnement logique qui dfinit notre problme en spcifiant
lespace des hypothses, lespace des donnes, comment les hypo-
thses (valeurs des paramtres) et les donnes sont relies, et toute
information supplmentaire que nous pourrions avoir sur les hypo-
thses ou les donnes. Nous pourrions dfinir I comme la
proposition affirmant :
1o que la vraie valeur du paramtre est dans * ;
2o que les donnes observes consistent en N chantillons de
lespace 6 N ;
3o la manire dont les paramtres sont relis aux donnes (le
modle direct A ) ;
4o toute information supplmentaire. Bien entendu, la nature
physique des paramtres et des donnes est spcifie implicite-
ment dans *, 6 et A.
La premire tape dans toute mthode dinfrence statistique
destine rsoudre un problme tel que (3) consiste choisir une
distribution de probabilit dcrivant notre information ou notre
incertitude sur les erreurs b : q (b | I ). Cest une tape essentielle
puisquelle permet den dduire la distribution directe, ou
dchantillonnage :
p (y | x, I ) = q (y Ax | I ) (36)
Dans la trs grande majorit des cas, on choisit une distribution
gaussienne centre pour les erreurs, indpendante de x, ce qui
donne :
p ( y | x , I ) = [ ( 2 )N R ] 1/2 5 1
exp ----- y Ax
2
2
R 1 6
o R dsigne la matrice de covariance de la distribution q (b | I ).
Elle est souvent diagonale, voire mme proportionnelle lidentit.
Une question se pose immdiatement : quel sens doit-on donner
un tel choix et dans quelles situations un tel modle est-il
appropri ?
Avec une interprtation frquentiste dune probabilit, la distribu-
tion pour le bruit devrait tre la distribution de frquence de ses
valeurs dans un trs grand nombre de rptitions des mesures. Elle
est alors justifie par rfrence au thorme central limite qui dit,
sous des conditions assez larges, que si le bruit dans un chantillon
des donnes rsulte dun grand nombre deffets lmentaires
cumuls, alatoires et indpendants, la distribution gaussienne
est une bonne approximation de sa vritable distribution de
frquence. Mais, except les fluctuations dorigine lectronique dans
une chane de mesure, le bruit nest pas en gnral le rsultat dun
grand nombre deffets indpendants (songeons par exemple aux
erreurs de discrtisation qui dpendent de la solution x 0 ). De plus,
pour pouvoir effectuer une infrence avec cette interprtation, il
serait ncessaire que nous disposions de nombreux rsultats
dautres mesures pour pouvoir dterminer ces frquences, ce qui
est une situation exprimentale extrmement rare.
Cette hypothse gaussienne nest donc pas une hypothse sur
le caractre alatoire du bruit. Nous ne prtendons nullement que
le phnomne donnant naissance au bruit soit vritablement ala-
toire et suive une distribution gaussienne. Ce nest mme pas une
hypothse proprement parler ; cest plutt le choix le moins
compromettant ou le plus conservateur que nous puissions faire
pour la distribution du bruit dans une situation dincertitude. Nous
supposons ici deux choses, 1o que le bruit peut prendre toute valeur
relle mais quil est de moyenne nulle, cest--dire quil ny a pas
TE 5 235 13
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________
derreur de mesure systmatique (ou que sil y en a, nous avons t
capables de la dtecter et de la corriger), et 2o que nous nous
attendons ce quil y ait une chelle typique du bruit, cest--dire
que les grandes contributions du bruit ne sont pas aussi probables
que les petites.
Autrement dit, nous pensons que la distribution pour le bruit doit
avoir une moyenne nulle et un cart-type fini, mme si nous navons
pas dide prcise de la valeur de ce dernier. Par contre, nous navons
aucune ide de lexistence ou non de cumulants dordre suprieur
deux. Dans ces conditions, le choix le moins compromettant
vis--vis des caractristiques que nous ignorons que lon peut
justifier formellement par des principes informationnels [26] est
celui dune distribution gaussienne. Et si lon suspecte que les
composantes du bruit affectant les N chantillons ont des chelles
diffrentes ou sont corrles, on peut prendre en compte ces infor-
mations par lintermdiaire de la matrice de covariance de la
distribution. Il nest pas ncessaire den spcifier la valeur, mais si
elle est inconnue, ses lments, regroups dans un vecteur dhyper-
paramtres u , viendront en gnral compliquer le problme. On les
appelle paramtres de nuisance pour cette raison.
Ce choix pour la distribution du bruit est appropri chaque fois
que cette information est tout ce que nous savons du bruit. Comme
cest une situation frquente, il est souvent fait. Si nous avons des
informations supplmentaires sur le bruit, qui nous conduiraient
choisir une distribution non gaussienne, nous pouvons les inclure
de la mme manire, mais cela ne conduira des rsultats nettement
amliors que si la distribution diffre nettement dune gaussienne.
Il existe ainsi des situations comme limagerie faible taux de
comptage de particules o les donnes sont entires et de faible
valeur. Le choix dune distribution poissonnienne peut alors
amliorer les rsultats.
4.3 Maximisation de vraisemblance
Munis de cette seule distribution directe p (y | x, u , I ), nous
pourrions dfinir la solution du problme inverse comme tant celle
du maximum de vraisemblance, la vraisemblance tant la distribu-
tion directe dans laquelle la variable y prend sa valeur observe et
le paramtre x devient la variable :
MV = arg max p 1 y | x , u , I 2
^
x
x*
La solution des moindres carrs est un cas particulier de celle du
maximum de vraisemblance, lorsque la distribution directe est
gaussienne :
x MC = arg min [ y Ax ] t R 1 [ y Ax ]
^
x*
Introduite de cette manire, il sagit toujours dune mthode des
moindres carrs pondrs (par la matrice R 1) qui possde la
proprit indispensable dinvariance par changement dunits dans
* et 6 . Dans beaucoup de situations simples, cette mthode dinf-
rence fournit toute linformation recherche, mais dans les
problmes inverses dont la paramtrisation nest pas parcimo-
nieuse, la distribution directe ne contient pas toute linformation
ncessaire pour rendre le problme bien-pos et elle ne fournit pas
tout lappareil technique ncessaire au calcul.
Dans le cas particulier dun problme indtermin y = Ax o A
est singulier (problme dit dinversion gnralise ), il ny a pas de
bruit , et donc pas de distribution directe, sauf dans le sens
rudimentaire o p (y | x, I ) est constant si x est dans la classe #
des antcdents possibles de y, et nul sinon. La vraisemblance
tant constante dans la classe # , sa maximisation ne nous est
daucune aide pour choisir dans cette classe. La difficult du pro-
blme ne rside pas dans la prsence dun bruit alatoire per-
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 14 Techniques de lIngnieur, trait Tlcoms
turbant les donnes, mais plutt dans le fait que notre information
soit incomplte, bien quessentiellement non bruite.
Dans le cas linaire (3), la matrice A du problme direct
est souvent mal-conditionne. Loprateur de rsolution
^
A + = (A t R 1 A ) R 1 A t est instable et la solution x MV = A + y , est
inacceptable : lamplification du bruit est excessive.
Le problme peut avoir des paramtres de nuisance sans intrt
pour nous, et en grand nombre. Ainsi, lorsque la matrice R est
pleine, il vient sajouter N (N 1)/2 hyperparamtres qui, lorsquils
sont inconnus, doivent en gnral tre estims par maximum de
vraisemblance comme les paramtres dintrt x, et le maximum
global peut alors ntre plus un point mais toute une rgion.
Nous pouvons avoir une information hautement pertinente sur la
solution recherche. Par exemple, nous pouvons savoir quelle doit
tre positive, ou quelle doit satisfaire certaines contraintes (comme
en imagerie astronomique o lintgrale de lobjet peut tre connue
par ailleurs), ou quelle est constitue de rgions homognes
spares par des contours nets. De telles informations ne sont pas
contenues dans la distribution directe et il serait dommage de ne pas
en tenir compte.
Dans beaucoup de problmes, il est ncessaire de disposer non
seulement dune solution, mais aussi dune mesure de la confiance
lui accorder. Munis de la seule distribution directe (36), les inter-
valles de confiance fournis par lapproche frquentiste ne nous
renseignent que sur le comportement long terme de la solution,
cest--dire sur son comportement moyen dans un trs grand
nombre de rptitions de lexprience. Or nous ne disposons que des
rsultats dune seule exprience, dailleurs trs souvent non
reproductible.
Enfin, lestimation des paramtres dun modle suppos valable
nest souvent quune tape, et lon peut avoir besoin de juger les
mrites relatifs de diffrents modles.
Il est donc ncessaire daller au-del de linfrence par maxi-
mum de vraisemblance. Toutes les extensions voques prc-
demment sont automatiquement fournies par lapproche
baysienne.
4.4 Infrence baysienne
Linfrence baysienne est ainsi nomme parce quelle fait un
large usage de la rgle de Bayes, consquence elle-mme dune
rgle fondamentale du calcul des probabilits, la rgle du
produit [27]. Soit H une hypothse dont nous voulons valuer la
vracit, D un ensemble de donnes en rapport avec cette hypo-
thse, et I une proposition dfinissant lenvironnement logique du
problme. La rgle du produit stipule que :
P (H D | I ) = P ( H | D , I ) P (D | I ) = P ( D |H , I ) P ( H | I )
o, par exemple, P (H | D, I ) dsigne de manire habituelle la
probabilit que H soit vraie sachant D et I. On en tire la rgle de
Bayes :
P (H | I ) P (D | H , I )
P (H | D , I ) = -----------------------------------------------------------
P (D | I )
qui nest rien dautre quune rgle dapprentissage : elle nous dit
comment nous devons ajuster la probabilit attribue la vracit
dune hypothse lorsque notre tat de connaissance change avec
lacquisition de donnes. La probabilit a posteriori pour H,
P (H | D, I ), est obtenue en multipliant sa probabilit a priori, P (H | I ),
par la probabilit davoir observ les donnes D en supposant lhypo-
thse vraie, P (D |H, I ), et en divisant le tout par la probabilit davoir
observ les donnes indpendamment du fait que lhypothse soit
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE
vraie ou non, P (D | I ). Ce dernier terme, parfois appel vrai-
semblance globale, joue le rle dune constante de normalisation.
Une part importante de linfrence statistique est fonde sur
lemploi dune information a priori sur les grandeurs estimer, qui
vient sajouter linformation apporte par les donnes. Il nest donc
pas surprenant, si lon se rfre la nature profonde du principe
de la rgularisation expos au paragraphe 3, quelle prsente un lien
troit avec linfrence baysienne.
Dans le cas dun problme inverse tel que (3), et en supposant que
les distributions de probabilit concernes sont densit, linfor-
mation a priori sur lobjet x sexprime, dans un contexte baysien,
sous la forme dune densit de probabilit a priori p ( x | u ) . La rgle
de Bayes nous permet de la combiner avec linformation contenue
dans les donnes pour obtenir la loi a posteriori :
p (x | u ) p (y | x , A , u )
p (x | y , A , u ) = -------------------------------------------------------------------
p (y | A, u)
Dans cette quation, u est un vecteur dhyperparamtres
constitu des paramtres des distributions a priori des erreurs et
de lobjet, et p ( y | x , A , u ) dsigne la loi des donnes condi-
tionne par la vraie solution x. Elle est compltement dtermine
par la connaissance du modle direct (3) et de la loi de probabilit
du bruit. Le dernier terme assure la normalisation de la loi a
posteriori :
p (y | A, u) = Ep y ( | x, A, u ) p (x | u ) dx
Lapproche baysienne fournit ainsi une rponse claire et sans
ambigut au problme de linversion des donnes exprimentales :
aprs avoir observ les seules donnes y, lincertitude sur lobjet x
est entirement dcrite par la distribution de probabilit (37). Mais
tant donn une distribution de probabilit pour un paramtre x,
continu ou discret, quelle meilleure estimation peut-on en faire,
et avec quelle prcision ? Il ny a pas de rponse unique cette
question ; le problme relve de la thorie de la dcision qui rpond
la question Que devons-nous faire ? Cela implique des juge-
ments de valeur et va par consquence au-del des principes de
linfrence qui rpond seulement la question Que savons-
nous ? On peut ainsi dduire de (37) aussi bien un estimateur ponc-
tuel quune rgion dincertitude [4] [19]. Un choix destimateur trs
frquent consiste attribuer x la valeur qui maximise la distribution
a posteriori :
MAP = arg max p (x | y , A , u )
^
x (39)
x ^ ( x ) = Dk x
Mais ce nest quune des solutions possibles. Cette estimation
MAP correspond la minimisation dun cot de dcision moyen avec
une fonction de cot tout-ou-rien, limite (lorsque 0) du cot
moyen P ( ^ x x 0 > ) . Dautres fonctions de cot ont soulev lint-
rt dans le cadre de la modlisation des images par champs marko-
viens. Elles conduisent maximiser des probabilits marginales [4]
[28].
4.5 Liens avec les mthodes
dterministes
Dans le cas qui nous intresse ici, cest--dire un problme inverse
en dimension finie, il est clair que rgulariser selon le principe
gnral indiqu au paragraphe 3.2, et donc minimiser un critre tel
que (25) est quivalent choisir limage qui maximise la loi
a posteriori suivante :
& ( y Ax ) + ^ ( x )
5 6
p ( x | y, A , u ) exp --------------------------------------------------------
- (40)
2 2
o 2 dsigne la variance du bruit. Cette loi de probabilit nest quun
des choix possibles puisque toute fonction strictement monotone
autre que lexponentielle aurait convenu. Mais ce choix convient
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms
particulirement bien ici puisque avec le modle linaire (3), sous
les hypothses usuelles de normalit et dindpendance du bruit,
ds lors que & est une norme euclidienne, la loi conditionnelle
p ( y | x, A , u ) est rellement :
p ( y | x, A , u ) exp 5 ( 1/2 2 ) & ( y Ax ) 6 (41)
Pour que lanalogie soit complte, la loi a priori doit aussi pren-
dre la forme suivante :
p ( x | u ) exp 5 ( /2 2 ) ^ (x ) 6 (42)
et il faut, pour quelle soit rigoureuse, que la loi a posteriori (40)
soit propre, une condition suffisante tant que (41) et (42) le soient
elles aussi.
Beaucoup de fonctions dnergie locale utilises en traitement
(37) dimage ont t introduites dans un cadre baysien : elles dfinissent
x comme un champ de Markov [28] [29] [30]. Mais bien que le point
de vue nergtique soit aussi reprsent dans la communaut des
traiteurs dimage, tous les critres de la forme (25) sont formellement
rinterprtables dans un cadre baysien. La question nest pas de
savoir si linterprtation baysienne reprsente une justification des
autres approches, mais plutt de voir ce quelle apporte en rponse
aux problmes voqus prcdemment. En plus de sa grande coh-
rence, elle fournit des outils originaux pour le choix des hyper-
(38)
paramtres (marginalisation ) et pour la minimisation du critre
compos (algorithmes pseudo-alatoires ), et la varit des cots
quelle permet dutiliser conduit des solutions qui nont pas
dquivalent dans le cadre nergtique (rgression ).
4.6 Cas linaire et gaussien
Les lois gaussiennes, associes des modles directs linaires,
fournissent une structure linaire destimation, donc un cadre algo-
rithmique extrmement commode. En revanche, elles ne permettent
dincorporer que des informations frustes, fondamentalement limi-
tes des caractristiques dordre 2. Ainsi, dans la thorie standard
de la rgularisation [17], le choix dun terme quadratique de fidlit
2
aux donnes : & ( y Ax ) = y Ax P quivaut celui dune
distribution normale pour le bruit : q (b | R b , I ) 1 (0, R b ), avec
R b P 1. De mme, le choix dune pnalisation quadratique :
2
quivaut lui aussi celui dune distribution a priori
normale pour lobjet : p (x |Rx , I ) 1 (0, Rx ), avec R x ( D tk D k ) 1,
en supposant bien sr que la matrice D tk D k soit dfinie positive.
La rgularisation dterministe linaire quadratique est donc
rigoureusement quivalente lestimation linaire gaussienne. La
solution est explicite :
x = ( A t R b1 A + R x1 ) 1 R b1 A t y
^
(43)
et prsente la caractristique remarquable dtre une fonction
linaire des donnes y. Il est donc intressant de ltudier dans le
domaine de Fourier dans le cas particulier o A dsigne une
convolution discrte (circulante) et o les signaux sont supposs
stationnaires ( corrlations circulantes) [1]. Si lon dsigne respecti-
^
vement par Y ( ), H ( ), X ( ) , gx ( ) et gb ( ) les transformes de
Fourier discrtes des donnes, de la rponse impulsionnelle du
systme dobservation, de la solution rgularise, de sa fonction de
corrlation et de celle du bruit, on voit que :
^
X () = W ()Y ()
o :
H ( ) 2 gx ( ) 1
W ( ) = ------------------------------------------------------------
- --------------- (44)
H ( ) 2 gx ( ) + gb ( ) H ( )
TE 5 235 15
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________
est analogue la fonction de transfert en frquence dun filtre de
Wiener. Le filtre de restauration est donc constitu de la mise en cas-
cade dun filtre inverse (fournissant une solution nave et inaccepta-
ble) et dun filtre de lissage (empchant lamplification incontrle
du bruit dans la bande de frquence o |H ( )2 gx ( ) << gb ( )).
Cette inversion linaire quadratique ou linaire gaussienne occu-
pant une place prpondrante dans les problmes dinversion, une
raction courante est de dire : Les problmes inverses, ce nest pas
compliqu, il suffit de lisser les donnes avant dinverser. Cette
vision nest pas fausse et suffit pour beaucoup de problmes, mais
elle est rductrice, ne permet pas daller plus loin, et induit un
schma cascad qui nest justifi que dans le cadre linaire quadrati-
que. Ainsi, dans notre exemple de dconvolution dimage, la fonc-
tion de transfert H ( ) est la rponse frquentielle du systme
dobservation prsente sur la figure 3. Cette rponse tant du type
passe-bas, le filtre de Wiener qui fournit la solution rgularise
neffectue quune galisation spectrale dans une troite bande de
frquence, et ne peut donc restaurer le contenu spectral de lobjet
pour les frquences leves, ce qui est pourtant indispensable pour
restaurer les contours francs prsents dans limage originale. Nous
verrons plus bas comment on peut y parvenir, mais il faudra sortir du
cadre gaussien et la solution ne sera plus un filtrage linaire des don-
nes.
4.7 Choix des hyperparamtres
Linterprtation baysienne permet dtendre de manire appr-
ciable la gamme des mthodes de dtermination des hyper-
paramtres. Toutes les mthodes dcrites dans les paragraphes
prcdents ncessitent en effet, pour leur mise en uvre effective,
de choisir la valeur du coefficient de rgularisation , et plus
gnralement, de tous les hyperparamtres u dfinissant les
mesures de distance ^ et & : la variance du bruit, les paramtres
de corrlation de lobjet, et les paramtres des fonctions dnergie
locale. La dtermination de u est ltape la plus dlicate des
mthodes de restauration et de reconstruction dimage. Bien que ce
problme soit encore ouvert, lapproche baysienne fournit des
outils cohrents pour laborder.
Les hyperparamtres u constituent un second niveau de descrip-
tion du problme, indispensable pour rigidifier le premier niveau
constitu par les paramtres eux-mmes cest--dire lobjet x. Dans
un problme mal-pos, la valeur des hyperparamtres est
importante pour obtenir une solution acceptable, mais ne prsente
pas dintrt en soi. Dans une approche baysienne, on peut donc
distinguer deux niveaux dinfrence. Le premier infre sur x, pour
une valeur donne de u , au travers de la distribution a posteriori
de lquation (37). Le second infre sur u grce une relation
analogue :
p (u A ) p (y u, A )
p ( u y , A ) = -------------------------------------------------------- (45)
p (y A)
On retrouve dailleurs l une caractristique de lutilisation de la
rgle de Bayes : la vraisemblance p (y | u , A ) attache aux donnes
dans le second niveau est le coefficient de normalisation dans le
premier.
Si, comme cela est souvent le cas, ce terme est suffisamment
piqu , cest--dire si les donnes y contiennent suffisamment
dinformation, linfluence de la distribution a priori p ( u |A ) est
ngligeable, et le second niveau dinfrence peut tre rsolu par
maximisation de cette vraisemblance. Mais il faut pour cela rsoudre
un problme de marginalisation :
E p x, y u , A x
p (y u, A) = ( )d
= Ep y x u A p x u
( , , ) (
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 16 Techniques de lIngnieur, trait Tlcoms
Log-vraisemblance
0
-100
-200
-300
3 2
1 2
lg 0 -1 0,5 1 1,5
k
-2 0
Allure de la log-vraisemblance marginale en fonction des
hyperparamtres k (ordre de la contrainte de douceur) et
(coefficient de rgularisation)
Figure 11 Modle AR-long
Une telle intgrale conduit trs rarement un rsultat explicite.
Une exception remarquable est fournie par une distribution
conjointe p (x, y | u , A ) gaussienne, ce qui est justement le cas de
lanalyse spectrale avec un modle autorgressif long [31].
On constate en effet, avec les mthodes usuelles du
paragraphe 3.1, que laugmentation de lordre d du modle AR
permet de mieux faire ressortir les pics correspondant aux trois sinu-
sodes effectivement prsentes dans le signal de notre second
exemple, mais aux prix de lapparition de fluctuations importantes
dans le spectre. Pour contourner le problme de la dtermination
de lordre, mal rsolu avec les critres usuels, on retient un modle
dordre maximal d = N 1 (modle AR-long ), et on contrle les
fluctuations erratiques du spectre en lui imposant une contrainte de
douceur en minimisant la mesure de rugosit dordre k :
E
+1/2
def k B ( ) 2
^ ( a ) = 5k [ B ( ) ] = ---------------------
- d (47)
1/2 k
o B ( ) est la rponse en frquence du filtre blanchisseur du
signal (23) :
N1
def
B ( ) = 1/ H ( ) = 1 a m exp ( 2j m ) (48)
m=1
On aboutit ainsi un problme des moindres carrs sous
contrainte, ou de minimisation dun critre compos (25) qui
possde une interprtation baysienne simple (40). Les paramtres
de rglage de la mthode ne sont plus lordre d du modle, mais
le degr k de douceur de la solution et le coefficient de rgularisation
. La dtermination de ces deux hyperparamtres par maximum de
vraisemblance marginale permet dobtenir une mthode non super-
vise.
Les rsultats obtenus sont prsents figure 11. On observe que
la nappe de log-vraisemblance ne prsente pas de maximum bien
net, et quil existe plutt une ligne de crte sur laquelle la vrai-
semblance varie peu. Autrement dit, sur cette ligne, une augmen-
tation de lordre k de la contrainte de douceur, accompagne dune
diminution conjointe du coefficient de rgularisation , ne change
pas notablement la valeur de la vraisemblance.
On observe donc consquemment quil est possible dobtenir,
pour des valeurs diffrentes de lordre k, des spectres voisins, tels
que celui qui est prsent figure 12. Ce phnomne peut sexpli-
quer qualitativement par le fait que la mthode doit raliser un
compromis entre la douceur ncessaire pour bien rendre laspect
rgulier du spectre du bruit, et labsence de douceur du spectre des
trois composantes harmoniques du signal. Avec ce type de signal
et ce mode de rgularisation, lamlioration attendue nest donc
(46)
) dx
pas vraiment convaincante, mme si le terme de rgularisation
permet effectivement de mieux contrler les fluctuations du spec-
tre dues laugmentation de lordre du modle.
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE
10
Spectre (dB)
0 une rptition virtuelle dexpriences alatoires ) ;
-10
-20
-30
-40
-50
0 0,1 0,2 0,3 0,4 0,5
Frquence relative
k=1 = 0,005
Figure 12 Spectre obtenu avec un modle AR-long
Pour contourner la difficult pose par le calcul explicite dune vrai-
semblance marginale, on peut introduire des variables caches
z qui viennent complter les observations y de manire que la
nouvelle vraisemblance p ( y , z | u , A ) soit plus simple calculer. On
est alors conduit maximiser des esprances conditionnelles par
des techniques itratives, dterministes ou stochastiques (algo-
rithmes EM et SEM) [32]. La ncessit de telles approches stochas-
tiques est apparue la suite de limpossibilit de mettre en uvre
des mthodes convergentes de maximisation de vraisemblance par
les techniques doptimisation classiques, la vraisemblance ntant
pas calculable.
On peut aussi remarquer que la distribution conjointe, ou vrai-
semblance gnralise :
p (y, x |u, A) = p (x |y, u, A) p (y u, A)
(49)
= p (y | x, u, A) p (x u)
rsume toute linformation propre au premier niveau dinfrence,
et vouloir en faire la maximisation conjointe par rapport x et u .
Le problme dintgration soulev par (46) est videmment va-
cu. Par contre, la vraisemblance gnralise na pas, en gnral,
dinterprtation statistique claire, et il peut mme arriver que lesti-
mateur correspondant ne soit pas dfini, la vraisemblance pouvant
ne comporter aucun maximum, mme local [33].
4.8 Modle a priori
Il est souvent reproch lestimation baysienne de dpendre de
la connaissance dun hypothtique vrai modle alatoire ayant
engendr lobjet reconstruire. Implicitement, pour formuler ce
reproche, il faut admettre que la ralit peut tre enferme dans
un modle mathmatique. Vaste dbat... Dans le cas de lapproche
probabiliste de linversion telle que nous la concevons, linter-
prtation frquentiste des probabilits entretient une confusion
fcheuse : il nous semble important de prciser que nos hypothses
probabilistes ne sont pas des hypothses sur le caractre
alatoire de lobjet, ou du bruit affectant les donnes, mais des
choix dun mode de reprsentation dune information a priori
incomplte ou dune connaissance incertaine compatible avec
loutil dinfrence choisi. Cette situation na dailleurs rien de
singulier puisquil est rare que dans un problme rel, linformation
a priori disponible le soit sous une forme directement adapte au
cadre thorique choisi pour le traitement.
Les avantages de lapproche baysienne ne rsident pas dans
linformation supplmentaire introduite par la priori : les inter-
prtations nergtiques, dterministes, de la fonctionnelle de rgu-
larisation ^ ( x ) du paragraphe 4.5 montrent quelle ne lui est pas
propre, et linformation introduite sur les paramtres de nuisance
est diffuse la plupart du temps. En revanche, lapproche baysienne
donne accs une couche doutils qui nexiste pas dans les autres
approches :
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms
la marginalisation (on intgre simplement ce qui ne nous
intresse pas hors du problme, au lieu dtre oblig dimaginer
la rgression (lesprance conditionnelle na pas dquivalent
dans les autres approches) ;
lchantillonnage stochastique (mthodes de Monte Carlo,
algorithmes de recuit simul, algorithmes gntiques) qui ne peut
se concevoir sans cela.
Cela dit, la conversion de cette information a priori en une
distribution de probabilit est un problme difficile, encore large-
ment ouvert en statistique. Pour les paramtres de lobjet x, la priori
est souvent choisi de manire pragmatique ( 4.8.1). Il existe
cependant des rgles formelles qui conduisent des choix raison-
nables [34] [35] [36], et sont surtout utilises pour les paramtres
de nuisance. Elles mnent souvent des a priori impropres, qui ne
posent pas de difficult particulire quand ils sont correctement
manipuls [37]. En voici quelques exemples.
Certaines mthodes reposent sur la thorie des groupes de trans-
formation pour dterminer la mesure de rfrence naturelle
pour le problme et satisfaire certains principes dinvariance. Mais
en pratique, cette approche na gure permis que de justifier aprs
coup lemploi de la mesure de Lebesgue pour les paramtres de
localisation (fournissant ainsi une extension au cas continu de la
distribution uniforme rsultant de lapplication du principe
dindiffrence de Bernoulli dans le cas discret) et de la mesure de
Jeffreys dans le cas des paramtres dchelle [37].
Dautres mthodes reposent sur des principes informationnels. Il
sagit principalement des mthodes dites maximum dentropie
dans lesquelles on recherche une distribution qui soit la plus proche
dune distribution de rfrence (au sens dune distance de Kullback)
tout en vrifiant une information incomplte connue a priori [26] [38].
Mais l encore, cette approche a surtout permis de justifier aprs
coup certains choix. De plus, elle nest vritablement praticable que
lorsque cette information a priori est faite de contraintes linaires sur
la distribution recherche (moments). On travaille alors dans la
famille des distributions exponentielles.
Un autre principe formel consiste utiliser des a priori conjugus,
famille de lois telles que les distributions a posteriori correspon-
dantes soient aussi dans la famille [34]. Cela ne prsente dintrt
que si ladite famille est aussi petite que possible, et paramtre. Dans
ce cas, le passage de la priori la posteriori, par application de la
rgle de Bayes, se rduit la mise jour des paramtres. Lintrt de
cette mthode est essentiellement dordre technique puisque la pos-
teriori est toujours calculable, au moins jusqu un certain point. On
peut aussi lui trouver une justification partielle par un raisonnement
dinvariance : si les donnes y modifient p (x | I ) en p (x | y, I ),
linformation apporte par y sur x est videmment limite ; elle ne
devrait pas conduire une modification de toute la structure de
p (x | I ), mais seulement de ses paramtres. Mais il est clair que la
principale motivation est sa commodit demploi. Les a priori
conjugus sont habituellement associs des distributions directes
particulires qui permettent toujours de les tablir, ce sont les
familles exponentielles [39]. Le caractre automatique de cette
mthode de choix est cependant trompeur, des hyperparamtres
supplmentaires apparaissent invitablement, quil faut aussi rgler.
Nous allons plutt nous intresser ici une dernire classe trs
importante, celle des constructions faites la main , cest--dire
qui ne sappuient pas sur des principes de porte gnrale comme
les prcdentes, mais introduisent de manire pragmatique des
modles probabilistes traduisant au mieux les proprits attendues
des solutions, au cas par cas. Cest dans cette catgorie quentrent
les modles markoviens qui ont connu un dveloppement spectacu-
laire en imagerie depuis 1984 [29], et qui permettent dincorporer
dans une distribution a priori des proprits locales essentielles que
doit possder lobjet. La construction de ces modles demande beau-
coup de savoir-faire. Aussi, avant dillustrer ces derniers avec notre
premier exemple ( 4.8.2), nous commencerons par reprendre le
TE 5 235 17
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

second, celui de lanalyse spectrale ( 4.8.1), afin dillustrer simple-

ment quelle peut tre linfluence dun modle a priori sur le rsultat 10

Spectre (dB)
dune inversion. 0
-10
-20
-30
4.8.1 Analyse spectrale -40
-50
Le principal obstacle lobtention dune rsolution suffisante -60
avec les mthodes danalyse classiques du type priodogramme -70
0 0,1 0,2 0,3 0,4 0,5
tant le nombre limit dchantillons disponibles, une approche Frquence relative
trs diffrente de linversion gnralise du paragraphe 2.2, ou de
Extrapolation sur M = 1024 points
la modlisation autorgressive du paragraphe 3.1, consiste abor-
der le problme comme celui dune extrapolation de signal [40],
cest--dire rechercher un vecteur valeurs complexes Figure 13 Spectre obtenu avec un a priori de Cauchy
X = [X 1 , X 2 , ..., XM ]t, de dimension M >> N , et tel que lon ait :

y = FX (50)
o F est une matrice de Fourier rectangulaire dlments
20

Spectre (dB)
1
F n , m = ------- exp ( 2j nm / M ) et de dimensions (N M ). Ce problme
M
10
est donc toujours mal-pos puisque indtermin, mais cette fois de
dimension finie. Comme on peut, par TFD inverse, associer au 0
vecteur complexe recherch X un vecteur rel x de mme longueur
M, trs suprieure celle du vecteur des donnes y, le problme -10
peut tre effectivement vu aussi comme un problme dextrapolation
de signal. On choisit de la rgulariser de la manire dsormais -20
habituelle (40) :
-30
^
2
X = arg min { y F X 2 + ^ (X) } (51) -40
0 0,1 0,2 0,3 0,4 0,5
o ^ ( X ) est la fonctionnelle de rgularisation choisir. Cela est, Frquence relative
nous lavons vu ( 4.5), quivalent rechercher le mode (MAP)
dune distribution a posteriori :
Figure 14 Spectre obtenu avec un mlange dans la priori
p (X y, u) p (X u) p (y X, u)

o la vraisemblance p ( y X , u ) serait de la forme normale

habituelle :
3 4
2 N /2 1 2
p (y X, u) = (2 d) - yFX
exp ------------
2 2
2 d
X C M , y R N , mais il faut bien voir cependant quune telle vrai-
semblance ne peut pas sinterprter comme une version dcentre
dune distribution de probabilit pour des erreurs :
p (y X, u) = q (y F X u)
puisquil ny a aucun bruit dans notre problme celui-ci scrit
en effet y = F X et non pas y = F X + b et, partant, aucune distribu-
tion directe, sauf dans le sens rudimentaire o P (y (n ) | X ) = 1 ou
0 selon que X est, ou pas, compatible avec les donnes y (n ). Les
donnes observes y nous disent seulement que le vrai X 0 doit
tre dans la classe # pour laquelle P (y (n ) | X ) = 1. La vraisem-
blance prsente donc un plateau horizontal, pour tous les X # ,
ce qui explique que la recherche dune solution au maximum de vrai-
semblance soit sans issue. Cest le choix dune distribution a priori
pour X qui permettra, ventuellement, dobtenir une distribution a
posteriori p (X | y , u ) suffisamment pique pour pouvoir prendre
une dcision.
On a montr par (26) que le choix dun a priori gaussien pour X
nous ramne la solution du priodogramme cest--dire une
extrapolation par des zros et quil faut choisir une distribution
longue queue pour aller au-del. Plusieurs choix sont possi-
bles [41], et [40] propose une loi de Cauchy, parfaitement utilisable
malgr la non existence de ses moments, caractristique bien
connue et lorigine de la maldiction dont elle semble frappe en
statistique frquentiste. On choisit un coefficient de rgularisation
nul, et le seul hyperparamtre rgler est le paramtre dchelle
de la loi de Cauchy.
Un exemple de rsultat obtenu est prsent (figure 13). Les trois
frquences pures du signal sont trs bien localises et leurs ampli-
tudes respectives bien restitues. On remarquera aussi la dynami-
que de lamplitude du spectre estim. Par contre, la composante
du spectre due au bruit nest pas trs bien rendue, mme si lenve-
loppe des pics correspondants en donne une ide correcte. Cela
provient bien sr du choix de la loi a priori pour X qui est spara-
ble, ce qui convient trs bien pour des composantes harmoniques
sans rapport entre elles, mais ne permet pas de traduire les pro-
prits de continuit frquentielle et de variation douce de la
composante spectrale due au bruit. Il faudrait raliser un
mlange dans la fonctionnelle de rgularisation. Cette voie a
t explore [42], avec les rsultats prsents (figure 14) et on se
reportera [42] pour la description de la mthode.
4.8.2 Restauration dimage
Dans le cas de la dconvolution (premier exemple), nous avons
vu au paragraphe 3.2 que la rgularisation linaire-quadratique ne
permettait pas de restaurer correctement les contours francs
prsents dans lobjet original. Linterprtation baysienne du
paragraphe 4.6 nous en a fourni une explication : le choix dun
modle a priori implicitement gaussien et stationnaire pour limage
inconnue conduit effectuer, lors de linversion, un filtrage linaire
des donnes, et celui-ci est finalement un compromis entre le filtrage
inverse ncessaire pour restituer des contours francs et le lissage
accentu ncessaire pour limiter linfluence du bruit. Le rsultat
aboutit, dans ce contexte linaire, neffectuer quune galisation
spectrale dans une troite bande de frquences, en raison du carac-
tre passe-bas du systme dobservation. Il faut donc, pour aller
au-del, quitter ce cadre linaire en adoptant un modle a priori plus
appropri.

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 18 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

Un modle gaussien stationnaire nest effectivement pas bien

adapt la description dune image telle que celle de la figure 1,
constitue essentiellement de zones plutt homognes spares par
des contours plutt francs. De faon gnrale, la traduction
quantitative de proprits locales dune image (rgions homognes
spares par des contours, par exemple) peut tre envisage dans
le cadre trs large des fonctions dnergie qui ont t introduites
en traitement dimage en considrant que lobjet x est, comme le
bruit, une ralisation dune variable alatoire [28] [29]. Un pralable
consiste dfinir un systme de voisinages {di } dans lequel di est
la collection des pixels qui sont supposs interagir directement avec
le pixel i. Une caractristique frquente de nombreuses images est
quil est trs probable que les valeurs des intensits en des sites
voisins soient elles-mmes voisines. Pour traduire cette proprit
attendue, on peut choisir, titre dexemple lmentaire, des nergies
locales de la forme :

V ( xi , xj ) = xi xj 2 j di
(52)
= 0 sinon
Ces nergies de liaison, calcules sur tous les pixels voisins, sont
ajoutes pour dfinir lnergie de limage :
Figure 15 Dconvolution convexe L 21
9( x ) = V ( xi , xj ) = Vk ( x )
i j k

Vk est lnergie associe au k e ensemble de pixels voisins, et k indexe
lensemble de toutes les paires de sites voisins. Lide suivie dans
cette construction est que 9 ( x ) doit tre faible pour les images qui
vrifient les proprits que lon veut utiliser pour dfinir la priori,
cest--dire dans cet exemple, les images dont les pixels voisins ont
tendance avoir les mmes valeurs dintensit.
Mais les fonctions dnergie peuvent aussi traduire dautres
proprits, telles que lexistence de rgions presque uniformes
spares par des contours marqus. Pour modliser ces ruptures
dhomognit, limage idale est alors considre comme une paire
(x, t ) associant un vecteur dintensit des pixels x, qui serait direc-
tement observable avec un instrument parfait, un vecteur t de
variables supplmentaires caches traduisant des caractristiques
inobservables telles que la prsence dun contour, dune texture, etc.
On dfinit ensuite une nergie globale de la forme :
^ ( x , t ) = 9x ( x ) + 9t (t ) + 9xt ( x , t )
compose de trois termes : un terme dintensit 9x ( x ) , un terme
de contour 9t (t ) et un troisime terme 9xt ( x , t ) qui dcrit les
interactions ncessaires entre les contours et les pixels [29]. Ces
nergies locales ont des liens troits avec la physique statistique
et les distributions de Gibbs qui ont la forme suivante :
p ( x , t ) = exp { 9 ( x , t ) / T } o T est un paramtre de tempra-
ture. Dans le domaine de la segmentation dimage, des formes
spcifiques de variables de contour ont t introduites pour obtenir
des contours ferms. Les variables caches constituent un moyen
trs puissant dincorporer une information a priori labore [29].
Un autre moyen de mieux prserver les discontinuits dans un
objet que ne le font les mthodes de rgularisation employant des
critres quadratiques, consiste employer des nergies non
quadratiques [43]. Le principe est dutiliser une fonction qui crot
moins vite quune parabole, afin de moins pnaliser les variations
importantes. Elles sont essentiellement de deux types :
les fonctions L 21 , cest--dire les fonctions convexes,
continment diffrentiables, de comportement quadratique
lorigine, asymptotiquement linaires, et dont un exemple typique
est la branche dhyperbole ;
les fonctions L 20 qui diffrent des prcdentes en tant
asymptotiquement constantes, et donc non convexes.
Les premires offrent lavantage dtre convexes, si bien que les
techniques standards de minimisation sont assures de converger
( 5), et de fournir une certaine robustesse la solution [30]. Les
autres permettent de dtecter rellement les discontinuits, mais
au prix dune certaine instabilit et dun cot calculatoire lev
[44].
Pour notre exemple en dconvolution dimages, la figure 15
prsente un exemple typique de rsultats obtenu partir de
pnalisation convexe L 21 . Cette solution minimise un critre rgu-
laris ( (x ) de la forme (25). La fonction & est la norme quadratique,
le terme dadquation aux donnes demeure donc un terme de
moindres carrs, comme nous en avons dj rencontr. En revanche,
la fonction ^ est btie sur la base dune fonction L 21 hyperbolique :
( (x ) = y Ax 2 + ( xi xj ) (53)
i, j
avec (u ) = s 2 + u 2 . Ce rsultat laisse apparatre sans quivoque
une amlioration par rapport la figure 10, obtenue par rgularisa-
tion quadratique. Les contours du manteau et de la chevelure du
personnage sont effectivement plus francs et les dtails de la camra
mieux rendus.
4.9 Choix de critres
Lapproche baysienne ramne linversion la dtermination
dune distribution a posteriori. Comme il nest pas envisageable de
calculer compltement de telles distributions, on se contente de
rechercher un estimateur ponctuel qui est souvent celui du maxi-
mum a posteriori. Dautres alternatives existent (maximum a pos-
teriori marginal, moyenne a posteriori, etc.), mais il est important
de bien valuer les consquences dun tel choix et de proposer, si
ncessaire, des alternatives.
La question peut tre valablement souleve de labsolue ncessit
dimposer que la solution soit continue par rapport aux donnes et,
par consquence, de la convexit des critres de rgularisation. Alors
que les approches quadratiques et entropiques sont bien connues
pour rendre les problmes inverses bien poss, la minimisation
dune fonctionnelle non convexe ne peut assurer que la solution soit
continue : une petite variation dans les donnes peut induire un
saut dune valle une autre, et donc une perte de continuit.
Mais, dans beaucoup de problmes, ces transitions sont non
seulement dsirables, mais ncessaires pour restaurer des dis-
continuits, des frontires, des interfaces, des points brillants, etc.
Un clairage diffrent peut tre donn ce problme en observant
que certains critres non convexes introduits en imagerie possdent
une expression quivalente impliquant des variables caches. Dans

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 19
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________
ce cas, le problme quitte lanalyse convexe et incorpore une certaine
dose danalyse combinatoire, ou de test dhypothse, ce qui relve
de la thorie de la dcision plus que de lestimation. Lanalyse
baysienne reste pertinente dans ce contexte de dtection-estima-
tion combines. Nombre de travaux rcents ont t engags dans
cette voie, combinant plusieurs niveaux de variables, mlangeant
descriptions bas et haut niveau, ou des donnes recueillies par
des modalits exprimentales diffrentes. Cest en ce sens que les
concepts classiques de la rgularisation, comme la continuit par
rapport aux donnes, ne sont plus totalement appropris et quun
effort dextension doit tre fait.
5. Mthodes de minimisation
de critre
La plupart des mthodes dinversion reposent, dune faon expli-
cite ou implicite, sur la minimisation dun critre. Suivant les
proprits de ce dernier, le cot du calcul effectif de la solution peut
varier dans des proportions trs importantes : typiquement, dun
facteur 1 000 entre la minimisation dun critre quadratique par
inversion dun systme linaire et la minimisation dun critre
multimodal par une technique de relaxation comme le recuit simul,
toutes choses gales par ailleurs. In fine, le choix de la bonne
mthode dinversion doit donc dpendre des moyens de calculs
disponibles. Encore faut-il savoir, pour un problme doptimisation
donn, quel algorithme mettre en uvre ; ainsi, dans la comparaison
prcdente, il serait possible, mais totalement inefficace, dutiliser
la technique du recuit simul pour minimiser un critre quadratique.
Un panorama non exhaustif des problmes doptimisation dans
le contexte des problmes inverses en traitement du signal et de
limage est ici propos, ainsi que des outils algorithmiques associs.
Elle ne prtend pas remplacer la littrature plus gnralement ddie
loptimisation, [45] ou [46] par exemple.
5.1 Minimisation de critre
pour linversion
^
Par minimisation dun critre, on entend : trouver x qui mini-
mise ( (x ) parmi les lments de X . Dans la suite, on se place
dans le cas de vecteurs rels : X R M .
Nota : le cas o x est une fonction (plus prcisment, le cas dun espace X de dimension
infinie) pose des difficults mathmatiques qui sont du ressort de lanalyse fonctionnelle.
Le critre ( et lensemble X peuvent dpendre : des donnes ;
de proprits structurelles (des termes additionnels dans lexpres-
sion de ( permettent de traduire des contraintes molles , tandis
que la spcification de X est susceptible dimposer des contraintes
dures ) ; dhyperparamtres grant le compromis entre adqua-
tion aux donnes et rgularit.
Ainsi, dans le cas de linverse gnralise ( 2.2), ( (x ) = x , et
X = { x , A t Ax = A t y } est lensemble des minimiseurs de
||y Ax ||. Ou encore, dans le cas de la spcification de critres
composites aborde au paragraphe 3.2 :
( (x ) = & ( y Ax ) + ^ ( x )
avec X= RM (cas non contraint)
M
ou X= R+ (contrainte de positivit)
Dans le cas du maximum a posteriori, lestimateur
maximise (40), donc il minimise lanti-log-vraisemblance a poste-
riori ln p (x | y , A , u ) , qui scrit encore (54), une constante
additive prs. En revanche, dautres estimateurs baysiens classi-
ques, tels que la moyenne a posteriori, rsultent dun calcul dint-
grale et non pas de la minimisation dune fonction.
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 20 Techniques de lIngnieur, trait Tlcoms
^
La dfinition formelle de x comme minimiseur dun critre
cache principalement trois niveaux de difficult, en termes de mise
en uvre, qui sont, par complexit croissante :
( est quadratique :
( = x t Mx 2 v t x + cte et X = RM
ou bien X est affine :
X = { x 0 + Bu , u RP , P < M } ;
( est une fonction convexe diffrentiable et X = R M ou un
sous-ensemble convexe (ferm) de R M ;
( na pas de proprit avre.
5.2 Cas quadratique
Dans la situation , avec X = R M et en supposant M symtrique
^ ^
et inversible, x est la solution du systme linaire M x = v de taille
M M, qui exprime lannulation du gradient ( ( x ^
) = 0 . Cest, par
exemple, le cas de lquation (43) obtenue dans le cadre linaire
gaussien du paragraphe 4.6.
Dans la variante contrainte un espace X affine, il suffit de
remplacer x X par son expression en u pour revenir la mini-
misation non contrainte dun critre quadratique, dans R P .
5.2.1 Techniques non itratives
Un nombre fini doprations suffit pour inverser tout systme
linaire : de lordre de M 3 oprations (et M 2 casse-mmoire) pour
un systme M M. Si la matrice normale M = {mij } possde une
structure particulire, le cot dinversion du systme est susceptible
de diminuer.
Ainsi, en traitement de signal, la stationnarit se traduit par le
caractre Tplitz de la matrice normale (cest--dire mij = j i ). En
traitement dimage sous hypothse stationnaire, la matrice normale
est doublement Tplitz (cest--dire compose de sous-matrices de
Tplitz, lagencement des sous-matrices tant lui-mme Tplitz).
Dans ces deux cas, on trouve des algorithmes dinversion cotant
de lordre de M 2 oprations et M cases-mmoire (algorithme de
Levinson), et mme des algorithmes encore plus rapides utilisant
la transforme de Fourier rapide, cotant seulement de lordre de
M ln M oprations. Lexpression spectrale du filtre de Wiener (44) se
prte ainsi particulirement bien une mise en uvre rapide, valable
dans le cas dune matrice normale circulante (cest--dire
mij = j i [modM ] ) [1].
Le caractre creux de la matrice normale peut galement tre
mise profit : si seulement ML coefficients de M sont non nuls, on
peut esprer ramener lordre du cot dinversion M 2 L opra-
tions, et ML cases-mmoire. Par exemple, la matrice normale
1 1
A t R b A + R x associe (43) est bande ( m ij = 0 si j i > , < M )
si A correspond au filtrage par une rponse impulsionnelle finie de
petite taille, avec R b diagonale (hypothse de bruit blanc) et
1 t
R x = D k D k . Une matrice bande est creuse, et L est du mme
ordre que , .
(54)
(55) 5.2.2 Techniques itratives
(56) Si le nombre dinconnues M est trs grand (par exemple, les pixels
en restauration dimage, ou les voxels pour des objets volumiques),
le cot de mmorisation des techniques non itratives devient sou-
vent prohibitif. Il est alors prfrable dutiliser une mthode point
^( i )
fixe, engendrant itrativement une suite x de limite x ^
= M 1 v .
Toutes les variantes classiques sont des techniques de descente,
cest--dire quelles vrifient ( ( ^x (i + 1) ) < ( ( x ^( i )
) . On peut distin-
guer trois familles.
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE
Techniques inconnue par inconnue
Une seule composante diffre entre ^ x ( i ) et x
^( i + 1 )
. On balaye
cycliquement les M composantes au cours des itrations. Cest le
principe de la mthode de Gauss-Seidel, appele encore coordinate
descent [46]. Elle peut tre gnralise un traitement par bloc des
composantes, et est dautant plus intressante, et partiellement
paralllisable, que A est creuse.
Techniques donne par donne
Une seule composante de y est prise en compte pour calculer
x ( i + 1 ) partir de ^ x ( i ) . On balaye cycliquement les N donnes au
cours des itrations, ce qui rend cette approche incontournable si
les donnes sont trop nombreuses pour tre traites simultan-
ment. Ainsi, les techniques de reconstruction algbrique (ART), his-
toriques en imagerie mdicale par tomographie rayons X,
suivent ce principe pour minimiser le critre des moindres carrs
|| y Ax || 2 [47]. Elles sont gnralisables au critre pnalis
|| y Ax || 2 + || x || 2 [48], peuvent traiter des blocs de donnes, et
sont dautant plus intressantes, et partiellement paralllisables,
que A est creuse.
Techniques globales
chaque itration, toutes les inconnues sont remises jour en
fonction de toutes les donnes. Les algorithmes de gradient sont des
prototypes dapproche globale : x ( i + 1 ) = x^( i ) ^( i )
(x ^( i )
) ( ( x
^
^( i ) ^( i )
avec ( ( x ) = 2 M x 2 v . Remarquons que la mthode de
Landweber ( 3.1) est en fait une technique de gradient minimisant
le critre non rgularis ||y Ax || 2. Les algorithmes de gradient
conjugu ou pseudo-conjugu sont des variantes convergeant plus
rapidement, dans lesquelles les directions successives de descente
combinent les gradients prcdemment calculs pour viter la
trajectoire en zig-zag du gradient simple [45]. Ces variantes sont du
premier ordre, donc dun encombrement mmoire rduit : elles
utilisent seulement les M drives premires (/ x m .
Quant aux techniques du second ordre, telles que les algorithmes
de Newton et quasi-Newton [45], elles sont trs rarement utilisables
car elles ncessitent le calcul (ou lapproximation) des M M
drives secondes 2 (/ x i x j et linversion dun systme linaire
chaque itration, ce qui est prohibitif pour la plupart des problmes
dinversion ralistes.
5.3 Cas convexe
Les critres quadratiques font partie de la famille plus vaste des
fonctions f convexes, cest--dire telles que :
x 1 , x 2 X , ]0, 1[ ,
( [ x1 + ( 1 ) x2 ] < ( ( x1 ) + ( 1 ) ( ( x2 )
avec X R M . De mme, X est un ensemble convexe si :
x 1 , x 2 X , ]0, 1[ , on a x 1 + ( 1 ) x 2 X
La spcification de critres convexes, mais pas forcment
quadratiques, offre un plus grand choix en terme de modlisation.
Ainsi, la pseudo-distance de Kullback (28) est convexe sur R + ; les
j = 1 ( xj xj + 1 )
fonctions de pnalisation markoviennes ^ ( x ) =
M On peut distinguer deux types dapproche. Dune part, les
M
sont convexes sur R si est une fonction scalaire convexe comme
2 2
(x) = s + x .
La minimisation de critres convexes non quadratiques, bien
que plus difficile et plus coteuse que celle des critres quadrati-
ques, reste tout fait compatible avec les moyens de calculs
modernes, do le recours de plus en plus frquent aux fonctions
de pnalisation convexes en restauration de signaux et
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms
dimages [43]. Commenons par rappeler quelques proprits fon-
damentales des critres convexes [46] :
un critre continu convexe ( est unimodal : tout minimum
local est global et lensemble de ses minimiseurs est convexe ;
si ( 1 ,( 2 sont convexes et 1 , 2 > 0 , alors 1 ( 1 + 2 ( 2 est
convexe ;
Nota : cette proprit explique pourquoi on sintresse la convexit plutt qu
lunimodalit : par exemple, le critre pnalis (54) est convexe (donc unimodal) si & et
^ sont convexes, alors que lunimodalit de & et de ^ ne suffirait pas pour garantir
lunimodalit du critre.
si ( est strictement convexe, il existe un et un seul minimiseur
^
x dans tout X convexe ferm (cest--dire que la frontire de X
lui appartient).
En revanche, si le critre est non quadratique, le minimiseur ^ x
est une fonction des donnes qui nest gnralement ni linaire, ni
explicite. De ce fait, les techniques non itratives dinversion de sys-
tmes linaires du paragraphe 2 nont plus cours. En revanche, les
trois familles de techniques itratives, fondes sur la diminution suc-
^
cessive du critre, engendrent des algorithmes convergeant vers x
si ( est convexe et diffrentiable si X = RM . Le cas dun critre
convexe mais non diffrentiable est un peu plus dlicat : les tech-
niques modernes, dites de point intrieur, approchent la solution en
minimisant une suite dapproximations convexes diffrentiables
[46].
),
Dautres familles de techniques convergentes sont aussi
envisageables : moindres carrs repondrs, baptiss aussi algo-
rithmes semi-quadratiques [43], ou encore les approches fondes
sur la maximisation dun critre dual [46] [49] [50]. La prsentation
de ces approches dpasse le cadre de cet article.
Si X est un sous-ensemble convexe ferm de RM , des adaptations
sont ncessaires : gradient projet ou gradient conditionnel dans la
famille des techniques globales [46], techniques de projection sur
des ensembles convexes [51] [52] dans la famille des techniques
donne par donne . Quant aux techniques inconnue par
inconnue , elles restent particulirement simples si les contraintes
sont sparables, cest--dire si X est un produit cartsien ; par
exemple, la positivit correspond X = R + R + . Enfin, certains
problmes contraints sont quivalents un problme non contraint
dans le domaine dual, ce qui justifie le recours aux mthodes duales.
5.4 Cas gnral
Dans le cas de critres non convexes, lexistence possible de
minima locaux rend lutilisation des techniques de descente hasar-
deuse, au sens o tout minimiseur local est un point fixe possible
^
pour la plupart de ces techniques. La convergence vers x plutt
que le pigeage par une solution locale dpend alors de linitiali-
sation. Plusieurs stratgies sont envisageables pour viter les
piges ; sauf exception, elles sont notoirement plus coteuses que
les mthodes de descente, sans pour autant garantir la convergence
vers le minimiseur global. Malgr labsence de garanties mathma-
tiques de convergence, certaines techniques sont cependant suffi-
samment robustes pour viter les solutions aberrantes. Elles
produisent alors des rsultats qui ne pourraient tre obtenus par
minimisation dun critre convexe, pour des applications telles que
M la segmentation dimage automatique ou la dtection dobjet.
mthodes dterministes privilgient la robustesse, faute de proprit
mathmatique de convergence. Ainsi, le principe de la non convexit
graduelle [53] [54] consiste minimiser de proche en proche une
suite de critres, laide dune technique de descente classique, en
commenant par un critre convexe et en terminant par le critre
non convexe. La robustesse de cette technique provient de la qualit
de la solution initiale, pour une mise en uvre dun cot et dune
complexit relativement faibles. Dautre part, les mthodes pseudo-
alatoires (recuit simul [29], mthodes de crible [55]) exploitent la
TE 5 235 21
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________
gnration dun grand nombre dalas pour chapper aux piges ;
le recuit simul possde des proprits de convergence (de type
probabiliste [29]), mais le cot de calcul lev de ces techniques
explique leur usage encore limit dans le cadre de la restauration
de signaux et dimages.
6. Questions plus avances
6.1 Inversion myope
Dans les problmes que nous avons tudis jusqualors, nous
avons suppos que le modle direct est parfaitement connu. En
pratique, il arrive souvent que ce modle dpende de paramtres
mal ou pas connus. On se trouve alors devant un problme dit
myope ou aveugle . Un exemple type est celui de dconvolu-
tion noyau inconnu. La dconvolution aveugle comporte un
obstacle dordre informationnel encore beaucoup plus svre que
celui de la dconvolution noyau connu. En effet, en labsence de
toute information a priori sur lobjet x et sur la rponse impulsion-
nelle h, il est videmment impossible de discriminer le couple (x,
h ) de tout autre couple (h 1 x, h 2) tel que h 1 h 2 = h. lextrme,
la solution dgnre (h x, I ) (o I est loprateur identit) joue
le rle dune candidate indsirable mais naturelle , dont il nest
pas forcment facile de se dbarrasser. Il sy ajoute, en gnral, une
indtermination sur la phase : frquence par frquence, objet et filtre
dobservation peuvent tre dphass dune quantit arbitraire
oppose sans affecter le rsultat de la convolution.
Une revue de la littrature actuelle [56] [57] [58] [59] peut pourtant
laisser penser que des solutions systmatiques, sans informations
a priori, existent.
Parmi les solutions souvent cites, [56] propose un estimateur de
maximum de vraisemblance joint (noyau, hyperparamtre) sous
hypothse dobjet x gaussien AR 2-D et de noyau RIF 2-D. Cette
mthode repose sur lidentification des coefficients dun processus
ARMA, modle rsultant pour limage observe. Mais le fonctionne-
ment pratique dune telle mthode semble trs alatoire, car il est
manifeste que ce sont les hypothses structurelles adoptes (lobjet
est un AR 2-D, le noyau est un filtre RIF 2-D) qui permettent ici de
lever lindtermination. Or ces hypothses correspondent des
modles trs grossiers. Dailleurs, de nouvelles informations struc-
turantes apparaissent en cours de route dans [56], pour pallier des
difficults qui sont faussement attribues des aspects numriques
ou algorithmiques. La source de ces difficults semble malheureuse-
ment beaucoup plus essentielle : lindtermination fondamentale
subsiste en labsence dinformations suffisamment structurantes. Si
de telles informations sont effectivement accessibles, il est excessif
de parler de dconvolution aveugle ; on pourra parler, par exemple,
de dconvolution myope.
On retrouve la mme ambigut dans des contributions plus rcen-
tes. Ainsi, dans [59], un estimateur de maximum a posteriori joint
(x, h )MAP est propos, et il est affirm en introduction : our algo-
rithm can recover both the images and psfs without any a priori
information on the psf . Un peu plus loin, diffrents couples solu-
^ lisation apporte la log-vraisemblance. Or, les problmes inverses
^
tions 1 x , h 2 sont obtenus pour diffrentes valeurs dun paramtre
de rgularisation 2 , illustrant implicitement lindtermination
fondamentale avec le commentaire : ... 2 can be chosen
proportionately according to the amount of desired deblurring .
Finalement, des informations a priori sont ncessaires pour choisir
2 , choix laiss loprateur.
Selon notre propre exprience en dconvolution myope pour
limagerie satellitaire, les rsultats pratiques ne peuvent tre que
parcellaires, et les mthodes statistiques maximum de vrai-
^ dont le calcul, comme dans toute mthode baysienne, implique des
semblance h MV , maximum a posteriori joint (x, h )MAP sont trop
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 22 Techniques de lIngnieur, trait Tlcoms
fragiles car dpendantes de modles a priori grossiers et dhyper-
paramtres rgler. Deux voies de recherche ralistes sont en cours
dexploration :
mthodes partiellement supervises o, par exemple, on utilise
une information pertinente sur lobjet (prsence de quelques zones
polygonales uniformes dans limage) pour estimer avec une grande
fiabilit le noyau qui permettrait de lever lindtermination
fondamentale de la dconvolution aveugle ;
mthodes dans lesquelles on cherche enrichir les donnes
acquises, avec lobjectif explicite de lever lindtermination. Il sagit
alors, par exemple de la dconvolution multicanal.
Imagerie optique par diversit de phase en prsence daberra-
tions (turbulence atmosphrique, dfauts optiques). Les aberrations
de phase inconnues se traduisent dans le plan focal par une
i 2
convolution z = h ( ) x + bruit, avec h ( ) = TF ( Pe ) (P est la
fonction caractristique de la pupille). Le principe de la diversit de
phase est dacqurir une seconde image hors du plan focal
z = h ( + ) x + bruit , dphasage connu. Il faut souligner ici
que la relation entre h ( ) et h ( + ) nest pas linaire. Les donnes
complmentaires z peuvent donc permettre de lever lindtermination
fondamentale, y compris par les mthodes statistiques mentionnes
prcdemment [60].
Imagerie en contrle non destructif utilisant les micro-ondes o
lide est deffectuer deux acquisitions avec deux balayages, horizontal
et vertical, mais le mme guide donde. Le problme se formule alors
comme gi (x, y ) = f (x, y ) hi (x, y ) + bi (x, y ), i = 1,2 avec h 1 (x, y ) =
h (x, y ) et h 2 (x, y ) = h (y, x ). Lobjectif est destimer h (x, y ) et f (x, y )
partir de g 1 (x, y ) et g 2 (x, y ). Il faut l aussi mentionner que la relation
entre h 1 (x, y ) et h 2 (x, y ) nest pas linaire.
Nota : ces deux exemples sont tirs de notre propre exprience.
6.2 Choix de modle
Lestimation des paramtres dun modle, suppos vrai , nest
souvent quune tape dans un problme dinversion, et lon peut
aussi avoir besoin de juger les mrites relatifs de diffrents modles
a priori.
Le problme consiste usuellement choisir un modle particulier
M k f k ( y | x k ) , dans une famille candidate ( x k R pk , k = 1, , K ),
sur la base des donnes observes y. Une des mthodes de choix
les plus utilises en traitement du signal, le critre dinformation
dAkaike (AIC), conduit pourtant une probabilit de surparamtri-
sation non nulle quand N = dim (y ) . Un autre critre populaire,
celui de Rissanen-Schwarz (BIC), apporte une amlioration par une
estimation convergeant presque srement. Il en existe bien dautres,
mais ils souffrent de dfauts qui deviennent particulirement vi-
dents quand le contraste rapport entre le nombre n de donnes
disponibles et le nombre pk de paramtres utiliss dans le modle
est faible : ils tendent surestimer considrablement lordre,
moins que de fortes restrictions ne soient mises la dimension maxi-
male des modles candidats. De plus, les rsultats obtenus avec un
faible nombre de donnes sont trs sensibles la forme de la pna-
sont souvent caractriss par un faible contraste. Cest une situation
qui met en dfaut les critres de choix les plus usits. Mais la difficult
du problme fait que les tudes nombre fini de donnes sont trs
rares.
Dans un cadre baysien [37] [61] [62], les modles statistiques sont
introduits pour reprsenter la probabilit des donnes en fonction
de chacun des modles (probabilits directes), et le thorme de
Bayes est employ pour calculer la probabilit a posteriori que lun
des modles soit correct. Llment central est le facteur de Bayes
intgrales et donc, souvent, des intgrations numriques.
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE

6.2.1 Facteurs de Bayes
Supposons pour commencer que les donnes y aient t
engendres sous lune ou lautre de deux hypothses M 1 et M 2 ,
selon une densit de probabilit f ( y | M 1 ) ou f ( y | M 2 ) . tant donn
des probabilits a priori P (M 1 ) et P (M 2 ) = 1 P (M 1 ), les donnes
produisent les probabilits a posteriori P ( M 1 | y ) et P ( M 2 | y ) =
1 P ( M 1 | y ). Lvidence apporte par les donnes en faveur de lune
ou lautre des hypothses prend une forme particulirement simple
en utilisant lchelle des cotes (cote = probabilit / (1 probabilit)) :
P ( M1 | y ) P ( M1 ) f ( y | M1 )
- = -------------------- ---------------------------
---------------------------
P ( M2 | y ) P ( M2 ) f ( y | M2 )
La cote a priori est donc simplement multiplie par :
f ( y | M1 )
B 12 = --------------------------
- (58)
f ( y | M2 )
qui est le facteur de Bayes [61]. Dans le cas le plus simple, quand
les deux hypothses sont des distributions sans paramtre libre
(hypothses simples ), B 12 est le rapport de vraisemblance usuel.
Sinon, quand lune ou lautre des hypothses implique des para-
mtres inconnus xk , le facteur de Bayes a toujours la forme dun
rapport de vraisemblance, mais les densits p ( y | M k ) (k = 1,2) sont
obtenues en intgrant (et non en maximisant) sur lespace des
paramtres :
Lemploi da priori diffus (de grande variance) nest pas une
solution. De plus, la dpendance de la priori ne dcrot
quasymptotiquement (N ).
Une difficult dun autre ordre provient du calcul analytique exact
des intgrales des facteurs de Bayes qui est impossible la plupart
du temps. On peut employer une expression approche, fonde sur
la mthode dapproximation analytique de Laplace. On peut aussi
utiliser des mthodes de Monte Carlo, simples ou amliores par
chantillonnage prfrentiel, mais elles sont plus lourdes mettre
en uvre que les mthodes dapproximation analytique, et pas
ncessairement plus prcises dans le cas simple mais trs rpandu
(57) dun modle linaire en paramtres [64].
6.2.3 Exemple
Pour illustrer ces problmes de choix de modle, nous utilisons
lexemple de lanalyse spectrale. Le premier modle envisag M 1
est le modle autorgressif long du paragraphe 4.7 qui prsente la
particularit davoir une distribution directe p ( y | a , u ) et une dis-
tribution a priori p ( a | u ) toutes deux normales. La distribution
conjointe p ( y , a | u ) est donc normale, elle aussi, et le calcul de
lintgrale de Gauss (46) (59) est faisable analytiquement. Reste
rgler la question des hyperparamtres u qui apparaissent dans la
vraisemblance marginale p ( y | u ) . Il faudrait, en toute rigueur, leur
attribuer aussi une distribution a priori, diffuse mais propre, car ils

p ( y | Mk ) = Ep y M ( | k, xk ) p ( xk | Mk ) d xk (59)
ne sont pas ncessairement les mmes pour tous les modles
comparer, et les intgrer hors du problme pour obtenir p (y | M 1).
Mais si la vraisemblance marginale p ( y | u ) est pique autour de
Cette vraisemblance marginale nest rien dautre que le coefficient ^
de normalisation dans lexpression de la densit de probabilit son maximum en u , on peut crire :
a posteriori pour le paramtre xk donne par la rgle de Bayes, mais
contrairement beaucoup dautres applications de la vraisemblance, p ( y | M1 ) p ( y |^
u) (62)
tous les facteurs constants intervenant dans son expression doivent
tre conservs lors du calcul de B 12 . ce qui donne, avec les donnes y de la figure 5 et en utilisant le
logarithme nprien :
Sil y a K modles concurrents M 1 ,..., Mk , et si lon dfinit
lhypothse nulle M 0 : y = b, la relation (57) montre que la probabi- EV1 = ln p(y | M 1) = 80,3
lit a posteriori pour Mk est donne par :
Le deuxime modle envisag M 2 est le modle dextrapolation
wk Bk 0 de signal introduit au paragraphe 4.8, avec un a priori gaussien cir-
P ( M k | y ) = --------------------------------------------
- (60) culaire, et dont on sait quil conduit extrapoler le signal observ
k = 0 wk Bk 0
K
par des zros, et donc la solution du priodogramme pour le
spectre. Cet exemple ncessite un traitement particulier puisquil
o wk = P (Mk ) / P ( M 0 ). Quand les diffrentes hypothses Mk sont
ny a pas de bruit ( 4.8) et, partant, pas de distribution directe,
galement probables a priori, les probabilits a posteriori sont pro-
sauf dans un sens rudimentaire. Le problme doptimisation (51)
portionnelles aux facteurs de Bayes, avec pour toutes le mme
scrit donc en fait :
coefficient. Un passage au logarithme rend les relations (57) et (58)
additives et montre le rle essentiel de la log-vraisemblance ^ 2
marginale : X = arg max p 1 X | g 2 s.c. y = F X (63)
EV k = ln p ( y | M k ) (61) X CM
2
o g dsigne la variance de la distribution gaussienne circulaire
ou vidence pour le modle candidat Mk .
a priori pour X. Le calcul de la vraisemblance marginale (59) passe
par celui de lintgrale :

E
6.2.2 Difficults
2 2
p 1y | g2 = $(y)
p 1X | g2 dX (64)
On peut montrer [61] [63] que le critre de Rissanen-Schwarz est
une approximation grossire de la log-vraisemblance marginale,
ou vidence pour le modle candidat, correspondant des a priori o le domaine $ ( y ) = { X C M / F X = y } est dfini par la contrainte
varis. Il offre lavantage apprciable dviter davoir prciser la y = F X. Le calcul est plus simple quil ny parat puisquil suffit de
priori, au prix des inconvnients voqus au paragraphe 6.2.1. 1
faire le changement de variable z = ------- G X , z R M , o G est la
Mais tout affinage soulve une batterie de difficults. M
matrice de Fourier de dimensions (M M ) z est donc le vecteur
Lemploi des distributions a priori impropres nest pas permis ici, des chantillons du signal extrapol sur M points et dont le jacobien
contrairement lestimation de paramtres o la priori est sou- vaut lunit, pour obtenir :
vent choisi par commodit car on sait que si les donnes sont
assez nombreuses, alors son effet est faible. Pour le test dhypo-
thse, il nen va pas de mme car lintgration sur des espaces dif-
frents introduit un problme de mise lchelle des facteurs de
2
p 1y | g2 = E RM N
2
p 1 z | g 2 d z ( N + 1 )d z ( M )

Bayes, consquence du changement de la dimension du paramtre

dun modle lautre.
= 1 2 g 2
2 N /2
3
2 g
1
2
- y
exp ------------
2
2 4 (65)

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
Techniques de lIngnieur, trait Tlcoms TE 5 235 23
PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE _____________________________________________________________________________

Lestimateur au maximum de vraisemblance de lhyperparam-
2 2 2
g = y 2 / N , et un rai-
tre g est donc lestimateur empirique ^
sonnement analogue celui fait pour le modle prcdent donne,
avec les mmes donnes bien sr :
EV2 = 88,3
On voit donc que si lon se limite la question de choisir entre
le spectre du priodogramme et celui du modle AR-long, et que
ceux-ci sont a priori indiffrents, le second a une vidence suprieure
de 8 Nper celle du premier, soit environ 35 dB. Autrement dit,
leurs probabilits a posteriori sont dans un rapport denviron 3 000 :
la cote du modle AR-long est suffisamment grande pour que lon
nhsite pas le retenir dans cet exemple. Mais attention aux erreurs
dinterprtation ! Cela ne signifie absolument pas que le modle AR-
long soit le vrai modle gnrateur du signal observ. Ce nest
que le modle le plus vraisemblable dans lensemble des modles
concurrents examins, et avec les donnes exprimentales
disponibles. Dautres donnes ou dautres modles pourraient
conduire une conclusion diffrente.
Le modle dextrapolation du paragraphe 4.8, avec un a priori de
Cauchy sparable, pourrait justement constituer un modle M 3
tester contre les deux prcdents. Le principe du calcul de la vrai-
semblance marginale est le mme que pour le modle M 2 , mais
cette fois, lintgrale (65) nest plus calculable explicitement, le
1
changement de variable z = ------- G X conduisant une distribu-
M Modlisation du problme direct
tion de probabilit dans R M non conventionnelle. Il nest pas
possible non plus dutiliser des mthodes dapproximation analyti-
que comme celle de Laplace puisque nous ne sommes pas dans
des conditions asymptotiques, bien au contraire ( M @ N ) . Il reste
les mthodes de calcul numrique par chantillonnage stochas-
tique [64], mais nous sortons l dfinitivement du cadre limit
donn cet article.
7. Conclusion
Nous avons prsent brivement les caractristiques essentielles
des problmes inverses, de la rgularisation et de son interprtation
baysienne. Nous nous sommes limits lestimation paramtrique
et navons quvoqu le choix dun modle. Nous insistons
nouveau sur le fait que la plupart des mthodes dinversion
classiques peuvent tre chacune tablie, ou rinterprte, dans
plusieurs cadres thoriques, et quil ny a pas de lien exclusif entre
les mthodes (plus prcisment les algorithmes de traitement des
donnes) et leurs interprtations thoriques. Ces dernires, par
contre, peuvent tre classes en fonction de leur degr de gnralit,
cest--dire leur capacit affronter tous les problmes soulevs lors
de la rsolution effective dun problme inverse.
De ce point de vue, lapproche baysienne offre un cadre
remarquablement cohrent et complet pour traiter de problmes
dinfrence dans une situation incertaine o lon dispose de plusieurs
sources dinformation : donnes exprimentales, modle direct, a
priori. Outre le choix dun critre rgularis, elle permet aussi le
dveloppement de techniques de calcul automatique des hyper-
paramtres et dalgorithmes doptimisation pseudo-alatoires, sans
quivalents dans un cadre non probabiliste. Ses limitations sont bien
connues, elles sont essentiellement dordre calculatoire. Il est clair
que lon ne peut pas esprer obtenir par cette approche de rsultats
satisfaisants dans des problmes complexes, avec des modles
simplistes et des mthodes doptimisation approximatives. Cest ce
qui explique sans doute en grande partie lchec partiel des tenta-
tives faites dans les annes 1980 en restauration dimage et en fil-
trage de bruit, avec des modles gaussiens. Mais on a assist, dans
le domaine de la vision par ordinateur, et depuis larticle fondateur
des frres Geman en 1984 [29], une renaissance spectaculaire des
mthodes de cette famille, associant champs markoviens,
chantillonnage de Gibbs, techniques de recuit, paralllisation des
calculs, dans des problmes de segmentation, de dtection de
contours, dextraction de textures, etc. Ces travaux ont fourni une
base rationnelle trs solide ce domaine et influencent de plus en
plus celui, beaucoup plus large, des problmes inverses.
Notre conviction est quil y a encore beaucoup faire dans cette
voie, tant dans la construction de modles probabilistes adapts aux
problmes rsoudre, que dans la dtermination des hyper-
paramtres, ou que dans loptimisation de critre. Le travail se pour-
suit donc actuellement dans plusieurs directions.
Les problmes inverses sont souvent, par nature, non linaires.
Cest le cas, en particulier, de la tomographie de diffraction et de
limagerie de rsistivit. Il faudra donc introduire dans ce domaine
des modles non linaires du problme direct.
Modlisation des objets tudis
Les proprits locales des images reconstruire (homognit,
contours, etc.) conduisent utiliser des modles a priori markoviens,
mais cela soulve des difficults nouvelles par rapport au cas de la
vision par ordinateur, en raison du caractre non local des oprateurs
linaires issus du problme direct.
Choix des critres
Lapproche baysienne ramne linversion la dtermination
dune distribution a posteriori. Comme il nest pas envisageable de
calculer compltement de telles distributions, on se contente de
rechercher un estimateur ponctuel qui est souvent celui du maxi-
mum a posteriori. Il est donc important dvaluer les consquences
dun tel choix et de proposer, si ncessaire, des alternatives. De
mme, la question du choix dun critre de dtermination des
hyperparamtres nous semble encore largement ouverte.
Algorithmes dextrmalisation de critres
Les critres tant choisis, se pose encore la question de leur extr-
malisation, dautant quils sont souvent multimodaux. Il est donc
important de continuer dvelopper des algorithmes stochastiques,
en particulier du type maximisation stochastique desprance
conditionnelle .

Rfrences bibliographiques

[1] ANDREWS (H.C.) et HUNT (B.R.). Digital
Image Restoration. Prentice-Hall, Englewood
Cliffs (1977).
[2] HERMAN (G.T.), TUY (H.K.), LANGENBERG
(K.J.) et SABATIER (P.). Basic Methods of
Tomography and Inverse Problems. Adam
Hilgers, Bristol (1987).
[3] KAK (A.C.) et SLANEY (M.). Principles of
Computerized Tomographic Imaging. IEEE
Press, New York (1988).
[4] MARROQUIN (J.L.), MITTER (S.K.) et POGGIO
(T.A.). Probabilistic solution of ill-posed pro-
blems in computational vision. J. Amer. Stat.
Assoc., 82, 76-89 (1987).
[5] BERTERO (M.), DE MOL (C.) et PIKE (E.R.).
Linear inverse problems with discrete data : II.
Stability and regularization. Inverse Problems
4, 3 (1988).
[6] KAY (S.M.) et MARPLE (S.L.). Spectrum ana-
lysis a modern perspective. Proc. IEEE, 69,
1380-1419 (1981).

Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
TE 5 235 24 Techniques de lIngnieur, trait Tlcoms
_____________________________________________________________________________ PROBLMES INVERSES EN TRAITEMENT DU SIGNAL ET DE LIMAGE
[7] CIUCIU (P.). Mthodes markoviennes en
estimation spectrale non paramtrique.
Applications en imagerie radar Doppler.
Thse de doctorat, universit de Paris-Sud-
Orsay, oct. 2000.
[8] NASHED (M.). Operator-theoretic and
computational approaches to ill-posed pro-
blems with applications to antenna theory.
IEEE Trans. Ant. Propag., 29, 220-231 (1981).
[9] BRZIS (H.). Analyse fonctionnelle : thorie
et applications. Masson, Paris (1983).
[10] NASHED (M.). Generalized Inverses and
Applications. Academic, New York (1976).
[11] MURTAGH (F.), STARK (J.L.) et BIJAOUI (A.).
Image restoration with noise suppression
using a multiresolution support. Astron.
Astrophys. Suppl., 112, 179-189 (1995).
[12] MOHAMMAD-DJAFARI (A.). Model selec-
tion for inverse problems : Best choice of
basis function and model order selection , in
Maximum Entropy and Bayesian Methods.
J.R.G. Erickson et C. Smith, Kluwer Academic
Publ., Eds. (1999).
[13] KALIFA (J.), MALLAT (S.) et ROUG (B.).
Restauration dimages par paquets
dondelettes in Actes 16 e coll. GRETSI, Gre-
noble, 1339-1342, sept. 1997.
[14] DEMOMENT (G.). Dconvolution des
signaux. Cours de lcole suprieure dlectri-
cit, no 3086 (1985).
[15] LUCY (L.B.). An iterative technique for the
rectification of observed distributions. The
Astronomical Journal, 79, 745-754 (1974).
[16] LUCY (L.B.). Optimum strategies for inverse
problems. Astron. Astrophys., 289, 983-994
(1994).
[17] TITTERINGTON (D.M.). Common structure
of smoothing techniques in statistics. Int. Sta-
tist. Rev., 53, 141-170 (1985).
[18] TIKHONOV (A.) et ARSNINE (V.). Mthodes
de rsolution de problmes mal-poss. di-
tions MIR, Moscou (1976).
[19] TARANTOLA (A.). Inverse problem theory :
Methods for data fitting and model parameter
estimation. Elsevier Science Publishers, Ams-
terdam (1987).
[20] THOMPSON (A.), BROWN (J.C.), KAY (J.W.) et
TITTERINGTON (D.M.). A study of methods
of choosing the smoothing parameter in
image restoration by regularization. IEEE
Trans. Pattern Anal. Mach. Intell., PAMI-13,
326-339 (1991).
[21] HANSEN (P.). Analysis of discrete ill-posed
problems by means of the L-curve. SIAM
Rev., 34, 561-580 (1992).
[22] GOLUB (G.H.), HEATH (M.) et WAHBA (G.).
Generalized cross-validation as a method for
choosing a good ridge parameter. Technome-
trics, 21, 215-223 (1979).
[23] REEVES (S.J.) et MERSEREAU (R.M.). Opti-
mal estimation of the regularization parame-
ter and stabilizing functional for regularized
image restoration. Opt. Engng., 29, 446-454
(1990).
[24] FORTIER (N.), DEMOMENT (G.) et GOUS-
SARD (Y.). GCV and ML methods of determi-
ning parameters in image restoration by
regularization : Fast computation in the spa-
tial domain and experimental comparison. J.
Visual Comm. Image Repres., 4, 157-170
(1993).
[25] DEMOMENT (G.). Image reconstruction and
restoration : Overview of common estimation
Toute reproduction sans autorisation du Centre franais dexploitation du droit de copie est strictement interdite.
structure and problems. IEEE Trans. Acoust.
Speech, Signal Processing, ASSP-37, 2024-
2036 (1989).
[26] JAYNES (E.T.). On the rationale of maxi-
mum-entropy methods. Proc. IEEE, 70, 939-
952 (1982).
[27] COX (R.). The Algebra of Probable Inference.
Johns Hopkins University Press, Baltimore
(1961).
[28] BESAG (J.E.). On the statistical analysis of
dirty pictures (with discussion). J. R. Statist.
Soc. B, 48, 259-302 (1986).
[29] GEMAN (S.) et GEMAN (D.). Stochastic
relaxation, Gibbs distributions, and the Baye-
sian restoration of images. IEEE Trans. Pattern
Anal. Mach. Intell., PAMI-6, 721-741 (1984).
[30] BOUMAN (C.A.) et SAUER (K.D.). A genera-
lized Gaussian image model for edge-preser-
ving MAP estimation. IEEE Trans. Image
Processing, 2, 296-310 (1993).
[31] KITAGAWA (G.) et GERSCH (W.). A smooth-
ness priors long AR model method for spec-
tral estimation. IEEE Trans. Automat. Contr.,
AC-30, 57-65 (1985).
[32] DEMPSTER (A.P.), LAIRD (N.M.) et RUBIN
(D.B.). Maximum likelihood from incom-
plete data via the EM algorithm. J. R. Statist.
Soc. B, 39, 1-38 (1977).
[33] GASSIAT (E.), MONFRONT (F.) et GOUSSARD
(Y.). On simultaneous signal estimation and
parameter identification using a generalized
likelihood approach. IEEE Trans. Inf. Theory,
38, 157-162 (1992).
[34] ROBERT (C.). Lanalyse statistique bay-
sienne. conomica, Paris (1992).
[35] BERNARDO (J.M.) et SMITH (A.F.M.). Baye-
sian Theory. Wiley, Chichester (1994).
[36] KASS (R.E.) et WASSERMAN (L.). The selec-
tion of prior distributions by formal rules. J.
Amer. Statist. Assoc., 91, 1343-1370 (1996).
[37] JEFFREYS. Theory of Probability. Clarendon
Press, Oxford (1939).
[38] LE BESNERAIS (G.), BERCHER (J.F.) et DEMO-
MENT (G.). A new look at entropy for sol-
ving linear inverse problems. IEEE Trans. Inf.
Theory, 45, 1565-1578 (1999).
[39] BROWN (L.D.). Foundations of exponential
families. IMS Lecture Notes, Monograph
Series edition, vol. 9, Hayward (1986).
[40] SACCHI (M.D.), ULRYCH (T.J.) et WALKER
(C.J.). Interpolation and extrapolation using
a high-resolution discrete Fourier transform.
IEEE Trans. Signal Processing, 46, 31-38
(1998).
[41] DEMOMENT (G.) et IDIER (J.). Approche
baysienne pour la rsolution des problmes
inverses en imagerie in Problmes
inverses : de lexprimentation la modli-
sation . M. Bonnet, d., coll. Arago, vol. 22,
59-77. Observatoire franais des techniques
avances, Tec & Doc, Paris (1999).
[42] CIUCIU (P.), IDIER (J.) et GIOVANNELLI (J.F.).
Markovian high resolution spectral analysis in
Proc. IEEE ICASSP, Phoenix, 1601-1604, mars
1999.
[43] IDIER (J.). Regularization tools and models
for image and signal reconstruction in 3rd
Intern. Conf. Inverse Problems in Engng., Port
Ludlow, 23-29, juin 1999.
[44] GEMAN (D.) et REYNOLDS (G.). Constrained
restoration and the recovery of discontinui-
ties. IEEE Trans. Pattern Anal. Mach. Intell., 14,
192, 367-383.
Techniques de lIngnieur, trait Tlcoms
[45] PRESS (W.H.), FLANNERY (B.P.), TEUKOLSKY
(S.A.) et VETTERLING (W.T.). Numerical reci-
pes, the art of scientific computing. Cam-
bridge Univ. Press (1986).
[46] BERTSEKAS (D.P.). Nonlinear programming.
Athena Scientific, Belmont (1995).
[47] GILBERT (P.). Iterative methods for the three-
dimensional reconstruction of an object from
projections. J. Theor. Biol., 36, 105-117 (1972).
[48] HERMAN (G.T.), HURWITZ (H.), LENT (A.) et
LUNG (H.P.). On the Bayesian approach to
image reconstruction. Inform. Contr., 42, 60-
71 (1979).
[49] LUENBERGER (D.G.). Optimization by Vec-
tor Space Methods. John Wiley, New York
(1969).
[50] HEINRICH (C.) et DEMOMENT (G.). Minimi-
zation of strictly convex functions : an impro-
ved optimality test based on Fenchel duality.
Inverse Problems, 16, 795-810 (2000).
[51] YOULA (D.C.) et WEBB (H.). Image restora-
tion by the method of convex projection : Part
1 theory. IEEE Trans. Medical Imaging, MI-1,
81-94 (1982).
[52] SEZAN (M.I.) et STARK (H.). Image restora-
tion by the method of convex projections :
Part 2 applications and numerical results.
IEEE Trans. Medical Imaging, MI-1, 95-101
(1982).
[53] BLAKE (A.) et ZISSERMAN (A.). Visual
reconstruction. The MIT Press, Cambridge
(1987).
[54] NIKOLOVA (M.), IDIER (J.) et MOHAMMAD-
DJAFARI (A.). Inversion of large support ill-
posed linear operators using a piecewise
Gaussian MRF. IEEE Trans. Image Processing,
7, 571-585 (1998).
[55] WALTER (E.) et PRONZATO (L.). Identifica-
tion de modles paramtriques partir de
donnes exprimentales. Masson (1994).
[56] LAGENDIJK (R.), BIEMOND (J.) et BOEKEE
(D.E.). Identification and restoration of noisy
blurred images using the expectation minimi-
zation algorithm. IEEE Trans. Acoust. Speech,
Signal Processing, ASSP-38, 1180-1191
(1990).
[57] YOU (Y.L.) et KAVEH (M.). A regularization
approach to joint blur identification and
image restoration. IEEE Trans. Image Proces-
sing, 5, 416-428 (1996).
[58] KUNDUR (D.) et HATZINAKOS (D.). Blind
image deconvolution. IEEE Signal Processing
Magazine, 43-64 (1996).
[59] CHAN (T.F.) et CHIU-KWONG (W.). Total
variation blind deconvolution. IEEE Trans.
Image Processing, 7, 370-375 (1998).
[60] BLANC (A.), MUGNIER (L.) et IDIER (J.).
Identifiabilit et estimation myope daberra-
tions optiques par diversit de phase. Actes
17e coll. GRETSI, Vannes, 63-66, sept. 1999.
[61] KASS (R.E.) et RAFTERY (A.E.). Bayes fac-
tors. Amer. Statist. Assoc., 90, 773-795 (1995).
[62] ZELLNER (A.) et SIOW (A.). Posterior odds
ratio for selected regression hypothesis. In
Bayesian Statistics, J.M. Bernardo et al., Eds.
Valencia University Press, 585-648 (1980).
[63] PAULER (D.K.). The Schwarz criterion and
related methods for normal linear models.
Biometrika, 85, 13-27 (1998).
[64] EVANS (M.) et SWARTZ (T.). Methods for
approximating integrals in statistics with spe-
cial emphasis on Bayesian integration pro-
blems. Statistical Science, 10, 254-272 (1995).
TE 5 235 25