Chapitre 5

programmation sans
contraintes
Problme tudi
Soit f une fonction continue dfinie sur une partie de IR dans IR un problme (P)
doptimisation sans contraintes fonction objective f est dfinie comme suit:



f(x)
( ) :
Min
P
x

eO_

1. Problme pos

Exemple:



O

f(x)
( ) :
Min
P
x

f(x)=(6-x)e 5 1
x
x +
Chapitre 5: Problme doptimisation sans contraintes
Chapitre 5: Problme doptimisation sans contraintes
2. Conditions suffisantes doptimalit

Les conditions suffisantes de minimalit permettent de caractriser le minimum de f.
Dmonstration: soit X* un minimum local de f, un dveloppement de Taylor au
voisinage de X* lordre 1 permet dcrire:


Puisque f (X*)>0, pour x assez proche de X* on aura

Do et ce pour x assez proche de X* .

Attention il sagit bien dun minimum local car nest vraie
que pour x assez proche de X* .
2 2
1
( ) ( *) ''( *).( *) ( *) . ( *)
2
f x f X f X x X x X x X c = + +
( ) ( *) f x f X <
''( *) ( *) 0 f X x X c + >
''( *) ( *) 0 f X x X c + >
Puisquil est difficile de rsoudre analytiquement le problme de type (P), nous
nous contentons de mettre en place des mthodes itratives pour donner une
approximation acceptable pour la dite solution en un temps rel.
Chapitre 5: Problme doptimisation sans contraintes
3. Mthodes itratives
3.1. Principes

Principe des mthodes itratives:
Partons dune solution initiale x
0
, on conoit une suite (x
k
) qui converge vers la
solution X*. Une telle construction porte sur les donnes du problme. En plus, a
chaque mthode est associe une philosophie.
Critre darrt:
-Les termes de la suite construite deviennent proche lun lautre;
-Les valeurs de la suite (f (x
k
) ) deviennent suffisamment petites;
- Nombre diterations
Convergence:
En gnral, la convergence se repose sur une majoration de lerreur commise en
approchant X* par la fameuse suite. Une telle approximation porte sur les qualit de
f, f et f ainsi que sur x
0
.
Chapitre 5: Problme doptimisation sans contraintes
Si on suppose que , la vitesse de convergence dune mthode itrative est
mesure par la quotient:


( )
* *
1
S *
La convergence est dite:
Linaire s'il existe 0< 1 tel que
uperlinaire si
Q q ordre 2 s ' il existe une constante , tels que pour tout ,
/ * 0;
1
0 1
1
on a k *
x x x x
k k
x x x x
k k
C x x
k
o o
+
-
+
- <
- >
+
uadratique

;

( )
( )
2
*
3
;
C q ordre 3 s ' il existe une constante , tels que pour tout , on a ,
Q q ordre 4 s ' il existe une constante , tels que pour tout , on a
0 1 * *
1
4
0 1 *
1
, *
C x x
k
C k x x C x x
k k
C k x x C x x
k k
et

>
+
>
-
-
+
ubique
uartique

. c
3. Mthodes itratives
3.2. Vitesse de convergence

Chapitre 5: Problme doptimisation sans contraintes
3. Mthodes itratives
3.3. Mthode de dichotomie
3.3.1. principes

Principe de la mthode:
On saisit la solution X* entre un excs b
k
et un dfaut a
k
; Ces deux suite encadre la
dite solution.
Critre darrt:
- Etant donne un rel positif , on sarrte lorsque (b
k
- a
k
) devient infrieure ce
seuil;
- On peut baser le critre d arrt sur f( a
k
) (resp. f( b
k
) ); en effet, on sarrete
lorsque |f( a
k
)|< (resp. |f( b
k
) )|< ). .
Chapitre 5: Problme doptimisation sans contraintes
Optimisation unidimensionnelle:
Mthode du premier ordre (dichotomie)

3. Mthodes itratives
3.3. Mthode de dichotomie:
3.3.2. algorithme et convergence

Thorme
On montre facilement que:


Dmonstration: Exercice
, * et * .
2 2 2
k k k k k k k
b a b a b a
b a a X b X

= s s
Chapitre 5: Problme doptimisation sans contraintes
3. Mthodes itratives
3.4. Mthode de Newton:
3.4.1. Principe

Critre darrt:
- Etant donne un rel positif , on sarrte lorsque (x
k+1
- x
k
) devient infrieure ce
seuil;
- On peut baser le critre d arrt sur f(x
k
) (resp. f(x
k
) ); en effet, on ne sarrte que
lorsque |f(x
k
)|< (resp. |f(x
k
) )|< );
- Pour plus de prcision, on peut baser le test darrt sur les deux critres.
Chapitre 5: Problme doptimisation sans contraintes
3. Mthodes itratives
3.4. Mthode de Newton:
3.4.2. Algorithme et convergence

Proposition
Si x
0
est choisi proche de x* o f(x*)>0, alors (x
k
) a une convergence superlinaire vers x*.
Dmonstration:











Un dveloppement de Taylor de ' au voisinage de * donne:
'( ) '( ) ''( ). ( ) (1)
Si est si proche de *, on peut substituer h par * dans (1)
'( )
Alors * ( ''( )
''( )
k k k
k k
k
k k
k
f x
f x h f x f x h O h
x x x x
f x
x x f x
f x
+ = + +

= +
1
1 1
) (( *))
'( )
Puisque , n a * (( *))
''( )
Donc la mthode de Newton a une convergence uperlin S aire.
k
k
k k k k
k
O x x
f x
x x o x x O x x
f x

+ +

= =
Chapitre 5: Problme doptimisation sans contraintes
3. Mthodes itratives
3.4. Mthode de Newton:
3.4.3. Inconvnients

Eexercice:
Soit minimiser la fonction suivante sur :
4 3 2
( ) 12 47 60
Partant de 1, appliquer la mthode de Newton pour calculer .
0 3
f x x x x x
x x
= + +
=