Ministre de lEnseignement Suprieur Et de la Recherche Scientifique Universit des Sciences et de la Technologie dOran - Mohamed Boudiaf Facult des Sciences

- Dpartement dInformatique

Le recuit simul
Module : Optimisation avance
BENDAHMANE Amine Master2 RFIA 25 octobre 2011

Le recuit simul

Sommaire
1. Introduction :................................................................................................ 3 2. Les origines : ................................................................................................. 4 3. Dfinition : .................................................................................................... 5 4. Algorithme : .................................................................................................. 6 4.1. 4.2. 4.3. 4.4. 4.5. Lalgorithme de Metropolis : ................................................................. 6 L'algorithme du recuit simul : .............................................................. 6 Etat initial de l'algorithme : ................................................................... 7 Variation de la temperature : ................................................................ 7 Amlioration : ........................................................................................ 8

5. Exemple dapplication : ................................................................................ 8 6. Domaines dapplications : .......................................................................... 10 7. Avantages et Inconvnients : ..................................................................... 10 7.1. 7.2. Avantages : .......................................................................................... 10 Inconvnients : .................................................................................... 11

8. Conclusion : ................................................................................................ 11 Bibliographie ..................................................................................................... 12

Le recuit simul

1. Introduction :
Les problmes NP-complets d'optimisation combinatoire sont caractriss par une complexit exponentielle ou factorielle, par consquent ; il est impossible d'numrer toutes les solutions possibles car cela dpasse la capacit de calcul de n'importe quel ordinateur. Il est donc trs difficile de trouver la solution optimale. Pour palier a ces problmes, les chercheurs ont introduit des mthodes approches appeles heuristiques, elles prsentent l'avantage d'un temps de calcul rduit mais ne donnent aucune information sur la qualit de la solution trouve, de plus elles ne sont en gnral applicables qu'a un seul type de problmes. (Autin, 2006) Par exemple la mthode de la descente consiste partir dune solution S choisir une solution S dans un voisinage de S, telle que S amliore la solution. La recherche sarrte donc au premier minimum (ou maximum) local rencontr, cest l son principal dfaut. Pour amliorer les rsultats, on peut relancer plusieurs fois lalgorithme mais la performance de cette technique dcrot rapidement. Ce qui a pouss les chercheurs proposer de nouvelles mthodes gnrales (applicables la plupart des problmes d'optimisation) appeles mtaheuristiques, dont la mthode du recuit simul ; conu pour rechercher un optimum global parmi plusieurs minimas (ou maximas) locaux.

Le recuit simul

Solution trouve par la descente du gradient

Solution optimale

Figure 1 : blocage dune heuristique classique dans un minima local

2. Les origines :
La mthode du recuit simul est une gnralisation de la mthode MonteCarlo ; son but est de trouver une solution optimale pour un problme donn. Elle a t mise au point par trois chercheurs de la socit IBM : S. Kirkpatrick, C.D. Gelatt et M.P. Vecchi en 1983, et indpendamment par V. Cerny en 1985 partir de l'algorithme de Metropolis ; qui permet de dcrire l'volution d'un systme thermodynamique. (LIACS, 2009) La mthode du recuit simul est base sur un processus trs utilis en mtallurgie pour obtenir un alliage sans dfaut, ce processus est appel le recuit . (Autin, 2006) On commence dabord par chauffer le mtal jusqu' une certaine temprature o il devient liquide (les atomes peuvent donc circuler librement). Aprs avoir atteint ce stade, on abaisse la temprature trs lentement de sorte obtenir un solide (Olivier, 2001). Si cette baisse de temprature est brusque on obtient alors du verre ; si au contraire cette baisse de temprature est trs lente (laissant aux atomes le temps d'atteindre l'quilibre statistique), nous 4

Le recuit simul obtiendrons des structures de plus en plus rgulires, jusqu atteindre un tat dnergie minimale correspondant la structure parfaite dun Crystal, on dit alors que le systme est gel . Au cas o cet abaissement de temprature ne se ferait pas assez lentement, il pourrait apparaitre des dfauts. Il faudrait alors les corriger en rchauffant de nouveau lgrement la matire de faon permettre aux atomes de retrouver la libert de mouvement, leur facilitant ainsi un ventuel rarrangement conduisant une structure plus stable. (Olivier, 2001)

3. Dfinition :
Lide principale du recuit simul tel quil a t propos par Metropolis en 1953 est de simuler le comportement de la matire dans le processus du recuit trs largement utilis dans la mtallurgie. Le but est datteindre un tat dquilibre thermodynamique, cet tat dquilibre (o lnergie est minimale) reprsente - dans la mthode du recuit simul la solution optimale dun problme ; Lnergie du systme sera calcul par une fonction cot (ou fonction objectif) spcifique chaque problme (Kendall). La mthode va donc essayer de trouver la solution optimale en optimisant une fonction objectif, pour cela, un paramtre fictif de temprature a t ajout par Kirkpatrick, Gelatt et Vecchi. En gros le principe consiste gnrer successivement des configurations partir d'une solution initiale S0 et d'une temprature initiale T0 qui diminuera tout au long du processus jusqu' atteindre une temprature finale ou un tat dquilibre (optimum global).

Le recuit simul

4. Algorithme :
4.1. Lalgorithme de Metropolis : Dans l'algorithme de Metropolis, on part d'une configuration donne, et on lui fait subir une modification alatoire. Si cette modification fait diminuer la fonction objectif (ou nergie du systme), elle est directement accepte ; Sinon, elle n'est accepte qu'avec une probabilit gale ( /) (avec E=nergie, et T=temprature), cette rgle est appele critre de Metropolis. (Autin, 2006) 4.2. L'algorithme du recuit simul : Le recuit simul applique itrativement lalgorithme de Metropolis, pour engendrer une squence de configurations qui tendent vers l'quilibre thermodynamique : 1) Choisir une temprature de dpart T=T0 et une solution initiale S=S0 ; 2) gnrer une solution alatoire dans le voisinage de la solution actuelle ; 3) comparer les deux solutions selon le critre de Metropolis ; 4) rpter 2 et 3 jusqu'a ce que l'quilibre statistique soit atteint ; 5) dcroitre la temprature et rpter jusqu'a ce que le systme soit gel. (Abecasis) Dans un premier temps, T tant gnralement choisi trs grand, beaucoup de solutions - mme celles dgradant la valeur de f - sont acceptes, et l'algorithme quivaut une visite alatoire de l'espace des solutions. Mais mesure que la temprature baisse, la plupart des solutions augmentant l'nergie sont refuss, et l'algorithme se ramne une amlioration itrative classique. A temprature intermdiaire, l'algorithme autorise de temps en temps des transformations qui dgradent la fonction objectif. Il laisse ainsi une chance au systme de s'extraire d'un minima local. (Autin, 2006)

Le recuit simul Notons aussi que si la temprature est gale 0, seules les solutions optimisant f sont acceptes. L'algorithme se comportera donc comme la mthode de la descente du gradient.
Le recuit simul continue sa recherche

Solution trouve par une heuristique classique

Solution trouve par le recuit simul aprs un nombre suffisant ditrations

Figure 2 : comparaison entre le recuit simul et une heuristique classique

4.3. Etat initial de l'algorithme : La solution initiale peut tre prise au hasard dans l'espace des solutions possibles, elle peut aussi tre gnre par une heuristique classique, telle que la descente du gradient ou lalgorithme glouton (dans le cas du voyageur du commerce). (Kendall) La temprature initiale doit tre assez leve, car c'est elle qui fixe la probabilit d'accepter ou de refuser les solutions dfavorables l'optimisation de la fonction f. 4.4. Variation de la temperature : Deux approches sont possibles pour dcroitre la temprature : a) dcroissance par paliers : Pour chaque valeur de la temprature, on itre l'algorithme de Metropolis jusqu'a atteindre un quilibre statistique, puis on diminue la temperature.

Le recuit simul b) Dcroissance continue : On fait baisser la temprature d'une faon continue, le plus courant est d'utiliser la loi suivante : +1 = . / < 1 (en gnral = 0.9 0.99) Remarque : Le paramtre est choisir avec prcaution ; En effet, sil est choisi trop grand, la temperature baissera trs rapidement et l'algorithme pourra tre bloqu dans un minima local ; Si au contraire il est choisi trop petit, la temperature baissera trs lentement et le temps de calcul sera trs grand. (Kendall) 4.5. Amlioration : Cet algorithme est parfois amlior en ajoutant une variable qui mmorise la meilleure valeur rencontre jusqu prsent ; sans cela, lalgorithme pourrait converger vers une certaine solution, alors quon avait visit auparavant une solution meilleure. (Autin, 2006)

5. Exemple dapplication :
Le problme du voyageur de commerce : Le recuit simul peut tre appliqu au problme du voyageur de commerce. Le but est alors de trouver le circuit hamiltonien de cot minimal dans un graphe. Lnergie reprsentera la distance totale parcourir, et un tat du systme reprsentera le chemin entre les villes. Lalgorithme va donc tenter de minimiser la longueur totale du chemin, en modifiant lordre des villes parcourir. Soit le graphe suivant reprsentant un ensemble de villes :

Le recuit simul

2
6 5 8 6 1 4 4

3
6

Figure 3 : un ensemble de villes (noeuds) relis entre eux par des routes (arcs)

La solution la plus simple est de parcourir les villes dans lordre.

1
6

Total = 26

Figure 4 : Une premire solution (parcours suivant l'ordre des villes)

Total = 21

Figure 5 : Le rsultat donn par lalgorithme glouton (se dlacer dun sommet vers son plus proche voisin) 1 2 5 8 6

Figure 6 : Le rsultat obtenu en changeant les sommets 2 et 3

2 2

Total = 22

Dans la Figure 6 : Le rsultat obtenu en changeant les sommets 2 et 3, la distance totale a augment. Pour une heuristique classique cette est solution est rejete car la distance doit tre minimise, mais le recuit simul poura laccepter si la temperature est encore eleve, et cette solution qui est mauvaise par rapport la premire va lui permettre de trouver une solution meilleure :
1 3 5 4 6

Total = 18

Figure 7 : Le rsultat obtenu en changeant les sommets 5 et 2

Le recuit simul

Le graphique suivant rsume les resultats trouvs :

Distance totale 28 26 24 22 20 18 16

Fig 8 : les rsultats obtenus dans l'exemple

En rsum : Le recuit simul, en acceptant une mauvaise solution, russi a chapper au minima local et obtenir une solution meilleure.

6. Domaines dapplications :
Comme pour toute mta-heuristique, la mthode du recuit simul peut tre applique dans de nombreux problmes doptimisation, les chercheurs lont utilise essentiellement dans : La conception des circuits intgrs (Kirkpatrick, et al., 1988)(problme de placement et de rpartition) ; Le routage des paquets dans les rseaux ; La segmentation d'images ; Le problme du voyageur de commerce ; Et, le problme du sac dos.

7. Avantages et Inconvnients :
7.1. Avantages : Facile implmenter; Donne gnralement de bonnes solutions par rapport aux algorithmes de recherche classiques; 10

Le recuit simul Peut tre utilis dans la plupart des problmes d'optimisation; Il converge vers un optimum global (lorsque le nombre ditrations tend vers linfini (Autin, 2006)). Cela fait de lui une option attrayante pour les problmes d'optimisation difficiles. 7.2. Inconvnients : Le principal inconvnient du recuit simul est qu'une fois l'algorithme pig basse temprature dans un minimum local, il lui est impossible de s'en sortir. Plusieurs solutions ont t proposes pour tenter de rsoudre ce problme, par exemple en acceptant une brusque remonte de la temprature de temps en temps, pour relancer la recherche sur dautres rgions plus loignes. (Autin, 2006) Appart cela on peut citer quelques autres inconvnients comme : La difficult de dterminer la temprature initiale : Si elle est trop basse, la qualit de recherche sera mauvaise. Si elle est trop haute, le temps de calcul sera lev. L'impossibilit de savoir si la solution trouve est optimale ; Dgradation des performances pour les problmes o il y a peu de minimas locaux (compar avec les heuristiques classiques comme la descente du gradient par exemple).

8. Conclusion :
Nous avons vu que les heuristiques classiques n'taient pas trs satisfaisantes pour rsoudre les problmes doptimisation, car les solutions gnres ntaient pas de bonne qualit. Lintelligence artificielle sest donc tourne vers la nature pour crer de nouvelles mthodes : plus gnrales et plus efficaces.

11

Le recuit simul

Bibliographie
AI Methods - Simulated Annealing [Rapport] : complment de cours / aut. Kendall Graham / CS - Nottingham University. Les mtaheuristiques en optimisation combinatoire [Rapport] : Mmoire de fin d'etudes / aut. Autin Baptiste / Conservatoire National Des Arts et Metiers. - PARIS : [s.n.], 2006. Mthode du recuit simul [Rapport] : complment TD/TP Recherche stochastique / aut. Olivier D.. - 2001. Optimization by Simulated Annealing [Article] / aut. Kirkpatrick, Gelatt et Vecchi // Science, New Series. - 13 Mai 1988. - 4598. - pp. 671-680. Simulated Annealing [Rapport] / aut. LIACS / Natural Computing Group ; Leiden University. 2009. Simulated Annealing, cours Biostatistiques - chapitre19 [En ligne] / aut. Abecasis Goncalo. 19 octobre 2011. - http://www.sph.umich.edu/csg/abecasis/.

12