Mtodos de Optimizacin sin Restricciones

Daz Silvia Optimizacin no Lineal Ing. De Sistemas

Introduccin al Tema: En sentido general, se llama optimizacin al proceso de encontrar la mejor solucin a un determinado problema, En un sentido ms restringido en este tema se entiende por optimizacin el proceso de encontrar los valores mnimos de una funcin de n variables f(x) en un dominio que puede ser Rn. Un gran nmero de problemas de Ingeniera se pueden formular de esta forma, Funcin objetivo, variables de diseo, restricciones La funcin f(x) a optimizar se suele denominar funcin objetivo Es muy importante la formulacin matemtica de esta funcin, as como el clculo de sus derivadas de primer y segundo orden. Las variables de las que depende la funcin objetivo se llaman variables de diseo y se agrupan en un vector x Rn. Con frecuencia las variables de diseo deben satisfacer ciertas restricciones, de igualdad o desigualdad En este tema se supondr que no hay restricciones. Mtodos matemticos de optimizacin Constituyen a la vez una ciencia y un arte Existe una gran variedad de mtodos y de variantes, con distintos rangos de aplicacin En este tema se vern slo algunos de los mtodos ms clsicos y eficientes.

Dada f : Rn R, campo escalar 2 veces diferenciable con continuidad, encontrar x Rn, solucin de: min xRn f (x)

(POSR)

Encontrar una solucin de este problema corresponde a encontrar un punto x que Satisface: f (x) f (x) x Rn Este punto x se denomina mnimo global de f sobre Rn. Desde un punto de vista prctico, encontrar el mnimo o mximo global de una funcin no-lineal cualquiera es un problema abierto en matemticas. Los mtodos existentes slo obtienen mnimo locales. Definicin 0: Un punto x es un mnimo local de f en Rn si existe r > 0 talque :f (x) f (x) para kx xk r El mnimo global de f ser el mnimo local de menor valor de la funcin objetivo.

Mnimos locales de una funcin de 2 variables

Desde un punto de vista terico, las condiciones ms generales para que x sea mnimo local de f son las siguientes: Un punto x es mnimo local de f si se verifican las siguientes condiciones: 1) x es un punto estacionario de f

2) La matriz hessiana 2f (x) de f en x es definida positiva:

Se demuestra mediante la aproximacin de Taylor de 2 Orden de la funcin f en torno a x. Entonces, para obtener el mnimo local se debe resolver un sistema de ecuaciones no Lineales, en general complejo. Surge de esta forma la necesidad de aplicar mtodos Numricos.

Consideraremos mtodos numricos llamados de descenso, que pueden ser clasificados en 3 grupos: Mtodos Descenso

Primer Orden Mtodo del Gradiente y Variedades Mtodo del Gradiente Conjugado Mtodo de Fletcher- Reeves Segundo Orden Mtodos de Newton Variedades Cuasi-Newton DFP: Davidon - Fletcher - Powell BFGS Todos los mtodos numricos que se utilizan en la actualidad reducen este problema a una secuencia de problemas unidimensionales. Mtodo de Gradiente o de Cauchy Sea f : Rn R diferenciable. La derivada direccional de f en la direccin d Rn Est dada por: Df (x; d) = f (x)td Para obtener la direccin de mximo descenso de la funcin f en un punto x Rn Tal que f (x) 6= 0, se debe resolver el problema:

La solucin del problema es:

Y por lo tanto la direccin de mximo descenso de la funcin f es: d = f (x) Definicin 2: El vector d Rn es una direccin de descenso de f , funcin diferenciable, en el punto x Rn si: f (x)t d < 0 ( f (x))t d > 0 A travs del mtodo del gradiente, se busca definir una sucesin de puntos que tenga la direccin de mximo descenso de la funcin f . Definicin 3: Las curvas de nivel de f estn definidas por: (f, ) = {x Rn tal que: f (x) = } Sea d Rn una direccin de descenso de la funcin f en el punto x. Se define la funcin unidimensional: hx,d : R+ R hx,d() = f (x + d) f (x) para x, d Rn fijos Luego, si minimiza hx,d sobre R+, entonces:

hx,d() < hx,d( = 0) = 0 f (x + d) < f(x) Donde verifica: h0x,d() = 0 f (x + d)td = 0 Directa de las definiciones hechas para hx,d.

Funcin Unidimensional hx,d De acuerdo a los resultados anteriores, se define la iteracin cannica del Mtodo del Gradiente o Mximo Descenso, segn:

Esquema iteracin del mtodo del Gradiente Ejemplo: Se quiere resolver el problema de optimizacin bidimensional, Min (x1,x2) R2 (x1 2)4 + (x1 2x2)2 En la siguiente tabla se muestran 7 iteraciones del mtodo del gradiente a partir de x0 = (0.00, 3.00)

Observaciones: En cada etapa k, llamado el paso del mtodo en la etapa (k + 1)sima, debe Verificar: f (xk + dk) dk = 0 Que en general ser una ecuacin difcil de resolver exactamente en . Por esta razn se utilizan pasos k que sern aproximaciones del paso exacto, determinados Por algn mtodo de eleccin de paso, como se ver ms adelante. Dadas las condiciones de optimalidad sobre f (i.e. existencia nica de la solucin Del problema (P)) se tiene que el mtodo posee una convergencia global, i.e. para cualquier punto inicial la iteracin del mtodo converge, a la solucin de (POSR). La rapidez de convergencia del mtodo es lineal: Si xk es la sucesin de puntos Determinados por el mtodo del gradiente, se tiene que (0, 1) tal que:

Donde x es un punto estacionario de f : f (x) = 0. Este punto estacionario Depende el punto inicial utilizado. Dos direcciones consecutivas generadas por el mtodo del gradiente son ortogonales, En efecto: supongamos que estamos en la iteracin k+1 del mtodo; la determinacin del paso exacto k obtiene el hecho anterior, pues:

Ahora bien, si k = 0, significa que estamos en el ptimo en xk y el mtodo finaliza. Si k > 0, k debe verificar la ecuacin:

Se llama mtodo del gradiente o de Cauchy, o de mximo descenso, a la iteracin del mtodo anterior con la eleccin del paso k exacto. Existen otros mtodos de gradiente que no consideran la eleccin del paso exacto, Si no que un paso elegido segn reglas que dan una buena aproximacin del paso exacto; o que consideran un paso constante para todas las iteraciones. Luego, en general, se considera un algoritmo del gradiente con eleccin de paso Variable segn algn criterio:

Mtodos de Direcciones Conjugadas Por tener velocidad lineal, la convergencia del mtodo del gradiente es lenta, an en El caso de funciones cuadrticas. Luego, se busca un mtodo de convergencia ms Rpida. Una manera posible de acelerar esta convergencia es utilizar la nocin de Direcciones conjugadas u ortogonales Mtodo del Gradiente Conjugado Sea (PC) el problema de optimizacin cuadrtico definido por:

Donde Q es una matriz definida positiva Un conjunto de direcciones {d1, ..., dk} de Rn, no nulas; k n se dir Q conjugado 2 a 2 si:

Por ejemplo, si Q = I, las direcciones son ortonormales. Si {d1, ..., dk} es un conjunto Q-conjugado, entonces {d1, ..., dk} es de rango Mximo, i.e. los vectores di son linealmente independientes. En efecto, sean i R; i = 1, ..., k, tal que:

El mtodo de direcciones conjugadas para (PC), suponiendo que no se tienen las Direcciones conjugadas ya calculadas, es el siguiente:

El mtodo del gradiente conjugado es un mtodo de direcciones conjugadas. Si No termina en xk, entonces:

Observacin: Como las direcciones conjugadas son Q-ortogonales entre si, el mtodo del gradiente Conjugado converje en a lo ms n iteraciones.

Mtodo de Fletcher-Reeves Corresponde a la versin del mtodo del gradiente conjugado en el caso de una funcin f general. La iteracin se define de la siguiente manera:

Ejemplo: Volviendo al problema de optimizacin bi-dimensional anterior Min (x1,x2) R2 (x1 2)4 + (x1 2x2)2 En la siguiente tabla se muestran 3 iteraciones del mtodo de Fletcher-Reeves a partir de x0 = (0.00, 3.00)

Mtodos Aproximados de Eleccin de Paso Su utilizan para lograr una buena eleccin del paso en cada iteracin de un mtodo de optimizacin como alternativa a la determinacin del paso exacto. Sea k la iteracin de un mtodo de optimizacin cualquiera y se quiere determinar un paso para la sucesin minimizante:

Donde tk 0, dk es una direccin de descenso en xk de la funcin objetivo f, i.e:

La idea del algoritmo para determinacin del paso tk, ser calcular un intervalo [tg , td], 0 tg td en el cual se pueda escoger tk [tg , td] y se asegure una buena eleccin en todo el intervalo.

La Regla de Goldstein determina los criterios (a), (b) y (c) en el algoritmo general de determinacin de paso:

Regla de Eleccin de Paso de Goldstein

En la prctica, se prueba con distintos valores para m1 y m2 Newton Kantorovich El mtodo de Newton es un mtodo numrico que se utiliza para encontrar ceros de una funcin. Sea F : Rn Rn un campo vectorial de clase 1(Rn). Un punto x Rn ser un cero de F si: F (x) = 0

El mtodo de Newton para este problema es el siguiente:

Este mtodo se puede aplicar a la bsqueda de los ceros del gradiente de una funcin f : Rn R, suficientemente regular. Es decir, se buscan los puntos estacionarios de f .

Ejemplo: En la tabla siguiente se aplica el mtodo de Newton al problema de optimizacin bi-dimensional a partir de x0 = (0.00, 3.00)

Observaciones: La direccin del Mtodo de Newton: dk = h 2f (xk)i1 f (xk) es una direccin de descenso si y slo si: 2f (xk) es definida positiva, es decir: ( f (xk))dk > 0 2f (xk) El mtodo de Newton en cada iteracin, considera una aproximacin cuadrtica de la funcin objetivo, y define el nuevo punto de la sucesin minimizante como el ptimo de la aproximacin cuadrtica de la funcin objetivo. Cerca de un

ptimo local de f, la aproximacin exacta. El punto inicial x0 no puede ser arbitrario, ya que para que el mtodo converja, la direccin dk debe ser de descenso. Esta corresponde a la principal desventaja del mtodo: su convergencia local. Sin embargo, su rapidez de convergencia es su mayor ventaja, posee convergencia de velocidad cuadrtica, es decir:

El principal problema del Mtodo de Newton es que la matriz 2f (xk) debe Ser definida positiva. Si se parte de un punto x0 suficientemente cercano a un Mnimo local, esto se verifica. En general se desconoce toda informacin acerca de la solucin ptima del problema, y por lo tanto no se tiene un buen criterio Para escoger x0. Esto sugiere, que un buen mtodo de minimizacin es una combinacin del Mtodo del Gradiente y del Mtodo de Newton: Inicialmente se aplica el Mtodo del Gradiente que tiene convergencia global de velocidad lineal y luego Se aplica el Mtodo del Newton que tiene convergencia local de velocidad Cuadrtica.

Mtodos Cuasi-Newton En cada iteracin del mtodo de Newton es necesario calcular la inversa de la matriz hessiana de f en xk de manera exacta, lo que es costoso computacionalmente, O(n3) Operaciones aritmticas. Por esto razon, se propone un mtodo iterativo de la forma: xk+1 = xk tkSk gk gk = f (xk) Donde Sk es una matriz que aproxima a 2f (xk)1 y tk 0 minimiza f sobre xk gk para 0 (paso exacto o aproximado). Se presentarn 2 mtodos que permiten construir iterativamente la matriz Sk de manera que se verifiquen las siguientes condiciones:

Definida Positiva: Si Sk es definida positiva = Sk+1 tambin lo es Aproximacin de la matriz hessiana inversa de f : xk x , Sk 2f (x)1para k . La forma de construir estos mtodos asegura: Convergencia Global Rapidez de convergencia mayor que lineal Convergencia a un mnimo local