Índice

§ Introducción a la optimización sin restricciones

§ Métodos de gradiente
• Introducción
Optimización sin restricciones • Clasificación
• Direcciones de descenso
• Minimización unidimensional
• Región de confianza
• Métodos específicos para problemas de
mínimos cuadrados no lineales
§ Laboratori de Càlcul Numèric (LaCàN) § Otros métodos
§ Departament de Matemàtica Aplicada III • Algoritmos genéticos
§ Universitat Politècnica de Catalunya • Recocido simulado (“simulated annealing”)
(Spain)
http://www-lacan.upc.edu
2

Introducción Métodos de gradiente

Introducción
§ Problema fundamental de optimización sin restricciones:

Minimización Sistemas
sin restricciones no lineales
es un mínimo local si:
§ Condición necesaria:

§ Condición suficiente:

definida positiva

3 4

Métodos de gradiente Métodos de gradiente

Clasificación Algoritmo numérico general
§ Necesitan la matriz hessiana (orden 2) Dado
• Método de Newton hallar tal que
§ Necesitan el vector gradiente (orden 1)
• Máximo descenso
• Direcciones conjugados
• Métodos cuasi -Newton Las aproximaciones en cada iteración se calculan como
§ Sólo necesitan evaluar la función (orden 0)
• Diferencias
• Métodos heurísticos § es una dirección de descenso
§ se obtiene resolviendo un problema de
minimización unidimensional

5 6

1
 Métodos de gradiente Métodos de gradiente
Método de Newton Máximo descenso

En cada iteración avanzamos en la dirección del

gradiente de la función objetivo

Si imponemos , la dirección de avance en cada

iteración se obtiene resolviendo el sistema con

J Convergencia cuadrática § Requiere minimización unidimensional

L Cálculo de la hessiana § Repite direcciones de avance
§ La convergencia puede ser muy lenta
§ Si es singular, se utiliza alguna técnica en que no
sea necesario calcularla.
7 8

Métodos de gradiente Métodos de gradiente

Direcciones conjugadas Minimización unidimensional (1/5)
Estos métodos son una generalización del método de
gradientes conjugados para la resolución de sistemas
lineales:
Clasificación de los métodos:
§ Utilizando
• métodos de reducción de intervalo
• métodos de interpolación polinómica
§ Fletcher-Reeves
§ Utilizando y
• métodos de interpolación polinómica
§ Polak – Ribiere § Utilizando , y
• método de Newton

9 10

Métodos de gradiente Métodos de gradiente

Minimización unidimensional (2/5) Minimización unidimensional (3/5)
§ Métodos de reducción de intervalo
continua y tres puntos a, b, c tales que § Método de la sección áurea:

Elegir y escoger una nueva terna:

si
si

11 12

2
 Métodos de gradiente Métodos de gradiente
Minimización unidimensional (4/5) Minimización unidimensional (5/5)
§ Métodos de interpolación polinómica § Método de Newon
Interpolamos una parábola Para minimizar resolvemos
§ por tres puntos φ(a), φ(b), φ(c)
§ utilizando φ(a), φ(b), φ ’(a)
y escogemos d el mínimo de la curva.

13 14

Métodos de gradiente Métodos de gradiente

Métodos de región de confianza (1/2) Métodos de región de confianza (2/2)
Idea: restricción del paso a una región de confianza cuando §
la aproximación cuadrática no es muy fiable
§ Sea entonces

Lema
Sea f diferenciable dos veces con continuidad y H* § Gay (1981) demuestra que, aunque H* tenga valores
simétrica y definida positiva. Entonces, propios negativos, la solución del problema sigue siendo

es la solución del problema para una única µ = 0 tal que para algún µ >0 tal que ( H* +µ I ) es al menos semidefinida
exceptuando el caso en que (en este positiva.
caso la solución es s(0) = s0 ). § s(µ) varía entre si µ =0
Para cualquier µ = 0, s(µ) define, dada xk, una dirección de
descenso para f. si µ >>1
15 16

Métodos de gradiente Métodos de gradietne

Mínimos cuadrados no lineales (1/3) Mínimos cuadrados no lineales (2/3)
§ Caso particular de problemas de optimización no restringida
donde la función objetivo es

§ Problemas de ajuste de parámetros:

datos
modelo (no lineal)
Objetivo:
determinar los parámetros que mejor caracterizan el
modelo, es decir, que minimizan el residuo

en el sentido de mínimos cuadrados.

17 18

3
 Métodos de gradiente Otros algoritmos
Mínimos cuadrados no lineales (3/3) Algortimos genéticos (1/2)
Algoritmos basados en el proceso de selección natural

1 1. npop cromosomas:
representación codificada de los
§ Gauss- Newton 2 parámetros

3 parámetro estimado pj :
§ Levenberg-Marquardt
4
2. Función de fitness
§ Otras aproximaciones 5

donde es una aproximación secante de

19 20

Otros algoritmos Otros algoritmos

3. Selección aleatoria Algoritmos genéticos (2/2) Simulated annealing
Algoritmos basados en el proceso de recocido
§ Energía: valor de la función objetivo
1
§ Moléculas: parámetros
§ Vibración de las moléculas: perturbaciones de los parámetros
2
§ Temperatura: escalar que permite decidir si se acepta o se
rechaza una aproximación
4. Crossover con probabilidad: 0.8-1 3
1. Temperatura y parámetros iniciales x1
2. Perturbación de los parámetros: yk = xk + random
4
3. Cálculo del valor de la función objetivo en yk .
5 Sea ∆ = f(yk ) - f(xk )
Mutación con probabilidad 0.01-0.1 Si ∆ < 0 asignar xk+1 = yk y volver a 2
(sustitución aleatoria de un dj)
Si ∆ < 0
5. Sustituimos el peor individuo de la si a < p asignar xk+1 = yk y volver a 2
población actual por el mejor de la
anterior si a > p asignar xk+1 = xk y volver a 2
21 22