OPTIMIZACIÓN

Ingeniería Eléctrica y Electrónica, Escuela Politécnica Nacional

Quito, Ecuador

Método de Gradiente

Sea 𝑓: ℝ𝑛 → ℝ diferenciable. La derivada direccional de de 𝑓 en la dirección de 𝑑є ℝ𝑛 está

dada por:

𝐷𝑓(𝑥; 𝑑) = 𝛻𝑓(𝑥)𝑡 𝑑

Para obtener la dirección de máximo descenso de la función 𝑓 en un punto 𝑥є ℝ𝑛 tal que

𝛻𝑓(𝑥) ≠ 0, se debe resolver el problema

min𝑛 𝛻𝑓(𝑥)𝑡 𝑑
𝑑є ℝ

‖𝑑‖2 = 1

La solución de este problema es:

𝛻𝑓(𝑥)
𝑑=−
‖𝛻𝑓(𝑥)‖

Y por lo tanto la dirección de máximo descenso de la función 𝑓 es:

𝑑 = −𝛻𝑓(𝑥)
Observaciones:

1) En cada etapa 𝛼𝑘 , llamado el paso del método en la etapa (k + 1)-ésima, debe verificar:

𝛻𝑓(𝑥 𝑘 + 𝛼𝑑𝑘 ) ∙ 𝑑𝑘 = 0
Que en general será una ecuación difícil de resolver exactamente en α. Por esta razón se utilizan
pasos αk que serán aproximaciones del paso exacto, determinados por algún método de elección
de paso, como se verá más adelante.

Ejemplo:

Min 𝑧 = 𝑋12 + 2𝑋22 + 4𝑋1 − 4𝑋2

1.- Punto inicial tal que 𝑋 = 𝑋 𝐾 y contador 𝐾 = 0

Entonces 𝑋 0 = (1,1) 𝑦 𝐾 = 0

2.- Dirección del descenso 𝑑𝐾 = −𝛻𝑓(𝑋 𝐾 )

𝑑1 = −𝛻𝑓(𝑋1 )

𝑑′ 𝑑′ 𝑑′
𝛻𝑓(𝑥) = ( 𝑓(𝑥), 𝑓(𝑥), … … . . 𝑓(𝑥))
𝑑𝑥1 𝑑𝑥2 𝑑𝑥𝑛

𝑓(𝑥) = 𝑋12 + 2𝑋22 + 4𝑋1 − 4𝑋2

𝑑′
𝑓(𝑥) = 2𝑥1 + 4
𝑑𝑥1

𝑑′
𝑓(𝑥) = 4𝑥2 − 4
𝑑𝑥2
 𝛻𝑓(𝑥) = (2𝑥1 + 4,4𝑥2 − 4)

𝛻𝑓(𝑥) = (2(𝑥1 + 2), 4(𝑥2 − 1))

Recordando que:

𝑋 0 = (1,1)

𝛻𝑓(1,1) = (2((1) + 2), 4((1) − 1))

𝛻𝑓(1,1) = (6,0)

−𝛻𝑓(1,1) = (−6,0)

Se debe iterar hasta que

‖∇𝑓(𝑥 𝑘 )‖ = 0

Evaluamos:

‖∇𝑓(𝑥 0 )‖ = √(6)2 + 02 = 6

6≥0

Por lo que se debe seguir iterando

3.- Búsqueda lineal para seleccionar un paso ∝𝑘

Se debe garantizar que:

𝑔𝑘 (∝𝑘 ) = 𝑓(𝑥 𝑘 +∝𝑘 𝑑𝑘 ) < 𝑓(𝑥 𝑘 )

∝𝑘 ≥ 0

Entonces:

𝑔0 (∝0 ) = 𝑓(𝑥 0 +∝0 𝑑0 ) < 𝑓(𝑥 0 )

∝0 ≥ 0

Como:

𝑋 0 = (1,1) y 𝑑0 = (−6,0)

𝑔0 (∝0 ) = 𝑓((1,1) +∝0 (−6,0)) < 𝑓(1,1)

Entonces:

𝑔0 (∝0 ) = 𝑓((1,1) +∝0 (−6,0)) = 𝑓(1 − 6 ∝0 , 1)

Recordando que:

𝑓(𝑥) = 𝑋12 + 2𝑋22 + 4𝑋1 − 4𝑋2

Entonces:

𝑓(𝑥) = (1 − 6 ∝0 )12 + 2(1)22 + 4(1 − 6 ∝0 )1 − 4(1)

Simplificando

𝑔0 (∝0 ) = 36 ∝0 2 − 36 ∝0 + 3

Derivando:

𝑔0 ′(∝0 ) = 72 ∝0 − 36

Si

∝0 ≥ 0

72 ∝0 − 36 = 0

1
∝0 =
2

4.- Calcular

𝑋 𝐾+1 = 𝑋 𝐾 +∝𝑘 𝑑𝑘

1 1
𝑔0 ( ) = 𝑓 ((1,1) + (−6,0)) = 𝑓(−2,1)
2 2

Entonces:

𝑋1 = (−2,1) 𝑦 𝐾 = 1

Volvemos al paso 1

𝑋 0 = (−2,1)

𝛻𝑓(−2,1) = (2((−2) + 2), 4((1) − 1))

𝛻𝑓(−2,1) = (0,0)

−𝛻𝑓(−2,1) = (0,0)
Se debe iterar hasta que

‖∇𝑓(𝑥 𝑘 )‖ = 0

Evaluamos:

‖∇𝑓(𝑥 0 )‖ = √(0)2 + 02 = 0

Entonces el punto (-2,1)

Es el óptimo y mínimo global del problema