Capı́tulo 1

Introducción: Optimización
estocástica

1.1. Introducción

La optimización estocástica busca la solución en un escenario que depende

del azar. Existen muchos sistemas en los cuales están presentes incertidum-
bres en su modelo, ya sea en misma descripción del sistema o como perturba-
ciones. Entre muchas variables aleatorias se pueden mencionar la demanda
eléctrica de una red de generación, el caudal de lluvias en un sistema de
riego, la cantidad de personas que ocupan una habitación en un sistema de
calefacción. Entre otras, son ejemplos de sistemas estocásticos, en los cuales
se pueden tener presente para su solución la idea de escenarios. En concreto,
la optimización estocástica busca generar una solución para varios escenarios
que se pueden establecer bajo una condición probabilı́stica.

Una optimización estocástica debe considerar:

Una serie de variables o decisiones que hay que tomar.

Una serie de restricciones que limitan esas decisiones.
Una función objetivo o un criterio a optimizar.

Una solución es factible cuando satisface todas las restricciones, pero

cuando las restricciones aleatorias no se puede hablar estrictamente de facti-

1
2 CAPÍTULO 1. INTRODUCCIÓN: OPTIMIZACIÓN ESTOCÁSTICA

bilidad sino de probabilidad de que una cierta solución sea factible. La función
objetivo se puede establecer como un valor esperado. Una de las maneras de
afrontar este problema es reducir el riesgo de la decisión utilizando el peor
escenario, debe quedar claro que controlar según el peor caso es muy con-
servador; hoy en dı́a la ayuda computacional permite hallar una solución
considerando múltiples escenarios, brindando una solución robusta sin sacri-
ficar el rendimiento de la solución.

Un escenario se puede definir como la posible evolución del sistema hacia

un estado futuro. En este aspecto de la formulación de múltiples escenarios
se pueden plantear algunas técnicas que permiten resolver este problema de
optimización de la señal de control. Algunas de estas técnicas se describen el
siguiente sección, aplicadas en conjunto con la filosofı́a del Control Predictivo.

1.2. Técnicas de MPC estocásticas

El MPC (Model Predictive Control ) es una estrategia de control muy

utilizada en la industria, debido a que en la solución de los problemas puede
cosiderar restricciones en las variables manipuladas y controladas, retardos
en la planta, no linealidades, etc. La idea principal del MPC es obtener una
señal de control, resolviendo en cada instante de tiempo un problema de
optimización en un horizonte finito de predicción basado en las evoluciones
pasadas del modelo de la planta. El MPC aprovecha el modelo del sistema
para predecir su evolución futura a partir del estado actual del sistema a lo
largo de un horizonte de predicción dado. La señal de control es implementada
en el instante actual y el problema se repite en el siguiente instante en un
horizonte deslizante de tiempo. Debido a su gran versatilidad, MPC se ha
convertido en una de las técnicas de control más populares en aplicaciones
industriales ; véase, por ejemplo [1]. Sea el sistema:
x[k + 1] = A · x[k] + B · u[k] + D · ω[k] (1.1)
s.a.
x∈X →G·x≤g (1.2)

u ∈ U → LB ≤ u ≤ U B (1.3)

Donde se desea controlar el sistema descrito por (1.1), mediante la opti-

mización de una función de coste a lo largo del horizonte de predicción. Esta
1.2. TÉCNICAS DE MPC ESTOCÁSTICAS 3

función puede tomar varias formas, una de las más comunes en utilizar son
funciones de coste cuadráticas como se indica a continuación:

N
X −1
J= (xTk · Q · xk + uTk · R · uk ) + xN T · P · xN (1.4)
k=0

Por lo tanto lo que se busca es minimizar su función de coste, sujeta a

ciertas restricciones:

N
X −1
mı́n (xTk · Q · xk + uTk · R · uk ) + xN T · P · xN (1.5)
u0 ,u1 ,...,uN −1
k=0
s.a.
x[k + 1] = A · x[k] + B · u[k] + D · ω[k] (1.6)
x0 = x (1.7)
G · xk ≤ g; ∀k ∈ 0, .., N (1.8)
LB ≤ uk ≤ U B; ∀k ∈ 0, .., N − 1 (1.9)

La formulación del MPC clásico no permite considerar un sistema con

incertidumbres y perturbaciones. Muchos esquemas de MPC han sido pro-
puestos para garantizar estabilidad y el cumplimiento de restricciones en
presencia de perturbaciones [2]. A continuación, se enumeran formulaciones
de MPC robustos.

1.2.1. Enfoque Min-max y Multi-escenarios

La función de coste que es minimizada se calcula para el peor escenario po-

sible. Sin embargo, las polı́ticas de min-max suelen ser computacionalmente
exigentes, y la ley de control resultante es a menudo demasiado conservadora.
N
X −1
mı́n máx (xTk .Q.xk + uTk .R.uk ) + xN T .P.xN (1.10)
u0 ,u1 ,...,uN −1 ω∈W
k=0

s.a.
x[k + 1] = A.x[k] + B.u[k] + D.ω[k] (1.11)
x0 = x (1.12)
4 CAPÍTULO 1. INTRODUCCIÓN: OPTIMIZACIÓN ESTOCÁSTICA

G.xk ≤ g; ∀k ∈ 0, .., N (1.13)

LB ≤ uk ≤ U B; ∀k ∈ 0, .., N − 1 (1.14)

Dentro de una modificación de la técnica de min-max se puede citar la

idea principal de [3], que es presentar una conjunto de perturbaciones basadas
en predicciones metereológicas y aplicar un Multiple MPC (MMPC) que sa-
tisfaga a cada una de estas. Para lo cual toma tres señales de perturbaciones,
la máxima, la media y la inferior. El diseño del MMPC lo realiza ampliando
la función objetivo para cada una de estas perturbaciones, adicionalmente
multiplica por la probabilidad de cada uno de los tres escenarios, con lo cual
se obtiene un mejor desempeño del controlador comparado con el MPC el
cual considera solo un solo escenario de perturbaciones.

En [4] se desarrolla un método para determinar los controladores de re-

alimentación de estado basados en una formulación de control min-max para
sistemas lineales en tiempo discreto con incertidumbres, sujeto a restricciones
en las entradas y los estados. La robustez se logra considerando perturbacio-
nes aditivas en la entrada o para incertidumbres paramétricas poliédricas en
las matrices de espacio de estado.

Se presenta en [5] dos formulaciones diferentes de control predictivo basándo-

se en la minimización del coste cuadrático para el peor de los casos para
sistemas con parámetros acotados. Las dos formulaciones difieren de las su-
posiciones hechas sobre las futuras entradas en la optimización de la entrada
actual: se asume el control de bucle abierto, mientras que el otro tiene en
cuenta el control de lazo cerrado.

1.2.2. MPC estocásticos

Los valores esperados de los ı́ndices de las restricciones/rendimiento y la

convergencia en probabilidad son considerados, por la explotación de la in-
formación estadı́stica disponible en la perturbación. Una suposición común
cuando se enfrentan a la incertidumbre con valores en un dominio continuo
es modelar la señal de perturbación como un ruido gaussiano , con media y
matriz de covarianza dadas. Esto permite que se obtengan resultados teóri-
cos basados en el cálculo analı́tico de las propiedades estadı́sticas del proceso
controlado. Por otra parte, puede ser una suposición estadı́stica restrictiva,
como a menudo se tiene en procesos reales con incertidumbres, distintos inter-
valos de tiempo con caracterı́sticas que no estén adecuadamente modelados
1.2. TÉCNICAS DE MPC ESTOCÁSTICAS 5

por una distribución normal estándar.

De la programación estocática aplicada al MPC trata [6], donde se resuel-

ve el problema de optimización de una función de coste y se tienen descritas
las incertidumbres. La aplicación de la programación estocástica (Stochastic
Programming) garantiza el cumpliemiento de resticciones y la minimización
de la función de coste en lazo cerrado para cada perı́odo de muestreo con
una cierta probabilidad. Las perturbaciones son evaluadas en cada perı́odo
de tiempo considerando el valor futuro esperado. Las perturbaciones son dis-
cretizadas lo cual permite la creación de un árbol de escenarios ramificados
conteniendo todos los posibles casos de incertidumbres de su trayectoria. El
resultado del MPC se resuelve mediante programación estocástica, la cual
llega a demostrar robustez en sus acciones. Además se demuestra el concepto
de estabilidad estocástica ,mediante la utilización de teoremas.

En [2], se presenta la formulación de control predictivo de un modelo

estocástico basado en la generación de escenarios para sistemas lineales afec-
tados por perturbaciones multiplicativas discretizadas. Se separan los proble-
mas de optimización de rendimiento estocástico por un lado, y la convergen-
cia estocástica al origen y el robusto cumplimiento de restricción en el otro,
se propone un esquema de control que requiere la solución fuera de lı́nea
de un problema de desigualdades lineales matriciales (LMI), y la implemen-
tación de un horizonte de retroceso de un problema QCQP (Quadratically
Constrained Quadratic Program) para obtener la acción de control. Se afirma
en este artı́culo que el algoritmo propuesto es adecuado para la aplicación
en una amplia clase de procesos con perturbaciones discretas. Además, se
desarrollan simulaciones de un sistema de dimensión baja para demostrar el
rendimiento de este enfoque, en comparación con el clásico y robusto MPC
y un MPC determinı́stico.

Una aplicación del enfoque de escenarios se desarrolló por [7] en el cual se

enfoca en el control de congestión de datos en redes de computadoras don-
de el control feedback ofrece soluciones eficientes. El problema que se puede
presentar en estos casos es diseñar un controlador para este tipo de sistemas
que asegure un adecuado rendimiento en todos las posibles condiciones, te-
niendo en consideración que estos sistemas operan bajo un amplio rango de
condiciones, tales como son no linealineades y retardos variantes de tiempo
de transporte. Las soluciones suelen presentarse únicamente para determina-
dos casos y escenarios. La idea central de este trabajo es brindar un grado de
confianza requerido, desarrollando un un enfoque aleatorio para probar si un
controlador con un comportamiento robusto satisface un conjunto de espe-
6 CAPÍTULO 1. INTRODUCCIÓN: OPTIMIZACIÓN ESTOCÁSTICA

cificaciones con un margen de error dado. La idea es probar un controlador

bajo un número finito de escenarios. Cuando el controlador satisface las es-
pecificaciones para un número suficiente de estos escenarios entonces ciertas
propiedades pueden ser concluidas con un grado de confianza dada. Una de
las caracterı́sticas principales de esta técnica es independiente de la familia
de controladores (PID, predictivos, robustos, etc.). En este artı́culo se aplica
esta técnica a la gestión activa de colas (Active queue management, AQM)
que complementa el protocolo de control de transmisión (TCP) de extremo
a extremo, en los retardos de tiempo de los routers. Como una demosración
de la metodologı́a se aplica a un problema de dos routers conectados en un
topologı́a Dumbbell, que representa un escenario de único cuello de bote-
lla. La longitud de estas colas es controlado por un PID cuyas propiedades
probabilı́siticas son garantizadas. Esta técnica puede ser aplicada a plantas
donde existan no linealidades, incertidumbres y variaciones de parámetros.
Para desarrollar esta técnica se asume que existen una distribución de pro-
babilidad definida sobre el conjunto de escenarios. En general, no es posible
probar el controlador en todos los posibles escenarios, por lo que se propone
un enfoque probabilı́stico, con N número de escenarios subconjunto de los
ya establecidos. Estos escenarios prueban si el controlador satisface las es-
pecificaciones y permite establecer una probabilidad de fallo, empı́ricamente
estimada. La propuesta es determinar el número de escenarios suficientes que
garantice que el controlador trabaja apropiadamente con un nivel de confian-
za. Varios controladores serán probados hasta encontrar uno que satisfaga las
especificaciones con el grado de confianza requerido.

1.2.3. Tree-Based MPC

Cuando se trata de problemas de optimización en presencia de datos

estocásticos, la aproximación de la incertidumbre continua a un dominio dis-
creto es una forma de preservar las principales propiedades estadı́sticas del
proceso continuo. La formulación del problema de control implica la realiza-
ción de un árbol basado en escenarios de optimización, donde sólo los más
relevantes patrones de perturbación se modelan.

La modelación de los escenarios como un árbol se presenta en [8], en el

cual se realiza un controlador predictivo para sistemas de agua en el que
la incertidumbre es modelada mediante un árbol. Asimismo, dicho traba-
jo realiza la solución de manera distribuida mediante la utilización de los
multiplicadores de Lagrange, es decir, mediante la descomposición dual del
1.2. TÉCNICAS DE MPC ESTOCÁSTICAS 7

Figura 1.1: Estructura de un árbol

problema.

En [9] se plantea la aplicación de dos tipos control MPC estocástico (SP-

MPC) para una red de suministro de agua. Dentro del campo de SPMPC
plantean controladores basados en Chance-Constrains (CC-MPC) y el méto-
do basado en Tree-Based (TB-MPC) para tratar el carácter estocástico de
las perturbaciones que responde a la demanda de la red de agua y las condi-
ciones metereológicas, que dan como resultado un grado de incertidumbre en
el modelo de las mismas. La aplicación de un MPC centralizado puede violar
ciertas restricciones y no siempre responder con un óptimo comportamiento.
El objetivo del control es minimizar una función de coste convexa F(x,u),
donde la secuencia de las incertidumbres son conocidas instante inicial y el
resto son estimadas para un horizonte de predicción. Este algoritmo se repite
para cada uno de los fututros instantes de muestreo. Esto permite un compro-
miso entre robustez y desenvolvimiento de la acción de control. El CC-MPC
permite relajar las restricciones con una probabilidad predeterminada para
que el sistema no corra riegos. Una caracterı́stica de este tipo de controlador
es descomponer el conjunto de restricciones en restricciones individuales se-
paradas, tratándolas como inecuaciones de Boole. Por otro lado se plantea un
8 CAPÍTULO 1. INTRODUCCIÓN: OPTIMIZACIÓN ESTOCÁSTICA

TB-MPC, que se basa en la formulación de posibles escenarios en un forma

de un árbol ramificado, el cual inicia con una perturbación en común, donde
a través de su evolución diverge y da origen a nuevos escenarios. Estos puntos
de divergencia se denomina bifurcaciones, y en ellas se cambia las condiciones
del controlador para cada uno de estos puntos. En este sentido se remarca
que el número de escenarios utilizadas para construir el árbol debe ser de
acuerdo a la capacidad computacional del controlador y de la probabilidad
de riesgo existente en la elaboración del árbol. Estas dos técnicass fueron
apliacadas a la red de abastecimiento de agua y concluyen que ambas tienen
desempeño similar, recalcando que un CC-MPC es más apropiada cuando se
requiere una baja probabilidad de violación de restricciones mientras que un
TB-MPC demanda considerar un número suficiente de escenarios.

1.2.4. Chance-constraints

El enfoque de optimización basado en escenarios ofrece una forma intui-

tiva de aproximar la solución a los programas de optimización de chance-
constraints, basándose en la búsqueda de la solución óptima en un número
finito de escenarios. Un mérito clave de este enfoque es que no asume el
conocimiento del conjunto de incertidumbre, ya que es común en la opti-
mización robusta, ni de su distribución de probabilidad, ya que se requiere
generalmente en la optimización estocástica. Además, el enfoque basado en
escenarios es computacionalmente eficiente debido a que su solución se basa
en un programa de optimización determinista que es canónicamente convexa,
incluso cuando el problema chance-constrained original no es [10].

En [10] se desarrolla una nueva técnica de control MPC basado en es-

cenarios, en el que se optimizan las entradas de control a lo largo de un
horizonte finito de predicción, sujeto a resticciones robustas bajo un número
finito de escenarios de incertidumbres y/o perturbaciones. Los sistemas plan-
teados son de naturaleza estocástica, pueden tener perturbaciones aditivas,
por incertidumbres randómicas en el sistema de matrices o ambas. El obje-
tivo común de estos sistemas es minimizar la función de coste, mientras que
el sistema está sujeto a restricciones limitadas (chance constraints), por lo
que las restricciones deben ser cumplidas con una probabilidad dada. Para
tratar este tipo de sistema se propone la técnica de SMPC, que consiste en
desarrollar un MPC basado en un número finito de escenarios. La idea de
esta técnica es computar una ley de control óptima que sea factible para
K escenarios muestreados producto de la incertidumbre. Donde el número
1.2. TÉCNICAS DE MPC ESTOCÁSTICAS 9

de escenarios debe ser cuidadosamente elegido para lograr las propiedades

deseadas del controlador.

Esta técnica se la puede describir mediante el siguiente algoritmo:

Medir el estado actual xt .

Extraer K escenarios de perturbaciones.

Remover R escenarios y resolver el problema de control óptino para un

horizonte finito con los escenarios restantes.

Aplicar la primera entrada de control de la solución.

De esta manera se reduce el problema de optimización para un menor

número de escenarios en cada uno de los instates de muestreo. El número de
escenario R que se remueven es elegido como un parámetro tan alto como
es permitido por los recursos computacionales. A medida que sea menor el
valor de R y mayor el número de escenarios la esperanza matemática que
el estado cumpla con las restricciones impuestas por el sistema será mayor.
Como se indica en la Figura 1.2, cabe recalcar que se necesitará un mayor
esfuerzo computacional.

Figura 1.2: Esperanza matemática de K escenarios, removiendo R

10 CAPÍTULO 1. INTRODUCCIÓN: OPTIMIZACIÓN ESTOCÁSTICA

En [11], se propone un enfoque probabilı́stico de los problemas de con-

trol en los que la garantı́a del rendimiento no está destinado en un sentido
determinı́stico, es decir un cumplimiento de todos los posibles resultados de
incertidumbres, pero en su lugar se halla destinado en un sentido probabilı́sti-
co, entendiéndose por tal satisfacer para la mayorı́a de incertidumbres, o en
una probabilidad dada. Con este fin se plantea lo que se denomina Enfoque
de escenarios para resolver problemas de control robusto convexos. Se provee
un lı́mite eficiente en las muestras de complejidad del problema de escenarios,
que se incrementa lentamente con los requerimientos de los niveles de proba-
bilidad. Un aporte que supera los métodos de secuencias estocásticas es que
este resultado mantiene una optimización robusta además de su factibilidad.

El prototipo del problema de control que se utiliza consiste en minizar

una función objetivo lineal sujeto a satisfacer restricciones.

Se contraponen dos técnicas de diseño:

Diseño para el peor caso. Está enfocado al diseño de restricciones para

todos los valores de incertidumbres. El resultado del sistema en lazo
cerrado mostrará un nivel de rendimiento que está garantizado para
cada una de todas las plantas pertenecientes a la familia de incerti-
dumbres. El pricipal problema encontrado con esta técnica puede ser
computacionalmente difı́cil. Además se introduce un grado de solución
puede ser muy conservadora.

Diseño probabilı́stico robusto. En esta técnica se asume una medida de

probabilidad sobre el conjunto de incertidumbres dado. Se pretende
luego buscar un parámetro de diseño que minimice la función de coste
lineal satisfaciendo todas las restricciones, pero además, una pequeña
fracción de ellas cuya probabilidad no es tan alta como el nivel de
probabilidad ya establecido. Cabe señalar que este enfoque puede ser
visto como una relajación del diseño del peor caso, en el que uno permite
un nivel de riesgo y busca un parámetro de diseño de tal manera que
la especificación de rendimiento es violado por a lo sumo una fracción
de las plantas de la familia de incertidumbres. La solución puede ser
encontrada con un pequeño esfuerzo computacional.

Frente a estas descripciones, en el artı́culo desarrollan la segunda técnica. Se

puede afirmar que si se extrae un número finito de restricciones, a continua-
ción la solución del problema randómico (si es factible) satisface la mayor
parte de las otras restricciones que no se ven.
1.3. OBJETIVOS 11

La caracterı́stica distintiva de esta técnica denominada chance constrained

problem es que se requiere que el conjunto de restricciones no consideradas se
elijan de manera óptima, es decir, entre los todos los conjuntos de restriccio-
nes con probabilidad no mayor que la probabilidad establecida, el escenario
no considerado es el que permite la mayor reducción en el objetivo de diseño.
En la literatura de optimización, este problema que se llama un problema de
optimización çhance constrained”.

En este trabajo se presenta un enfoque novedoso para el control robusto,

un diseño basado en el concepto de los escenarios con incertidumbre. Dentro
este aspecto, se imponen los requisitos de robustez en un sentido probabilı́sti-
co. Esta solución se calcula resolviendo una optimización convexa teniendo
un número finito N de restricciones muestreadas.

La principal contribución de este trabajo es proporcionar una cota explı́ci-

ta y eficiente en el número de escenarios requeridos para obtener un diseño
que garantiza a priori un nivel de robustez probabilı́stico especificado. Es-
ta metodologı́a se ilustra con ejemplos de diseño de control que presentan
dificultades al aplicar técnicas del peor caso. En este artı́culo se afirma que
debido a su intrı́nseca simplicidad, el enfoque de escenarios será una técnica
atractiva para muchos problemas de diseño de ingenierı́a prácticas.

La formulación de chance constraints para afrontar las incertidumbres de

la carga y el generador de turbina de viento en la planificación de expan-
sión de la red de transmisión, se presenta en [12]. Muestra el desarrollo de la
formulación de restricciones estocáticas con la inclusión de la función de den-
sidad de probabilidad de generador de turbina de viento y flujo de potencia
probabilı́stico. Se afirma que la formulación propuesta es computacionalmen-
te más eficiente y puede hacer frente a las incertidumbres en la planificación
de la expansión de la red de transmisión.

1.3. Objetivos

El objetivo principal que se propone con el desarrollo de este Trabajo de

Fin de Máster es desarrollar, programar, aplicar y evaluar el comportamiento
de MPC’s robustos que respondan ante sistemas sujetos a incertidumbres,
aplicando las técnicas de múltiples escenarios, reducción de escenarios a una
forma de árbol y considerando restricciones estocásticas.
12 CAPÍTULO 1. INTRODUCCIÓN: OPTIMIZACIÓN ESTOCÁSTICA

Dentro de los objetivos secundarios, se persigue:

Aplicar y evaluar el desenvolvimiento de los MPC’s frente al cumpli-

miento de restricciones de un ejemplo académico sujeto a incertidum-
bres tanto en la descripción del sistema como en las perturbaciones del
mismo.

Optimizar el funcionamiento de la gestión de stock de un medicamento

en una farmacia hospitalaria, comparando los resultados obtenidos para
cada una de las técnicas planteadas respecto a los resultados reales
utilizados en el hospital.

Aplicar y evaluar el desenvolvimiento de cada una de las tres técnicas

descritas en una microrred basada en el almacenamiento de hidrógeno.