"Diseo y Simulacin de un Sistema de contrl mediante mtodos de

espacio de estado"

Sistema de Control Basados en Redes Neuronales Artificiales.

Clasificacin de Neurocontroladores.
Introduccin.
Este capitulo es un resumen introductorio de las propiedades del aprendizaje
utilizando redes neuronales artificiales, haciendo nfasis en las ideas y
mtodos ms relevantes aplicados al control de sistemas dinmicos. Esta
perspectiva hace un anlisis en retrospectiva desde los inicios de las redes
neuronales aplicadas al control dando continuidad hasta las actuales
investigaciones en este campo, denominado por Barto [1] investigacin
conexionista, as como su estrecha relacin con los espacios tradicionales de
investigacin como son el control automtico, el procesamiento de seales y la
clasificacin de patrones.
Relacionar los mtodos de aprendizaje conexionista con la teora existente es
muy importante para aquellos interesados en elementos de control con
aprendizaje y adaptivos, ya que la teora de control es un campo ampliamente
desarrollado con mucha literatura, donde muchos de los mtodos de
aprendizaje estn muy relacionados con mtodos clsicos bien estructurados
por los tericos del control adaptivo.
Por otro lado, dada la tendencia que los conexionistas estn tomando para el
desarrollo de estos mtodos neuronales, se han generado nuevas
caractersticas que estn ausentes de los elementos tradicionales en la
ingeniera de control. Algunas de estas caractersticas se discuten en este
capitulo.
Este capitulo no intenta ser una revisin exhaustiva de todas las
investigaciones en el campo del aprendizaje conexionista, y por el contrario
trata de proveer referencias tiles de la literatura en este campo.
Existe una revisin hecha por Hilton [2] que cubre un amplio sector de los
mtodos de aprendizaje, aunque no focaliza en el campo del control. Existen
muchas publicaciones que cuidadosamente han elaborado marcos de
referencia. En este captulo se presentan con mayor detalle las caractersticas
concernientes al aprendizaje supervisado y reforzado. Es importante sealar
que se asume que el lector conoce los elementos bsicos sobre los algoritmos
de aprendizaje conexionista o neuronal.

Adems, por motivos de la tendencia final de esta tesis, no se discute sobre las
investigaciones de la implementacin en hardware de los algoritmos
conexionistas ms all de algunos pequeos sealamientos. Tampoco se
menciona nada acerca de las relaciones que han surgido entre la teora del
aprendizaje conexionista y las neurociencias biolgicas, tambin un campo en
pleno auge de desarrollo.
Historia.
En la fig. 5.1 se esquematiza en modelo propuesto por Barto [1] acerca de la
historia de la investigacin del aprendizaje conexionista aplicacin de las
redes neuronales artificiales en control, as como su relacin con la Inteligencia
Artificial (AI). Esta representacin representa diferentes caractersticas
importantes de la investigacin conexionista.
El primer evento relevante en la fig. 5.1 es la divergencia entre los campos de
las lneas etiquetadas como "mtodos de ingeniera", y los "mtodos de
manipulacin secuencial de smbolos", aunque esas lneas separadas de
investigacin no emergen tan sbitamente como se representa en el grfico. El
la parte central del grfico leemos "periodo romntico", se ha denominado con
este nombre al perodo donde de desarrollaron los primeros esquemas de
clculo basados en modelos biolgicos [9]. A manera de resumen podemos
denominar al campo de la izquierda como "vectores caractersticos de los
sistemas" y "representaciones articuladas de los sistemas" al de la derecha.

Un "vector caracterstico de un sistema" es una lista de mediciones, teniendo

valores lgicos o numricos, hechos de alguna situacin, estado, objeto, etc.
Por otro lado, una "representacin articulada" puede ser una estructura
recursiva permitiendo que un "todo" pueda ser representado en forma
semejante a sus "partes". Esto permite describir situaciones que
recursivamente se incluyen dentro de las representaciones de otras situaciones
ms complejas en el sentido de que no se tienen contrapartes evidentes en los
vectores caractersticos.
A pesar de la disposicin de muchas investigaciones en este campo, con el
objeto de conseguir que los vectores caractersticos y las representaciones
simblicas o articuladas trabajen en conjunto, existe an una separacin
fundamental entre estos dos estilos representacionales. La ingeniera
tradicional, en la lnea izquierda de la fig. 5.1, no ha tomado en cuenta los
aspectos representacionales debido principalmente a que las representaciones
por vectores caractersticos son ms naturales para los problemas de
prediccin y control que los ingenieros intentan resolver. Consecuentemente,
las discusiones sobre la relevancia de los mtodos conexionistas para el
control no intentan resolver las preguntas relacionadas con las analogas
conexionistas de las representaciones simblicas, que precisamente ocupa
mucha de la atencin de la IA y las ciencias cognoscitivas.
Aunque el procesamiento simblico juega indudablemente un importante roll en

los sistemas de control inteligente (quizs los elementos conexionistas juegan

el papel clave), parece existir una amplia oportunidad para progresar en el
control antes que se necesite considerar las representaciones articuladas que
dominan la AI simblica.
Otra importante caracterstica del diagrama presentado en la Fig. 5.1, es que la
lnea que representa a la investigacin conexionista actual parte de la lnea de
la "manipulacin secuencial simblica" (no de la lnea de ingeniera). Lo
significativo de esto es que mientras las tcnicas conexionistas generalmente
estn muy relacionadas con los mtodos de ingeniera (los vectores de
caracterizacin numrica, los gradientes, la suma de errores cuadrados, etc.)
muchos de los postulados conexionistas continan la tradicin de seguir a la AI
en aquellos problemas que no tienen una formulacin matemtico de alto grado
como la linealidad. Por esto la investigacin conexionista es ms experimental
y heurstica que la metodologa de la ingeniera moderna. Por ejemplo,
actualmente muchos investigadores conexionistas estn experimentando con el
mtodo de propagacin del error hacia atrs para entrenar redes multicapa, sin
la ayuda del entorno terico que gua la aplicacin y garantiza los resultados.
Adicionalmente, los investigadores conexionistas rutinariamente utilizan una
clase de libertad representacional que no es comn en la mayora de las
aplicaciones ortodoxas de la ingeniera de control. Por ejemplo, un vector
caracterstico puede ser una representacin distribuida de una clase de
representacin simblica, que es muy lejana a las cantidades fsicas medibles
usadas en la mayora de aplicaciones fsicas (posicin, velocidad, etc.). Los
mtodos conexionistas frecuentemente utilizan "representaciones expansivas"
que tienen dimensiones mucho ms grandes que las dimensiones intrnsecas y
aparentes del problema.
Esto no significa que la experimentacin y la heurstica estn ausentes de la
ingeniera, que los investigadores conexionistas puedan solamente basarse
en los mtodos que utilizan. Por consiguiente, en el campo de la ingeniera de
control, existen numerosos esfuerzos para desarrollar ms elementos
heursticos aplicados al control. El objetivo es explorar el punto medio entre la
ingeniera y la AI as como sus aplicaciones concretas a la teora de control.
Existen indudablemente muchas razones para que la investigacin en este
campo no conduzca a un mayor desarrollo dentro de la ingeniera de control.
Aunque algunas de esas razones pueden incluir deficiencias reales de estos
mtodos para cierta clase de problemas, es importante considerar dos factores
adicionales que pueden haber sido importantes: Primero, el alejamiento de la AI
de los mtodos basados en matemticas (los mismos desarrollos en AI que la
aislaron de la teora conexionista en la dcada de los aos 60s). Esto puede
tambin haber aislado a los tericos del control heurstico. Segundo, muchos
de los mtodos de control propuestos por esos investigadores tienen
requerimientos de memoria que eran excesivos en trminos de la tecnologa
disponible en esas fechas. Ahora, sin embargo, los avances tecnolgicos han

hecho que los requerimientos intensivos de memoria sean casi insignificantes.

La perspectiva tomada en este capitulo es que los elementos conexionistas
(redes neuronales aplicadas al control de procesos) son soluciones que
requieren el uso intensivo de la memoria y que actualmente son
tecnolgicamente eficientes, lo que permite explorar la utilidad de estos
mtodos.
Una de las debilidades de la investigacin conexionista es que reside en medio
de la ingeniera y de la AI, utilizando tcnicas matemticas de la ingeniera
mientras simultneamente incorpora representaciones expansivas y una
metodologa experimental ms o menos semejante a la AI. Es obviamente
deseable mantener un alto rigor matemtico, pero los elementos
experimentales y heursticos aparecern esencialmente tanto para el desarrollo
de aplicaciones para sistemas no lineales complejos, como para detectar
irregularidades sobre ciertas clases de problemas. Sin embargo, tanto para
cualquier elemento como para los problemas complejos de control, es
importante reconocer que algunos problemas no estn bien ubicados para la
aplicacin de mtodos de aprendizaje conexionista. Esos son problemas para
los cuales una falla en el control es inaceptablemente costosa para aquellos
que no es posible usar medidas preventivas de control para la seguridad en
caso de un rendimiento inaceptable o fallas. Aunque los mtodos de
aprendizaje conexionista tienen potencial para extender el rango de las
aplicaciones de control, puede notarse que las aplicaciones ms adecuadas
para esos mtodos sern aquellas relacionadas con las capacidades de control
de sistemas nerviosos biolgicos. Sin embargo, existe una amplia gama de
aplicaciones que pueden salir de este concepto.
La investigacin de las redes neuronales aplicadas a control (teora
conexionista) provee un puente entre las lneas de investigacin que haban
divergido por ms de veinte aos. El nivel actual de las actividades en
investigacin conexionista puede ser comparado con la expectacin que
resultara si cientficos de diferentes planetas similares repentinamente
pudieran comunicarse y transmitir sus respectivas tecnologas. Existira un flujo
repentino de informacin y conceptos dando como resultado que en ambos
lados se tengan los mismos entornos tericos. No sera sorprendente que
mtodos bien conocidos por aos fueran reformulados usando un lenguaje
distinto, tampoco sera sorprendente que algunas ideas de cada lado fueran
nuevas en el otro. Estos factores culturales o sociolgicos son tan importantes
como los factores tcnicos que nos permiten entender que fue lo que sucedi
en los aos posteriores al nacimiento de la investigacin conexionista, cuando
empez a desarrollarse con respecto a las dos lneas de investigacin
restantes.
Arquitecturas de Neurocontrol.
Hasta la fecha existe un creciente inters en los sistemas de control que

incluyen redes neuronales artificiales como elementos de control, por lo que se

han implementado un importante nmero de soluciones. Las aplicaciones
exitosas ms relevantes incluyen desde elementos que operan como
identificadores hasta aquellos que trabajan como controladores de optimizacin
utilizando modelos del proceso. Este capitulo analiza la concepcin de los
sistemas de control basados en redes neuronales como problemas de
optimizacin no lineal. Esto permite que dependiendo de las caractersticas de
cada aplicacin en particular podrn utilizarse diferentes algoritmos.
Una parte medular de este trabajo es generar un marco referencial para el
desarrollo de controladores basados en redes neuronales artificiales. Dado el
acelerado crecimiento de las propuestas en los ltimos dos decenios, la
clasificacin siguiente no puede ser tomada como absoluta, sino por el
contrario, muchos ajustes podrn hacerse en virtud de nuevas arquitecturas,
modificaciones a las existentes nuevos modelos hbridos.
La sntesis de una buena cantidad de documentos cientficos acerca del
neurocontrol permite esbozar el marco referencial presentado adelante. En
dicha distribucin se ha tratado de proponer una clasificacin optima para los
sistemas de neurocontrol. Es importante sealar que dependiendo de la
escuela o el autor de la clasificacin, es comn encontrar distintas
denominaciones para una estructura similar, bien un mismo nombre para
diferentes estructuras de control.
Existe una divisin fundamental entre los algoritmos basados en tcnicas de
gradiente descendiente, donde estn disponibles una amplia variedad de
tcnicas y los que no lo son. Aunque los algoritmos basados en el gradiente
pueden ser significativamente ms eficientes, hay muchas aplicaciones donde
son inaplicables. Por ejemplo, la evaluacin para el rendimiento de control
deseado no siempre es diferenciable, por lo que los mnimos locales pueden
provocar que los mtodos de gradiente sean inapropiados y no puedan
modelar un proceso cuando no existen derivadas. Este capitulo revisa algunos
algoritmos de los neurocontroladores que no utilizan el gradiente descendiente.
Ser posible esbozar un entorno unificado para los neurocontroladores
considerando de nueva cuenta el entrenamiento de una red neuronal como un
problema de optimizacin no lineal.

En la expresin de la ecuacin 5.1 se trata de encontrar una representacin

optima de la red neuronal que minimice una funcin objetivo J sobre el espacio
de los pesos de la red (w). Aqu NN indica que la formulacin del problema de
optimizacin envuelve una red neuronal.

El roll que juega la red neuronal en la funcin objetivo se convierte en una pista
para distinguir entre las distintas estructuras de los neurocontroladores. Para
hacer ms interesante este capitulo, la formulacin de la ecuacin 5.1 tomar
diferentes formas acordes a la discusin que se sigue. Los aspectos de
optimizacin de los neurocontroladores son discutidos principalmente en este
capitulo, tomando como base la formulacin de una funcin objetivo. Los
problemas de optimizacin presentados no son precisos pero estn formulados
conceptualmente para propsitos de discusin.
Esta seccin presenta algunos aspectos importantes para el diseo de un
neurocontrolador. Aunque existen otros caminos para clasificarlos [4] este
capitulo adopta una estructura similar a la teora de control adaptivo [1]:
A. Arquitecturas para el modelado de sistemas.
B. Neurocontroladores Indirectos.

Controlador neuronal basado en modelo completo.

Controlador neuronal basado en modelo paramtrico parcial.

Modelo inverso neuronal.

Parametrizador de controladores basado en Redes Neuronales

Artificiales.

C. Neurocontroladores Directos.

Modelado del controlador.

Neurocontrolador libre de modelo.

Neurocontrolador basado en modelo.

Neurocontrol robusto.

Son tres familias de arquitecturas para la aplicacin de las RNAs en sistemas

de modelado y control. En primer lugar tenemos las arquitecturas de modelado
de sistemas, donde se utiliza una red neuronal para imitar el comportamiento
de un elemento fsico real. Con este objetivo se desarrollan cuatro propuestas.
En el esquema de neurocontroladores indirectos, la red neuronal no enva
seales de control directamente al proceso. En lugar de esto, la red indica
algunas caractersticas dinmicas de relevancia en el proceso. Este indicador

puede ser un modelo que se comporta de forma similar al proceso bien un

parametrizador que ajusta a un controlador produciendo configuraciones
apropiadas basadas en el comportamiento de dicho proceso.
En el esquema de un neurocontrol directo, una red neuronal es empleada como
un controlador de retroalimentacin que enva seales directamente al proceso.
Dependiendo del concepto del diseo, los elementos del neurocontrolador
directo se categorizan principalmente atendiendo su dependencia al modelo del
sistema.
Arquitecturas para el modelado de sistemas.
Existen principalmente cuatro arquitecturas de RNA para el modelado de
plantas [4,5,6] como son: Modelado bsico, modelado inverso de la planta,
modelado inverso especializado y modelado del operador.
Para el modelado especializado inverso, el error se forma de la salida de la
planta y la salida de la red es la entrada a la planta.
Modelado bsico o directo de la planta.

Su arquitectura bsica es muy simple (Fig. 5.2), tanto la seal de control como
los estados de la planta son muestreados y conforman el vector de entrada a la
red. La salida de la red se calcula y se compara con las mediciones de la salida
de la planta. La diferencia entre esas dos cantidades es usada para ajustar el
vector de ajuste de pesos tendiente a reducir el error de la red.
Modelado directo inverso de la planta.
El objetivo con este modelado (Fig.5.3) es formular un controlador tal, que junto
con la arquitectura de la planta se conforme una sola funcin de transferencia.
Inevitablemente los errores del modelado perturban dicha funcin, por lo que se
recurre al uso de un precompensador en adicin del controlador lineal, lo cual

generalmente provee buen rendimiento para una amplia gama de plantas no

lineales.
Para definir lo mejor posible el modelo inverso, los ejemplos de entrenamiento
debern ser nicos. Esto se cumple cuando la planta es invertible, es decir, que
los datos de entrenamiento de la planta no lineal son contenidos en una rea
restringida del espacio de entradas.

Modelado especializado inverso de la planta.

Este tipo de modelado (Fig. 5.4) utiliza una estructura similar al modelado
inverso, donde existe una funcin de transferencia nica, solo que el mtodo
propuesto es diferente [7,8]. Un modelo de la planta bsico es construido como
primer paso, la diferencia entre la respuesta de la planta y la salida deseada es
usada para generar la seal de error la cual es pasada hacia atras desde el

modelo bsico con el objeto de ajustar los parmetros del nuevo modelo
inverso.
Modelado de Operador.
Sintetizar un controlador por aprendizaje a partir de un experto tiene
aplicaciones potenciales en el campo de la AI [9,10,11]. El algoritmo de
aprendizaje esta ejecutndose en paralelo con una planta conducida por un
operador experto y sus respuestas forman la salida deseada de la red. (Fig.
5.5) Estas seales de entrenamiento tpicamente contienen altas cantidades de
ruido dado que el operador usa diferentes acciones para entradas similares,
por lo que la seal deber filtrarse [18] antes de que los algoritmos
convencionales de aprendizaje para la red sean aplicados.

Neurocontroladores Indirectos.
Control neuronal basado en modelo completo.
La aplicacin ms popular de los sistemas de control basados en redes
neuronales es utilizar una red como modelo de entrada y salida del proceso.
Estos elementos utilizan aprendizajes manejados por lo datos supervisados
como por ejemplo una red neuronal tratando de imitar un proceso existente a
partir de la exposicin a datos de dicho proceso (Fig. 5.6). La estructura de
modelo ms comnmente adoptada para este propsito es la Autoregresiva No
Lineal de Promedio del Movimiento con Entradas Exgenas conocida como
NARMAX su denominacin ms simple NARX [13, 14]. Esta familia de
modelos Narmax es una funcin de transferencia no lineal discreta en el tiempo
[15]. Alternativamente, uno puede elegir identificar modelos continuos en el
tiempo con una red neuronal como una red recurrente [16]. Esto conduce a una
estructura del modelo y a una estrategia de control, que en trminos del diseo
del neurocontrolador puede ser conceptualmente sealada como sigue:

Donde yp significa la salida del proceso o planta, yn la salida de la red

nueronal, y W los pesos de la red neuronal. Aqu la F es una funcin que mide
el rendimiento del proceso de optimizacin. Usualmente es una integral suma
de los errores de prediccin entre yp y yn. Por ejemplo, en esta etapa de
desarrollo las entradas del proceso y las salidas {up, yp} son colectadas sobre
un periodo finito de tiempo y usadas para el entrenamiento de la red
neuronal. F es usualmente una integral de norma 2 de yp-yn. Un ejemplo tpico
de la ecuacin 5.2 es como sigue:

Cada modelo se desarrolla y luego puede implementarse un control basado en

modelo. Sin embargo, en la etapa de implementacin, el modelo de la red
neuronal no puede ser usado solo. Este debe ser incorporado con un esquema
de control basado en modelo. Dichos esquemas pueden ser (cmo se ver
adelante) diseo de auto ajustadores basados en redes neuronales (seccin
5.1), modelado de controladores basados en modelo (seccin 5.2) y el diseo
de neurocontroladores basados en modelo (seccin 5.2).
Control neuronal basado en modelo parcial paramtrico.
En algunos casos, cierto grado de conocimiento sobre el proceso pudiera estar
disponible, como puede ser la estructura del modelo un fenmeno fsico
particular bien entendido. En este caso, no es deseable un modelo de caja
negra. Por ejemplo, si en la estructura del modelo estn disponibles valores
para los parmetros asociados, estos pueden ser determinados por una red
neuronal. Ejemplo de esos parmetros pueden ser las constantes de tiempo,
ganancias, retardos y parmetros fsicos, rangos de difusin coeficiente de
transicin del calor, etc. Psichogios y Ungar [23] emplearon este modelo como
un alimentador para un biorector. En otros casos donde la estructura del
modelo fue especialmente conocida, las redes neuronales pueden ser
utilizadas como un modelo parcial con el cual puede mejorar el modelo [24] (ver
figura 5.6). Para ilustrar este problema puede ser formulado como sigue:

Donde ym es la salida predecida del modelo, son los parmetros del proceso,
la informacin estructural del modelo y otros elementos requeridos para
completar el modelo.
Ntese la pequea diferencia entre la ecuacin 5.4 y la ecuacin
5.2, ym reemplaza a yn. Esto significa que es idntico al modelo de una red

neuronal dentro de una caja negra excepto porque la red neuronal no imita
directamente el comportamiento del proceso.
Control neuronal por modelo inverso.
Una red neuronal puede ser entrenada para desarrollar un modelo inverso de la
planta. La entrada a la red es la salida del proceso, y la salida de la red es la
correspondiente entrada al proceso (ver fig. XX) en general el problema de
optimizacin puede ser formulado como:

Donde u*p-1 son las entradas del proceso. Tpicamente el modelo inverso es
una estructura de estado estable, la cual puede ser usada para control. Dado
un punto de operacin deseadoy*, la seal apropiada de control u* en estado
estable para este punto de operacin debe de ser inmediatamente conocida
como:

Aplicaciones exitosas del modelado inverso son discutidas en [19] y [20].

Obviamente, un modelo inverso existe solamente cuando el proceso se
comporta monotnicamente como una funcin hacia adelante en el estado
estable. Si no, este concepto es inaplicable. Tambin pueden encontrarse unos
cuantos artculos sealando conceptos similares al modelo inverso usando una
red neuronal inversa no esttica para el control [21,22,23,24].

En principio, un modelo inverso basado en redes neuronales puede aprender la

dinmica inversa bajo algunas restricciones (por ejemplo la fase mnima y

causalidad son requeridas). En la prctica para modelos dinmicos de tipo
discreto, el modelo inverso en especial puede no estar disponible para
aprender la dinmica inversa deseada. Por ejemplo Psichogios y Ungar [25]
entrenaron un modelo inverso y luego desarrollaron algunos casos de estudio.
El modelo inverso fallo con referencia a las expectactivas que se tenian. En
algunos casos el proceso inverso es un factor no causal an cuando el proceso
se comporta monotnicamente como se mencion antes. La no causalidad de
un proceso inverso puede resultar del retardo de transporte de los tiempos
muertos bien de la discretizacin de un proceso continuo en un sistema de
datos muestreado. Si el modelo inverso existe, el uso del modelo dinmico
inverso como controlador de retroalimentacin no resultar en un sistema de
control apropiado. Las propiedades estrictas son esenciales en el diseo de un
sistema de control [25].
En algunos articulos de la literatura abierta, el modelado inverso se usa
algunas veces para referirse al entrenamiento de un modelo de red neuronal en
un ambiente de lazo cerrado como en [26,27]. Este modelado inverso no
coincide con el modelo que invierte la funcin hacia delante de proceso/planta.
Por ejemplo, el proceso opera como una funcin que direcciona las variables
de entrada a variables de salida, mientras que el "modelo inverso de lazo
cerrado" no direcciona las mismas variables de salida las mismas variables
de entrada. An as, frecuentemente se direccionan las diferencias entre las
variables de salida y el objetivo los puntos de operacin haca las variables
de entrada. Desde la perspectiva de este capitulo, estos elementos caen dentro
de otras categoras para el diseo de neurocontroladores y sern discutidos en
secciones posteriores.
Parametrizador neuronal de controladores.
Como en el caso anterior donde una red puede ser usada para estimar los
parmetros de un modelo conocido, es posible utilizar esas mismas estructuras
neuronales para estimar parmetros de ajuste para un controlador cuya
estructura sea conocida a priori. El estimador de ajuste para los parmetros del
controlador es conocido frecuentemente como un autoajustador
parametrizador. El problema de los parametrizadores en este caso puede ser
formulado como sigue:

Donde
denota los parmetros del controlador deseados y NN significa los
valores que la red neuronal predice. La entrada a la red puede comprimir datos
del proceso muestreado caractersticas extradas de este. Sin embargo esos
parmetros h no pueden determinarse nicamente desde las caractersticas del
proceso. Dependen tambin de las caractersticas del sistema deseado para el

control de lazo cerrado. Usualmente los parmetros del controlador

soluciones a la optimizacin del siguiente control de lazo cerrado:

son

Donde C es un controlador con una estructura conocida. Aqu, yp/m denota

que un proceso un modelo pueden ser empleados en el control de lazo
cerrado con el objeto de encontrar el controlador deseado C.
Lo realmente atractivo de estas estructuras es que la red neuronal puede ser
entrenada en simulacin. El entrenamiento con datos reales del proceso no es
necesario. Para un autoajuste de lazo abierto, una simulacin de lazo abierto
es suficiente; de lo contrario una simulacin de lazo cerrado es necesaria (ver
figura 5.7). El entrenamiento deber ser conducido sobre un espacio de
entradas que contenga distintos modelos del proceso. Idealmente, este espacio
deber cubrir todos los procesos que sern encontrados durante la fase de
operacin.
La mayora de los trabajos realizados para autoajustar parametrizar
controladores se han desarrollado directamente para PID, debido a que
actualmente son utilizados en una amplia gama de aplicaciones. Valores
apropiados en las ganancias del PID son esenciales para que el sistema de
lazo cerrado trabaje adecuadamente. El ajuste del PID es actualmente un
procedimiento manual, a veces largo, y frecuentemente cae sobre la heurstica
desarrollada medio siglo atrs [28]. Distintos auto-ajustadores estn
comercialmente disponibles, pero son aun necesarias algunas mejoras. Para el
diseo de un auto-ajustador basado en redes neuronales, los modelos lineales
de bajo orden con rangos adecuados para los parmetros, son generalmente
suficientes para la mayora de las aplicaciones que utilizan PID.

Desarrollos de este concepto son discutidos por Swiniarski [29] y Ruano [30].
En el primero la red es entrenada usando un mtodo clsico para determinar
las ganancias de PID. Durante la operacin, la entrada a la red son 128
muestras del proceso en lazo abierto. Tambin el auto-ajustador resultante
requiere la operacin del proceso en lazo abierto. En contraste, Ruano describe
un mtodo para el auto ajuste de lazo abierto lazo cerrado, acompaado por
un preproceso de datos de entrada y de salida. Las ganancias ptimas para el
PID en el proceso de entrenamiento son calculadas con un algoritmo de
optimizacin de Newton, inicializado con valeres determinsticos. El criterio de
optimizacin es la minimizacin de la integral del tiempo multiplicada por el
error absoluto (ITAE). Los autores demuestran como un auto-ajustador de lazo
cerrado puede efectivamente adaptar los parmetros del PID en lnea, en
respuesta a cambios en el punto de operacin para el lazo de control.
Neurocontroladores Directos.
Modelado del controlador.
De los cuatro esquemas de neurocontrol directo que se presentan, l ms
simple de ellos consiste en usar una red neuronal para modelar un controlador
existente (ver figura 5.8). La entrada al controlador existente es la entrada de
entrenamiento de la red y la salida del controlador sirve como la salida deseada
para dicha red neuronal. Este elemento es similar al modelado de la red
neuronal discutido en la seccin Control Neuronal basado en modelo
completo excepto por que en aquel caso los valores deseados a la salida de la
red no eran los valores del controlador. Este diseo de neurocontrol puede ser
formulado como sigue:

Donde u*c es la salida de un controlador existente C*. Frecuentemente el

controlador existente C puede ser un operador humano puede ser obtenido
va la expresin:

Como un modelo del proceso, el controlador es generalmente un sistema

dinmico y frecuentemente contiene integradores y diferenciadores. Si una red
algebraica de conexiones hacia adelante es usada para modelar el controlador
existente, la informacin dinmica debe de ser explcitamente provista como
una entrada a la red. Esta informacin dinmica puede ser dispuesta ya sea
como integrales apropiadas y derivadas bien como seales empaquetadas de
retardo con datos del proceso. Por ejemplo para modelar un controlador PID,
una red neuronal algebraica requiere no solamente el error instantneo entre el
punto de operacin y la salida del proceso, requiere adems la integral y la
derivada del error. Alternativamente, uno puede entrenar una red neuronal con
series de esos errores y/ las salidas del controlador en el tiempo previo. Esta
ultima afirmacin es similar a la desarrollada para las redes ARX (Red
Autoregresiva con entradas exgenas) excepto porque que las entradas y las
salidas del proceso se reemplazan con errores de retroalimentacin y salidas
de controlador.

En general este tema puede resultar en controladores que son rpidos y/

baratos en comparacin con los controladores existentes. Por ejemplo usando
este tipo de controladores Pomerleau [31] presenta una aplicacin intrigante
donde una red neuronal es usada para reemplazar a un controlador existente:

el operador humano. La universidad de Carnige Mellon equip una camioneta

con una videocamara y un reconocedor de caminos laser, operndola tal como
lo hara un conductor humano a 6 millas por hora durante 5 minutos. Con
entradas sensoriales adicionales ha sido posible alcanzar nuevas capacidades
como supresin de colisiones navegacin nocturna.
Mientras los beneficios de este tipo de controladores son aparentes cuando se
trata del controlador humano, su utilidad puede ser limitada. Es aplicable
solamente cuando un controlador existente est disponible, lo cual no sucede
en muchas aplicaciones. Una red neuronal se entrena para comportarse como
un controlador existente y luego se refina en coordinacin con el modelo del
proceso. (La estructura "basada en modelo" de desarrolla adelante).
Neurocontrolador libre de modelo.
Ante la ausencia de un controlador existente, algunos investigadores han
desarrollado la opcin para que un controlador aprenda como actuara un
controlador humano con poco nada de conocimiento detallado sobre la
dinmica de proceso. Tambin se ha intentado disear controladores que por
adaptacin y aprendizaje puedan resolver problemas de control difciles en la
ausencia de los modelos del proceso de experiencia humana al respecto. En
general este diseo de neurocontroladores libres de modelo puede ser
sealado como marca la ecuacin 5.11:

Donde yp es la salida de la planta. La clave en esta estructura de control

adaptivo es que el modelo del proceso no es conocido previamente y tampoco
es muy explcito durante el diseo del controlador. Esta tcnica para el diseo
de controladores es frecuentemente denominada como aprendizaje reforzado.
Sin embargo, en este capitulo, he preferido referirme a esta clase de
controladores como neurocontroladores libres de modelo, ya que desde mi
ptica particular es ms apropiado en el contexto de nuestra discusin. La
figura 5.9 es una representacin clsica de esta clase de controladores.

El primer trabajo en esta rea fue el algoritmo de adaptivo critico propuesto

Barto [32]. Este algoritmo puede ser visto como una versin aproximada de la
programacin dinmica. En este trabajo se desarrolla el problema del pndulo
invertido mostrando el concepto del diseo de control. En esta clase de diseo
la informacin es limitada pobre, y es frecuentemente adoptada como un
indicador para los criterios rendimiento del sistema. Por ejemplo, el objetivo del
problema del pndulo invertido es simplemente mantener el pndulo cercano a
su posicin vertical balanceada. La retroalimentacin instruccional es limitada a
una seal de falla cuando el controlador no logra mantener el pndulo en la
posicin vertical. El problema de balancear el pndulo invertido ha llegado a ser
popular como cama de prueba para explorar nuevos conceptos de diseo para
controladores libres de modelo.
La solucin propuesta por Barto [32] fue construir un esquema de control el
cual esta compuesto por dos elementos adaptivos: un Elemento de Bsqueda
Asociativa (ASE) y un Elemento Crtico Adaptivo (ACE). El Elemento de
Bsqueda trata de reproducir la seal de control optimo que satisface los
objetivos de rendimiento definidos, mientras que el Elemento Crtico trata de
monitorear el rendimiento interno del controlador y proveer una seal de
reforzamiento interna la cual es usada para entrenar al ASE como se ve en la
Fig. 5.10.
El ACE es entrenado utilizando seales de fallas/xitos externas. Este
entrenamiento interno continuo del elemento de control pretende implementar
mejoras en el rendimiento de todo el sistema.

Fig. 2.10: Arquitectura de aprendizaje reforzado planteada por Barto, utilizando el concepto de ACE y ASE.

An con su importancia histrica y sus conceptos intuitivos, los

neurocontroladores adaptivos libres de modelo no son apropiados para la
mayora de las aplicaciones del mundo real. La planta deber de pasar por
estados fuera de control durante el proceso de aprendizaje y pocos procesos
industriales pueden tolerar esa larga cantidad de fallas, necesarias para
adaptar el controlador.
Neurocontrolador basado en modelo
Desde una perspectiva practica, uno prefera dejar las fallas para un ambiente
simulado utilizando un modelo ms que una planta real, an cuando las fallas
no sean desastrosas no causen prdidas sustantivas en las etapas
tempranas del aprendizaje neuronal. Esta clase de neurocontroladores es
llamada frecuentemente "neurocontroladores basados en modelo". En la
ecuacin 5.12 tenemos como resultado la formulacin del problema:

Aqu yp en la ecuacin 5.11 es reemplazada por ym (la salida del modelo) en la

ecuacin 5.12. En este caso requerimos conocimiento sobre el proceso de
inters. Como puede verse en la fig. 5.11 un modelo reemplaza a la planta de
proceso en el sistema de control.
Si el modelo del proces no es disponible, uno puede primero entrenar una
segunda red neuronal para modelar la dinmica de planta como se present en
la seccin de introduccin. En el curso del modelado de la planta esta debe de

ser operada "normalmente" en lugar de llevarla fuera de control. Despus de la

etapa de modelado, el modelo puede ser usado para el diseo de
controladores. Si un modelo de la planta puede ser desarrollado, entonces en
una simulacin, en la cual las fallas no pueden causar ninguna prdida ms de
all del tiempo de cmputo, un controlador basado en redes neuronales puede
instalarse en el sistema de control real, despus de una extenso entrenamiento
en alguna plataforma de simulacin.
En efecto, estos diseos de neurocontroladores basados en modelo, no
solamente han probado su eficiencia en distintos estudios [33,34] sino que
tambin ya han probado generar beneficios econmicos notables [35]. Dichos
elementos pueden ser usados para diseos fuera de lnea en adaptaciones
en lnea.

Fig. 5.11: Un modelo reemplaza a la planta en el sistema de aprendizaje durante la fase de diseo del controlador.

Demostraciones exitosas han sido desarrolladas para el clsico problema de

control del vuelo multivariable [36]. Quizs el mejor xito comercial del
neurocontrol a la fecha es aquella propuesta que trata de un horno de arco
inteligente, el cual utiliza una red neuronal para regular la posicin del electrodo
en hornos elctricos de arco [37]. Publicaciones comerciales reportan ahorros
tpicos de sobre 2 millones de dlares por horno por tamao. [38]. El
controlador inteligente del horno de arco incluye una interesante combinacin
para el desarrollo de un neurocontrolador. Inicialmente un controlador neuronal
es entrenado para actuar como un controlador exitoso para la planta. Despus
de entrenar, la red neuronal reemplaza dicho controlador. En esta ultima etapa,
una segunda red neuronal pre-entrenada se utiliza como modelo del proceso y
el controlador neuronal contina adaptndose en lnea para contener las
principales fallas de la planta.
Neurocontrolador robusto basado en modelo.
El tipo de neurocontrolador descrito en la seccin pasada tiene todava una
desventaja comn hasta ahora: Una red neuronal debe entrenarse cada vez

que se tenga una nueva aplicacin. El reentrenamieno de la red es necesario

an cuando son pequeos los cambios del criterio de control, tanto para
cambios en los pesos de la red relativos a la energa del control como para la
respuesta de seguimiento, si el controlador va a utilizarse para procesos
homlogos pero distintos. Con el objetivo de evitar estas desventajas, el
concepto de controlador robusto es naturalmente incluido dentro del diseo de
neurocontroladores. En el diseo de sistemas de control neuronal basados en
un modelo robusto, se consideran familias de los modelos del proceso en lugar
de un solo modelo. (Ver fig. 5.12). Frecuentemente, una familia se agrupa por
modelos que presentan los mismos niveles de ruido o bien pueden agruparse
atendiendo el criterio del nmero de parmetros del proceso. El diseo robusto
de neurocontroladores se puede formular como sigue:

Donde mi significa el ensimo miembro de la familia de modelos M. Idealmente,

el proceso real a ser controlado deber estar dentro de las familias
especificadas en la etapa de diseo, con lo que el controlador ser robusto no
solo para estas familias sino tambin para otros procesos reales similares.
Dos aspectos acerca de que tan robusto es un sistema se sealan
frecuentemente: La estabilidad que refiere si un sistema es estable
cualitativamente y el rendimiento robusto que opera con respecto a criterios
cuantitativos [25]. Optimizar un controlador neuronal basado en un modelo
preciso, puede alcanzarse un alto rendimiento, tanto como el proceso
permanece invariable, pero con altos costos de fragilidad. Un procedimiento
para el diseo robusto, por otro lado, no es capaz de alcanzar el mismo nivel
de rendimiento nominal pero ser menos sensible a estados obsoletos del
proceso, ruido y otras fuentes de error en la relacin modelo-proceso.
Esquema de control de aprendizaje predictivo
Los esquemas de control indirecto de aprendizaje predictivo buscan formular
una estrategia tomando en consideracin los efectos de sus acciones por
muchos instantes de tiempo en el futuro y seleccionan la accin de control
ptima, cuando es aplicada a la planta [39][40][41].
La arquitectura requiere el desarrollo de un modelo de la planta, una funcin de
rendimiento para evaluar los efectos de cada accin de control y una tcnica de
optimizacin la cual puede determinar la mejor accin de control. Esto es
ilustrado en la Fig. 5.12, donde un elemento de control de aprendizaje est
tambin incluido, para que despus de suficiente entrenamiento, el clculo total
de la optimizacin no sea necesario y los recursos de cmputo puedan ser
destinados a otras tareas.

Si la planta es variable en el tiempo, el modelo es generalmente adaptivo. Si el

modelo de proceso es pobre, es posible que el controlador ofrezca un control
de lazo cerrado muy pobre.
Neurocontrolador por modelo adaptivo de referencia.
La arquitectura de aprendizaje de modelo de referencia ha sido ampliamente
usada en el campo del control lineal adaptivo, su estructura se esquematiza en
la Fig.5.13 y analticamente se representa como:

El objetivo del controlador es ajustar la seal de control de una forma estable

para que la salida de la planta asintticamente tienda a la salida del modelo de
referencia. El rendimiento de este algoritmo depende de la eleccin de un
modelo de referencia correcto y la derivacin de un buen mecanismo de
aprendizaje.

Control neuronal por modelo interno.

El controlador de modelo interno [4][42], usa una estructura similar al esquema
de control de aprendizaje predictivo (Fig. 5.14). Un elemento de aprendizaje es
usado para modelar el proceso directamente, recibiendo la seal de control en
lugar de la seal de referencia. El error entre la salida del modelo y la
respuesta de la planta es usado como seal de retroalimentacin, la cual es
alimentada al controlador.
Generalmente, el controlador de modelo interno se disea como modelo
inverso de la planta (cuando este existe), por lo que un esquema de modelado
inverso descrito en puntos anteriores puede usarse para sintetizar el
controlador adecuado.

Muchos resultados tericos acerca de la estabilidad de este tipo de

controladores esta disponible en [43] y [44], aunque generalmente son
resultados para la estabilidad de lazo abierto, modelado exacto y/o modelado
inverso.
Sumario.
Este capitulo desarrolla los sistemas de control basados en redes neuronales
como problemas de optimizacin no lineal desarrollando la filosofa de
clasificacin usada por la teora del control adaptivo. Esto es, que dependiendo
del papel que la red neuronal juega dentro del sistema, las arquitecturas se
clasifican dentro de pocas categoras. Este capitulo trata adems de generar un
entorno unificado para el diseo de neurocontroladores. Se presentan por
separado las estructuras para el modelado de sistemas dinmicos y las
estructuras de control. Se incluye tambin el desarrollo de los sistemas de
aprendizaje reforzado libres de modelo, as como el sistema de control por
referencia al modelo, tcnica homologa a la utilizada en la teora de control
adaptivo. Fueron presentadas las principales caractersticas de cada
arquitectura, sus ventajas y desventajas. El rendimiento global de esta clase de
controladores reside en dos columnas principales: una buena estructura para
modelar el sistema y la convergencia de la red en virtud de los parmetros
utilizados. Inicialmente el uso de las redes neuronales artificiales en sistemas
de control buscaba desarrollar algoritmos capaces de aprender informacin en
lnea [5], aunque la mayora de aplicaciones de neuromodelado y control
tienden a ignorar esto, por lo que ms bien se utilizan para aprovechar sus
habilidades de aproximacin no lineal. De aqu, la razn por la cual este trabajo
usa este criterio para presentar una propuesta de clasificacin enfocada a los
sistemas de control basados en redes neuronales.