REDES NEURONALES ARTIFICIALES

Juan Manuel Velsquez Isaza

REDES NEURONALES ARTIFICIALES (RNA)

DEFINICIONES
Las

RNA son una tcnica que intenta imitar el proceso de aprendizaje del cerebro humano. RNA son un paradigma de aprendizaje y procesamiento automtico inspirado en la forma como funciona el sistema nervioso central.

Las

Neurona biolgica
El

cerebro consta de un gran nmero (aproximadamente 1011) de elementos altamente interconectados (aproximadamente 104 conexiones por elemento), llamados neuronas.

Neurona biolgica
Las

neuronas se compone de tres componentes principales: las dendritas, el cuerpo de la clula o soma, y el axn.

Neurona biolgica
Las

dendritas son el rbol receptor de la red; son como fibras nerviosas que cargan de seales elctricas el cuerpo de la clula. cuerpo de la clula realiza la suma de esas seales de entrada. axn es una fibra larga que lleva la seal desde el cuerpo de la clula hacia otras neuronas.

El

El

Neurona biolgica
El

punto de contacto entre un axn de una clula y una dendrita de otra clula es llamado sinpsis. La longitud de la sinpsis es determinada por la complejidad del proceso qumico que estabiliza la funcin de la red neuronal.

Funcionamiento neurona biolgica

Recibe

El comportamiento de una neurona es la siguiente: una seal de entrada con una fuerza determinada, dependiendo de ellas la neurona emite una seal de respuesta; las sinpsis pueden variar en fuerza, algunas pueden dar una seal dbil y otras una fuerte. una neurona pueden llegar miles de seales de entrada, cada una con una fuerza o peso diferente.

Funcionamiento neurona biolgica

Funcionamiento neurona biolgica

Matemticamente

el comportamiento de la neurona puede representarse por una lista de sus seales de entrada que son multiplicadas por sus pesos respectivos y posteriormente sumados. El resultado es llamado nivel de activacin de la neurona, del cual depende la seal de salida que es enviada a cada una de las neuronas a las que esta conectada a ella.

RNA
Una

red neuronal artificial (RNA) es un sistema compuesto de muchos elementos procesadores simples conectados en paralelo, cuya funcin es determinada por la estructura de la red, la fuerza en las conexiones y el procesamiento realizado por los elementos en el nodo. RNA, al igual que las personas, aprenden de la experiencia.

Las

RNA
A

continuacin se muestra la analoga entre una neurona biolgica y una neurona artificial.

Caractersticas principales
Peso: Las redes neuronales pueden tener factores de peso adaptable o fijo.
Las

que tienen pesos adaptables emplean leyes de aprendizaje para ajustar el valor de la fuerza de interconexin con otras neuronas. que tienen pesos fijos, su tarea debe estar previamente definida. pesos adaptables son muy importantes, ya que no se conoce de antemano su valor correcto.

Las

Los

Caractersticas principales
Aprendizaje: Se utilizan dos tipos de aprendizaje:
Supervisado:

se le proporciona a la red tanto la salida como la entrada correcta, y la red ajusta sus pesos para disminuir el error en la salida que ella calcula. No supervisado: a la red se le proporciona nicamente los estmulos, y la red ajusta los pesos de sus interconexiones utilizando solamente los estmulos y la salida calculada por la red.

Caractersticas principales
Fases de operacin: se presentan dos fases en la operacin de una RNA:
Entrenamiento:

se le proporcionan estmulos de entrada y salida (segn el caso), para que la red ajuste sus pesos de interconexin y minimice el error en la salida que calcula. de lo aprendido: la red solamente calcula la respectiva salida. El aprendizaje de la red disminuye a medida que aumenta el nmero de veces que se usa.

Recuperacin

Caractersticas principales
No son algortmicas:
Las

RNA no se programan slo para seguir una secuencia de instrucciones, sino que ellas mismas pueden generar sus propias reglas para aprender de su propia experiencia.

Caractersticas principales
Necesitan un patrn:
Las

RNA no son capaces de reconocer nada que no tenga algn tipo de patrn. muy buenas resolviendo problemas de asociacin, evaluacin y reconocimiento de patrones.

Son

Funcionamiento
Una

de las misiones en una red neuronal consiste en simular las propiedades observadas en los sistemas neuronales biolgicos a travs de modelos matemticos recreados mediante mecanismos artificiales (como un circuito integrado, un ordenador o un conjunto de vlvulas). objetivo es conseguir que las mquinas den respuestas similares a las que es capaz de dar el cerebro, que se caracterizan por su generalizacin y su robustez.

El

Funcionamiento
Cada neurona recibe una serie de entradas a travs de interconexiones y emite una salida. Esta salida viene dada por tres funciones: Una funcin de propagacin o funcin de excitacin. Una funcin de activacin. Una funcin de

Diseo de una RNA

La

aproximacin basada en las RNA parte de un conjunto de datos de entrada suficientemente significativo y el objetivo es conseguir que la red aprenda automticamente las propiedades deseadas. diseo de la red tiene que ver con aspectos como la seleccin del modelo de red, las variables a incorporar y el reprocesamiento de la informacin que formar el conjunto de entrenamiento.

El

Diseo de una RNA

El

proceso por el que los parmetros de la red se adecuan a la resolucin de cada problema se denomina entrenamiento.

Estructura de una RNA

Una

RNA se compone de un conjunto masivamente paralelo de unidades de proceso muy simples y es en las conexiones entre estas unidades donde reside la inteligencia de la red. RNA tienen un gran nmero de procesadores virtuales interconectados que de forma simplificada simulan la funcionalidad de las neuronas biolgicas.

las

Estructura de una RNA

En

una RNA entrenada, el conjunto de los pesos determina el conocimiento de esa RNA y tiene la propiedad de resolver el problema para el que la RNA ha sido entrenada. una RNA, adems de los pesos y las conexiones, cada neurona tiene asociada una funcin de transferencia, la cual genera la seal de salida de la neurona a partir de las seales de entrada. La entrada de la funcin es la suma de todas las seales de entrada por el peso asociado a la conexin de entrada de la seal.

En

Estructura de una RNA

Ventajas de las RNA

Aprendizaje:

Consiste en proporcionar a la RNA datos como entrada a su vez que se le indica cul es la salida (respuesta) esperada. organizacin: Una RNA crea su propia representacin de la informacin en su interior, descargando al usuario de esto. a fallos: Debido a que una RNA almacena la informacin de forma redundante, sta puede seguir respondiendo de manera aceptable aun si se daa parcialmente

Auto

Tolerancia

Ventajas de las RNA

Flexibilidad:

Una RNA puede manejar cambios no importantes en la informacin de entrada, como seales con ruido u otros cambios en la entrada. real: La estructura de una RNA es paralela, por lo cul si esto es implementado con computadoras o en dispositivos electrnicos especiales, se pueden obtener respuestas en tiempo real.

Tiempo

Tipologa de redes RNA

Modelos: Dependiendo de la estructura de la red neuronal existen varias tipologas, algunas de estas son:

El Perceptrn. Adaline Backpropagation. Hopfield. Kahonen.

Perceptrn
En

1943 se desarroll el primer modelo de neurona artificial por McCulloch y Pitts. perceptrn intenta modelar el comportamiento de la neurona biolgica, derivado del modelo de hecho por McCulloch y Pttis. la base de la arquitectura de las RNA. perceptrn trabaja con funciones de activacin.

El

Es El

Perceptrn
El

siguiente es un ejemplo de modelo de un perceptrn para el reconocimiento de patrones.

Perceptrn
El

cuerpo de la neurona es representado como un sumador lineal de estmulos zj. no lineal f(zj), que es la funcin de activacin, esta utiliza la suma de estmulos para determinar la salida de la neurona. el perceptrn, cada entrada es multiplicada por un factor de peso W correspondiente, los resultados sumados y luego evaluados contra el umbral , si el valor es mayor al mximo el perceptrn se activa.

Funcin

En

Perceptrn
La

primera capa acta como un grupo de censores que detectan una seal especfica con la importancia correspondiente. segunda capa toma la salida de los detectores y clasifica el patrn de entrada dado. aprendizaje empieza ajustando la fuerza en las conexiones (pesos Wj) y el valor de umbral . funcin gi es fija y est predeterminada.

La

El

La

Perceptrn
El

entrenamiento de un perceptrn se hace utilizando una funcin de aprendizaje. Si la respuesta dada por el perceptrn es incorrecta, se modifican todos los pesos de las conexiones de a cuerdo con la funcin

Wi = t i xi

donde: es la taza de aprendizaje, ti es la salida deseada y xi es la entrada del perceptrn.

Perceptrn
El

perceptrn es capaz tan slo de resolver una funcin, si todos los posibles resultados del problema pueden separarse de forma que no se combinen entre si.

Perceptrn
Existen varios tipos de perceptrones dependiendo del nmero de capas que tenga:
Un

perceptrn simple o de dos capas, corresponde a una capa de entrada con neuronas lineales y una salida con funcin de activacin tipo escaln. Este solo puede establecer dos regiones separadas por una frontera lineal en el espacio de patrones de entrada.

Perceptrn

Perceptrn
Considere

las funciones AND y OR, estas funciones son linealmente separables y por lo tanto pueden ser aprendidas por un perceptrn.

Perceptrn
La

funcin XOR no puede ser aprendida por un nico perceptrn puesto que requiere al menos de dos lneas para separar las clases (0 y 1). Debe utilizarse al menos una capa adicional de perceptrones para permitir su aprendizaje.

Perceptrn
Un

perceptrn de tres capas puede formar cualquier regin convexa en un espacio N. Cada elemento se comporta como un perceptrn simple. perceptrn cuatro capas puede generar regiones de decisin arbitrariamente complejas. Puede resolver una gran variedad de problemas cuyas entradas sean analgicas, la salida sea digital y sea linealmente separable.

Un

El perceptrn multicapas puede ser usado para la prediccin de una serie de datos en el tiempo, como cambios financieros. Las capas pueden clasificarse en tres tipos:
Capa

Perceptrn

de entrada: Constituida por aquellas neuronas que introducen los patrones de entrada en la red. En estas neuronas no se produce procesamiento. ocultas: Formada por aquellas neuronas cuyas entradas provienen de capas anteriores y las salidas pasan a neuronas de capas posteriores. de salida: Neuronas cuyos valores de salida se corresponden con las salidas de toda la red.

Capas

Capa

Perceptrn
El

perceptrn multicapas (MLP), se utiliza para resolver problemas de asociacin de patrones, segmentacin de imgenes, compresin de datos, etc.

Red Adaline
La

red Adaline puede considerarse una generalizacin del perceptrn: mientras que este ltimo slo trabaja con entradas y salidas binarias o bipolares, el Adaline trabaja con patrones de entrada y salida reales.

Red Adaline
Ventajas -

Con respecto al perceptrn, el Adaline posee la ventaja de que posee un nico mnimo global, o bien una recta de infinitos mnimos, todos ellos globales. Esto evita la gran cantidad de problemas que da el perceptrn a la hora del entrenamiento debido a que su funcin de error (tambin llamada de coste) posee numerosos mnimos locales.

Red Adaline
Aplicaciones: -

Asociacin de patrones: se puede aplicar a este tipo de problemas siempre que los patrones sean linealmente separables. En el campo del procesamiento de seales:
Filtros de ruido Filtros adaptativos

Backpropagation
Cuando

se combinan varios perceptrones en una capa y los estmulos de entrada despus son sumados, se tiene ya una red neuronal. falta de mtodos de entrenamiento apropiados para los MLP hizo que declinara el inters en las redes neuronales en los aos 60 y 70. esto no cambio hasta la reformulacin del mtodo de entrenamiento para MLP backpropagation a mediados de los aos 80 por Rumelhart (1986).

La

Backpropagation
En

esta red, se interconectan varias unidades de procesamiento en capas; las neuronas de cada capa se conectan entre si. Cada neurona de una capa proporciona una entrada a cada una de las neuronas de la siguiente capa.

Backpropagation

El trmino backpropagation se refiere al mtodo para calcular el gradiente de error en una red feed-forward (de aprendizaje supervisado), que es una aplicacin de la regla de la cadena de clculo elemental. Bsicamente el entrenamiento de este tipo de red consiste en lo siguiente: Pasada hacia delante (foward pass). Pasada hacia atrs (backward pass).

a. a.

Modelo Hopfield
Son

redes de adaptacin probabilstica y recurrente. Funcionalmente entraran en la categora de las memorias autoasociativas. monocapa con interconexin total y en la que el valor de salida de cada unidad es binario (solo puede tomar los valores 0 o 1) y siguen una regla de aprendizaje no supervisado. formadas por N neuronas interconectadas que actualizan sus valores de activacin en forma independiente, todas son a la vez entrada y salida.

Son

Estn

Modelo Hopfield
Es

buena para resolver problemas de optimizacin. siempre una restriccin por simetra en cada conexin (Wjk = Wkj). una neurona mantiene su valor de activacin se dice que es estable. llega a un estado estable cuando todas las neuronas son estables.

Tiene

Cuando

Se

Modelo Hopfield
Ante

la presentacin de un estmulo nuevo se obtiene una configuracin inicial ms o menos parecida a la de alguno de los estmulos almacenados, el sistema hace iteraciones hasta quedar en una configuracin estable. Una caracterstica importante de este modelo es que una neurona nunca se realimenta a si misma.

Modelo Kohonen
Esta

red est basada en la capacidad que tiene el cerebro de formar mapas caractersticos de la informacin recibida del exterior. objetivo de Kohonen era demostrar que un estmulo exterior, suponiendo una estructura propia y una descripcin funcional del comportamiento de la red, era suficiente para forzar la formacin de mapas. red neuronal Kohonen contiene solamente una capa de neuronas y una capa de entrada, que se ramifica para todos los nodos. Pertenece a la categora de redes competitivas o mapas de auto organizacin.

El

La

Modelo Kohonen
Tiene

tambin funciones de activacin lineales y flujo de informacin unidireccional (red en cascada). red cuenta con N neuronas de entrada y M de salida, cada una de las neuronas de entrada esta conectada a todas las salidas. unidades de entrada reciben datos continuos normalizados. red clasifica los patrones de entrada en grupos de caractersticas similares, de tal manera que cada grupo activa siempre las mismas salidas.

La

Las La

Modelo Kohonen

Entre

las neuronas de la capa de salida existen conexiones laterales de inhibicin implcitas aunque no estn conectadas. La influencia que una neurona tiene sobre las dems es funcin de la distancia entre ellas, se hace muy pequea cuando estn muy alejadas.

Topologa de las RNA

Una

primera clasificacin de las redes de neuronas artificiales que se suele hacer es en funcin del patrn de conexiones que presenta. Monocapa. Ejemplos: perceptrn, Adaline. Multicapa. Ejemplos: perceptrn multicapa. Las redes recurrentes que presentan al menos un ciclo cerrado de activacin neuronal. Ejemplos: Elman, Hopfield, mquina de Bolzman.

Aprendizaje
Una

segunda clasificacin que se suele hacer es en funcin del tipo de aprendizaje de que es capaz. Aprendizaje supervisado Aprendizaje no supervisado o autoorganizado Redes hbridas Aprendizaje reforzado

Tipo de entrada
Finalmente,

se pueden clasificar las RNA segn sean capaces de procesar informacin de distinto tipo en: analgicas: procesan datos de entrada con valores continuos y, habitualmente, acotados. discretas: procesan datos de entrada de naturaleza discreta; habitualmente valores lgicos booleanos.

Redes

Redes

Aplicaciones de las RNA

Las

caractersticas de las RNA las hacen bastante apropiadas para aplicaciones en las que no se dispone a priori de un modelo identificable que pueda ser programado, pero se dispone de un conjunto bsico de ejemplos de entrada. altamente robustas tanto al ruido como a la disfuncin de elementos concretos y son fcilmente paralelizables.

Son

Aplicaciones de las RNA

Se

han utilizado para encontrar patrones de fraude econmico, hacer predicciones en el mercado financiero, hacer predicciones de tiempo atmosfrico, etc. utilizar cuando no existen modelos matemticos precisos o algoritmos con complejidad razonable. tipo especial de redes neuronales artificiales se ha aplicado en conjuncin con los algoritmos genticos (AG) para crear controladores para robots.

pueden

Otro