Redes Neuronales Artificiales

Beimar Pereira Mndez Sergio Pinto Carlos Ardila Andrs Felipe Jaimes Snchez

Fundamentos biolgicos

El Modelo Biolgico
Estructura de la neurona Naturaleza dielctrica de la neurona

 Tipos de Sinapsis
Sinapsis excitadora : neurotransmisores disminuyen potencial. Sinapsis inhibidora: neurotransmisores estabilizan el potencial.

Elementos de una RNA

Red neuronal: intenta reproducir el comportamiento del cerebro.
Eleccin adecuada de caractersticas Estructura conveniente

Neurona Artificial

Esquema de una Neurona Artificial con sus principales elementos.

 Unidad de proceso: La neurona Artificial. Tipos de unidades:

Entradas. Salidas. Ocultas. Capa o nivel: conjunto de neuronas con entradas de la misma fuentes y salidas hacia el mismo destino.

Estado de Activacin: reposo o excitacin. Valores de

activacin:
Continuos Discretos

 Funcin de Salida o de Transferencia. Asociada con cada unidad

hay una funcin de salida, que transforma el estado actual de activacin en una seal de salida.
Neurona de funcin escaln: salidas binarias.

 Neuronas de funcin lineal y mixta: la activacin es la suma de seales de entrada definida en lmites inferior y superior.

 Neuronas de funcin continua (sigmoidal): derivada siempre positiva y cercana a cero. Reglas de aprendizaje para la funcin escaln.

Funcin de transferencia gaussiana: mas adaptativas que las funciones sigmoidales por la versatilidad de sus centros y anchura.

 Conexiones entre neuronas:

Las conexiones se asocian a un peso que permite a la red adquirir conocimiento. Se considera que el efecto de cada seal es aditivo, de tal forma que la entrada neta que recibe una neurona es la suma del producto de cada seal individual por el valor de la sinapsis que conecta ambas neuronas y es lo que se conoce como red de propagacin.

 Estructura de una RNA

Niveles o capas de neuronas.
Capa de Entrada: recibe directamente la informacin proveniente de las fuentes externas de la red. Capa Oculta: Son internas a la red y no tiene contacto directo con el exterior. El nmero de niveles ocultos puede estar entre cero y un nmero elevado. Capa de Salida: Transfieren informacin de la red hacia el exterior.

 Formas de conexin entre neuronas: La conectividad se relaciona con la forma en

que las salidas se canalizan para convertirse en entradas de otras neuronas. Propagacin hacia adelante: ninguna salida de la neurona es entrada de neuronas del mismo nivel o de niveles precedente. Propagacin hacia atrs : las salidas pueden ser conectadas como entradas de neuronas de niveles previos o del mismo nivel, incluyndose ellas mismas.

 Mecanismo de Aprendizaje
Redes con aprendizaje supervisado
Aprendizaje por correccin de error: Consiste en ajustar los pesos en funcin de la diferencia entre los valores deseados y los obtenidos en la salida de la red; es decir, en funcin del error.
Aprendizaje con refuerzo: La funcin del supervisor se reduce a indicar mediante una seal de refuerzo si la salida obtenida en la red se ajusta a la deseada (xito=+1 o fracaso=-1), y en funcin de ello se ajustan los pesos basndose en un mecanismo de probabilidades. Aprendizaje estocstico: Este tipo de aprendizaje consiste bsicamente en realizar cambios aleatorios en los valores de los pesos de las conexiones de la red y evaluar su efecto a partir del objetivo deseado y de distribuciones de probabilidad.

 Redes con aprendizaje no supervisado:

Autoorganzacin. Familiaridad entre entradas y salidas: similitud entre entradas e informaciones pasadas. Clustering -> prototipado: Establecimiento de categoras para formar correlaciones. Codificacin de datos de entrada: versin codificada de la entrada manteniendo la informacin en la salida. Mapeo de caractersticas: representacin en diagramas topogrficos de las entradas para su posterior modificacin en un mapa de salidas.

 Aprendizaje hebbiano: ajuste de los pesos de las conexiones de acuerdo con la correlacin, as si las dos unidades son activas (positivas), se produce un reforzamiento de la conexin. Por el contrario cuando un es activa y la otra pasiva (negativa), se produce un debilitamiento de la conexin. Aprendizaje competitivo y cooperativo: pretende que cuando se presente a la red cierta informacin de entrada, solo una de las neuronas de salida se active (alcance su valor de respuesta mximo). Por tanto las neuronas compiten por activarse , quedando finalmente una, o una por grupo, como neurona vencedora.

Caractersticas de las RNAs

Redes neuronales y computadores digitales:
Los sistemas neurolgicos no aplican principios de circuitos lgicos o digitales. Un sistema de computacin digital debe ser sncrono o asncrono. Las neuronas no pueden ser circuitos de umbral lgico. Los procesos colectivos que son importantes en computacin neuronal no pueden implementarse por computacin digital. El cerebro debe ser un computador analgico.

 Redes Neuronales e I.A.

Inteligencia Artificial

Redes de Autoproceso

Procesamiento Numrico

Procesamiento Simblico

Sistemas Asociativos

Sistemas Distribuidos

Redes Subsimblicas

Redes Neuronales

Panorama histrico de las RNAs

Mquinas basadas en la filosofa de Von Neumann, descripcin secuencial del

proceso de tratamiento de la informacin. 1936: Alan Turing, primero en estudiar el cerebro como una forma de ver el mundo de la computacin. 1943: Warren McCulloch y Walter Pitts, fundamentos de la computacin neuronal. 1949: Donald Hebb, teora de redes neuronales. 1957: Frank Rosenblatt, desarrollo del Perceptrn. 1959: Bernard Widrow y Marcial Hoff, desarrollo del modelo ADALINE. 1967: Stephen Grossberg, realiz Avalancha 1969: Marvin Minsky y Seymour Papert, Libro Perceptrons. 1977: James Anderson, desarrollo el Asociador Lineal. (Teuvo Kohonen, 1977) (Jonh Hopfield, 1982) 1980: Kunihiko Fukushimika, desarrollo del Neocongnitron. 1985-1991: Neural Networks for Computting, Neural Information Processing Systems, entre algunas otras.

 Actualidad de las RNAs

Actualmente, son numerosos los trabajos que se realizan y publican. Revistas como Neural Networks, Transactions on Neural Networks, entre otros, son las encargadas de la publicacin de los ltimos avances. El Departamento de Defensa de los Estados Unidos, la Sociedad Europea de Redes Neuronales son algunos de los ejemplos del resurgir de la investigacin sobre redes neuronales.

Cerebro y procesos neuronales asociados

Sistemas inteligentes

Neuronas como procesadores de informacin

Dendritas Canal de entrada de la Informacin

Axn Canal de salida

Soma rgano de Cmputo

Sistema global de proceso

Emular el sistema neuronal

Procesamiento en paralelo Memoria distribuida Adaptabilidad al entorno

1. 2. 3. 4. 5.

Proceso de todo o nada ( 1 0) Excitar sinapsis Excitar neuronas nico retraso Retraso sinptico Sinapsis inhibitoria Neurona inactiva Estructura de la red No cambia en el tiempo

Actividad

Activa

Si
supera umbral? Hay sinapsis inhibitoria? Si Inactiva No No

Conexin inhibitoria Neurona Conexin excitatoria

AND
0

OR

NOT

Perceptrn Simple
Es un tipo de RNA de aprendizaje supervisado.

En 1958 el Psiclogo Frank Rosenblatt desarrolla un modelo simple

basado en el modelo de McCulloch y Pitts.

Podemos asociarlo primeramente con un sensor.

 El modelo matemtico ms simple de una neurona es un perceptrn y

viceversa.
Funcin Activacin de tipo escaln. Neuronas de Entrada son Discretas.

Arquitectura
Grficamente podemos representar el modelo de la siguiente forma:

 El perceptrn equivale a un hiperplano de

dimensin n-1 capaz de separar las clases.

1 = si W1 X1 + W2 X2 + > 0 Y= -1 = si W1 X1+ W2 X2 + 0

 La ecuacin del hiperplano es:

W1X1+ W2X2+ = 0 W1 X2 = X1 - W2 W2 Recordemos

Punto de corte
X2

X1

 En general Para N Dimensiones.

W1X1+ W2X2+ + WnXn + = 0 o 0 = WnXn + =1

Proceso
Definir los puntos en un determinado espacio de N

dimensiones.
Se Busca Realizar separacin lineal correcta.
Hallar ecuacin del hiperplano, para obtener los pesos

respectivos.
Realizar clculos.

Aprendizaje
Proceso iterativo supervisado. Modificacin de Peso y umbral hasta encontrar el plano discriminante. Numero finito de iteraciones

Siendo: X el valor de entrada, W el peso, el Umbral, D(x) El resultado deseado.

1. Empezar con valores aleatorios para los pesos y el umbral 2. Seleccionar un vector de entrada. 3. Si la red da una respuesta incorrecta, Modificar de acuerdo a:
= Xi d X y = ()

4. Si no se ha cumplido el criterio de finalizacin, volver a2

X1 0 0 1 1

X2 0 1 0 1

OR 0 1 1 1

X1 0 0 1 1

X2 0 1 0 1

AND 0 0 0 1

X1 0 0 1 1

X2 0 1 0 1

XOR 0 1 1 0

Funcin XOR: (X1 and X2) OR (X1 and X2)

- A diferencia del Perceptrn, Adaline estima una salida real. - Posee una sola capa de n neuronas n salidas - m entradas:
Vector x en Rm Vector w de pesos sinpticos

Salida
=

+
=1

Tambin conocido como red de retropropagacin

Es Unidireccional. Se basa en la red del perceptrn simple. Adicionalmente tiene capas ocultas.

Es una RNA de Mltiples capas:

Capa de Entrada: Introduce patrones a la red, no

produce procesamiento. Capa Oculta: Formas por las neuronas entrantes y le da informacin a las salientes. Capa de Salida: Neuronas cuyas salidas corresponden a las salidas de toda la red

Ecuacin del error cuadrtico medio:

X1 2

-2

F1

1 F3

X2

2 F2 -2

Umbral = 0

=2 X1 1 F3 1 X2 F2 -1 =2 -1 F1

=1

A qu aplicar las redes neuronales?

A las tareas que tienen suficientes patrones ejemplo, y no tienen una solucin logartmica eficiente

En general, las redes neuronales tratan de resolver de forma eficiente problemas que pueden encuadrarse dentro de tres amplios grupos: optimizacin, reconocimiento y generalizacin.

Optimizacin
SOLUCIONES OPTIMAS Niveles adecuados de tesorera, de existencias, de produccin.

Este es uno de los campos ms fructferos en el desarrollo de redes neuronales y casi todos los modelos de red neuronal han sido aplicados con mayor o menor xito.
Tratamiento de imgenes, reconocimiento ptico de caracteres

Clasificacin y prediccin.

Tratar de predecir la quiebra de las empresas a partir de su informacin contable o la concesin de prstamos, la calificacin de obligaciones, la prediccin en los mercados de valores, etc.

Deteccin de fraude en tarjetas de crdito con redes neuronales

Una red neuronal del Chase Manhattan Bank para la concesin de prstamos (Perceptrn multicapa)

Prediccin en los mercados de valores con redes neuronales

Redes neuronales que clasifican informacin contable