REDESneuronales

FACULTAD DE INGENIERIA
RED NACIONAL UNIVERSITARIA
SYLLABUS
Facultad de Ingeniera
Ingeniera de Sistemas
OCTAVO SEMESTRE
Gestin Acadmica I/2006
1
UDABOL
UNIVERSIDAD DE AQUINO BOLIVIA
Acreditada como PLENA mediante R.M. 288/01
VISIN DE LA UNIVERSIDAD
Ser la Universidad lder en calidad educativa.
MISIN DE LA UNIVERSIDAD
Desarrollar la Educacin Superior Universitaria con calidad y

competitividad al servicio de la sociedad.
2
SYLLABUS
Asignatura: Redes Neuronales

Cdigo: CMP - 525
Requisito:
Carga Horaria: 80
Crditos:
I. OBJETIVOS GENERALES DE LA ASIGNATURA.
Las Redes Neuronales Artificiales (RNA) han sido estudiadas y utilizadas experimentalmente por dcadas, principalmente
con la esperanza de lograr realizar ciertas tareas propias del cerebro humano, tal es el caso de reconocimiento de imgenes
y de voz.
Desde hace pocos aos las RNAs, son la nueva tecnologa en la cul las computadoras aprenden directamente de los datos,
asistiendo a tareas de clasificacin, funciones de estimacin, compresin de datos, y tareas de simulacin.
Las redes neuronales artificiales han sido y son utilizadas en varias reas de las ciencias de la computacin y abren nuevas
soluciones a muchas aplicaciones futuras, por lo que se justifica plenamente considerarla como una materia optativa en la
carrera de Ing. de Sistemas.
E L PROPSITO FUNDAMENTAL DE LA ASIGNATURA ES PREPARAR AL ESTUDIANTE PARA LA SOLUCIN DE PROBLEMAS QUE

SON IMPOSIBLES DE RESOLVER CON TCNICAS TRADICIONALES APLICANDO UNA NUEVA HERRAMIENTA DONDE NO SE
CUENTA CON INFORMACIN SUFICIENTE SOBRE EL COMPORTAMIENTO DE LOS DATOS O SON DIFCILES DE MODELARLOS .
.
II. PROGRAMA ANALTICO DE LA ASIGNATURA.
1 Caractersticas principales de las redes neuronales.

1.1 Introduccin a las redes neuronales.
1.2 Funcionamiento de una neurona biolgica.
1.3 Caractersticas de una red neuronal artificial.
1.3.1 Notacin.
1.3.2 Funciones de transferencia
1.3.2.1 Limitador Fuerte (hardlim)
1.3.2.2 Funcin de Transferencia Lineal (purelin)
1.3.2.3 Funcin de Transferencia Sigmoidal (logsig)
1.3.3 Topologa de una red
1.3.4 Formas de aprendizaje
2 Principales tipos de redes neuronales

2.1 PERCEPTRON
2.1.1 Antecedentes
2.1.2 Estructura de la red
2.1.3 Regla de aprendizaje
3
2.1.4 Limitacin de la red Perceptrn

2.1.5 Perceptrn multicapa
2.2 ADALINE
2.2.1 Antecedentes
2.2.4 Principales aplicaciones de la Red Adaline
2.3 BACKPROPAGATION
2.3.1 Antecedentes
2.3.3.1 Red Backpropagation con momemtun
2.3.3.2 Red Backpropagation con rata de aprendizaje variable
2.3.3.3 Mtodo del gradiente conjugado
2.3.3.4 Algoritmo Levenber - Marquard
2.4 APRENDIZAJE ASOCIATIVO

2.4.1 Antecedentes
2.4.3 Regla de Hebb
2.4.4 Red Instar
2.4.5 Red Outstar
2.5 REDES COMPETITIVAS

2.5.1 Antecedentes
2.5.2 Red de Kohonen
2.5.3 Red de Hamming
2.5.4 Estructura general de una red competitiva
2.5.6 Problemas de las redes Competitivas
2.5.7 Mapas de auto Organizacin (SOM)
2.5.8 Learning Vector Quantization (LVQ)
2.6 REDES RECURRENTES

2.6.1 Red de Hopfield
2.6.1.1 Antecedentes
2.6.1.2 Estructura de la red
2.6.1.3 Regla de aprendizaje
2.6.1.4 Identificacin de Sistemas no Lineales
2.6.2 Redes Multicapa
2.6.2.2 Regla de aprendizaje
2.6.3 Red de Elman
2.6.1.2 Entrenamiento de la red
4
III. BIBLIOGRAFA.
James A. Freeman / David M. Skapura, Redes Neuronales, Algoritmos, aplicaciones y tcnicas de programacin.
http://ohm.utp.edu.co/neuronales.
http://home.cc.umanitoba.ca/~umcorbe9/perceptron.html
http://www.qub.ac.uk/mgt/intsys/perceptr.html
http://neuron-ai.tuke.sk/cig/source/student_projects/demos/source/barat/perceptron
http://scalab.uc3m.es/~docweb/rn-inf/documentacion/AdalineRNTP2.pdf
http://scalab.uc3m.es/~docweb/rn-inf/documentacion/AdalineTP.pdf
http://club.telepolis.com/alimanya/leeme.htm
5
IV. CONTROL DE EVALUACIONES
1 evaluacin parcial
Fecha
Nota
2 evaluacin parcial
Fecha
Nota
Examen final
Fecha
Nota
APUNTES
6
WORK PAPER # 1 -2
PROGRAMA DE CONTROL DE CALIDAD
N de procedimiento: . N de hojas: 1
Elaborado por: Ing Javier Arispe G. Asignatura: Redes Neuronales
TTULO DEL WP: RED NEURONAL
DESTINADO A: ESTUDIANTES
ASIGNATURA: REDES NEURONALES
Fecha de difusin: Marzo de 2006
Fecha de entrega: Abril 2006
A la hora de implementar una red neuronal como parte de un programa o sistema informtico, se puede distinguir 3 fases
bsicas.
Diseo: En esta fase se elige el tipo de red neuronal a usar.

Entrenamiento: Se presenta a la red una serie de datos de entrada y de salida(resultados) para que a partir de ellos
pueda aprender
Instrucciones:
1.1 Desarrollar un programa para entender el funcionamiento de una neurona artificial, que sea capaz de aprender unos
patrones de entrada usando la segunda forma de aprendizaje vista en clase.
7
WORK PAPER # 3
TTULO DEL WP: RED PERCEPTROM
Fecha de difusin: Abril 2006
El aprendizaje de una red neuronal tipo perceptron se observa mas claramente con la ayuda de un plano bidimensional
donde se muestra que el problema fue resuelto correctamente.
Instrucciones:
1.2 Utilizando el programa desarrollado en el anterior work paper, incorporar una ventana donde muestre grficamente
el aprendizaje de la red.
8
WORK PAPER # 4
TTULO DEL WP: RETROPROPAGACION
Las redes tipo Back-propagation son hoy en da una de las redes mas usadas en el reconocimiento de patrones, debido a su
particularidad de minimizar el error cuadrtico y permiten resolver problemas que no son linealmente separables
Instrucciones:
1.3 Resolver el siguiente ejercicio.
(1,0)= 1
-0.5
P1
.0.6
0.4
P2 1.5
0.5
0.1
Bias 1
9
WORK PAPER # 5
TTULO DEL WP: REDES INSTAR
Fecha de difusin: Mayo 2006
Fecha de difusin: Mayo 2006
Las redes asociativas deben encontrar las caractersticas, regularidades, correlaciones o categoras que se pueden
establecer entre los datos que se presenten en su entrada.
Instrucciones:
1.4 Resolver el siguiente ejercicio, que trata de reconocer una fruta usando las redes instar.
Textura = 1 si es suave y 1 caso contrario

Forma = 1 si es redonda y 1 caso contrario
Peso = 1 si es mayor al kgr y 1 caso contrario
No Condicionado
Deteccin forma
Condicionado
Peso + harlim
Textura
Forma
10
WORK PAPER # 6
TTULO DEL WP: REDES OUSTAR
Instrucciones:
1.5 Resolver el siguiente ejercicio, que trata de reconocer una fruta usando las redes outstart.
Textura = 1 si es suave y 1 caso contrario

Forma = 1 si es redonda y 1 caso contrario
Peso = 1 si es mayor al kgr y 1 caso contrario
No Condicionado
Deteccin forma
Condicionado
Peso + harlim
Textura
Forma
Se pretende entrenar a la red para que reconozca una fruta de textura suave, redonda y que pese mas de un kgr
11
WORK PAPER # 7
TTULO DEL WP: REDES INSTAR
Fecha de difusin: Junio 2006
Instrucciones:
Se tiene una red con aprendizaje no supervisado en la cual se le intenta entrenar para aprender a reconocer a una persona
por la forma de su cara.
Se tiene como estimulo no condicionado el tamao, peso, color de la piel, color del pelo y color de ojos cuyos valores son:
o 1 si el tamao es menor a 1.80 mtr y 1 caso contrario.

o 1 si el peso es mayor a 80 kgr y 1 caso contrario.
o 1 si el color de piel es morena y 1 caso contrario.
o 1 si el color de su pelo es negro y 1 si es castao.
o 1 si el color de los ojos son cafs claros y 1 si son negros
A la presencia de la persona frente a los censores se detecta que es una persona de 1.95 mtr de altura con un peso de 90
Kgr de test morena, cuyo color de pelo es castao y ojos cafs claros.
12
WORK PAPER # 8 9 - 10
TTULO DEL WP: REDES CON APRENDIZAJE NO SUPERVISADO
Instrucciones:
1.- Se intenta entrenar a una red para que sea capas de reconocer a un baln de ftbol, que tiene como estimulo no
condicionado el peso y como estmulos condicionados la forma, color y presin de aire.
Los censores asilan entre los siguientes valores:
1 si la forma es redonda y -1 de es ovalada.

1 si el color es plateado y -1 caso contrario.
1 si la presin del aire supera a libra y -1 caso contrario.
Se intenta entrenar a la red para que reconozca a un baln de forma redonda color plateado y la presin del aire sea
menor a 1 libra.
2.- Se intenta entrenar a una red para que sea capas de reconocer a un baln de ftbol, que tiene como estimulo
condicionado el peso y como estmulos no condicionados la forma, color y presin de aire.
Los censores asilan entre los siguientes valores:
1 si la forma es redonda y -1 de es ovalada.

1 si el color es plateado y -1 caso contrario.
1 si la presin del aire supera a libra y -1 caso contrario.
Se intenta entrenar a la red con los siguientes datos un baln de forma redonda color plateado y la presin del aire sea
menor a 1 libra.
13
3.- Se intenta entrenar a una red para que reconozca un tenis y se tiene como estimulo no condicionado la forma y como
estimulo condicionado el peso.
Ele censor del peso puede tomar los siguientes valores:
1 si el peso es mayor a los 10 Kgr y -1 caso contrario
Se intenta entrenar a la red para que reconozca un tenis que pesa 11Kgr
14
Dif # 1
TITULO: Introduccin A la teora de Redes Neuronales
Introduccin:
El cerebro es un procesador de informacin con unas caractersticas muy notables: es capaz de procesar a gran velocidad
grandes cantidades de informacin procedentes de los sentidos, combinarla o compararla con la informacin almacenada y
dar respuestas adecuadas incluso en situaciones nuevas. Logra discernir un susurro en una sala ruidosa, distinguir una cara
en una calle mal iluminada o leer entre lneas en una declaracin poltica; pero lo ms impresionante de todo es su
capacidad de aprender a representar la informacin necesaria para desarrollar tales habilidades sin instrucciones explcitas
para ello.
Aunque todava se ignora mucho sobre la forma en que el cerebro aprende a procesar la informacin, se han desarrollado
modelos que tratan de mimetizar tales habilidades; denominados redes neuronales artificiales modelos de computacin
conexionista (otras denominaciones son computacin neuronal y procesamiento distribuido paralelo o P.D.P.). La elaboracin
de estos modelos supone en primer lugar la deduccin de los rasgos o caractersticas esenciales de las neuronas y sus
conexiones, y en segundo lugar, la implementacin del modelo en una computadora de forma que se pueda simular. Es obvio
decir que estos modelos son idealizaciones burdas de las autnticas redes neuronales, en muchos casos de dudosa
plausibilidad neurofisiolgica, pero que sin embargo resultan interesantes cuando menos por sus capacidades de
aprendizaje.
En este curso vamos describir los modelos conexionistas a partir de una analoga con el sistema nervioso y despus nos
centraremos en los aspectos computacionales: como se implementan y programan estos modelos en una computadora, las
aplicaciones tcnicas que posibilitan y las tecnologas desarrolladas especficamente para aprovechar toda su potencia.
Origen del paradigma de computacin conexionista

La IA, entendida muy ampliamente como el modelado y la simulacin de las actividades cognitivas complejas (percepcin,
memoria, solucin de problemas, etc.) que caracterizan a los organismos avanzados, y en particular a los seres humanos, se
separ casi desde su inicio en dos ramas bien diferenciadas (Waltz & Feldman 1988)
Por un lado se trat de modelar la actividad racional mediante sistemas formales de reglas y manipulacin simblica
(generalmente mediante sistemas lgicos), constituyendo quizs la rama ms conocida de la IA, que podramos denominar
simblico - deductiva (se postulan una serie de reglas y el sistema resuelve los problemas realizando deducciones sobre las
reglas existentes).
Por otro lado se desarrollaron modelos computacionales inspirados en las redes neuronales biolgicas, denominados
inductivos o subsimblicos, ya que extraen la informacin necesaria para resolver un problema de un conjunto de ejemplos,
sin necesidad de indicarle las reglas necesarias para resolverlo.
Si bien es mucho ms conocida la aproximacin simblico-deductivo y su principal aplicacin: los sistemas expertos
(sistemas o agentes basados en conocimiento), existe un considerable y renacido inters por los modelos conexionistas. El
progreso de las neurociencias nos est conduciendo a una comprensin cada vez mayor de la estructura fsica y lgica del
cerebro; los avances tecnolgicos ofrecen recursos cada vez mayores para representar estructuras muy complejas, realizar
clculos a gran velocidad y en paralelo, apoyando y fomentando as la investigacin en este campo.
Podramos situar el origen de los modelos conexionistas con la definicin de la neurona formal dada por McCulloch y Pitts en
1943 como un dispositivo binario con varias entradas y salidas. Un psiclogo, D.O. Hebb, introdujo en 1949 (Hebb 1949) dos
ideas fundamentales que han influido de manera decisiva en el campo de las redes neuronales: la idea de que una
percepcin o un concepto se representa en el cerebro por un conjunto de neuronas activas simultneamente; y la idea de
que la memoria se localiza en las conexiones entre las neuronas (sinpsis). Las hiptesis de Hebb, basadas en
15
investigaciones psicofisiolgicas, presentan de manera intuitiva el modo en que las neuronas memorizan informacin, y se
plasman sintticamente en la famosa regla aprendizaje de Hebb (tambin conocida como regla del producto). Esta regla
indica que las conexiones entre dos neuronas se refuerzan si ambas son activadas. Muchos de los algoritmos actuales
proceden de los conceptos de este psiclogo, y a pesar de las crticas recibidas, como la existencia de conexiones
inhibitorias y no slo excitatorias, sigue teniendo una gran influencia.
Un poco de historia
En 1956 se organiz en Dartmouth la primera conferencia sobre IA. Aqu se discuti el uso potencial de las computadoras
para simular "todos los aspectos del aprendizaje o cualquier otra caracterstica de la inteligencia" y se present la primera
simulacin de una red neuronal, aunque todava no se saban interpretar los datos resultantes.
En 1959, Widrow (Widrow 1959) publica una teora sobre la adaptacin neuronal y unos modelos inspirados en esa teora, el
Adaline (Adaptative Linear Neuron) y el Madaline (Multiple Adaline). Estos modelos fueron usados en numerosas
aplicaciones y permitieron usar, por primera vez, una red neuronal en un problema importante del mundo real: filtros
adaptativos para eliminar ecos en las lneas telefnicas.
En 1962, Rosemblatt(Rosemblatt 1962) publica los resultados de un ambicioso proyecto de investigacin, el desarrollo del
Perceptrn, un identificador de patrones pticos binarios, y salida binaria. Las capacidades del Perceptrn se extendieron al
desarrollar la regla de aprendizaje delta, que permita emplear seales continuas de entrada y salida.
1969, Minsky y Papert (Minsky & Papert 1969))realizan una seria crtica del Perceptrn, revelando serias limitaciones, como
su incapacidad para representar la funcin XOR, debido a su naturaleza lineal. Este trabajo cre serias dudas sobre las
capacidades de los modelos conexionistas y provoc una cada en picado de las investigaciones.
Aos 70: a pesar del duro golpe que supuso el trabajo de Minsky y Papert para las investigaciones en computacin
conexionista, un puado de investigadores sigui trabajando y desarrollando nuevas ideas:
Anderson (Anderson, Silverstein, Ritz & Jomnes 1977)estudia y desarrolla modelos de memorias asociativas. Destaca el
autoasociador lineal conocido como modelo brain-state-in-a-box (BSB).
Kohonen (Kohonen 1984) continua el trabajo de Anderson y desarrolla modelos de aprendizaje competitivo basados en el
principio de inhibicin lateral. Su principal aportacin consiste en un procedimiento para conseguir que unidades fsicamente
adyacentes aprendieran a representar patrones de entrada similares; a las redes basadas en este procedimiento se las
denomina redes de Kohonen.
Grossberg (Grossberg 1987) realiz un importante trabajo terico - matemtico tratando de basarse en principios fisiolgicos;
aport importantes innovaciones con su modelo ART (Adaptative Resonance Theory) y, junto a Cohen, elabora un importante
teorema sobre la estabilidad de las redes recurrentes en trminos de una funcin de energa.
Aos 80: En esta dcada se produce el renacimiento del inters por el campo gracias sobre todo al trabajo del el grupo PDP
y las aportaciones de Hopfield.
Rumelhart, McClelland & Hinton crean el grupo PDP (Parallel Distributed Processing). Como resultado de los trabajos de este
grupo salieron los manuales (Rumelhart & McClelland 1986 y 1988 ) con ms influencia desde la crtica de Minsky y Papert.
Destaca el captulo dedicado al algoritmo de retropropagacin, que soluciona los problemas planteados por Minsky y Papert
y extiende enormemente el campo de aplicacin de los modelos de computacin conexionistas.
Hopfield (Hopfield 1982) elabora un modelo de red consistente en unidades de proceso interconectadas que alcanzan
mnimos energticos, aplicando los principios de estabilidad desarrollados por Grossberg. El modelo de Hopfield result muy
ilustrativo sobre los mecanismos de almacenamiento y recuperacin de la memoria. Su entusiasmo y claridad de
presentacin dieron un nuevo impulso al campo y provocaron el incremento de las investigaciones.
Otros desarrollos destacables de esta dcada son la mquina de Boltzmann (Hinton & Sejnowski 1986) y los modelos BAM
(Kosko 1987)
Distintas visiones o enfoques de los modelos conexionistas
16
La formulacin de modelos del funcionamiento cerebral se aborda hoy desde una ptica multidisciplinar: psiclogos
cognitivos, neurofisilogos, matemticos, fsicos, ingenieros, estudiosos de las ciencias de la computacin, convergen en
esta temtica dando lugar a una "fertilizacin cruzada", ya que cada disciplina toma de las otras nuevos estilos o
aproximaciones en el anlisis de problemas (Prez)
Enfoque computacional: Desde esta aproximacin se intentan desarrollar modelos de computacin eficientes, con la mxima
potencia y simplicidad. Dentro de este enfoque destacaramos el rea del aprendizaje inductivo y el rea de reconocimiento
de formas.
Enfoque cognitivo: Se interesa sobre todo por las capacidades cognitivas de estos modelos, sin considerar la necesidad de
mantener una plausibilidad biolgica. Busca modelos cognitivos potentes y sencillos, centrndose sobre todo en la
problemtica de la representacin del conocimiento.
Enfoque biocognitivo: Parecido al anterior pero tomando como premisa la plausibilidad biolgica de los modelos. Esto no
supone un respeto y fidelidad absolutos a los procesos neurofisiolgicos, sino que tratan de recrear las caractersticas
generales de dichos mecanismos para aplicarlos a las tareas tpicamente cognitivas (lenguaje natural, visin, etc),
aprovechando las cualidades inherentes al cerebro como procesador de informacin.
Enfoque psicofisiolgico: trata de comprender los mecanismos naturales implicados en los procesos cognitivos reales:
percepcin, razonamiento, memoria, etc. Resulta interesante en cuanto permite poner a prueba teoras psicolgicas y
neurofisiolgicas.
CUESTIONARIO DIFs
1.- Efectu un comentario de la lectura realizada.?
........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
2.- Cuales son las caractersticas mas importantes del cerebro humano?
........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
3.- Que se entiende por enfoque cognitivo.?
........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
17
Dif # 2
TITULO: Perceptron
Antecedentes: La primera red neuronal conocida, fue desarrollada en 1943 por Warren McCulloch y Walter Pitts; esta
consista en una suma de las seales de entrada, multiplicadas por unos valores de pesos escogidos aleatoriamente. La
entrada es comparada con un patrn preestablecido para determinar la salida de la red. Si en la comparacin, la suma de las
entradas multiplicadas por los pesos es mayor o igual que el patrn preestablecido la salida de la red es uno (1), en caso
contrario la salida es cero (0). Al inicio del desarrollo de los sistemas de inteligencia artificial, se encontr gran similitud entre
su comportamiento y el de los sistemas biolgicos y en principio se crey que este modelo poda computar cualquier funcin
aritmtica o lgica.
La red tipo Perceptrn fue inventada por el siclogo Frank Rosenblatt en el ao 1957. Su intencin era ilustrar algunas
propiedades fundamentales de los sistemas inteligentes en general, sin entrar en mayores detalles con respecto a
condiciones especficas y desconocidas para organismos biolgicos concretos. Rosenblatt crea que la conectividad existente
en las redes biolgicas tiene un elevado porcentaje de aleatoriedad, por lo que se opona al anlisis de McCulloch Pitts en el
cual se empleaba lgica simblica para analizar estructuras bastante idealizadas. Rosenblatt opinaba que la herramienta de
anlisis ms apropiada era la teora de probabilidades, y esto lo llev a una teora de separabilidad estadstica que utilizaba
para caracterizar las propiedades ms visibles de estas redes de interconexin ligeramente aleatorias.
El primer modelo de Perceptrn fue desarrollado en un ambiente biolgico imitando el funcionamiento del ojo humano, el
fotoperceptrn como se le llamo era un dispositivo que responda a seales pticas; como se muestra en el figura 2.1.1 la luz
incide en los puntos sensibles (S) de la estructura de la retina, cada punto S responde en forma todo-nada a la luz entrante,
los impulsos generados por los puntos S se transmiten a las unidades de asociacin (A) de la capa de asociacin; cada
unidad A est conectada a un conjunto aleatorio de puntos S, denominados conjunto fuente de la unidad A, y las conexiones
pueden ser tanto excitatorias como inhibitorias. Las conexiones tienen los valores posibles +1, -1 y 0, cuando aparece un
conjunto de estmulos en la retina, una unidad A se activa si la suma de sus entradas sobrepasa algn valor umbral; si la
unidad esta activada, A produce una salida que se enva a la siguiente capa de unidades.
Modelo del Fotoperceptrn de Rosenblatt

De forma similar, las unidades A estn conectadas a unidades de respuesta (R) dentro de la capa de respuesta y la
conectividad vuelve a ser aleatorio entre capas, pero se aaden conexiones inhibitorias de realimentacin procedentes de la
capa de respuesta y que llegan a la capa de asociacin, tambin hay conexiones inhibitorias entre las unidades R. Todo el
18
esquema de conexiones se describe en forma general en un diagrama de Venn, para un Perceptrn sencillo con dos
unidades de respuesta como el de la figura.
Esquema de conexiones de un Perceptrn sencillo

El Perceptrn era inicialmente un dispositivo de aprendizaje, en su configuracin inicial no estaba en capacidad de distinguir
patrones de entrada muy complejos, sin embargo mediante un proceso de aprendizaje era capaz de adquirir esta capacidad.
En esencia, el entrenamiento implicaba un proceso de refuerzo mediante el cual la salida de las unidades A se incrementaba
o se decrementaba dependiendo de si las unidades A contribuan o no a las respuestas correctas del Perceptrn para una
entrada dada. Se aplicaba una entrada a la retina, y el estmulo se propagaba a travs de las capas hasta que se activase
una unidad de respuesta. Si se haba activado la unidad de respuesta correcta, se incrementaba la salida de las unidades A
que hubieran contribuido. Si se activaba una unidad R incorrecta, se haca disminuir la salida de las unidades A que
hubiesen contribuido.
Mediante estas investigaciones se pudo demostrar que el Perceptrn era capaz de clasificar patrones correctamente, en lo
que Rosenblatt denominaba un entorno diferenciado, en el cual cada clase estaba formada por patrones similares. El
Perceptrn tambin era capaz de responder de manera congruente frente a patrones aleatorios, pero su precisin iba
disminuyendo a medida que aumentaba el nmero de patrones que intentaba aprender.
En 1969 Marvin Minsky y Seymour Papert publicaron su libro: "Perceptrons: An introduction to Computational Geometry"[], el
cual para muchos signific el final de las redes neuronales. En el se presentaba un anlisis detallado del Perceptrn, en
trminos de sus capacidades y limitaciones, en especial en cuanto a las restricciones que existen para los problemas que
una red tipo Perceptrn puede resolver; la mayor desventaja de este tipo de redes es su incapacidad para solucionar
problemas que no sean linealmente separables.
Minsky y Papert se apartaban de la aproximacin probabilstica de Rosenblatt y volvan a las ideas de clculo de predicados
en el anlisis del Perceptrn. Su idea de Perceptrn aparece en la figura
Perceptrn segn Minsky y Papert

La estructura de un Perceptrn sencillo es similar a la del elemento general de procesamiento que se muestra en la figura en
la que se observa la adicin de una condicin umbral en la salida. Si la entrada neta, a esta condicin es mayor que el valor
umbral, la salida de la red es 1, en caso contrario es 0.
19
La funcin de salida de la red en la figura es llamada funcin umbral o funcin de transferencia
(2.1.1)
A pesar de esta limitacin, el Perceptrn es an hoy una red de gran importancia, pues con base en su estructura se han
desarrollado otros modelos de red neuronal como la red Adaline y las redes multicapa.
Estructura de la red:
La nica neurona de salida del Perceptrn realiza la suma ponderada de las entradas, resta el umbral y pasa el resultado a
una funcin de transferencia de tipo escaln. La regla e decisin es responder +1 si el patrn presentado pertenece a la
clase A, o 1 si el patrn pertenece a la clase B, la salida depende de la entrada neta ( n = suma de las entradas pi
ponderadas).
La red tipo Perceptrn emplea principalmente dos funciones de transferencia, hardlim con salidas 1, 0 o hardlims con salidas
1, -1; su uso depende del valor de salida que se espera para la red, es decir si la salida de la red es unipolar o bipolar; sin
embargo la funcin hardlims es preferida sobre la hardlim, ya que el tener un cero multiplicando algunas de los valores
resultantes del producto de las entradas por el vector de pesos, ocasiona que estos no se actualicen y que el aprendizaje sea
ms lento.
Una tcnica utilizada para analizar el comportamiento de redes como el Perceptrn es presentar en un mapa las regiones de
decisin creadas en el espacio multidimensional de entradas de la red, en estas regiones se visualiza qu patrones
pertenecen a una clase y cules a otra, el Perceptrn separa las regiones por un hiperplano cuya ecuacin queda
determinada por los pesos de las conexiones y el valor umbral de la funcin de activacin de la neurona, en este caso los
valores de los pesos pueden fijarse o adaptarse empleando diferentes algoritmos de entrenamiento.
Para ilustrar el proceso computacional del Perceptrn consideremos la matriz de pesos en forma general.
(2.1.2)
Los pesos para una neurona estn representados por un vector compuesto de los elementos de la i-sima fila de W
(2.1.3)
De esta forma y empleando la funcin de transferencia hardlim la salida de la neurona i de la capa de salida
20
(2.1.4)
El Perceptrn, al constar de una sola capa de entrada y otra de salida con una nica neurona, tiene una capacidad de
representacin bastante limitada, este modelo slo es capaz de discriminar patrones muy sencillos, patrones linealmente
separables, el caso ms conocido es la imposibilidad del Perceptrn de representar la funcin OR EXCLUSIVA.
CUESTIONARIO DIFs
........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
2.- Explique la forma de aprendizaje del Perceptron?

........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
3.- Cuales es la principal limitacin del Perceptron.?

........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
Dif # 3
TITULO: Redes Competitivas
21
Antecedentes: En las redes con aprendizaje competitivo (y cooperativo), suele decirse que las neuronas compiten (y
cooperan) unas con otras con el fin de llevar a cabo una tarea dada. Con este tipo de aprendizaje se pretende que cuando se
presente a la red cierta informacin de entrada, slo una de las neuronas de salida de la red, o una por cierto grupo de
neuronas, se active (alcance su valor de respuesta mximo). Por tanto las neuronas compiten para activarse quedando
finalmente una, o una por grupo, como neurona vencedora y el resto quedan anuladas y siendo forzadas a sus valores de
respuesta mnimos.
La competicin entre neuronas se realiza en todas las capas de la red, existiendo en estas redes neuronas con conexiones
de autoexitacin (signo positivo) y conexiones de inhibicin (signo negativo) por parte de neuronas vecinas.
El objetivo de este aprendizaje es categorizar (clusterizar) los datos que se introducen en la red, de esta forma las
informaciones similares son clasificadas formando parte de la misma categora y por tanto deben activar la misma neurona
de salida. Las clases o categoras deben ser creadas por la propia red, puesto que se trata de un aprendizaje no supervisado
a travs de las correlaciones entre los datos de entrada.
A principios de 1959, Frank Rosenblatt cre su simple clasificador espontneo, una red de aprendizaje no supervisado
basado en el Perceptrn, el cual aprenda a clasificar vectores de entrada en dos clases con igual nmero de trminos.
A finales de los aos 60s y principios de los 70s, Stephen Grossberg introdujo muchas redes competitivas que usaban
inhibicin lateral obteniendo buenos resultados. Algunos de los comportamientos tiles obtenidos por l, fueron la supresin
del ruido, aumento del contraste y normalizacin de vectores.
En 1973, Christoph Von Der Malsburg introduce la regla del mapa de organizacin propia, que permita a la red clasificar
entradas en las cuales las neuronas que estuviesen en un vecindario cercano a la neurona ganadora, respondieran a
entradas similares. La topologa de esta red imitaba de alguna forma las estructuras encontradas en la corteza visual de los
gatos, estudiada por David Hubel y Torten Wiesel. Su regla de aprendizaje gener gran inters, pero esta utilizaba un clculo
no local para garantizar que los pesos fueran normalizados, este hecho haca este modelo biolgicamente poco posible.
Grossberg extendi el trabajo de Von Der Malsburg, redescubriendo la regla Instar. Grossberg mostr que la regla Instar
removi la necesidad de renormalizar los pesos, porque los vectores de pesos que aprendan a reconocer vectores de
entrada normalizados, automticamente se normalizarn ellos mismos.
El trabajo de Grossberg y Von Der Malsburg enfatiz la posibilidad biolgica de sus redes. Otro exitoso investigador, Tuevo
Kohonen ha sido tambin un fuerte proponente de las redes competitivas; sin embargo, su nfasis ha sido en aplicaciones
para ingeniera y en descripciones de eficiencia matemtica de las redes. Durante la dcada de los 70 Kohonen desarroll
una versin simplificada de la regla Instar, inspirada tambin en la red de Von Der Malsburg y Grossberg, de esta forma
encontr una manera muy eficiente de incorporar topologa a una red competitiva.
Otra forma de aplicar este tipo de aprendizaje fue propuesta por Rumelhart y Zisper [32] en 1985, quienes utilizaban redes
multicapa dividiendo cada capa en grupos de neuronas, de tal forma que stas disponan de conexiones inhibitorias con
otras neuronas de su mismo grupo y conexiones excitadoras con las neuronas de la siguiente capa; en una red de este tipo,
despus de recibir diferentes informaciones de entrada, cada neurona en cada grupo se especializa en la respuesta a
determinadas caractersticas de los datos de entrada.
En este tipo de redes cada neurona tiene asignado un peso total (suma de todos los pesos de las conexiones que tiene a su
entrada), el aprendizaje afecta slo a las neuronas ganadoras (activas), en las que se redistribuye el peso total entre sus
conexiones y se sustrae una porcin de los pesos de todas las conexiones que llegan a la neurona vencedora, repartiendo
esta cantidad por igual entre todas las conexiones procedentes de unidades activas, por tanto la variacin del peso de una
conexin entre una unidad i y otra j ser nula si la neurona j no recibe excitacin por parte de la neurona i (no vence en
presencia de un estmulo por parte de i) y se modificar (se reforzar) si es excitada por dicha neurona.
Una variacin del aprendizaje supervisado aplicado a redes multicapa consiste en imponer una inhibicin mutua entre
neuronas nicamente cuando estn a cierta distancia unas de otras (suponiendo que las neuronas se han dispuesto
geomtricamente, por ejemplo formando capas bidimendisionales), existe entonces un rea o regin de vecindad alrededor
de las neuronas que constituye un grupo local.
Fukushima [11] emple esta idea en 1975 para una red multicapa llamada Cognitron, fuertemente inspirada en la anatoma y
fisiologa del sistema visual humano y en 1980 el mismo Fukushima [12] en una versin mejorada de la anterior a la que
llam Necognitron, present una variacin de esta red utilizando aprendizaje supervisado. El Necognitrron dispona de un
gran nmero de capas con arquitectura muy especfica de interconexiones entre ellas y era capaz de aprender a diferenciar
caracteres, aunque estos se presentasen a diferente escala, en diferente posicin o distorsionados.
22
El aspecto geomtrico de la disposicin de neuronas de una red, es la base de un caso particular de aprendizaje competitivo
introducido por Kohonen en 1982 conocido como feature mapping (mapas de caractersticas), aplicado en redes con una
disposicin bidimensional de las neuronas de salida, que permiten obtener mapas topolgicos o topogrficos (topology
preserving maps, topographics maps, self organization maps) en los que de algn modo estaran representadas las
caractersticas principales de las informaciones presentadas a la red. De esta forma, si la red recibe informaciones con
caractersticas similares, se generaran mapas parecidos, puesto que seran afectadas neuronas de salidas prximas entre
s.
CUESTIONARIO DIFs
........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
2.- Que es una red con aprendizaje competitivo?

........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
3.- Cual es la diferencia entre una red con aprendizaje asociativo y competitivo.?
........................................................................................................................................................................................................
........................................................................................................................................................................................................
........................................................................................................................................................................................................
............................................................
23

REDESneuronales

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

REDESneuronales

Загружено:

Авторское право:

Доступные форматы

FACULTAD DE INGENIERIA

RED NACIONAL UNIVERSITARIA

Gestin Acadmica I/2006

Ser la Universidad lder en calidad educativa.

Desarrollar la Educacin Superior Universitaria con calidad y

Asignatura: Redes Neuronales

I. OBJETIVOS GENERALES DE LA ASIGNATURA.

E L PROPSITO FUNDAMENTAL DE LA ASIGNATURA ES PREPARAR AL ESTUDIANTE PARA LA SOLUCIN DE PROBLEMAS QUE

II. PROGRAMA ANALTICO DE LA ASIGNATURA.

1 Caractersticas principales de las redes neuronales.

2 Principales tipos de redes neuronales

2.1.4 Limitacin de la red Perceptrn

2.4 APRENDIZAJE ASOCIATIVO

2.5 REDES COMPETITIVAS

2.6 REDES RECURRENTES

IV. CONTROL DE EVALUACIONES

PROGRAMA DE CONTROL DE CALIDAD

Diseo: En esta fase se elige el tipo de red neuronal a usar.

PROGRAMA DE CONTROL DE CALIDAD

PROGRAMA DE CONTROL DE CALIDAD

1.3 Resolver el siguiente ejercicio.

PROGRAMA DE CONTROL DE CALIDAD

Textura = 1 si es suave y 1 caso contrario

PROGRAMA DE CONTROL DE CALIDAD

Textura = 1 si es suave y 1 caso contrario

PROGRAMA DE CONTROL DE CALIDAD

o 1 si el tamao es menor a 1.80 mtr y 1 caso contrario.

PROGRAMA DE CONTROL DE CALIDAD

Los censores asilan entre los siguientes valores:

1 si la forma es redonda y -1 de es ovalada.

Los censores asilan entre los siguientes valores:

1 si la forma es redonda y -1 de es ovalada.

Ele censor del peso puede tomar los siguientes valores:

1 si el peso es mayor a los 10 Kgr y -1 caso contrario

TITULO: Introduccin A la teora de Redes Neuronales

Origen del paradigma de computacin conexionista

1.- Efectu un comentario de la lectura realizada.?

Modelo del Fotoperceptrn de Rosenblatt

Esquema de conexiones de un Perceptrn sencillo

Perceptrn segn Minsky y Papert

La funcin de salida de la red en la figura es llamada funcin umbral o funcin de transferencia

1.- Efectu un comentario de la lectura realizada.?

2.- Explique la forma de aprendizaje del Perceptron?

3.- Cuales es la principal limitacin del Perceptron.?

TITULO: Redes Competitivas

1.- Efectu un comentario de la lectura realizada.?

2.- Que es una red con aprendizaje competitivo?

Вам также может понравиться