Introduction to Neural Networks and Their History

1. What are Neural Networks?

Introduccin a las Redes Neuronales y su historia

2. Why are Artificial Neural Networks Worth Studying?

1. Cules son las redes neuronales?

3. Learning in Neural Networks

2. Por qu estn estudiando Redes Neuronales Artificiales Worth?

4. A Brief History of the Field

3. Aprendizaje de Redes Neuronales

5. Artificial Neural Networks compared with Classical Symbolic AI

4. Una breve historia del Campo

6. Some Current Artificial Neural Network Applications

5. Redes Neuronales Artificiales en comparacin con el clsico simblico

AI

What are Neural Networks ?

1. Neural Networks (NNs) are networks of neurons, for example, as found
in
real (i.e. biological) brains.
2. Artificial Neurons are crude approximations of the neurons found in
brains. They may be physical devices, or purely mathematical
constructs.
3. Artificial Neural Networks (ANNs) are networks of Artificial Neurons,

6. Algunas aplicaciones actuales Artificial Neural Network

Qu son las redes neuronales?

1. Redes Neuronales (ENN) son redes de neuronas, por ejemplo, como se
encuentra en
cerebros reales (es decir, biolgicos).
2. Artificial Las neuronas son aproximaciones crudas de las neuronas que
se encuentran en

and hence constitute crude approximations to parts of real brains. They

cerebros. Pueden ser dispositivos fsicos, o construcciones puramente

matemticas.

may be physical devices, or simulated on conventional computers.

3. Redes Neuronales Artificiales (RNA) son redes de neuronas artificiales,

4. From a practical point of view, an ANN is just a parallel computational

y por lo tanto constituyen aproximaciones de crudo a partes del cerebro

reales. Ellos

system consisting of many simple processing elements connected

together
in a specific way in order to perform a particular task.

pueden ser dispositivos fsicos, o simulados en ordenadores

convencionales.

5. One should never lose sight of how crude the approximations are, and

4. Desde el punto de vista prctico, una RNA es slo un clculo paralelo

how over-simplified our ANNs are compared to real brains.

sistema que consta de muchos elementos de procesamiento simples

conectados entre s
de una manera especfica con el fin de realizar una tarea particular.

5. Nunca se debe perder de vista cmo crudo las aproximaciones son, y

cmo simplificar excesivamente nuestras RNAs se comparan con
verdadero cerebro.

What are Artificial Neural Networks

used for?
As with the field of AI in general, there are two basic
goals for neural network research:
Brain modelling : The scientific goal of building
models of how real brains work.
This can potentially help us understand the nature of
human intelligence, formulate
better teaching strategies, or better remedial actions for
brain damaged patients.
Artificial System Building : The engineering goal of
building efficient systems for
real world applications. This may make machines more
powerful, relieve humans
of tedious tasks, and may even improve upon human
performance.
These should not be thought of as competing goals. We
often use exactly the same
networks and techniques for both. Frequently progress
is made when the two approaches
are allowed to feed into each other. There are
fundamental differences though, e.g. the

need for biological plausibility in brain modelling, and

the need for computational
efficiency in artificial system building.

Qu son las Redes Neuronales Artificiales usan?

Al igual que con el campo de la IA en general, hay dos
objetivos bsicos para la investigacin de redes neuronales:
Modelado cerebro: El objetivo cientfico de la construccin de
modelos de cmo funcionan los cerebros reales.
Potencialmente, esto puede ayudarnos a entender la naturaleza
de la inteligencia humana, formular mejores estrategias de
enseanza, o mejores medidas correctivas para los pacientes
con daos cerebrales.
Artificial Building System: El objetivo de ingeniera de la
construccin de sistemas eficientes para aplicaciones del
mundo real. Esto puede hacer que las mquinas ms potentes,
aliviar los humanos de tareas tediosas, y puede incluso mejorar
el rendimiento humano.
Estos no deben ser considerados como objetivos en conflicto.
A menudo usamos exactamente el mismo redes y tcnicas para
ambos. Frecuentemente se avanza cuando los dos enfoques se
les permite alimentar una en la otra. Hay diferencias
fundamentales, sin embargo, por ejemplo, la la necesidad de

plausibilidad biolgica en el modelado de cerebro, y la

necesidad de computacional

la eficiencia en la construccin de sistemas artificiales.

Learning in Neural Networks

There are many forms of neural networks. Most operate by passing neural
activations through a network of connected neurons.
One of the most powerful features of neural networks is their ability to learn and
generalize from a set of training data. They adapt the strengths/weights of the
connections between neurons so that the final output activations are correct.
There are three broad types of learning:
1. Supervised Learning (i.e. learning with a teacher)
2. Reinforcement learning (i.e. learning with limited feedback)
3. Unsupervised learning (i.e. learning with no help)
This module will study in some detail the most common learning algorithms for the
most common types of neural network.
A Brief History of the Field
1943 McCulloch and Pitts proposed the McCulloch-Pitts neuron model
1949 Hebb published his book The Organization of Behavior, in which the Hebbian
learning rule was proposed.
1958 Rosenblatt introduced the simple single layer networks now called Perceptrons.
1969 Minsky and Paperts book Perceptrons demonstrated the limitation of single
layer perceptrons, and almost the whole field went into hibernation.
1982 Hopfield published a series of papers on Hopfield networks.
1982 Kohonen developed the Self-Organising Maps that now bear his name.
1986 The Back-Propagation learning algorithm for Multi-Layer Perceptrons was
rediscovered
and the whole field took off again.
1990s The sub-field of Radial Basis Function Networks was developed.
2000s The power of Ensembles of Neural Networks and Support Vector Machines
becomes apparent.
ANNs compared with Classical Symbolic AI
The distinctions can put under three headings:
1. Level of Explanation
2. Processing Style
3. Representational Structure
These lead to a traditional set of dichotomies:
1. Sub-symbolic vs. Symbolic

2. Non-modular vs. Modular

3. Distributed representation vs. Localist representation
4. Bottom up vs. Top Down
5. Parallel processing vs. Sequential processing
In practice, the distinctions are becoming increasingly blurred.

Una breve historia del Campo

1943 McCulloch y Pitts propusieron el modelo de neurona de McCullochPitts
1949 Hebb public su libro La organizacin de la conducta, en la que el
Hebbian
Se propuso regla de aprendizaje.
1958 Rosenblatt introdujo las redes de una sola capa simples llamados
ahora Perceptrons.
1969 Minsky y Papert Perceptrons libro demostraron la limitacin de un
solo ++capa de perceptrones, y casi todo el campo entr en
hibernacin.
1982 Hopfield public una serie de artculos sobre las redes de Hopfield.
1982 Kohonen desarroll los mapas auto-organizadoras que ahora llevan
su nombre.
1986 El algoritmo de aprendizaje de retropropagacin para Perceptrons
multicapa fue redescubierto y todo el campo se quit de nuevo.
1990 El subcampo de Redes funcin de base radial fue desarrollado.
2000 El poder de Conjuntos de Redes Neuronales y Mquinas de
Vectores Soporte se hace evidente.
RNAs compararon con Clsica simblico AI
Las distinciones pueden poner en tres apartados: 1. Nivel de
Explicacin

2. Procesamiento Estilo
3. Estructura de representacin
Esto lleva a un conjunto tradicional de dicotomas:
1. Sub-simblico vs. simblica
2. No modular Modular vs.
3. representacin distribuida vs. representacin Localist

tolerant and noise tolerant.

3. They can learn from training data and generalize to
new situations.
4. They are useful for brain modelling and real world
applications involving
pattern recognition, function approximation, prediction,

4. Base encima vs. Top Down

5. Procesamiento Paralelo vs. procesamiento secuencial
En la prctica, las diferencias son cada vez ms borrosa.
Some Current Artificial Neural Network Applications
Brain modelling
Models of human development help children with developmental problems
Simulations of adult performance aid our understanding of how the brain works
Neuropsychological models suggest remedial actions for brain damaged patients
Real world applications
Financial modelling predicting stocks, shares, currency exchange rates
Other time series prediction climate, weather, airline marketing tactician
Computer games intelligent agents, backgammon, first person shooters
Control systems autonomous adaptable robots, microwave controllers
Pattern recognition speech recognition, hand-writing recognition, sonar signals
Data analysis data compression, data mining, PCA, GTM
Noise reduction function approximation, ECG noise reduction
Bioinformatics protein secondary structure, DNA sequencing

Overview and Reading

1. Artificial Neural Networks are powerful
computational systems
consisting of many simple processing elements
connected together to
perform tasks analogously to biological brains.
2. They are massively parallel, which makes them
efficient, robust, fault

Algunas aplicaciones actuales Artificial Neural

Network
Modelado del cerebro
Modelos de desarrollo humano - ayudan a los nios con
problemas de desarrollo
Las simulaciones de rendimiento adultos - Ayuda
nuestra comprensin de cmo funciona el cerebro
Modelos neuropsicolgicos - sugieren acciones
correctoras dirigidas a pacientes con dao cerebral
Aplicaciones del mundo real
Modelizacin financiera - la prediccin de valores,
acciones, tipos de cambio de moneda

Otra prediccin de series de tiempo - clima, el tiempo,

la lnea area tctica de marketing

1. Redes Neuronales Artificiales son potentes sistemas

computacionales

Los juegos de ordenador - agentes inteligentes,

backgammon, shooters en primera persona

que consta de muchos elementos de procesamiento

simples conectadas entre s para

Los sistemas de control - robots adaptables autnomas,

controladores de microondas

realizar tareas anlogas a cerebros biolgicos.

El reconocimiento de patrones - el reconocimiento de

voz, reconocimiento de escritura a mano, seales de
sonar
Anlisis de los datos - la compresin de datos, minera
de datos, PCA, GTM
La reduccin de ruido - aproximacin de funciones,
reduccin de ruido ECG
Bioinformtica - estructura secundaria de protenas,
secuenciacin de ADN
Descripcin y Lectura

2. Son masivamente paralelo, lo que los hace eficiente,

robusto, fallo
tolerante y ruido tolerante.
3. Pueden aprender de datos de entrenamiento y
generalizar a situaciones nuevas.
4. Son tiles para el modelado del cerebro y
aplicaciones del mundo real que implican
reconocimiento de patrones, aproximacin de
funciones, la prediccin, ...