Tecnologas Emergentes (2017) - Universidad del Salvador

Deep Learning
Conceptos
La Inteligencia Artificial (IA) es la inteligencia exhibida por mquinas. Una mquina inteligente
ideal es un agente racional flexible que percibe su entorno y lleva a cabo acciones que maximicen
sus posibilidades de xito en algn objetivo o tarea

Machine Learning es una rama de la inteligencia artificial cuyo objetivo es desarrollar tcnicas que
permitan a las computadoras aprender mediante el anlisis directo de la informacin.

Las Redes Neuronales son un modelo computacional, inspirado en el funcionamiento del cerebro
animal, que posee una red de nodos interconectados dispuestos en forma de capas, que sin una tarea
especfica para cada uno, trabajan en conjunto para proporcionar resultados. Fue creado por por
Warren McCulloch y Walter Pitts en 1943 pero no fue hasta la creacin del algoritmo de
propagacin hacia atrs (backpropagation) en 1975 y los avances computacionales de los aos
posteriores cuando se empezaron a desarrollar y utilizar realmente como modelo de Machine
Learning.

Deep learning es un conjunto de tcnicas de aprendizaje avanzadas para redes neuronales, muy
utilizadas para reconocer patrones complejos en grandes representaciones de datos.
Utilizando estas tcnicas, las redes neuronales aprenden a resolver problemas sin definiciones
procedurales, como sucede en la programacin tradicional, sino que leen directamente los datos
disponibles para proporcionar sus propias soluciones.

Clasificacin de conceptos

IA

Machine Learning

Deep Learning

Redes
Neuronales

1
 Tecnologas Emergentes (2017) - Universidad del Salvador

Redes Neuronales
Unidades Neuronales

Perceptrn
Es la definicin de unidad neuronal ms antigua y bsica. Recibe un conjunto de entradas binarios

(0,1) y produce una salida binaria (0,1).

A cada entrada (x) se le define un peso (w), un nmero real que expresa la importancia del
respectivo valor para la salida (output). La sumatoria pesada, es decir, la suma de las entradas
multiplicadas por su peso ( wj xj) devuelve 1 si es mayor a cierto umbral y 0 si es menor.
El umbral (threshold) es un nmero real que es otro parmetro del perceptrn, que representa el
valor mnimo que las entradas deben sobrepasar para que cobren importancia.

En trminos matemticos:

Para simplificar hacemos algunos cambios a la inecuacin:

( wj xj) = w . x
- umbral = tendencia (b)

Entonces, en trminos matemticos un perceptrn quedar definido de la siguiente forma:

1 si la salida es positiva
0 si la salida es negativa o cero

Tambin podemos decir que la Funcin de Activacin Escalonada es: w x+b

2
 Tecnologas Emergentes (2017) - Universidad del Salvador

Ejemplo:

(0;0) produce 1: (2)*0 + (2)*0 + 3 = 3 positivo

(1;1) produce 0: (2) 1+(2) 1+3=1 negativo
(0;1) produce 1
(1;0) produce 1
Acabamos de definir una compuerta NAND

3
 Tecnologas Emergentes (2017) - Universidad del Salvador

Neurona Sigmoide

Para hacer que una red neuronal aprenda, vamos a ir modificando los pesos de tal forma que en
conjunto nos devuelvan el resultado que esperamos. Pero para hacer esto necesitamos hacer
pequeas correcciones en cada neurona y que estos cambios solo causen modificaciones mnimas
en el resultado de toda la red. El problema es que esto no es lo que pasa cuando tenemos una red de
perceptrones, de hecho, un pequeo cambio en un peso puede causar que el perceptrn cambie
bruscamente de 0 a 1.
Para solucionar el problema introducimos un nuevo tipo de neurona que llamamos: Neurona
Sigmoide. Esta no es ms que un perceptrn que recibe nmeros reales como entradas y cuya
funcin de activacin pasa de ser de escalonada a sigmoide.

Perceptrn: w x+b Sigmoide: (w x+b)

Donde:

Para hacerlo ms explcito, la Funcin de Activacin Sigmoide es:

4
 Tecnologas Emergentes (2017) - Universidad del Salvador

Arquitectura de Redes Neuronales

Las neuronas, dentro de una red neuronal, se organizan en capas. La primer capa es la Capa de
Entrada, la ltima es la Capa de Salida y en el medio estn las Capas Ocultas.
El trmino oculto hace que suene misterioso, pero simplemente quiere decir que no es una capa
de entrada ni de salida, por lo tanto es desconocido para un actor externo.
La cantidad de entradas, capas ocultas y salidas es determinada por el diseador, dependiendo del
caso de uso.

Ejemplo:
Supongamos que queremos una red neuronal que reconozca nmeros escritos a mano alzada. Lo
que podemos hacer es:

- Obtener una imagen de 28x28 pixeles de cada dgito a leer (total 784 pxeles por dgito)
- Asignarle un valor decimal a cada pixel de acuerdo a la escala de grises, donde - 1.0
represente negro, 0.0 blanco y los valores entre estos, los grises.
- La primer capa ser la capa de entrada, y tendremos una neurona por cada pixel: en total
784 neuronas.
- La segunda capa ser la capa oculta, con n cantidad de neuronas, siendo n un valor a
determinar y probaremos distintos valores hasta determinar el mejor. Podramos empezar
con n=15.
- La capa de salida contendr 10 neuronas, si la primera se activa el numero que esta
leyendo es un 0, si la segunda se activa es un 1, si la tercera se activa un 2 y as hasta llegar
a la ltima.
Entonces nuestro diseo quedar de la siguiente forma:

5
 Tecnologas Emergentes (2017) - Universidad del Salvador

Tambin podramos cambiar el requerimiento y pedir que el resultado sea en binario, para lo cual
agregaremos una capa ms que se encargue de esta transformacin:

6
 Tecnologas Emergentes (2017) - Universidad del Salvador

Aprendizaje

Propagacin hacia atrs (Backpropagation)

Para que la red aprenda, es decir, actualice los pesos, se necesita propagar las modificaciones hacia
atrs. Lo que se hace es, iteracin a iteracin, ejemplo a ejemplo, modificar levemente todos los
pesos para ir corrigiendo las salidas. Normalmente se itera el aprendizaje muchas veces hasta que la
red llega al error aceptado.

Se debe determinar, adems, el coeficiente de aprendizaje, que cuando es un valor alto har que la
red aprenda ms rpido pero olvidndose los resultados antiguos y cuando es un valor bajo har que
la red aprenda ms lentamente.

Ms informacin y Fuentes
Neural Networks and Deep Learning
Cheatsheet

Autores
Ariel E. Cacciamano
Juan Pablo Cuervo
Matas Guglielmetti