23/2/2016

Redesneuronalesconconexioneshaciaadelante

Redesneuronalesconconexioneshaciaadelante
Lasredesdeprealimentacinconnivelesfueronestudiadasporprimeravezafinalesdeladcadadelos
50bajoelnombredeperceptrones.Sibiensesometieronaestudioredesdetodoslostamaosy
topologas,elnicoelementodeaprendizajeefectivoenesapocafueronlasredesdeunsolonivel.
Actualmenteeltrminoperceptrnessinnimodeunareddeprealimentacindeunsolonivel.

Elperceptrn
Fuelprimermodeloderedneuronalartificialdesarrolladoen1958porRosenblatt.Despertunenorme
intersenlosaos60debidoasucapacidadparaaprenderareconocerpatronessencillos.
Estformadoporvariasneuronaspararecibirlasentradasalaredyunaneuronadesalidaqueescapaz
dedecidircundounaentradaalaredperteneceaunadelasdosclasesqueescapazdereconocer.

LaneuronadesalidadelPerceptrnrealizalasumaponderadadelasentradas,restaelumbralypasael
resultadoaunafuncindetransferenciadetipoescaln.Laregladedecisinesresponder+1sielpatrn
presentadopertenecealaclaseA,o1sielpatrnpertenecealaclaseB.
Qupuedenrepresentarlosperceptrones
Alconstarslodeunacapadeentradayotradesalidaconunanicaneurona,tieneunacapacidadde
representacinbastantelimitada.Sloescapazdediscriminarpatronesmuysencillosylinealmente
separablesenelplano.Esincapaz,porejemplo,derepresentarlafuncinOREXCLUSIVA.
Laseparabilidadlineallimitaalasredesconslodoscapasalaresolucindeproblemasenlosculesel
conjuntodepuntos(valoresdeentrada)seanseparablesgeomtricamente.Enelcasodedosentradas,la
separacinsellevaacabomedianteunalnearecta.Paratresentradas,laseparacinserealizamediante
unplanoenelespaciotridimensionalyassucesivamentehastaelcasodeNentradas,enelculel
espacioNdimensionalesdivididoenunhiperplano.
Elhechodequeelperceptrnsloescapazderepresentarfuncioneslinealmenteseparablessededucede
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

1/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

laexpresin
salida=WE

dnde:

Weselvectordelospesosdelasconexionesconlaneuronadesalida

Eeselvectordelasentradasalaneuronadesalida
Esteproduceun1slosiW.E>0Estosignificaquetodoelespaciodeentradassedivideendosalo
largodeunlmitedefinidoporW.E=0,esdecir,unplanoenelespaciodeentradaconcoeficientes
definidosporlospesos.

Regladeaprendizaje
ElalgoritmodeaprendizajedelPerceptrnesdetiposupervisado,loquerequierequesusresultados
seanevaluadosyserealicenlasoportunasmodificacionesdelospesossifueranecesario.
ParaentenderelmecanismodeaprendizajedelperceptrnnosbasaremosenlafuncinOR.Loquese
pretendealmodificarlospesosesencontrarunarectaquedividaelplanoendosespaciosdelasdos
clasesdevaloresdeentrada:lasqueproducenun1alasalidaylasentradasqueproducenun0ala
salida.Concretamentedebersepararlasentradas01,10,11delaentrada00.

http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

2/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

FuncinOR:produce0cuandolasdosentradasson0.Encualquierotrocasoproduce1.
Laecuacindesalidavendrdadapor
y=f(w1x1+w2x2)
dondewirepresentaelpesodelaconexin,xilaentradayflafuncindetransferenciaode
salidaqueenestecasoeslafuncinidentidad.
Silasumaanterioresmayorque0,lasalidaser1yencasocontrario,1(funcinescaln).
Sesuponetambinqueseaadeunaneuronaconunaentradafijaa1ypesow0igualalopuestodelvalor
delumbralyquedeberserajustadodurantelaetapadeaprendizaje.
Acontinuacinseexponeelalgoritmoyposteriormenteunejemploqueaclaraelfuncionamiento.
Algoritmo
1.Inicializacindelospesosydelumbral:inicialmenteseasignavaloresaleatoriosacadaunodelos
pesosw1,w2yw0=umbral.
2.Presentacindeunnuevopar(Entrada,Salidaesperada):
3.Clculodelasalidaactual

y(t)=f[Sum(wi(t)xi(t))umbral]
4.Adaptacindelospesos

wi(t+1)=wi(t)+[d(t)y(t)]xi(t)
donded(t)representalasalidadeseadayesunfactordeganancia(velocidaddeaprendizaje),enel
rango0.0a1.0.EnlafuncinOR=1
5.Volveralpaso2
Ejemplo
a)Seaninicialmentelosvaloresaleatorios:

w0=1.5 w1=0.5 w2=1.5

b)Sevantomandounoaunoloscuatropatronesdeentrada
b.1)Patrn00

http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

3/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

Entradas:xo=1x1=0x2=0
Pesos:wo(t)=1.5w1(t)=0.5w2(t)=1.5
Neti:1(1.5)+0(0.5)+0(1.5)=1.5
Salidaqueproducef:1,puestoqueNeti>0
Salidadeseada:0,puestoqueOR(00)=0
Pesosmodificados:wo (t+1)=0.5w1(t+1)=0.5w2(t+1)=1.5
b.2)Patrn01

Entradas:xo=1x1=0x2=1
Pesos:wo(t)=0.5w1(t)=0.5w2(t)=1.5
Neti:1(0.5)+0(0.5)+1(1.5)=2
Salidaqueproducef:1,puestoqueNeti>0
Salidadeseada:1,puestoqueOR(01)=1
Error(deseadaobtenida)=0
Pesosnomodificados:wi(t+1)=wi(t)
b.3)Patrones10y11:lasalidaobtenidaesigualqueladeseadaporloquenovaranlos
pesos.
c)Setomandenuevoloscuatropatronesdeentrada
c.1)Patrn00

Entradas:xo=1x1=0x2=0
Pesos:wo(t)=0.5w1(t)=0.5w2(t)=1.5
Neti:1(0.5)+0(0.5)+0(1.5)=0.5
Salidaqueproducef:1,puestoqueNeti>0
Salidadeseada:0,puestoqueOR(00)=0
Pesosmodificados:wo (t+1)=0.5w1(t+1)=0.5w2(t+1)=1.5
c.2)Patrn01

Entradas:xo=1x1=0x2=1
Pesos:wo(t)=0.5w1(t)=0.5w2(t)=1.5
Neti:1(0.5)+0(0.5)+1(1.5)=2
Salidaqueproducef:1,puestoqueNeti>0
Salidadeseada:1,puestoqueOR(01)=1
Error(deseadaobtenida)=0
Pesosnomodificados:wi(t+1)=wi(t)
c.3)Patrones10y11:lasalidaobtenidaesigualqueladeseadaporloquenovaranlos
pesos.
d)Setomandenuevoloscuatropatronesdeentrada
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

4/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

d.1)Patrn00

Entradas:xo=1x1=0x2=0
Pesos:wo(t)=0.5w1(t)=0.5w2(t)=1.5
Neti:1(0.5)+0(0.5)+0(1.5)=0.5
Salidaqueproducef:0,puestoqueNeti<0
Salidadeseada:0,puestoqueOR(00)=01
Error(deseadaobtenida)=0
Pesosnomodificados:wi(t+1)=wi(t)
d.2)Patrones01,10y11:lasalidaobtenidaesigualqueladeseadaporloquenovaranlos
pesos.
Conestosnuevospesos,alcalcularlasalidaqueseobtieneparacualqueieradeloscuatropatronesde
entradayanosecometeningnerror,porloquelaetapadeaprendizajeconcluye.
Problemadelaseparabilidadlineal
Comosehacomentadoconanterioridad,lafuncinXORnoesrepresentableconunperceptrnbicapa.
Enelcasodeestafuncinsepretendequeparalosvaloresdeentrada00y11sedevuelvalaclase0y
paralospatronesdeentrada01y10,devuelvalaclase1.Elproblemaradicaenquenoexisteninguna
rectaqueseparelopatronesdeambasclases.Lasolucinpodradarsesidescompusieramoselespacioen
tresregiones:unaregincontendraunaclasedesalidaylasotrasdosregionescontendranalaotra
clase.

Parapodertrazardosrectasenelespaciohabraqueaadiralacapadesalidaotraneuronayparaelegir
entreunauotrazonadelastres,esnecesarioutilizarunanuevacapaconunaneurona(capadesalida)
cuyasentradasseranlassalidasdelasdosneuronasanteriores(capaoculta).Resumiendo,hemospasado
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

5/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

deunperceptrnbicapaaunocontrescapas(neuronasdeentrada,capaocultacondosneuronasycapa
desalidaconunaneurona).Lasdoszonasoregionesquecontienenlospuntos(0,0)y(1,1)seasociana
unasalidanuladelaredylazonacentralconlasalida1.
Quedaclaroqueelprocesodeaprendizajedelperceptrnconsisteenlamodificacindelospesosdelas
conexionesdeacuerdoaladiferenciaexistenteentrelasalidadeseadaylaobtenida.Porotrolado,nose
tieneporquconocerculdebeserlasalidadeseadadelasclulasdelacapaoculta,porloqueel
mtodoutilizadoenlafuncinORnoesaplicablealaXOR.

Redesdeprealimentacinconvariosniveles
Rosenblattyotrosmsdescribieronafinalesdelos50lasredesdeprealimentacinconvariosniveles,
aunquesustrabajosdeinvestigacinseconcentraronenlosperceptronesdeunsolonivel.Estosedebia
ladificultaddeencontrarunmtodorazonabledeactualizarlospesosentrelasentradasylasunidades
ocultassibienesposiblecalcularelerrorenlasunidadesdesalida,esmsdificildefinirlasealde
errorenelcasodelasunidadesocultas.Aunqueexistenalgoritmosqueenpartetratanderesolvereste
problema,muchosdeellosnisoneficientesnigarantizansuconvergenciaenunptimoglobal.
Elmtododeaprendizajemspopularenlasredesdevariosnivelesseconocecomopropagacin
posteriororetropropagacin.FuinventadaporBrysonyHoen1969peropermaneciignoradahasta
mediadosdelos80.

Aprendizajeporpropagacinposterior
Elaprendizajeenestetipoderedseefectadelamismamaneraqueenlosperceptrones:selepresentaa
laredlasentradasdelosejemplos,ysistacalculaunvectordesalidaquecoincidaconelobjetivo,no
haynadaquehacer.Perosiexisteunerror(diferenciaentrelasalidaylameta),lospesosseajustanpara
disminuirlo.Elsecretoradicaenevaluarlasconsecuenciasdeunerrorydividirloentretodoslospesos
contribuyentes.Enlosperceptrones,lamodificacindelospesosesfcilyaqueslohayunoentrecada
entradaylasalida.Peroenlasredesmultinivelhaymuchospesosqueconectancadaentradaconuna
salida,contribuyendocadapesoenmsdeunasalida.
Estealgoritmoloquehaceesdistribuirlacontribucindecadaunodelospesosenlageneracindela
salida.Setratadereduciralmnimoelerror.
Modificacindelospesosparaelniveldesalida
Elprocesoparalacapadesalidaeslomismoqueenelperceptrnslosecambianlasentradasenste
porelvalordeactivacindelaunidadoculta,aj,conectadaalasalidayquetambinseaadeuntrmino
paraelgradientedelafuncindeactivacin.SiErrieselerrordelnododesalida,lareglade
actualizacindelospesosdesdelaunidadjhastalaunidadies:
wji=wji+.aj.Erri.g'(enti)
dondeg'esladerivadadelafuncindeactivacin.Podemosdefinirunnuevotrminodeerrorenel
niveldesalidacomolaagrupacindelosdosltimostrminosdelareglaanterior
Deltai=Erri.g'(enti)
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

6/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

Modificacindelospesosentrelasentradasyelniveloculto
Paraactualizarlasconexionesentrelasunidadesdeentradaylasocultashayquedefinirunacantidad
anlogaaltrminodeerrordelosnodosdesalida,Deltai.Esaqudondetienelugarlapropagacin
posterior.ElnodoocultojesresponsabledeunapartedelerrorDeltaiencadaunodelosnodosdesalida
conlosqueconecta.Porlotanto,losvaloresdeltaisondivididosdeacuerdoconlaintensidaddela
conexinentreelnodoocultoyelnododesalidaysepropaganhaciaatrsparaproporcionarlosvalores
Deltajdelacapaoculta.Laregladepropagacineslasiguiente:
Deltaj=g'(entj).Sum(wji.Deltai)
Laregladeactualizacindepesosesparecidaalaregladeactualizacindesalida:
wkj=wkj+.aj.Ik.Deltaj
Algoritmodepropagacinposteriorparaactualizarlospesosdeunaredconvariosniveles
funcinActualizacinproposterior(red,ejemplos)

entradas: red,
unaredconvariosniveles

ejemplos, unconjuntodeparesentrada/salida

,
lavelocidaddeaprendizaje
salida:

unaredconpesosmodificados
repetir
porcadaedeejemploshacer
/*Calcularlasalidadeesteejemplo*/
O=EjecutarRed(red,I)
/*CalcularelerroryDeltaenelniveldesalidadondeT=salidadeseada*/
Err=TO
/*Actualizarlospesosqueconducenalniveldesalida*/
wji=wji+.aj.Erri.g'(enti)

porcadanivelsubsecuenteenlaredhacer
/*Calcularelerrorencadaunodelosnodos*/
Deltaj=g'(entj).Sum(wji.Deltai)

/*Actualizarlospesosqueconducenalnivel*/
wkj=wkj+.aj.Ik.Deltaj
fin
fin
hastaqueredtengaconvergencia
responderconred

http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

7/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

LaredADALINE
FuerondesarrolladasporBernieWidrowenlaUniversidaddeStanfordpocodespusdequeRonsenblatt
desarrollaraelPerceptron.Lasarquitecturasdeambasredessonlasmismasqueladesuantecesor:
utilizacindeneuronasconfuncionesdetransferenciaescaln.LaredADALINEutilizaunanica
neuronadesalida,mientrasqueMADALINEpuedetenervarias.Ladiferenciafundamentalconrespecto
alperceptrnserefierealmecanismodeaprendizaje.EstasredesutilizanladenominadareglaDeltade
HidrowHofforegladelmnimoerrorcuadradomedio,basadaenlabsquedadelmnimodeuna
expresindelerrorentrelasalidadeseadaylasalidalinealobtenidaantesdeaplicarlelafuncinde
activacinescaln(frentealasalidabinariautilizadaenelPerceptron).Portanto,estasredespueden
procesarinformacinanalgica,tantodeentradacomodesalida,utilizandounafuncindeactivacin
linealosigmoidal.
EncuantoalaestructuradelaredADALINE,queescasiidnticaaladelPerceptrn,susautoresla
consideranformadaporunelementodenominadocombinadoradaptativolineal(ALC),queobtieneuna
salidalinealquepuedeseraplicadaaotroelementodeconmutacinbipolar,deformaquesilasalidadel
ALCespositiva,lasalidadelaredes+1y1enelcasocontrario.

Paranoabrumaralintrpidolector,novoyaentrarenmsdetallessobreestasredes.Sisedeseaun
conocimientomsprofundoserecomiendaleerellibroRedesNeuronalesArtificialesdeJosHileray
VctorJ.MartnezdelaEditorialrama.

AplicacionesdelaredADALINE
Sindudalaprincipalaplicacinestenelcampodelprocesamientodeseales,enconcreto,parael
diseoyrealizacindefiltrosqueelimineelruidoensealesportadorasdeinformacin.Destacasuuso
comofiltrosdeecualizacinadaptativosenmodemsdealtavelocidadycanceladoresadaptativosdeleco
paraelfiltradodesealesencomunicacionestelefnicasdelargadistanciaycomunicacionesviasatlite.

LaredBackpropagation
Fucreadaen1986porRumelhart,HintonyWilliams.Eltrabajodelaredconsistaenaprenderla
asociacinqueexisteentrelospatronesdeentradaylasclasescorrespondientes.Estemtodoestbasado
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

8/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

enlageneralizacindelaregladelta.

Elalgoritmobackpropagation(propagacindelerrorhaciaatrs)esunaregladeaprendizajequese
puedeaplicarenmodelosderedesconmsdedoscapasdeneuronas.Unacaractersticaimportantede
estealgorimoeslarepresentacininternadelconocimientoqueescapazdeorganizarenlacapa
intermediadelasclulasparaconseguircualquiercorrespondenciaentrelaentradaylasalidadelared.
Laimportanciadeestaredconsisteensucapacidaddeautoadaptarlospesosdelasneuronasdelascapas
intermediasparaaprenderlarelacinqueexisteentreunconjuntodepatronesdadoscomoejemploysus
salidascorrespondientes,parapoderaplicaresamismarelacin,despusdelentrenamiento,anuevos
vectoresdeentradaconruidooincompletas,dandounasalidaactivasilanuevaentradaesparecidaalas
presentadasduranteelaprendizaje.Estacaracterstica,exigidaenlossistemasdeaprendizaje,esla
capacidaddegeneralizacin,entendidacomolafacilidaddedarsalidassatisfactoriasaentradasqueel
sistemanohavistonuncaensufasedeentrenamiento.

Estructurayaprendizaje
Enunaredbackpropagationexisteunacapadeentradaconnneuronasyunacapadesalidaconm
neuronasyalmenosunacapaocultadeneuronasinternas.Cadaneuronadeunacapa(exceptolasde
entrada)recibeentradasdetodaslasneuronasdelacapaanterioryenvasusalidaatodasllasneuronas
delacapaposterior(exceptolasdesalida).Nohayconexioneshaciaatrsnilateralesentreneuronasde
lamismacapa.

Elfuncionamientodelaredconsisteenunaprendizajedeunconjuntopredefinidodeparesdeentradas
salidasdadoscomoejemplo,empleandounciclopropagacinadaptacindedosfases:
1.Seaplicaunpatrndeentradacomoestmuloparalaprimeracapadelasneuronasdelared,seva
propagandoatravsdetodaslascapassuperioreshastagenerarunasalida,secomparael
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

9/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

resultadoobtenidoenlasneuronasdesalidaconlasalidaquesedeseaobtenerysecalculaun
valordelerrorparacadaneuronadesalida.
2.Estoserroressetransmitenhaciaatrs,partiendodelacapadesalida,haciatodaslasneuronasde
lacapaintermediaquecontribuyandirectamentealasalida,recibiendoelporcentajedeerror
aproximadoalaparticipacindelaneuronaintermediaenlasalidaoriginal.Esteprocesoserepite,
capaporcapa,hastaquetodaslasneuornasdelaredhayanrecibidounerrorquedescribasu
aportacinrelativaalerrortotal.Basndoseenelvalordelerrorrecibido,sereajustanlospesosde
conexindecadaneurona,demaneraqueenlasiguientevezquesepresenteelmismopatrn,la
salidaestmscercanaaladeseada(disminuyaelerror).
AdiferenciadelaregladeltaenelcasodelPerceptron,estatcnicarequiereelusodeneuronascuya
funcindeactivacinseacontnuayportantodiferenciable.Generalmentelafuncinserdetipo
sigmoidal.

Algoritmodeentrenamiento
Paso1
Inicializarlospesosconvaloresaleatoriospequeos
Paso2
Presentarelpatrndeentrada,Xp:xp1,...,xpn,yespecificarlasalidadeseada:d1,...,dm.
Paso3
Calcularlasalidaactualdelared:y1,...,ym
Paraello:
Secalculanlasentradasnetasparalasneuronasocultasprocedentedelasneuronasdeentrada
Secalculanlassalidasdelasneuronasocultas
Serealizanlosmismosclculosparaobtenerlassalidasdelasneuronasdesalida
Paso4
Calcularlostrminosdeerrorparatodaslasneuronas
Paso5
Actualizacindelospesos
Paso6
Repeticindelprocesohastaqueeltrminodeerrorresulteaceptablementepaqueoparacadaunode
lospatronesaprendidos.
http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

10/11

23/2/2016

Redesneuronalesconconexioneshaciaadelante

ParamsdetallesyverlasreglasaplicadasencadapasodelalgoritmosepuedeconsultarellibroRedes
NeuronalesArtificialesdeJosHilerayVctorJ.MartnezdelaEditorialrama,pgs.138142.

Aplicacionesdelasredesbackpropagation
Estetipoderedesseestnaplicandoadistintasclasesdeproblemas.Estaversatilidadsedebeala
naturalezageneraldesuprocesodeaprendizajeyaquesolamentesenecesitandosecuacionespara
propagarlassealesdeerrorhaciaatrs.Lautilizacindeunauotraecuacinslodependedesila
unidaddeprocesoesonodesalida.Algunosdeloscamposdeaplicacinmsrepresentativosson:
Codificacindeinformacin:laideaconsisteenquelainformacindeentradaserecupereenla
salidaatravsdeuncdigointerno.
Traduccindetextoenlenguajehablado
Reconocimientodelenguajehablado
Reconocimientopticodecaracteres(OCR)
Aplicacionesencardiologa
Clasificacindesealeselectrocardiogrficas(ECG)
Deteccindetaquicardiasventricularesysupraventriculares
DeteccindecomplejosQRSanmalos
ReconocimientodeformasanormalesensealesECG
EmulacinhardwaredeunaredneuronalparaelprocesadodeECG
CancelacinderuidoensealesECG
Comprensin/descomprensindedatos

http://thales.cica.es/rd/Recursos/rd98/TecInfo/07/capitulo4.html

11/11