Introducao As Redes Neurais Artificiais Apostila

Indrodu c ao ` as Redes Neurais Articiais
Jorge M. Barreto
Laborat orio de Conexionismo e Ci encias Cognitivas UFSC -Departamento de Inform atica e de Estat stica 88040-900 - Florian opolis - SC
e-mail: barreto@inf.ufsc.br
4/2002 Uma vers ao preliminar deste texto foi apresentada na Escola de Computa ca o da Regi ao Sul em 1997
Redes Neurais Articiais
Sum ario
1 Redes Neurais e Intelig encia Articial 1.1 Alguns Fatos Hist oricos das Redes Neurais . . . . . . . . . . . . . . . . . . . . . . 1.2 Que Esperar da IAC? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Fundamentos Biol ogicos 2.1 O Sistema Nervoso . . . . . . . . . . . . 2.2 Descobrimento de Neur onio . . . . . . . 2.2.1 Organiza ca o geral . . . . . . . . 2.2.2 Potencial de A c ao . . . . . . . . 2.2.3 Transmiss ao da Informa ca o entre 3 Vocabul ario B asico 3.1 Modelos de Neur onios . . . . . . . 3.1.1 Modelo de McCulloch-Pitts 3.1.2 Modelo Geral de Neur onio . 3.2 Caracteriza c ao de RNA . . . . . . 4 Topologias das RNAs 4.1 Redes diretas (Feedforward) 4.2 Redes com ciclos . . . . . . 4.3 Redes sim etricas . . . . . . 4.4 O que as RNAs n ao s ao! . . 6 6 7 10 11 11 11 12 13 13 13 14 14 16 17 19 20 21 22 22 23 23 23 24 24 24 25 27 28 29 29 30 30
. . . . . . . . . . . . . . . . . . . . . . . . Neur onios
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
5 Aprendizado 5.1 Aquisi c ao do Conhecimento: Aprendizado . . . . . . . . . . . . 5.1.1 Classica ca o quanto ` a Independ encia de quem Aprende 5.1.2 Classica ca o Segundo Retroa c ao do Mundo . . . . . . . 5.1.3 Classica ca o quanto ` a Finalidade do Aprendizado . . . 5.2 Regras de Aprendizado Conexionistas . . . . . . . . . . . . . . 5.2.1 Aprendizado Hebbiano . . . . . . . . . . . . . . . . . . . 5.2.2 Regra Delta . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.3 Retropropag ca o . . . . . . . . . . . . . . . . . . . . . . . 5.2.4 Aprendendo com a Natureza . . . . . . . . . . . . . . . 5.2.5 Aprendizado Competitivo . . . . . . . . . . . . . . . . . 5.2.6 Aprendizado Refor cado . . . . . . . . . . . . . . . . . . 5.2.7 Aprendizado Aleat orio . . . . . . . . . . . . . . . . . . . 5.2.8 Aprendizado Evolutivo . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
Redes Neurais Articiais 6 M aquina de Resolver Problemas 6.1 Tipos de Computadores . . . . . . . . . . . . . . . . . . 6.2 Teoria de Problemas . . . . . . . . . . . . . . . . . . . . 6.3 O Computador na Resolu ca o de Problemas . . . . . . . 6.4 Equival encia de Computabilidade . . . . . . . . . . . . . 6.5 Pontos de D uvida . . . . . . . . . . . . . . . . . . . . . . 6.6 N ao Equival encia de Complexidade . . . . . . . . . . . . 6.7 Alguns Resultados Sobre Complexidade de RNA . . . . 6.8 Aprendizado de RNA como Paradigma de Programa ca o 6.9 Um Pouco de Fic ca o . . . . . . . . . . . . . . . . . . . . 7 Aplica co es das RNAs 7.1 Reconhecimento de Padr oes . . . . . . . . . . . . . . . 7.1.1 Em que Consiste o Reconhecimento de Padr oes 7.1.2 Reconhecimento de Padr oes como Classicador 7.1.3 Principais Aplica co es . . . . . . . . . . . . . . . 7.1.4 Reconhecimento de Caracteres . . . . . . . . . 7.1.5 Reconhecimento de Faces . . . . . . . . . . . . 7.2 Sistemas Especialistas Conexionistas . . . . . . . . . . 7.2.1 SE Conexionistas . . . . . . . . . . . . . . . . . 7.2.2 SE usando Redes Diretas . . . . . . . . . . . . 7.2.3 SE implementados com BAM . . . . . . . . . . 7.3 Controle de Processos . . . . . . . . . . . . . . . . . . 7.3.1 Controle Neural . . . . . . . . . . . . . . . . . 7.3.2 Topologias de Controle . . . . . . . . . . . . . . 7.3.3 Malha Aberta . . . . . . . . . . . . . . . . . . . 7.3.4 Controle com Retroa c ao . . . . . . . . . . . . . 7.3.5 Modelos Internos . . . . . . . . . . . . . . . . . 7.4 S eries Temporais . . . . . . . . . . . . . . . . . . . . . 7.5
3 30 30 31 32 33 35 35 36 37 38 38 39 39 39 40 40 41 41 41 41 42 43 43 43 43 44 44 45 45 46 46 47 47 47 48 48
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
Monitoramento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8 Implementa c ao 8.1 Simula ca o de RNA . . . . . . . . . . . . . . . . . . 8.2 Implementa c oes por Circuitos . . . . . . . . . . . . 8.2.1 Implementa ca o da Sin apse . . . . . . . . . . 8.2.2 Implementa ca o do Neur onio . . . . . . . . . 8.2.3 Implementa ca o do Aprendizado . . . . . . . 8.2.4 Implementa co es Digitais versus Anal ogicas
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
Redes Neurais Articiais 9 Ep logo Refer encias bibliogr acas
4 49 51
Redes Neurais Articiais .
Redes Neurais Articiais J. M. Barreto

Resumo
Redes neurais articiais podem ser consideradas como metodologia de resolver problemas caracter sticos da intelig encia articial. Ap os apresenta c ao de alguns fatos hist oricos e dos fundamentos biol ogicos s ao apresentados os conceitos de neur onio e rede neural articial. Sendo a capacidade de aprender por exemplos a grande motivadora do uso de redes neurais, os principais paradigmas de aprendizado s ao apresentados. Segue-se uma compara c ao das possibilidades destas redes na resolu c ao de problemas dando-se uma vis ao de computabilidade e complexidade em termos de redes neurais. Finalmente s ao apresentadas alguns campos de aplica c ao e como s ao atualmente estas redes implementadas.
Redes Neurais e Intelig encia Articial
Pode-se dizer que redes neurais articiais consistem em um modo de abordar a solu c ao de problemas de intelig encia articial. Neste caso, em lugar de tentar programar um computador digital de modo a faz e-lo imitar um comportamento inteligente (saber jogar xadrez, compreender e manter um di alogo, traduzir l nguas estrangeiras, resolver problemas de matem atica tais como se encontram nos primeiros anos dos cursos de engenharia, etc.) procura-se construir um computador que tenha circuitos modelando os circuitos cerebrais e espera-se ver um comportamento inteligente emergindo, aprendendo novas tarefas, errando, fazendo generaliza c oes e descobertas, e frequentemente ultrapassando seu professor. Da mesma forma, estes circuitos neurais articiais poder ao se auto-organizar, quando apresentados a ambientes diversos, criando suas pr oprias representa c oes internas e apresentar comportamentos imprevis veis. E, melhor ainda, (ou pior) ter um comportamento que nem sempre pode-se prever e compreender, tal como hoje n ao compreendemos mecanismos do nosso pr oprio c erebro. Fic c ao cient ca? N ao! Trata-se sim de nova tecnologia que depois de um tempo de lat encia, emerge encontrando aplica c oes concretas, algumas das quais ser ao mencionadas mais adiante.
1.1
Alguns Fatos Hist oricos das Redes Neurais
O primeiro esfor co conjunto para estudar intelig encia articial (IA) foi o encontro no Darthmouth College, em 1956. No livro publicado a seguir [83] com o t itulo de Automata Studies, o primeiro artigo tratava de redes neurais como um paradigma da arquitetura computacional Pode-se dizer que a nasceram simultaneamente os dois paradigmas da intelig encia articial: simb olica e conexionista. Na IAS (Intelig encia Articial Simb olica), o comportamento inteligente global e simulado, sem considerar os mecanismos respons aveis por este comportamento. Na IAC (Intelig encia Articial Conexionista) acredita-se que construindo m aquina que imite a estrutura do c erebro ela apresentar a intelig encia. Progressivamente as duas correntes para IA separaram-se, e as pesquisas em redes neurais (corrente conexionista) andaram lentamente enquanto a corrente da manipula c ao simb olica se acelerou. interessante notar que um motivo para esta separa E c ao foi o livro de Minsky & Papert [71]. Este livro, entretanto, constitui um dos primeiros estudos sobre a complexidade do problema e a correspondente capacidade das redes neurais para resolve-lo: uma perceptron de uma u nica camada e incapaz de resolver o problemas linearmente n ao separ aveis. Possivelmente administradores dos USA, respons aveis por distribuir fundos de pesquisa conclu iram que o assunto n ao era interessante e cortaram os investimentos em redes neurais. Os anos que seguiram o encontro Darthmouth foram anos de grande otimismo e o trabalho feito estava centralizado principalmente em pesquisas de laborat orio. Entretanto, o progresso em muitos destes campos caminhava lentamente. Um exemplo estava no campo da tradu c ao autom atica, onde os
problemas apresentavam-se muito mais complexos que o esperado. Por outro lado, muito se estava aprendendo sobre linguagens adequadas para pesquisar em IA! Entretanto, e necess ario n ao esquecer que em alguns outros campos de aplica c ao a IA obteve sucesso, e que esses seus m eritos n ao s ao mais considerados como pertencentes a IA. Como exemplos, temos o xadrez (sendo considerado agora como um jogo, e n ao como um desao) e fazer matem atica simb olica, onde diversos programas comerciais fazem nos esquecer que s ao resultado de t ecnicas de IA.
1.2
Que Esperar da IAC?
A IAS j a deu muitos frutos, alguns atualmente t ao populares que nem s ao mais considerados como produtos da IA. Exemplos s ao: jogo de xadrez, sistemas especialistas que fazem apoio ` a decis ao m edica, programas de matem atica simb olica, etc. E a IAC? Pode-se dizer que se espera da IAC uma performance melhor que a da IAS em problemas mal denidos, onde falta o conhecimento expl cito de como realizar uma tarefa. Nestes o conhecimento e dado atrav es de exemplos. Alem disso, caracter sticas encontradas nos seres vivos s ao esperadas e diculdades em realizar tarefas de natureza intr nsicamente algor tmicas. As principais caracter sticas s ao: Degrada c ao progressiva e qualidade. Signica que a performance de um sistema baseado na IAC diminue lenta e monotonicamente em presen ca de informa c oes falsas ou ausentes. Para ilustrar a id eia, tome-se a pesquisa em uma base de dados em que se deseje obter o nome de um artigo que seja do interesse de um certo leitor caracterizado por seu perl de interesse. Usando t ecnicas conexionistas, na falta de um documento satisfazendo aos requisitos da busca, um mais pr oximo ser a escolhido. outra propriedade intr Racioc nio por Default. E nseca de RNA, coisa que requer bastante esfor co se for usada a IAS. Generaliza c ao. Uma vez uma rede aprendendo um conceito ela e capaz de funcionar com conceitos similares que n ao foram aprendidos e isto sem esfor co suplementar. Roisenberg [76], [77] estuda no caso de interceptar um objeto voador esta capacidade.
Racioc nio impreciso. Mas, o mais importante e o racioc nio impreciso, que pode ser tratado na IAS pela a l ogica nebulosa. Em resumo, a IAC se baseia no seguinte princ pio: Princ pio 1 Princ pio da R eplica: Se for constru do um modelo sucientemente preciso do c erebro, este modelo apresentar a um comportamento inteligente. Se apenas uma pequena parte do c erebro for reproduzida, a fun c ao exercida por esta parte emergir a do modelo.
Atualmente as duas abordagens est ao cada vez mais sendo usadas juntamente, e ` as duas se junta ainda uma outra fam lia de abordagens: as inspiradas na evolu c ao biol ogica e constituem 1 os sistemas evolucion ario, tamb em chamados evolutivos que ser ao abordados no cap tulo ??, base da Intelig encia Articial Evolucion aria ou IAE. Tamb em esta se baseia em um princ pio conhecido com o nome de Sele c ao Natural, tirado dos trabalhos de Darwin [24] e que pode ser enunciado como: Princ pio 2 Princ pio da Sele c ao Natural: Dada uma popula c ao de indiv duos vivendo em um determinado ambiente, os mais aptos ` as condi c oes de vida oferecidas, tem mais probabilidade de se reproduzir do que os menos aptos. Desta forma, com o correr do tempo e ap os gera c oes sucessivas a popula c ao tende a car cada vez mais adaptada ao ambiente. Este paradigma permite a resolu c ao de problemas ser feita considerando v arias solu c oes poss veis como os indiv duos da popula c ao e o problema a resolver como o ambiente. A adapta c ao seria ent ao a qualidade da solu c ao permitindo considera c oes sobre o qu ao inteligente seria a solu c ao comparada com as demais [31]. Com o que foi dito e poss vel dividir as fases da hist oria da IA2 com nos seguintes per odos [9]: 1. Epoca pr e-hist orica (Nesta epoca nada se conhecia sobre os mecanismos da mente, nem sob o prisma siol ogico nem psicol ogico e por esta raz ao vai at e 1875 quando Camillo Golgi visualizou o neur onio.) Objetivo: Criar seres e mecanismos apresentando comportamento inteligente. Metodologia e Conquistas: Mecanismos usando mec anica de precis ao desenvolvida nos aut omatos, mecanismos baseados em teares, etc. Apelo ao sobrenatural. Limita co es: Complexidade dos mecanismos, diculdades de constru c ao. Insucesso dos apelos ao sobrenatural. 2. Epoca Antiga (1875-1943) (Epoca em que a L ogica formal apareceu (Russel, G odel, etc) bem como se passou a reconhecer o c erebro como org ao respons avel pela intelig encia. Hilbert imaginava um mundo paradis aco, em que tudo poderia ser axomatizado e reduzido ` a L ogica. Entretanto, assim como o nal do s eculo XIX viu o desmoronamento do mundo Euclidiano, G odel abalou o mundo de Hilbert com seu teorema da imcompletude da aritm etica. Foi a epoca em que, tal como os l osofos gregos zeram, s ao colocadas as bases da IAS e IAC, terminando com a publica c ao do trabalho de McCulloch e Pitts modelando o neur onio [66]):
Neste texto ser ao usados indistintamente e como sin onimos, os dois termos evolutivo e evolucion ario. Note-se que os termos usados n ao se referem a per odos da hist oria da humanidade e sim hist oria da IA. Assim, o tremo pr e-hist oria nada tem a ver com a epoca em que seres humanos n ao deixaram documentos escritos.
2 1
Redes Neurais Articiais Objetivo: Entender a intelig encia humana.
Metodologia e Conquistas: Estudos de psicologia e de neurosiologia. Nascimento da psican alise. Limita co es: Grande dist ancia entre as conquistas da psicologia e da neurosiologia. o otimismo desordenado, que tal um j 3. Epoca Rom antica (1943-1956) (E ovem rapaz 3 rom antico , cr e que tudo e poss vel. Acaba com a reuni ao no Darthmouth College): Objetivo: Simular a intelig encia humana em situa c oes pr e-determinadas. Metodologia e Conquistas: Inspira c ao na Natureza. Nascimento da Cibern etica. Primeiros mecanismos imitando funcionamento de redes de neur onios. Primeiros programas imitando comportamento inteligente. Limita co es: Limita c ao das capacidades computacionais. 4. Epoca Barroca (1956-1969) (Tudo e f acil e ser a conseguido. O livro Perceptrons [71] mostra que nem tudo e poss vel. Al em disto, grandes fabricantes de computadores, interessados em vender suas m aquinas para aplica c oes de escrit orio, tiveram grande interesse em desmisticar o computador que na epoca chegou a ser chamado pelo grande p ublico de c erebro eletr onico. Estes dois fatos marcaram o m da epoca.): Objetivo: Expandir ao m aximo as aplica c oes da IA tanto usando a abordagem simb olica quanto a conexionista. Metodologia e Conquistas: Perceptron. Primeiros sistemas especialistas usando a abordagem simb olica. Grandes esperan cas da IAS. Limita co es: Diculdades em t ecnicas de aprendizado de redes complexas. 5. Epoca das Trevas (1969-1981) (Paraliza c ao de quase todas as pesquisas em IA por falta de verbas. Acabou quando em outubro os japoneses anunciaram seus planos para a Quinta Gera c ao de Computadores e em outro ambiente Hopeld publica c elebre artigo sobr redes neurais. Uma caracter stica interessante e que o renascimento de IA simb olica se fez em ambiente de computa c ao e o de redes neurais em um ambiente interdisciplinar. Assim como a Idade M edia da Hist oria da humanidade viu orescer id eias novas, esta epoca n ao foi de total trevas. Nasceram as primeiras aplica c oes dos conjuntos nebulosos de Zadeh [87] nascendo o controle inteligente com Mamdani [54, 64]. Alem disto os sistemas especialistas se rmaram com Shortlie [84]) Objetivo: Encontrar para a IA aplica c oes pr aticas.
Para satisfazer a uma minha aluna que teve a gentileza de ler e sugerir melhoras no texto, troquei a j ovem romantica por rapaz rom antico evitando conota ca o machista.
3
10
Metodologia e Conquistas: Sistemas especialistas. Aplica c oes principalmente em laborat orios. Os computadores usados principalmente para aplica c oes administrativas e num ericas. Interesse dos fabricantes de computadores de desmisticar a m aquina 4 levando a pouco interesse em IA . Limita co es: Interesses econ omicos. 6. Renascimento (1981-1987) (Come cou a corrida para IA. Os resultados obtidos nas epocas anteriores atingiram o p ublico em geral. Sistemas especialistas se popularizaram. Primeira confer encia internacional em Redes Neurais marca o nal do per odo. Note-se que redes neurais evoluiu independentemente da IA simb olica.): Objetivo: Renascimento da IA, simb olica e conexionista. Metodologia e Conquistas: Popularidade da linguagem Prolog, adotada pelos japoneses. Crescimento da import ancia da L ogica. Prolifera c ao de m aquinas suportando ferramentas para IA. Alguns poucos pesquisadores continuaram seus trabalhos em RNAs, Grossberg, Kohonen, Widrow, Hinton, etc. No nal do per odo, trabalhos de Hopeld, do grupo PDP, etc., criaram condi c oes para a fase seguinte no que diz respeito ` as RNAs. Limita co es: a IAS e a IAC evoluindo separadamente. 7. Epoca Contempor anea (1987 - atual): (Logo no in cio do per odo Gallant [36] publica seu c elebre artigo sobre sistemas especialistas conexionistas. Foi o ponto de partida para a uni ao das duas abordagens de IA, tornando a abordagem dirigida problemas a abordagem a abordagem adotada neste trabalho. atual. E Objetivo: Alargamento das aplica c oes das IAs. Uso em tomograa, pesquisas em campos de petr oleo, e bases de dados inteligentes. Metodologia e Conquistas: Redes diretas como aproximador universal. L ogica nebulosa usada largamente em ind ustrias para controle inteligente. Sistemas especialistas se torna tecnologia dominada. Bons resultados em problemas mal denidos com sistemas usando hibridismo neural-nebuloso. Novo paradigma de programa c ao: programa c ao conexionista. Limita co es: Quem sabe???. Uma possibilidade e uma grande expans ao das bases de dados inteligentes.
Fundamentos Biol ogicos
Supondo que grande parte dos leitores deste texto n ao est ao mais familiarizados com conceitos biol ogicos em que as redes neurais se inspiram, pequena introdu c ao aqui e feita.
4
Um exemplo e a refer encia ` a IA como sendo ignor ancia atrevida, usual a t tulo de humor.
11
2.1 2.2
O Sistema Nervoso Descobrimento de Neur onio
Um dos primeiros passos na neuroanatomia foi a descoberta do italiano Camillo Golgi em 1875 [50]. Ele encontrou um m etodo, aparentemente ao acaso, pelo qual apenas uma pequena por c ao de neur onios s ao corados durante um tempo, e essas c elulas s ao completamente coradas. Com esse m etodo e poss vel isolar e observar neur onios individuais. Golgi foi contempor aneo de Santiago Ram on y Cajal, um Espanhol, que dedicou sua vida usando o m etodo de Golgi para cada parte do sistema nervoso. Nesta epoca as jun c oes entre neur onios eram desconhecidas, principalmente porque o m etodo de Golgi revelou um grande n umero de c elulas isoladas mas sem sugerir jun c oes entre estas no sentido de formar uma rede. Entretanto os estudos de Cajal apresentaram dois resultados principais. Primeiro Cajal adotou a no c ao de sistema nervoso, postulando sobre a comunica c ao entre as c elulas pela sinapse. A segunda foi de que a interconex ao entre neur onios seria e altamente espec ca e estruturada. Ele descreveu diversas estruturas cerebrais. Isto fez com que as pesquisas se voltassem n ao apenas para a estrutura dos neur onios mas tamb em para o desconhecido campo das muitas estruturas neuronais. 2.2.1 Organiza c ao geral
O sistema nervoso juntamente com o sistema end ocrino proporciona muitas das fun c oes de controle do corpo. O sistema nervoso de que o c erebro faz parte, controla as rea c oes r apidas do corpo, como uma contra c ao muscular (fun c ao motora) e controla a velocidade e equilibra a taxa de secre c ao de muitas gl andulas end ocrinas. Partes do corpo que t em as fun c oes controladas pelo sistema nervoso tem tempo de resposta relativamente r apido. O sistema end ocrino, por outro lado, controla muitas fun c oes do metabolismo do corpo e sua atua c ao e mais lenta. Um neur onio Existem dois tipos principais de c elulas no c erebro, os neur onios e a glia. E comum atribuir aos neur onios as principais fun c oes cerebrais j a que a fun c ao da glia ainda tem muito a ser descoberto. Existem aproximadamente 1011 neur onios (um fator de 10 e razo avel como expectativa de erro) no c erebro humano. Eles podem ser de diversos tipos. Um neur onio t pico e apresentado na gura ao lado. O neur onio tem um corpo celular chamado soma e diversas ramica c oes. As ramica c oes conhecidas como dendritos, conduzem sinais das extremidades para o corpo celular. Existe tamb em uma ramica c ao, geralmente u nica, chamada ax onio, que transmite um sinal do corpo celular para suas extremidades. As extremidades do
12
ax onio s ao conectadas com dendritos de outros neur onios pelas sinapses . Em muitos casos, um ax onio e diretamente conectado com outros ax onios ou com o corpo de outro neur onio. As sin apses tem um papel fundamental na memoriza c ao da informa c ao e s ao principalmente as do c ortex cerebral e algumas vezes de partes mais profundas do c erebro que armazenam esta informa c ao. Pode-se imaginar que em cada sin apse, a quantidade de neurotransmissores que podem ser liberados para uma mesma frequ encia de pulsos do ax onio representa a informa c ao armazenada nesta sin apse. Ora, pode-se imaginar, que seguindo um princ pio frequentemente v alido em biologia, o de que o uso de um org ao favorece seu desenvolvimento, que cada vez que uma sin apse e ativada e encontra ativado ou consegue ativar outro neur onio o n umero de neurotransmissores liberados aumenta na pr oxima vez que o neur onio for ativado. Isto representa um aumento da conex ao entre os dois neur onios. Este processo chama-se facilita c ao. Um neur onio tem de 1000 a 10000 sin apses e pode receber informa c ao de perto de 1000 outros neur onios. O mecanismo de facilita c ao inspirou a conhecida Lei de Hebb: A intensidade de uma conex ao sin aptica entre dois neur onios aumenta quando os dois neur onios est ao excitados simultaneamente. Note- se que a Lei de Hebb e b asica de muitos algoritmos de aprendizagem de RNA. 2.2.2 Potencial de A c ao
Existe dentro e fora da c elulas concentra c oes diferentes de N a+ e K que provocam um ponto de equil brio de -85 milivolts, o interior da c elula negativo com rela c ao ao exterior. Qualquer perturba c ao da membrana do neur onio provoca uma s erie de modica c oes que desaparecem tamb em rapidamente, e durante as quais o potencial se torna positivo durante um curto espa co de tempo. A esta onda de varia c ao de tens ao chama-se potencial de a c ao. A forma c ao de um potencial de a c ao pode ser causado por uma estimula c ao el etrica, qu mica, calor, etc. Um est mulo tem por efeito a destrui c ao das propriedades diel etricas da membrana, em particular as permeabilidades tanto ao s odio como ao pot assio, que s ao aumentadas permitindo a difus ao destes ions atrav es da membrana. Ap os um certo tempo as coisas voltam ao normal devido a mecanismos de transporte ativo (transporte de mol eculas atrav es da membrana celular contra o gradiente de concentra c ao e com uso de energia). Esta fase chama-se repolariza c ao. Logo ap os a repolariza c ao a membrana passa por um per odo de tempo durante o qual ela n ao e mais sens vel a outras perturba c oes e que se chama per odo refrat ario. Este per odo refrat ario tem papel preponderante na transmiss ao de pulsos el etricos no ax onio. Suponha que por uma raz ao qualquer apare ca no ax onio, perto do soma uma perturba c ao provocando um potencial de a c ao. Ele age com rela c ao ao trecho do ax onio um pouco mais longe do soma como uma perturba c ao, provocando o aparecimento de novo potencial de a c ao um pouco mais longe e assim por diante at e a regi ao junto ` a sinapse onde o potencial de a c ao tem por efeito liberar mol eculas de neurotransmissores. Estes neurotransmissores liberados se difundem no espa co entre neur onios indo se colar na membrana de um outro neur onio, provocando uma
Redes Neurais Articiais perturba c ao de membrana do outro neur onio, e o fen omeno continua. 2.2.3 Transmiss ao da Informa c ao entre Neur onios
13
Quando o potencial de a c ao se propaga pelo ax onio, chega a uma de suas termina c oes. A ele provoca modica c oes na membrana destas termina c oes, as sin apses. Isto permite a libera c ao de mol eculas, de v arios tipos com o nome gen erico de neurotransmissores que se difundem no espa co entre o terminal do ax onio e um outro neur onio, geralmente o terminal de um dendrito. Mol eculas de neurotransmissor ao se colar ao dendrito provocam uma modica c ao na membrana deste que acaba, algumas vezes, provocando um potencial de a c ao, outras vezes, dicultando seu aparecimento. Este potencial de a c ao, se criado, se propaga at e o soma do neur onio que recebeu o sinal alterando sua frequ encia de disparo. Pode-se dizer portanto que a transmiss ao de informa c ao entre neur onios depende do tipo de neurotransmissor e de sua abund ancia no terminal sin aptico e da sensibilidade da membrana dendr tica ` a excita c oes. Desta forma modicando a intensidade com que um neur onio e capaz de excitar (ou inibir) um outro neur onio, depende de caracter sticas sin apticas, e s ao estes valores de conex oes que globalmente s ao respons aveis pelo comportamento da rede de neur onios. Mudando valores destas conex oes muda-se o comportamento da rede. E estas mudan cas de comportamento representam um aprendizado da rede. Como o comportamento de uma rede neural depende diretamente dos valores de suas conex oes sin apticas, o estudo de redes neurais tem tamb em o nome de Conexionismo.
Vocabul ario B asico
A terminologia usada em redes neurais articiais apresenta varia c oes, principalmente em textos em portugu es. Neste trabalho usa-se a terminologia da Teoria de Sistemas tal como apresentada em [8].
3.1
Modelos de Neur onios
A constru c ao de redes neurais articiais (RNAs) tem inspira c ao nos neur onios biol ogicos e nos sistemas nervosos. Entretanto, e importante compreender que atualmente as RNAs est ao muito distantes das redes neurais naturais (RNNs) e freq uentemente as semelhan cas s ao m nimas. Se e verdade que o primeiro modelo de neur onio, proposto por McCulloch e Pitts em 1943 [66] e tamb em um modelo simples, cabe ressaltar que a inten c ao era de imitar a realidade biol ogica, preocupa c ao n ao compartilhada pelos muitos pesquisadores atuais. De fato, dois fatores diferentes motivam a pesquisa hoje em dia: O primeiro e modelar o sistema nervoso com suciente precis ao de tal modo a poder observar um comportamento emergente que sendo semelhante ao comportamento do ser
Redes Neurais Articiais vivo modelado, possa servir de apoio ` as hip oteses usadas na modelagem. O segundo e construir computadores com um alto grau de paralelismo.
14
O trabalho na modelagem do sistema nervoso come cou h a um s eculo aproximadamente. Depois do trabalho de McCulloch and Pitts [66], Hebb [43], e Rosenblatt [78], muitos cientistas se interessaram pelo campo. O desejo de construir neurocomputadores e mais recente [44]. 3.1.1 Modelo de McCulloch-Pitts
Warren S. McCulloch era um siologista e conhecendo as ondas de potencial de membrana ele interpretou o funcionamento do neur onio como sendo um circuito bin ario. Seu modelo [65] e portanto bin ario e e apresentado na gura 1.
excitao u1 excitao u2 excitao u
i
w1 w
2
Neurnio
wi
resposta y
excitao un
wn
Figura 1: Modelo de McCulloch e Pitts A entrada do neur onio e tamb em bin aria e as v arias entradas s ao combinadas por uma soma ponderada, produzindo a entrada efetiva do neur onio:
n
entrada ef etiva =
1
i ui
(1)
O resultado na entrada efetiva sofre um retardo D (algumas v ezes este retardo e desprezado tendo-se um neur onio est atico) e serve de argumento a uma fun c ao chamada de fun c ao de transfer encia (neste caso de sa da bin aria {0 1} para dar a resposta do neur onio. 3.1.2 Modelo Geral de Neur onio
O modelo geral de neur onio e mostrado na gura 2, sendo uma generaliza c ao do modelo de McCulloch e Pitts. Neste modelo as entradas wi ui s ao combinadas usando uma fun c ao , para produzir um estado de ativa c ao do neur onio que atrav es da fun c ao vai produzir a sa da do neur onio (correspondente ` a freq u encia de descarga do neur onio biol ogico). Um valor auxiliar e geralmente usado para representar uma polariza ca o, valor abaixo do qual a sa da e nula.
15
u1 u2 u3

w1 w2 w3 wn

un
Figura 2: Neur onio articial Note-se que isso poderia tamb em ser obtido por escolha adequada da fun c ao , mas seria mais dif cil de trabalhar. Note-se ainda que as conex oes sin apticas s ao consideradas como externas ao modelo do neur onio, tal como ocorre no sistema nervoso biol ogico e n ao como fazendo parte do neur onio, como usado por alguns autores. Se este detalhe pode ter pouca import ancia aparente no estudo de uma RNA, proporciona a possibilidade de interpretar a matriz de conex oes, chamada matriz de conectividade como a matriz de pesos de um grafo, o grafo representativo da rede neural. Geralmente e a soma das entradas. Algumas vezes o produto. Raramente uma outra fun c ao, se bem que isto seja poss vel. Geralmente costuma-se dar o nome conu encia ` a combina c ao ponderada das entradas de um neur onio. A n ao linearidade do neur onio frequentemente e introduzida na fun c ao tangente hiperb olica,, em degr aus. A Figura 3 mostra algumas fun c oes comumente usadas.
f(x)
f(x) v +a
f(x)
x u u
x -a
Figura 3: N ao linearidades frequentemente usadas no modelo de neur onios de uma RNA. O neur onio formal e um sistema din amico por ter mem oria materializada pelo retardo (ou equa c ao diferencial). Um neur onio e est atico quando o valor de x e de y se referem ao mesmo instante que as excita c oes ou seja, o retardo e nulo. O neur onio e dito din amico se para o c alculo de x em um determinado instante e necess ario o conhecimento de x em um instante anterior no
16
caso do neur onio ser a tempo discreto. Por esta deni c ao nota-se que o modelo de neur onio proposto por McCulloch e Pitts e um sistema din amico se o retardo D n ao for nulo.
3.2
Caracteriza c ao de RNA
Informalmente uma rede neural articial (RNA) e um sistema composto por v arios neur onios. Estes neur onios est ao ligados por conex oes, chamadas conex oes sin apticas. Alguns neur onios recebem excita c oes do exterior e s ao chamados neur onios de entrada e correspondem aos neur onios dos org aos dos sentidos. Outros t em suas respostas usadas para alterar, de alguma forma, o mundo exterior e s ao chamados neur onios de sa da e correspondem aos motoneur onios que s ao os neur onios biol ogicos que excitam os m usculos. Os neur onios que n ao s ao nem entrada nem sa da s ao conhecidos como neur onios internos. Estes neur onios internos ` a rede tem grande import ancia e s ao conhecidos na literatura sax onica como hidden fazendo com que alguns traduzam como escondidos. Os neur onios internos s ao importantes por v arios aspectos: Import ancia biol ogica: Por corresponder a uma atividade do sistema nervoso que pode apresentar uma independ encia de excita c oes externas. Com efeito, se entre estes neur onios houver liga c oes formando ciclos, e considerando ainda um certo tempo de resposta de um neur onio, ap os cessar toda excita c ao exterior pode haver nestes neur onios internos uma evolu c ao de um vetor representativo da excita c ao destes neur onios. Esta excita c ao pode provocar uma evolu c ao durante um tempo relativamente longo e pode ser interpretada como uma met afora da mente, onde pensamentos v em e voltam, sem est mulo exterior. Import ancia matem atica: Desde que se provou que sem estes neur onios e imposs vel uma RNA resolver problemas classicados como linearmente n ao separ aveis. Para caracterizar uma RNA e importante especicar os seguintes pontos5 : Os componentes da rede: os neur onios: ex; est aticos? din amicos? A resposta de cada neur onio: dicot omica? intervalo dos reais? O estado global de ativa c ao da rede: vetor cujas componentes s ao as ativa c oes dos neur onios? A conectividade da rede dada pelos valores de conex oes sin apticas: que dene a topologia da rede. Como se propaga a atividade da rede: s ncrona? ass ncrona?
5
Inspirado em Rumelhart & al. [80].
Redes Neurais Articiais Como se estabelece a conectividade da rede: aprendizado. O ambiente externo ` a rede: est atico? din amico? aleat orio? determin stico? Como o conhecimento e representado na rede: localizado? distribuido?
17
Topologias das RNAs
De forma a denir as Redes Neurais Articiais n os poderiamos, em princ ipio, estabelecer (e provar) um teorema mostrando que elas se constituem em sistemas din amicos, da mesma forma que foi feito para os neur onios. Todavia, um problema surgiria aqui: nada seria dito acerca dos pesos das conex oes entre os diferentes neur onios da rede. Uma outra abordagem seria a de considerar uma rede neural como um sistema din amico complexo, onde: Deni c ao 1 Um sistema din amico complexo e uma rede de sistemas interconectados. Da deni c ao apresentada decorre que um sistema complexo pode ser representado por um grafo direcionado ou d grafo, onde os v ertices representam os sistemas componentes (subsistemas) e os arcos as intera c oes entre subsistemas. Esta ser a a abordagem utilizada aqui. No entanto, antes de desenvover estes conceitos, fazse necess ario apresentar alguns conceitos de Teoria de Grafos. Estes conceitos s ao baseados naqueles apresentados por Harary [41]. importante observar que, considerando que, em princ Nota: E pio, qualquer d grafo possa dar lugar a uma topologia de RNA, esta abordagem vem sendo utilizada em textos surgidos nos u ltimos anos, como por exemplo [42], [52] entre outros. No entanto, De Azevedo [25] utilizou esta abordagem ainda em 1993. Deni c ao 2 Um Grafo G consiste de um conjunto n ao vazio nito de v ertices V = vi juntamente com um conjunto n ao ordenado de arcos A conectando certos pares de v ertices. Cada par vi , vj de v ertices em V e um arc0 de G, e o par vi , vj e dito juntar vi e vj . Deni c ao 3 Um Grafo G e Rotulado quando os p v ertices s ao distingu veis uns dos outros por nomes ou r otulos. Deni c ao 4 Um Grafo G e Arco Rotulado quando tamb em os arcos s ao distingu veis um dos outros por nomes ou r otulos. Tendo estabelecido o que siginica Grafo, no nosso contexto, n os estamos prontos para denir as Redes Neurais Artifciais. Deni c ao 5 Uma Rede Neural Articial, RN A, e um Sistema Din amico Complexo representado por um grafo arco rotulado em que cada v ertice e um Neur onio Articial N A.
18
Nesta deni c ao, r otulos s ao, naturalmente, valores num ericos. Eles correspondem aos valores das conex oes entre os diferentes neur onios. Todavia, eles podem ser interpretados, tamb em, como os valores fuzzy entre as conex oes. Neste caso, eles devem pertencer a um conjunto, que na maioria dos casos, e o conjunto [0, 1] 6 . Ambas interpreta c oes s ao v alidas para nossos prop ositos. Todavia, se n os escolhermos a segunda interpreta c ao n os poder amos repensar a deni c ao de Grafos e, por conseq u encia, a de Redes Neurais, conforme segue: Deni c ao 6 Um Grafo Nebuloso e um Grafo Arco Rotulado onde os r otulos s ao valores de um conjunto nebuloso. Deni c ao 7 Uma Rede Neural Nebulosa e ou: uma rede neural representada por um grafo nebuloso iu uma rede neural contendo ao mnenos um neur onio nebuloso.
Tendo estabelecido deni c oes precisas para Redes Neurais e Redes Neurais Fuzzy n os podemos denir diferentes tipos de redes. Isto e feito atrav es de escolhas particulares dos conjuntos e fun c oes envolvidas na deni c ao de Redes Neurais como Sistemas Din amicos. Temse, por conseguinte: Deni c ao 8 Uma Rede Neural Cont nua no Tempo e uma rede neural denida em um subconjunto cont nuo do eixo do tempo T = . Deni c ao 9 Uma Rede Neural Discreta no Tempo e uma rede neural denida em um subconjunto discreto do eixo do tempo T = Z . Deni c ao 10 Uma Rede Neural Invariante no Tempo ou Rede Neural Estacion aria e uma rede neural em que a fun c ao de transi c ao depende de um unico elemento de T e a fun c ao de sa da e independente de T . Neste trabalho n os consideramos ambos os tipos de redes, cont nuas e discretas. Todavia, todas s ao invariantes no tempo para permitir uma f acil tratabilidade matem atica. Aqui uma quest ao surge. Relembremos a deni c ao de automatum. Seguindo esta deni c ao um automatum e um sistema din amico discreto e invariante no tempo. A quest ao que surge e: Pertencem as RNA ` a classe dos automata ?
6
Outros intervalos de valores podem ser, tamb em, considerados para conjuntos fuzzy.
19
Ali as, esta quest ao e muito importante posto que os Computadores baseados em Instru c ao 7 (CBI) est ao intrinsecamente ligados a Teoria de Automata. A resposta e armativa. Pode ser claramente provado que qualquer rede neural discreta e invariante no tempo e um automatum. Este resultado permite que o formalismo que e usado para representar RNA e Computadores baseados em Redes Neurais (CBRN) seja o mesmo daquele usado para representar CBIs. Este fato torna mais f acil o estudo da integra c ao das duas abordagens quando do desenvolvimento de computadores h bridos. Nesta dire c ao, um resultado surpreendente e que qualquer automatum nito pode ser, essencialmente, substitu do por uma RNA. A prova deste estabelecimento foi feita por McCulloch e Pitts [66]. Arbib apresentou, em [3], uma prova mais did atica. A partir destes resultados e f acil mostrar as capacidades das RNA para mem oria e computa c ao. At e agora n os propusemos deni c oes matem aticas para NAs e RNAs. Estas deni c oes permitem o estudo de diferentes tipos particulares de RNAs como sistemas din amicos. A abordagem din amica para RNA serve como um guia para o estudo da capacidade de mem oria e para formular id eias no sentido de uma Teoria da Computabilidade adaptada a RNA. A seguir ser ao apresentadas as topologias de RNAs que podem ser derivados de nossos modelos formais. Nota: Faz-se necess ario dizer que algumas topologias particulares receberam maior aten c ao dos pesquisadores e s ao conhecidas com nomes espec cos.
4.1
Redes diretas (Feedforward)
Deni c ao 11 Redes Diretas (Feedforward) s ao aquelas cujo grafo n ao tem ciclos. Freq uentemente e comum representar estas redes em camadas e, neste caso, s ao chamadas redes em camadas. Neur onios que recebem sinais de excita c ao s ao chamados da camada de entrada, ou primeira camada. Neur onios que t em sua sa da como sa da da rede pertencem a camada de sa da ou u ltima camada. Neur onios que n ao pertencem nem a camada de entrada nem a de sa da s ao neur onios internos ` a rede podendo se organizar em uma ou mais camadas internas (hidden layers). A gura ?? mostra uma rede direta com 3 camadas de neur onios. Observe que nesta gura os neur onios s ao apresentados com os seus diversos elementos constituintes conforme a gura ??. Estas redes s ao atualmente as mais populares, principalmente por existirem m etodos de aprendizado bastante difundidos e f aceis de usar. Um m etodo bastante usado, mas muito ineciente, e o backpropagation. Por esta raz ao alguns autores chegam mesmo a chamar, impropriamente, este tipo de rede, de backpropagation. Al em disto, estas redes s ao capazes de aproximar, com maior ou menor precis ao, dependendo do n umero de neur onios da rede, qualquer fun c ao n ao-linear. Entretanto, mesmo no caso de usarem neur onios din amicos (equa c ao diferencial de
7
Para saber mais dos conceitos de CBI e CBRN veja [5], [10] [25], etc
20
primeira ordem ou a uma diferen ca nita), t em uma din amica muito limitada n ao podendo representar todos os sistemas din amicos.
N4 u1 N9 N1 N5 N10 u2 N2 N6 N11 u3 N3 N7 N12 N14 y2 N13 y1
N8
Figura 4: Uma rede direta com 3 camadas de conex oes Com efeito, seja por exemplo, uma rede s ncrona de 4 camadas com neur onios denidos por uma equa c ao contendo um retardo. Neste caso, a rede se comportar a como um ltro n ao-linear FIR de ordem 4, sendo sua aproxima c ao linear um sistema com todos os polos na origem do plano Z n ao podendo aproximar convenientemente sistemas de resposta indicial de dura c ao innita.
4.2
Redes com ciclos
Deni c ao 12 Redes com ciclos (ou com realimenta c ao, ou com retroa c ao, ou com feedback) s ao aquelas cujo grafo de conectividade cont em, ao menos, um ciclo. Um exemplo bem conhecido de rede com ciclos e a proposta por Hopeld [47]. Deni c ao 13 Redes recorrentes s ao aquelas que, al em de apresentarem ciclos, envolvem neur onios din amicos. Por esta raz ao McCulloch chamou-as de networks with cycles, ou redes com ciclos. Duas destas redes t em particular import ancia: as redes propostas por Hopeld [47, 48] e as redes bi-direcionais, de Kosko [58], que podem ser usadas em um dos dois principais paradigmas de sistemas especialistas: treinamento com exemplos de uma rede direta e representa c ao do conhecimento de modo localizado pelo uso de rede com ciclos, geralmente uma rede sim etrica. Com efeito, o mais popular paradigma usado na implementa c ao de sistemas especialistas com redes neurais usa redes diretas e foi proposto por Gallant [36], existindo bastantes resultados neste dom nio [37]. Baseia- se no fato de que as redes diretas s ao aproximadores universais de
21
fun c oes. Assim, apresenta-se, na entrada da rede, os dados e ela e, ent ao, treinada para a sa da representar o parecer do sistema especialista. O funcionamento da RNA se torna uma met afora de um ato reexo que, depois de aprendido, se repete inconscientemente. E este aspecto, que e uma das for cas do paradigma, pois pode ser largamente empregado, constitui-se, tamb em, em um dos seus pontos fracos, pois, tal como um ato reexo, e dif cil explicar o porqu e do ato. Assim e que, com o uso das redes diretas, existem diculdades em extrair explica c oes de como 8 o sistema chegou a uma conclus ao . O segundo paradigma usa redes bidirecionais, caso particular das redes com ciclos, contendo neur onios din amicos [27]. Neste caso, tanto os dados, como os poss veis pareceres do especialista s ao representados pela ativa c ao de neur onios, o conhecimento sendo representado por valores das intensidades de conex oes sin apticas. Uma consulta e feita excitando neur onios representativos dos sintomas presentes no caso, deixando a rede evoluir at e atingir um ponto de equil brio. A excita c ao de algum (ou alguns) neur onios, representando pareceres, ser a a resposta do sistema. Este segundo paradigma e mais recente e ainda pouco explorado. Os principais pontos fracos s ao: - e dif cil saber se a rede vai, ou n ao, parar em um ponto de equil brio; - o tempo correspondente ao transit orio da rede pode ser longo. As principais vantagens s ao: - Uso de representa c ao de conhecimento localizada, facilitando extra c ao de explica c oes; - aus encia de m etodo de aprendizagem ; - transit orio da rede pode ser interpretado como met afora de racioc nio, podendo-se esperar deste paradigma, mais do que um simples ato reexo.
4.3
Redes sim etricas
Deni c ao 14 Uma rede sim etrica e aquela cuja matriz de conectividade e uma matriz sim etrica.
Trata-se de um caso particular das redes com ciclos. Com efeito, os sistemas especialistas mencionados anteriormente e que usam redes com ciclos, usam redes sim etricas. Isto foi feito 9 para assegurar estabilidade do transit orio da rede .
Note-se que no artigo de Gallant [36], sugest oes de como extrair explica co es s ao apresentadas. Mas e dif cil usar estas sugest oes em um caso geral. 9 Pode ser mostrado que tal caso se trata de sistema discreto em que a aproxima ca o linear tem polos de m odulo menor que a unidade. Assim, conforme o teorema de Liapunov da estabilidade local [40] [39], o sistema ter a, ao menos, um ponto de equil brio est avel.
8
22
4.4
O que as RNAs n ao s ao!
Sim, as RNAs s ao inspiradas na redes neurais biol ogicas (RNB). Mas at e onde esta inspira c ao e usada? Na realidade, freq uentemente esta inspira c ao e muito limitada e as RNA s ao uma caricatura da realidade biol ogica. RNN n ao s ao circuitos digitais. O modelo apresentado por McCulloch-Pitts [66] usava sinais bin arios. O neur onio biol ogico expressa sua ativa c ao pela freq u encia que emite pulsos e esta freq u encia tem uma varia c ao cont nua entre dois valores positivos. RNN n ao podem ter excita c ao negativa. Alguns modelos usam valores de excita c ao negativa. RNN n ao s ao homog eneas. As RNN n ao possuem todos os seus neur onios de mesmo tipo como nas RNA, apenas em algumas regi oes existe uma certa uniformidade no tipo de neur onios existentes nas RNN. RNN n ao s ao circuitos s ncronos ou ass ncronos. Com efeito, as RNB s ao sistemas a tempo cont nuo, logo n ao cabe a classica c ao de s ncrono ou ass ncrono. Nem neur onios nem sinapses tem dois valores. Logo a semelhan ca com o spin do eletron n ao e v alida [56]. Circuitos cerebrais n ao s ao capazes de c alculos recursivos. Isto e consequ encia dos neur onios n ao serem sistemas discretos, levando a rede a n ao ser um aut omato. Logo, equival encia com problemas sol uveis por fun c oes recursivas n ao tem sentido biol ogico. Entretanto, os neur onios das RNAs fazem das RNAs sistemas equivalentes ` a m aquina de Turing e portanto capazes de resolver fun c oes recursivas.
Aprendizado
Aprender e o ato que produz um comportamento diferente a um est mulo externo devido ` a excita c oes recebidas no passado e e de uma certa forma sin onimo de aquisi c ao de conhecimento. Em IA e comum se falar de aprendizado pela m aquina e aprender poder ser considerado como atributo fundamental de um comportamento inteligente. RNA possuem a capacidade de aprenderem por exemplos, e fazerem interpola c oes do que aprenderam. No aprendizado conexionista n ao se procura obter regras como na abordagem simb olica da IA, mas determinar a intensidade de conex oes entre neur onios. Como o conhecimento e armazenado nas conex oes, o uso de RNA est a intimamente ligado ao que se chama de conexionismo.
23
5.1
5.1.1
Aquisi c ao do Conhecimento: Aprendizado

Classica c ao quanto ` a Independ encia de quem Aprende
Quanto ` a Independ encia de quem Aprende tem-se: Memoriza c ao. Por ser contado. Por exemplos. Por analogia. Por explora c ao e descoberta.
As RNAs aprendem principalmente por uma mistura dos tres u ltimos. 5.1.2 Classica c ao Segundo Retroa c ao do Mundo
Um segundo modo de classicar o aprendizado e pela presen ca ou aus encia de realimenta c ao expl cita do mundo exterior. Uma realimenta c ao expl cita signica que em certos intervalos de tempo um professor assinala erros e acertos. No caso que que a realimenta c ao n ao e expl cita e o aprendizado em aus encia de professor. Costuma-se chamar estes dois casos de ensino supervisionado e n ao supervisionado. Aprendizado Supervisionado Neste caso o professor indica explicitamente um comportamento bom ou ruim. Por exemplo, seja o caso de reconhecimento de caracteres e para simplicar seja reconhecer entre um A ou X. Escolhe-se uma rede direta, com dois neur onios na camada de saida, uma ou v arias camadas internas e uma conjunto de neur onios na camada de entrada capaz de representar com a precis ao desejada a letra em quest ao. Apresentam-se estas letras sucessivamente a uma retina articial constituida por uma matriz de elementos fotosens veis, cada um ligado a um neur onio de uma RNA direta (feedforward). Observase qual dos dois neur onios de saida est a mais excitado. Se for o que se convencionou representar a letra que for apresentada nada deve ser corrigido, caso contrario modica-se os valores das conex oes sin apticas no sentido de fazer a saida se aproximar da desejada. Foi exatamente isto que fez Rosenblatt com o seu Perceptron. Como a cada exemplo apresentado uma corre c ao e introduzida depois de observar a saida da rede este e um caso de ensino supervisionado. Aprendizado n ao Supervisionado e quando para fazer modica c oes nos valores das conex oes sin apticas n ao se usa informa c oes sobre se a resposta da rede foi correta ou n ao. Usa-se por outro lado um esquema, tal que, para exemplos de coisas semelhantes, a rede responda de modo semelhante. Aprendizado n ao supervisionado se chama tamb em
24
descobridor de regularidades ou redes auto-organizadas devido ` a propriedade b asica de seu funcionamento. O ensino supervisionado tem atraido aten c ao de muitos pesquisadores. Uma motiva c ao talvez seja o fato que o aprendizado supervisionado pode ser encarado como um problema de otimiza c ao e usar ferramentas que j a mostraram sua ecacidade, tanto em programa c ao linear e n ao linear. Basta para isso considerar o aprendizado com a minimiza c ao do erro entre a saida da rede e uma saida desejada. Entretanto pouco se usou at e o momento em ferramentas de otimiza c ao de sistemas din amicos para treinamento de RNAs, tais como Programa c ao Din amica e o Teorema do M aximo de Pontriagin. 5.1.3 Classica c ao quanto ` a Finalidade do Aprendizado
Um terceiro modo de classica c ao e quanto ` a nalidade do aprendizado. Assim temos um auto associador, um hetero associador ou um detetor de regularidades. Em um auto-associador uma cole c ao de exemplos e apresentado ` a rede, a qual e suposta memorizar os exemplos. Depois, quando um destes exemplos for novamente apresentado de modo deteriorado sup oe-se que a rede restitua o original sem deteriora c ao. Neste caso aprende-se a funcionar como um ltro. Um hetero-associador e uma variante do auto-associador em que se memoriza um conjunto de pares. O sistema aprende a reproduzir o segundo elemento do par mesmo que o primeiro se j a apresentado de modo contendo pequenas altera c oes. Este hetero-associador e tamb em conhecido como um reconhecedor de padr oes, onde o primeiro elemento apresentado e elemento a reconhecer e o segundo um elemento do conjunto de padr oes considerado. O detetor de regularidades e um reconhecedor de padr oes em que os padr oes poss veis n ao e denido a priori.O sistema deve se auto-organizar, e criar os poss veis padr oes.
5.2
Regras de Aprendizado Conexionistas
Essencialmente o aprender de redes neurais consiste em colocar valores de conex oes sin apticas. Em alguns casos estes valores s ao colocados representando um certo conhecimento, como no caso usado em sistemas especialistas. Em outros usa-se uma algoritmo para encontr a-los. A este algoritmo chama-se algoritmo de aprendizagem. 5.2.1 Aprendizado Hebbiano
A lei de Hebb, mencionada precedentemente e talvez a mais antiga regra de aprendizagem usada. Uma extens ao desta lei e:
Redes Neurais Articiais Ajuste a intensidade da conex ao entre os neur onios A e B de uma quantidade proporcional ao valor da ativa c ao simult anea dos dois neur onios. Se no entanto A tenta excitar B e n ao consegue a conex ao e enfraquecida.
25
Uma caracter stica importantissima da lei de Hebb e que ela goza da propriedade de localidade. Isto signica que para alterar o valor de uma conex ao sin aptica apenas informa c oes locais a sinapse em jogo s ` ao usadas dando plausibilidade biol ogica ao algoritmo. Assim tem-se: wij = xi oj onde: wij intensidade da conex ao entre os neur onios i e j wij acr escimo da intensidade da conex ao entre os neur onios i e j par ametro denindo a intensidade da corre c ao chamado taxa de aprendizado xi estado de ativa c ao do neur onio i oj saida do neur onio j Apesar da plausibilidade biol ogica o uso da lei de Hebb nesta forma apresenta v arios inconvenientes costumando-se usar vers oes mais sosticadas, tais como a Regra Delta. Muitos pesquisadores em RNA n ao se preocupam com plausibilidade biol ogica e em muitos casos tem raz ao. Anal avi oes voam melhor que p assaros e os primeiros tiveram asas inspirados nos p assaros. E voam melhor por n ao terem de bater asas e sim usarem motores a jato, desconhecidos como solu c ao biol ogica. Seria mesmo poss ivel dizer que, se o objetivo e obter um artefato com propriedades de generaliza c ao, capazes de aprenderem a realizar tarefas mal denidas, a plausibilidade biol ogica pode ser desnecess aria. Exemplos que se enquadram neste caso s ao in umeros. Entretanto suponha-se, por exemplo que se esteja interessado em um melhor compreens ao de mecanismos envolvidos na intelig encia. Usa-se um algoritmo que n ao e biologicamente plaus vel e tira-se conclus oes sobre mecanismos mentais! Que validade ter ao estas conclus oes se foram obtidas usando algo que e irreal? mesmo que os resultados reproduzam coisas que ocorrem no aprendizado de seres vivos o que se deveria concluir n ao e que se tem uma id eia mais precisa de que o aprendizado nada mais como o aprendizado ocorreu, E e do que criar um sistema com um comportamento determinado. Mas muitos sistemas internamente diferentes podem apresentar o mesmo comportamento externamente, logo o comportamento biol ogico que continua ignorado 5.2.2 Regra Delta (2)
A express ao usada na Lei de Hebb e muito simplicada. Com efeito, considerando uma sinapse real tem-se:
26
O valor da modica c ao da intensidade da conex ao sin aptica para mesmas excita c oes dos neur onios envolvidos pode variar com o tempo. A modica c ao da intensidade da conex ao sin aptica wij de wij pode depender de wij o que ser a um efeito n ao linear (anteriormente tem-se um sistema bi-linear por apresentar um produto de duas intensidades). Isto ocorre como um efeito de satura c ao do valor de conex ao sin aptica. Pode-se imaginar que a modica c ao da intensidade da conex ao sin aptica dependa tamb em de neur onios vizinhos. Um modelo um pouco mais completo seria: wij = (xi , di , wij , oj , t) (3)
Note-se que di n ao e local ` a sinapse, mas local com rela c ao ao neur onio i. Uma express ao um pouco mais simples seria obtida com a fun c ao dependendo da diferen ca entre a excita c ao real do neur onio i e a que seria desejada. Com isto tem-se a Regra de WidrowHo ou Regra Delta que pode ser expressa como: wij = (di xi )oj (4)
Existem muitas outras variantes para a regra de aprendizado expressa pela equa c ao3. Por exemplo, Grossberg propoz a seguinte regra de aprendizado:. wij = xi (oj wij ) (5)
Nesta regra de aprendizado toda a informa c ao necess aria ` a modica c ao de uma sinapse e local ` a sinapse, sendo portanto um regra de aprendizado plaus vel biologicamente. E interessante notar que a regra delta implementa uma otimiza c ao em H2 isto e, minimiza o erro m edio quadr atico. Com efeito, seja o erro m edio quadr atico correspondente ao exemplo p : Ep = 1 2 (dpj opj )2 (6)
Este erro e fun c ao do valor das conex oes e portanto para calcular seu m nimo deve-se encontrar os valores que anulam a primeira derivada. Assim tem-se: Ep wij Ep oipwij oip opj = (dpj opj ) wij =
(7) (8)
27
Considerando a aproxima c ao de primeira ordem para a fun c ao o = (w)) e tomando o coeciente de proporcionalidade como uma constante (o sinal negativo e escolhido para ter o mesmo sinal da express ao usada na regra delta) , tem-se: Ep = (dpj opj ) wij (9)
A Regra Delta e biologicamente plaus vel pois usa apenas informa c ao local ` a sinapse para o aprendizado. Seu ponto de partida e a generaliza c ao da Lei de Hebb e efetua ama otimiza c ao que pode ser interpretada como o modelo matem atico de um mecanismo de sele c ao. 5.2.3 Retropropag c ao
Retropropag c ao (Backpropagation) pode ser considerada como a generaliza c ao da Regra Delta para redes diretas com mais de duas camadas. Neste caso, ao menos uma camada de neur onios n ao est a envolvida com a entrada ou saida e e portanto interna ` a rede. Esta camada e suas conex oes quando aprendem a efetuar uma fun c ao, agem como se houvesse uma representa c ao interna da solu c ao do problema. Para uma apresenta c ao de como a retropropaga c ao funciona recomenda-se a leitura do artigo original de Rumelhart et al. [81]. Sem entrar em detalhes a retropropaga c ao e uma regra de aprendizado supervisionado. Apresenta-se ` a rede um exemplo e verica-se a saida da rede, saida esta que e comparada ` a saida esperada dando um erro. Calcula-se o gradiente deste erro com rela c ao aos valores sin apticos da camada de saida que e atualizada por um passo escolhido podendo-se ent ao calcular o erro da saida da pen ultima camada, e assim por diante propagando para tras o erro (origem do nome backpropagation) por todas as camadas de conex oes. A seguir apresenta-se mais um exemplo (pode ser o mesmo repetido) e continua-se o processo at e que o erro seja menor que uma toler ancia desejada. Esta e talvez a mais popular regra de aprendizado. A maioria dos programas para tratar RNA disp oem de uma implementa c ao da backpropagation ou na forma original (usando gradiente) ou em uma forma modicada para melhorar a performance da regra. alem de ser a primeira regra inventada para efetuar treinamento supervisionado de redes diretas com mais de duas camadas e consequentemente n ao limitada a resolver problemas linearmente separ aveis, tem ainda a vantagem de que, se a fun c ao de ativa c ao for uma fun c ao anal tica deriv avel, a derivada pode ser calculada explicitamente, evitando todos os problemas inerentes a deriva c ao num erica. Tal e o caso da fun c ao log stica. ypi = 1 1 + e(
iwji ypi +j )
(10)
onde j e a polariza c ao (bias). Com efeito, chamando a express ao entre par entesis na equa c ao 10 netpi a derivada e:
28
ypi = ypj (1 ypj ) netpi Consequentemente o erro em uma unidade de saida e dado por: pj = (dpj ypj )ypj (1 ypj ) e em uma unidade interna: pi = ypj (1 ypj ) kpk wkj
(11)
(12)
(13)
O m aximo da derivada ocorre para ypi = 0.5 e o m nimo para 0 ou 1. Como na backpropagation a corre c ao a cada passo e proporcional ` a derivada, os pesos mudam mais para as unidades que tem uma ativa c ao de valor intermedi ario o que contribue para a converg encia do algoritmo. Convem ainda notar que retropropaga c ao pode ser usada (teoricamente) para neur onios onde as entradas s ao combinadas usando multiplica c ao, para redes com realimenta c ao ou recurrentes. No primeiro caso, como observado por Janson & Frenzel [51] a fun c ao erro pode apresentar muitos m nimos locais e n ao deve ser usada. Finalmente cabe salientar que nem toda rede direta pode ser treinada pela retropropaga c ao, pois devido ao c alculo da derivada e necess ario que a fun c ao de ativa c ao seja deriv avel (o Perceptron est a excluido). Por outro lado e possivel treinar redes com ciclos por retropropaga c ao, como mostrado no artigo mencionado acima. Portanto, e impreciso chamar redes diretas de redes retropropaga c ao como se faz freq uentemente na literatura. 5.2.4 Aprendendo com a Natureza
Em seu interessantissimo livro, Le hasard et la n ec essit e, Monod [73] seguindo id eias Darwinianas [24], discute como aleatoriedade e luta pela vida servem para os seres vivos aprenderem e com isto evoluirem. A mesma id eia pode ser usada no treinamento de RNAs. Aplicada a popula c oes esta id eia leva aos algoritmos gen eticos. Aqui ser a apresentada a vers ao usada em estudo de manter a posi c ao em p e. O processo e o corpo da crian ca de p e. A entrada e o desejo de car nesta posi c ao. As perturba c oes s ao do tipo vento, algum peso carregado, etc. A realimenta c ao modela os sentidos. Incorpora-se informa c oes visuais, do labirinto, proprioceptivas relativas ` as posi c oes das juntas, etc. As informa c oes do labirinto incluem as provenientes de org aos vestibulares tais como os canais semicirculares capazes de detetar acelera c ao angular e os org aos otol ticos capazes de detetar acelera c ao linear. Usou-se rede direta como controlados. O comportamento global do sistema controlado e fun c ao do valor das conex oes que s ao inicializadas aleatoriamente como uma matriz W (0) e observa-se o comportamento durante um certo intervalo de tempo registrando-se o erro m edio
29
quadr atico (0). A seguir gera-se uma outra matriz aleat oria W criando uma nova matriz de conex oes ( e um fator de corre c ao): W (1) = W (0) + W. (14)
Simula-se novamente o sistema. Se o novo erro is for menor que (0), a nova matriz sin aptica e adotada como W (1). No caso contr ario come ca-se novamente tirado outra matriz aleat oria W . Repete-se o mesmo algoritmo ate melhorar e atingir erro menor que uma toler ancia quando se aumenta o tempo de observa c ao. O processo se repete at e que apenas pequenas oscila c oes em torno da posi c ao em p e sejam observadas. 5.2.5 Aprendizado Competitivo
No aprendizado competitivo, usado nas redes popularizadas por Kohonen [55] neuronios s ao inibidos por outros neuronios de modo a que a competi c ao entre eles leva a apenas um acabar excitado. Assim, enquanto uma rede neural baseada em um aprendizado Hebiano, v arios neur onios de saida podem estar simultaneamente ativos, no caso do aprendizado competitivo, somente um neur onio de saida ca ativo de cada vez. Fundamentalmente existem tres elementos que caracterizam o aprendizado competitivo: 1. Existe um conjunto de neur onios id enticos, ligados por valores de conex oes sin apticas de valores distribuidos de modo aleat orio. 2. Existe um valor m aximo bem denido para a ativa c ao dos neur onios. 3. Existe um mecanismo que permite que os neur onios entrem em competi c ao pelo direito de permanecerem excitados. No aprendizado competitivo entradas possuindo alguma semelhan ca tendem a excitar o mesmo neur onio na saida. Assim e que este paradigma de aprendizado pode servir para sugerir classica c oes, tal como estudado no caso do estudo do sono [21], [22], [20], [23] em que os v arios tipos de sono e ainda assunto de debate. 5.2.6 Aprendizado Refor cado
No Aprendizado Refor cado ou Reinforcement learning consiste no aprendizado atrav es do m etodo da tentativa e erro de modo a otimizar um ndice de performance chamado sinal de refor co. Este paradigma de aprendizado tem profunda motiva c ao biol ogica, em que comportamentos provocando satisfa c ao tem como consequencia um refor co das conex oes que os produziram, e
30
aqueles provocando insatisfa c ao uma modica c ao do valor das correspondentes conex oes. Um exemplo e o estudo do controle e seu aprendizado da posi c ao erecta [17]. 5.2.7 Aprendizado Aleat orio
O aprendizado e dito aleat orio quando os passos no sentido de obter o comportamento aprendido se baseiam em valores tomados aleat oriamente que s ao testados para vericar sua adequabilidade. Assim, em ess encia o aprendizado aleat orio segue os seguintes passos: Selecione os valores das conex oes sin apticas de modo aleat orio. Verique o valor da performance da rede. Provoque uma varia c ao aleat oria nas conex oes sin apticas e verique o novo valor da performance da rede. SE melhorou retenha este novo valor de conex oes. Caso contr ario escolha um crit erio para escolher noiva varia c ao. Verique se um crit erio de parada especicado inicialmente foi satisfeito e neste caso pare o aprendizado. De uma certa forma o aprendizado aleat orio coincide com o aprendizado com a Natureza, mencionado acima. 5.2.8 Aprendizado Evolutivo
Aprendizado Evolutivo e o paradigma de aprendizado que, tirando inspira c ao da evolu c ao biol ogica e capaz de modicar a topologia e os valores das conex oes sin apticas de modo a fazer uma rede se tornar apta a resolver um problema. Este assunto pode servir tanto como algoritmo de aprendizado como para determinar a topologia da rede a ser usado para resolver determinado problema [7, 38].
M aquina de Resolver Problemas
O sucesso das RNAs faz crer que um computador usando estas redes, como bloco b asico, possa resolver problemas que computadores que n ao usem esta tecnologia s ao incapazes, ou ao menos, teriam muita diculdade para resolver. Isto nos leva a um estudo comparativo de possibilidades e torna-se conveniente precisar a terminologia empregada.
6.1
Tipos de Computadores
O estudo das possibilidades de RNAs na solu c ao de problemas implica na exist encia de computadores usando estas redes. Chama-se neurocomputador um computador em que o funcionamento interno e feito por redes neurais munido de dispositivos de entrada e sa da [44], [45].
31
Por outro lado, devemos mencionar computadores que n ao usam esta tecnologia, que possuem uma ou mais unidades centrais de processamento, mem oria. Muitos destes computadores que n ao podem ser chamados de convencionais por inclu rem alto grau de sostica c ao t em em comum o fato que seu funcionamento se baseia no conceito de instru c ao. Por esta raz ao eles ser ao chamados de Computadores Baseados em Instru c oes ou CBI como proposto em [5]. Em alguns casos pode ser conveniente usar simultaneamente as duas tecnologias tendo-se ent ao um computador h brido.
6.2
Teoria de Problemas
Informalmente pode-se dizer que IA serve para resolver problemas, imitando de uma certa forma a intelig encia dos seres vivos (geralmente seres humanos). Mas o que e um problema? [6]. A palavra problema e t ao familiar que pode at e parecer estranho perguntar sobre seu signicado. Durante muito tempo se tratou de problemas, achou-se a solu c ao de muitos, provouse que existem ou n ao solu c ao para muitos problemas, e muitos ainda desaam a ci encia. Polya [74] sugere que antes de tentar buscar a solu c ao de um problema procure-se responder as seguintes perguntas: Quais s ao os dados? Quais s ao as solu c oes poss veis? O que caracteriza uma solu c ao satisfat oria? Estas perguntas podem ser tomadas como guia para formalizar a no c ao de problema [86]: Deni c ao 15 Um problema e o objeto matem atico P = {D, R, q }, consistindo de dois conjuntos n ao vazios, D os dados e R os resultados poss veis e de uma rela c ao bin aria q D R, a condi c ao, que caracteriza uma solu ca o satisfat oria. Para ilustrar este conceito seja o caso de encontrar as raizes de um polin omio com coecientes reais. Achar a solu c ao do problema da busca das ra zes de um polin omio com coecientes reais consiste em associar a cada conjunto de coecientes de um polin omio particular p(x)) de grau n, n n umeros complexos cn de modo a satisfazer a condi c ao de que o valor de p(x) fazendo x = cn para todo n seja nulo. Dene-se ent ao a solu c ao de um problema como a fun c ao f : D R, tal que d D tem-se (d, f (d)) q . O conceito de problema apresentado se refere a problemas em geral e n ao a exemplos es5 pec cos de problemas. Por exemplo achar as raizes do polin omio 2x + 3x2 + 3 e um caso particular do problema de achar ra zes de um polin omio de coecientes reais. Como a solu c ao a um problema e uma fun c ao, se for poss vel implementar esta fun c ao tem-se a solu c ao do problema. Este fato leva, na abordagem simb olica, ` a programa c ao funcional e ea base da abordagem conexionista.
32
Com efeito, suponha-se implementada uma m aquina abstrata tendo como primitivas um 10 conjunto bem escolhido de fun c oes, al em de um mecanismo de constru c ao de novas fun c oes (recursividade seria um destes mecanismos). A fun c ao solu c ao do problema poderia ser implementada em tal m aquina, e esta solu c ao estaria usando o paradigma funcional de programa c ao. Por outro lado, a abordagem conexionista e fundamentada no fato de que redes neurais, e em particular, redes diretas podem ser consideradas como aproximadores universais de fun c oes [18]. Desta forma, basta criar uma rede direta, sucientemente rica e trein a-la para representar a fun c ao.
6.3
O Computador na Resolu c ao de Problemas
O computador pode ser considerado como m aquina de resolver problemas, logo, e natural imaginar que tanto a possibilidade de resolver um problema espec co, como quanto vai ser gasto em recursos na tarefa, dependem da m aquina usada. Ao fato de que um problema possa ser resolvido com recursos nitos chama-se computabilidade [53] e a quantidade de recursos envolvidos complexidade. Fala-se tamb em em computabilidade pr atica; por exemplo, um problema que requeira um tempo de 100 anos do mais r apido computador dispon vel n ao e praticamente comput avel. Para estudar se em um CBI e em um neurocomputador um problema e comput avel e qual a complexidade da solu c ao, e necess ario explicitar como um neurocomputador e um CBI enfrentam a tarefa de resolver problemas. Em ambos pode-se distinguir os tr es pontos seguintes: a)-Em um CBI tem-se: 1 - o computador virtual (circuitos e programas), 2 - o ato de fazer o computador apto a resolver um problema espec co (carregar o programa no computador), 3 - resolver o problema (rodar o programa). b)-Em um neurocomputador tem-se: 1 - a rede de neur onios com entradas e sa das (simulado ou materialmente implementado), 2 - um meio de xar os pesos das conex oes, muitas vezes usando um algor tmo de aprendizagem (equivalente a carregar o programa), 3 - usar a rede j a educada para resolver o problema com os dados a serem usados na entrada da rede (equivalente a rodar o programa). A computabilidade de um problema depende dos pontos 1 e 2. Com efeito, a possibilidade de resolver um problema depende do apoio material que se disp oe e se existe um programa (caso de
A express ao bem escohido equivale, de modo informal a dizer satisfazendo ` as seguintes condi c oes: e enumerar as condi c oes necess arias para que a arma c ao que se segue seja v alida.
10
33
um CBI) ou se existe um conjunto de pesos de conex oes (caso de um neurocomputador) capaz de resolver o problema. Por outro lado a complexidade do problema depende do ponto 3, ou seja rodar o programa ou excitar a rede com os dados a serem usados. Se existe uma teoria de computabilidade e complexidade bem desenvolvida, esta teoria e voltada para os CBI. Com rela c ao aos neurocomputadores existem apenas resultados isolados.
6.4
Equival encia de Computabilidade
A Tese de Church-Turing diz que todo problema comput avel pode ser resolvido por m aquina de Turing. Se as redes neurais s ao ou n ao equivalentes a uma m aquina de Turing e em conseq u encia s ao capazes de resolver qualquer problema comput avel e apenas eles, tem despertado grande interesse recentemente. Visto a luz dos trabalhos publicados por Arbib [2], [3] pode-se dizer que em termos de computabilidade CBI e neurocomputadores s ao equivalentes. Isso quer dizer que um neurocomputador n ao sabe resolver nenhum problema que n ao pudesse ser resolvido com um CBI e vice versa. Esta arma c ao pode ser descrita mais precisamente por dois teoremas. Theorema 1 Todo problema que pode ser resolvido por uma rede neural poder a ser resolvido, com a precis ao que se desejar, por um CBI. A prova deste resultado e f acil [2, 3]. Com efeito, sabe-se que toda RNA pode ser simulada em um CBI, geralmente usando um programa que efetua multiplica c oes matriciais, implementa fun c oes, etc. E isto com a precis ao desejada. Usando esta simula c ao e os dispositivos de entrada e sa da do CBI tem-se um neurocomputador (simulado). Ora todo problema que este neurocomputador resolve est a na realidade sendo resolvido por um CBI, que e a m aquina hospedeira da simula c ao. Assim, pode-se dizer que todo problema resolvido por um neurocomputador pode ser resolvido por um CBI. A rec proca deste teorema e: Theorema 2 Todo problema que pode ser resolvido por um CBI poder a ser resolvido, por uma RNA munida de convenientes dispositivos de entrada e sa da. Com efeito, usando neur onios articiais (e dos mais simples, aqueles que possuem apenas sa das bin arias) e poss vel construir os circuitos l ogicos e, ou e n ao al em de circuitos biest aveis. Com efeito, a gura 5 mostra como implementar estes circuitos b asicos. O primeiro, implementando um circuito n ao consiste em um neur onio com entrada feita atrav es de uma conex ao inibit oria, de valor sin aptico unit ario. O neur onio e, como em todos os tr es considerados na gura, denido por:
34
NO u1 0,5 u -1 y 0,5 u2
E u1 0,5 y 0,5 u2
OU y
Bias = 0,6
Bias = 0,4
, E. OU implementados com neur Figura 5: Circuitos NAO onios articiais. - entrada do neur onio uT : soma dos produtos das excita c oes u pelos valores das conex oes sin apticas; - uma entrada auxiliar, chamada bias que e usada para alterar a fun c ao de sa da do neur onio; - neur onio est atico, isto e, a sa da ocorre no mesmo instante que ocorre a entrada (o tempo entre estes dois eventos e muito pequeno); - a sa da e obtida considerando a fun c ao de sa da do neur onio, dada pela express ao abaixo onde uT leva em considera c ao o bias: se uT < 0 ent ao y = 0 sen ao y = 1 Com estes circuitos pode-se construir um CBI [32] usando t ecnicas que os engenheiros de microeletr onica conhecem e juntando-se dispositivos de entrada e sa da. Ora, seja um CBI, assim constru do, programado para resolver um problema espec co. Este problema estar a sendo resolvido por um conjunto de neur onios articiais ligados de um certo modo, logo por uma RNA. Logo, pode-se concluir que todo problema que pode ser resolvido por um CBI pode ser resolvido por um neurocomputador. Desta forma ca provada, de modo intuitivo, a equival encia dos CBI e neurocomputadores em termos de computabilidade. Prova formal foi apresentada em [66] para o caso de neur onios com dois estados.
35
6.5
Pontos de D uvida
Para concluir esta discuss ao sobre a equival encia de redes neurais articiais (RNA) e m aquina de Turing, e conveniente apresentar argumentos que mostram que esta equival encia e apenas aproximada. Existem RNAs cujos valores de ativa c ao, sa da e entradas s ao elementos de um intervalo dos n umeros reais. Portanto a cardinalidade destes conjuntos e 1 , ou seja a cardinalidade do cont nuo. Por outro lado, no caso da m aquina de Turing, tem-se cardinalidades nitas, ou seja, conjuntos enumer aveis (mem oria interna t ao grande quanto se deseje) sendo a cardinalidade no m aximo 0 , ou seja a cardinalidade dos inteiros. Ora, como as cardinalidades s ao diferentes, n ao existe bije c ao entre estes conjuntos, sendo as RNAs mais ricas que a m aquina de Turing. Uma RNA pode ser simulada em m aquina de Turing levando em considera c ao uma certa aproxima c ao. No caso de neur onios naturais (ou biol ogicos), formadores das redes neurais naturais (RNN) ou redes neurais biol ogicas (RNB), a observa c ao referente ` a diferen ca de cardinalidades deixa de ser v alida. Com efeito, a transmiss ao de informa c ao sin aptica se faz por mol eculas de neurotransmissores e, portanto, e quantizada, tendo cardinalidade nita ou no m aximo 0 . Resta a d uvida com rela c ao ao conjunto de excita c oes poss veis: ser a que a frequ encia de descarga dos neur onios pode variar continuamente, ou dar a saltos entre frequ encias pr oximas? A maior parte das RNAs com que se trabalha, s ao redes s ncronas. Ora, se isto e semelhante 11 aos CBI que trabalham sincronizados por um rel ogio tal n ao ocorre com as RNN em que o funcionamento e ass ncrono. Destas observa c oes pode-se tirar v arias conclus oes, dentre as quais os teoremas e o corol ario que existem redes neurais que n ao podem ser implementadas em CBI. Consequentemente existem problemas que podem ser resolvidos por neurocomputadores que n ao podem ser resolvidos pela M aquina de Turing. O fato de uma rede neural suave poder ser aproximada com a precis ao desejada por uma outra rede discreta, leva a denir uma equival encia em termos de computabilidade pr atica, dois computadores sendo equivalentes, s ao capazes de resolver os mesmos problemas. Entretanto, em termos de computabilidade pr atica, neurocomputadores e CBI s ao equivalentes.
6.6
N ao Equival encia de Complexidade
Nas se c oes precedentes foi discutido o problema de computabilidade de CBI e neurocomputadores chegando-se a uma equival encia pr atica em termos de computabilidade. E em termos de complexidade?
11
Claro que em computa c ao distribu da tal n ao e verdade.
36
Embora pouco seja conhecido sobre complexidade quando se usa um neurocomputador, sabese que em termos de complexidade as coisas s ao diferentes em termos de CBI e neurocomputadores. Para ver que as coisas s ao diferentes basta considerar um exemplo simples. Seja o caso de um circuito implementando uma RNA direta s ncrona com tr es camadas. Suponha-se ainda que ela foi treinada para associar padr oes (por exemplo um sistema especialista de diagn ostico associando sintomas aos correspondentes diagn osticos). Como n ao h a realimenta c oes, o tempo para a rede dar uma resposta e sempre o mesmo: tr es ciclos de rel ogio! E isso para qualquer n umero de sintomas e doen cas. Ora, este resultado e completamente diferente se for usado um CBI. Por exemplo, se for usado Prolog, o tamanho da arvore de busca aumenta com o n umero de sintomas e diagn osticos. Poderse-ia retrucar que no caso do neurocomputador, para muitos sintomas/diagn osticos poss veis o tamanho da rede aumenta, e isto e verdade ao menos em parte. Porque se uma rede maior pode fazer crer em um resultado mais preciso daquele que obt em se for usada uma rede menor, n ao se sabe ainda ao certo qual o tamanho da rede ideal para resolver um dado problema. Al em disto, esta arma c ao sobre precis ao e baseada em resultados anteriores e pode ser considerada como uma heur stica. Existem muito poucos estudos sobre complexidade de problemas voltada para a solu c ao por neurocomputadores. Note-se que n ao se trata de falar da complexidade de problemas ligados ` as RNA, tais como a complexidade de um algoritmo de aprendizado de redes. A complexidade a que o presente estudo se refere e a quantidade de recursos em termos de RNA necess arios para poder resolver um determinado problema, eventualmente considerando-se uma certa precis ao. Estes recursos incluem o tipo de rede a ser escolhido, a topologia da rede, etc. Um estudo que se tornou famoso foi o apresentado por Minsky e Papert em 1969 [71], [72] e que desviou a maioria das pesquisas de redes neurais para pesquisas em IA usando manipula c ao simb olica. Al em deste trabalho, que pode ser considerado o primeiro grande passo na dire c ao de uma teoria da complexidade voltada para RNA, alguns outros trabalhos isolados t em aparecido. Para exemplos, ver as refer encias que se seguem: [1], [67].
6.7
Alguns Resultados Sobre Complexidade de RNA
A complexidade das RNA diz respeito a dois pontos: 1. Dado um problema, denir a topologia da rede necess aria para sua solu c ao. Por exemplo, se a rede deve agir como modelo de um sistema de controle adaptativo, e a entrada da rede e a sa da do processo, ser a poss vel usar uma rede direta? 2. Dado um problema que pode ser resolvido por uma determinada topologia de RNA, e uma precis ao desejada, qual a tamanho m nimo da rede que deve ser usada?
37
Alguns teoremas com rela c ao ` a complexidade das RNAs foram apresentados em [7] que permitem sugerir uma classica c ao baseada em separabilidade e din amica. 1. Problemas est aticos linearmente separ aveis. Trata-se de problemas envolvendo a implementa c ao de uma fun c ao (por ser um problema est atico) e que podem ser resolvidos por um perceptron de uma camada de conex oes. 2. Problemas est aticos linearmente n ao separ aveis. Trata-se de problemas envolvendo a implementa c ao de uma fun c ao (por ser um problema est atico) e que podem ser resolvidos por uma rede direta, com neur onios est aticos, exigindo ao menos uma camada de neur onios internos. 3. Problemas din amicos com din amica nita. Os problemas com din amica nita s ao aqueles que a dura c ao da resposta do sistema ap os uma entrada dura um tempo nito. Um exemplo s ao os ltros FIR (Finite Impulse Response). Estes problemas pode ser resolvidos por rede direta com neur onios din amicos. 4. Problemas din amicos com din amica innita. Os problemas com din amica innita s ao aqueles que a dura c ao da resposta do sistema ap os uma entrada pode durar um tempo innito. Um exemplo s ao os ltros IIR (Innite Impulse Response). Estes problemas devem ser abordados por rede com retroa c ao e com neur onios ou rede est atica e conjunto de retardos. Neste caso o problema da estabilidade da rede, ou seja se a rede encontrar a ou n ao solu c ao e quanto tempo ser a necess ario e problema em aberto.
6.8
Aprendizado de RNA como Paradigma de Programa c ao
Ser a que a diferen ca em complexidade justica esfor cos para construir neurocomputadores? A resposta pode ser encontrada no modo de fazer neurocomputadores aptos a resolver problemas. O ato de fazer um CBI apto para resolver um problema e bem conhecido como a atividade de programar. Programar pode ser considerado como o ato de descrever um algoritmo ou como meio de se comunicar com o computador. Como modo de descrever um algoritmo ca impr oprio falar em programar um neurocomputador, mas n ao se for considerado como o modo de se comunicar com ele. Assim considere-se o conceito de programar de um modo mais amplo que seja aplic avel tamb em aos neurocomputadores. Ora, neurocomputadores se preparam para resolver problemas ajustando os valores das conex oes sin apticas entre seus neur onios, o que pode ser feito essencialmente de dois modos: Colocando diretamente os valores como uma representa c ao do conhecimento com sugerido no livro de exerc cios da s erie PDP [82], exemplo das gangs Jets e Sharks e que foi
38
modicado para uso em sistemas especialistas conexionistas com sucesso [25], [15], [13], [11]. Usando um algoritmo de aprendizagem [46]. Mas se isso e tamb em programar, que paradigma de programa c ao ser a este? E costume mencionar v arios diferentes paradigmas de programa c ao: imperativa, funcional, l ogica, declarativa, orientada a objeto, etc. Estes paradigmas n ao s ao excludentes, existindo, por exemplo, funcional orientada objeto, imperativa com parte declarativa, etc. Entretanto, considerando a proximidade com o funcionamento de um CBI pode-se falar em imperativa e declarativa. Na programa c ao imperativa se especicam as a c oes que o computador deve efetuar para resolver determinado problema. Na programa c ao declarativa declara-se o que deve ser uma solu c ao para o problema e cabe ao computador transformar esta deni c ao do problema em instru c oes imperativas a serem executadas. Por exemplo, um interpretador Prolog recebe um programa Prolog em estilo quase declarativo e o transforma, usando entre outras coisas o Princ pio da Resolu c ao proposto por Robinson [75] em um programa imperativo. E programar um neurocomputador? Isso pode ser considerado como um novo paradigma de programa c ao, em que n ao e mais necess ario nem denir o algor tmo nem denir o problema precisamente. Basta introduzir no computador rela c oes entre conceitos ou usar exemplos de problemas parecidos j a resolvidos para serem usados na fase de aprendizado. A RNA, usando sua capacidade de generaliza c ao se torna capaz de resolver o problema desejado. At e o presente momento n ao se conhece teoria permitindo associar a precis ao da solu c ao a esta capacidade de generaliza c ao, o problema tendo sido abordado de modo experimental, usando simula c ao [76], [77].
6.9
Um Pouco de Fic c ao
Uma discuss ao de neurocomputadores e computadores h bridos motiva especula c oes. Quem n ao gostaria de um rob o dom estico? Poderia limpar a casa, por a mesa, por a lou ca na m aquina, trazer os chinelos depois de abrir a porta para seu mestre, e com as capacidades neurais de aprender e se adaptar a novas manias do mestre. Mas ele deveria aceitar programa c ao declarativa tamb em para que se pudesse colocar, por exemplo, as leis da rob otica inventadas por Azimov... e nunca fazer mal a um ser humano.
Aplica co es das RNAs
Atualmente as aplica c oes das RNAs est ao invadindo todos os dom nios, saindo das primeiras em reconhecimento de padr oes, para ir a distribui c ao de energia el etrica, mercado de capitais,
39
aplica c oes navais, sistemas especialistas, etc. Neste cap tulo ser ao abordadas algumas destas aplica c oes.
7.1
7.1.1
Reconhecimento de Padr oes

Em que Consiste o Reconhecimento de Padr oes
Reconhecimento de padr oes e talvez uma das primeiras aplica c oes de redes neurais. Com efeito, o Perceptron de Rosenblatt [78, 79] foi concebido principalmente como instrumento capaz de reconhecer letras. A principal raz ao e que reconhecimento de padr oes e uma tarefa geralmente desempenhada muito melhor usando as capacidades cognitivas do homem do que executando um algor tmo. Por exemplo, seres humanos s ao excelentes no reconhecimento de rostos, m usicas, a caligraa de alguem conhecido, etc. C aes s ao excelente em reconhecer odores e gatos s ao capazes de sentir o humor de pessoas fugindo daquelas que exprimem caracter sticas agressivas. Isso pode ser atribu do a um sistema bastante desenvolvido de reconhecimento de padr oes. Por outro lado os esfor cos para fazer computadores baseados no conceito de instru c ao tem encontrado s erias diculdades. 7.1.2 Reconhecimento de Padr oes como Classicador
A gura 6 representa esquematicamente um reconhecedor de padr oes. O transdutor e munido de um sensor que traduz a forma de energia suporte de informa c ao sobre o objeto (ex: foto-el etrica ou c elulas da retina se informa c ao visual, termina c oes nervosas do ouvido interno ou microfone se informa c ao sonora) e traduz esta forma de energia para outra capaz de ser processada (neurotransmissores e sinais el etricos de sistema biol ogico ou el etricos de circuitos articiais). O processamento inclui geralmente uma primeira fase em que atributo relevantes s ao selecionados para processamento e este processamento age como uma fun c ao, associando ao valor de um conjunto de atributos relevantes um elemento de um conjunto de padr oes poss veis, o qual e apresentado como resposta do classicador. O processamento de sinais visuais tem grande import ancia na implementa c ao de rob os aut omos e requerem um processamento macisso. Devido a isto esta tem side desde algum tmpo a pricipal motivadora da implementa c ao de RNAs em pastilhas de silicio usando tecnologia VLSI [70]. O paradigma mais comum de aprendizado no caso do reconhecimento de padr oes e o supervisionado, associado a uma rede direta multi-camadas. Devido a sua disponibilidade, a regra da retro-propaga c ao e frequentemente usada bem como suas variantes. Entretanto bons resultados s ao obtidos tamb em com o aprendizado competitivo tipo redes de Kohonen. Este u ltimo e principalmente interessante quando n ao se sabe quantas classes poss veis existem a identicar o que n ao e o caso do reconhecimento de padr oes.
40
Figura 6: Vis ao de um sistema de reconhecimento de padr oes. 7.1.3 7.1.4 Principais Aplica co es Reconhecimento de Caracteres
Reconhecimento de caracteres e uma aplica c ao bem sucedida de redes neurais desde o Perceptron de Rosenblatt. Muitos programas incluem alguma forma de reconhecimento de caracteres como programa de demonstra c ao. Normalmente a letra e apresentada a uma grade tal como a retina. Cada c elula da grade serve de entrada a um neur onio da rede. Neur onios de saida da rede s ao associados a letras. A camada de sa da normalmente cont em tantos neur onios quantos s ao as letras que se deseja identicar. Por exemplo para identicar todos os caracteres ASCII a rede ter a 256 neur onios. No caso apresentado, as letras s ao representadas na entrada da rede usando uma representa c ao distribu ida (a uma letra correspondem v arios neur onios ativados) e na de saida uma representa c ao localizada (a uma letra corresponde apenas um neur onio). Durante a fase de treinamento apresentam-se sucessivamente as letras ` a rede em sua forma ideal e com algumas varia c oes mais comuns. Depois de treinada, a rede identicar a, aceitando letras com maior ou menor varia c ao, as letras apresentadas. Bastante sosticado e dando resultados bastante bons, pode-se citar o neocognitron de Fukushima [34], evolu c ao do cognitron [33]. Esta rede e do tipo multi-camadas. Permite reconhecer letras independentemente de sua posi c ao e pode mesmo servir como modelo para o mecanismo biol ogico de reconhecimento de padr oes visuais [35]. Uma variante do reconhecimento de caracteres e a ltragem de caracteres. Neste caso desejase poder apresentar na entrada da rede caracteres afetados de um ruido (mal representados) e ter na sa da a mesma letra bem representada. Para este caso procede-se de modo inteiramente an alogo com a diferen ca que a representa c ao da sa da e tamb em distribu ida. O reconhecimento de caracteres foi tamb em abordado com bastante sucesso por t ecnicas baseadas em manipula c ao simb olica, mas o reconhecimento de letras em posi c oes diversas, o uso de caracteres distintos, o reconhecimento de letras manuscritas, por exemplo, continuam a ser
Redes Neurais Articiais problemas que a abordagem simb olica encontra diculdades em resolver. 7.1.5 Reconhecimento de Faces
41
Bem mais complexo que o reconhecimento de caracteres e o reconhecimento de faces. Esta aplica c ao pode, de modo an alogo ao caso de reconhecimento de caracteres, ser usado para identicar a quem pertence um rosto visto em posi c oes variadas e tamb em reconstituir um rosto visto apenas parcialmente. Finalmente os dois problemas podem ser associados no reconhecimento de um rosto apresentado parcialmente. Os trabalhos de Kohonen s ao not aveis. Por exemplo, Kohonen [55] chega a mostrar o caso de um rosto que a rede sugeriu corretamente que o rosto deveria ser de um homem de oculos! O reconhecimento de um rosto segue esquema semelhante ao do reconhecimento de uma letra. Note-se, no entanto, que geralmente o problema exige uma grade muito mais na o que aumenta consideravelmente a quantidade de neur onios da rede. O reconhecimento de faces ainda est a em fase de pesquisa. H a no entanto um campo enorme de interesse ligado a problemas de seguran ca. Problema an alogo e o da identica c ao de impress oes digitais aplica c ao tamb em em fase de pesquisa.
7.2
7.2.1
Sistemas Especialistas Conexionistas

SE Conexionistas
A IAS encontra diculdades na solu c ao de muitos problemas da vida real, devido a suas inconsist encias, excess oes e especica c oes incompletas. poss E vel identicar dois tipos de dom nios em que um SE pode atuar: articiais e naturais. Se e geralmente f acil extrair regras para implementar um SE usando a IAS em sistemas pertencentes a um dom nio articial tal como panes de motores, e bastante dif cil obter regras se o dom nio e natural conhecido como no caso de diagn ostico m edico, previs oes nanceiras, etc. Um dos primeiros a usar sistemas especialistas conexionistas for Gallant (1988) [36] que considerou uma rede direta para a partir de 6 sintomas diagnosticar duas doen cas e mostrou como e poss vel explicar o racioc nio para o caso estudado. Posteriormente Azevedo [27, 28, 26, 25] mostrou como mem orias associativas podem ser usadas em sistemas especialistas, trabalho continuado em [15, 13, 11]. Muito resta a fazer nestes dois paradigmas de implementa c ao de sistemas conexionistas. 7.2.2 SE usando Redes Diretas
Nest caso consideram-se os exemplos dispon veis para o treinamento da rede por um algoritmo de aprendizado supervisionado. Como as redes diretas s ao capazes de aproximar uma fun c ao n ao linear qualquer, e imaginando que a solu c ao do problema pode ser encontrada achando o valor da imagem de uma fun c ao, esta metodologia fornece solu c ao satisfat oria.
Redes Neurais Articiais 7.2.3 SE implementados com BAM
42
Neste caso sup oe-se conhecidas explicitamente as rela c oes entre sintomas e diagn osticos, tal como usual em um sistema especialista usando a IAS. Ora, e tamb em poss vel incorporar exemplos. Seja o caso de um diagn ostico m edico. Inicialmente os conceitos s ao organizados em conjuntos de conceitos semelhantes: doen cas, diagn osticos e pacientes.
Pacientes
Sintomas
Doenas
Figura 7: Conjuntos de doen cas, diagn osticos e pacientes. A cada conjunto de conceitos corresponde um cluster de neur onios. As conex oes entre objetos s ao colocadas representando o que se conhece da rela c ao entre dois objetos. Assim sabendo que um paciente apresenta um sintoma com uma certa gravidade, coloca-se a conex ao entre este paciente e o sintoma com um valor que me ca a gravidade do sintoma, ao menos subjetivamente. Esta abordagem tem de interessante: Os exemplos s ao usados para colocar pesos nas conex oes e n ao como elementos de um conjunto de treinamento. O conhecimento e localizado. O aprendizado se reduz ` a coloca c ao dos pesos. A matriz sin aptica e sim etrica. A intensidade das conex oes varia normalmente no intervalo [-1 1] representando o valor nebuloso da import ancia da rela c ao entre os dois objetos, sendo de [-1 0] para inibi c ao e de [0 1] para excita c ao.
43
Uma consulta e feita excitando neur onios representativos de conceitos conhecidos e examinando o que aparecem excitados quando a rede atingir o equil brio. Nota: Este paradigma tem sido usado em fase de prot otipo para diagn ostico em reumatologia.
7.3
7.3.1
Controle de Processos
Controle Neural
Diz-se que um sistema de controle e neural quando se usa de alguma forma uma rede neural como parte do controlador. Atualmente esse assunto tem interessado largamente a pesquisa, principalmente no caso em que o modelo do processo a controlar n ao e dispon vel e se deseja usar as capacidades de aprendizado das RNA para obter a solu c ao do problema. Para uma introdu c ao ao assunto aplicada a problemas de rob otica ver [12]. 7.3.2 Topologias de Controle
Aqui se apresentam as topologias de controle mais comuns: malha aberta, realimenta c ao, e modelo interno, com coment arios de como uma RNA pode ser usada. 7.3.3 Malha Aberta
Trata-se da topologia mais simples poss vel. A nalidade e usada como entrada do sistema controlado e, se o controlador e escolhido como uma aproxima c ao do modelo inverso do processo a controlar, a sa da ser a uma aproxima c ao da nalidade. Controle a malha aberta tem, geralmente, um funcionamento pobre, pois caso apare ca uma perturba c ao no processo, o controlador n ao tem acesso a esta informa c ao e n ao corrigir a o processo. Alem disso toda imperfei c ao na implementa c ao do modelo inverso se reetir a na saida do processo. Uma das v arias maneiras de treinar uma RNA para representar o modelo inverso e fazer v arios ensaios com o processo a controlar obtendo pares entrada/sa da. Depois usar estes pares como exemplos. Neste ponto conv em uma observa c ao da maior import ancia, que, por sinal e frequentemente esquecida. Talvez a topologia de RNA mais utilizada seja a rede direta multi-camadas. Ora, se e bem sabido que esta rede pode ser treinada para aproximar uma fun c ao qualquer com uma precis ao que depende do n umero de neur onios e topologia da rede, o processo a controlar frequentemente n ao pode ser representado por uma fun c ao! pois se trata de um sistema din amico. Logo e necess ario usar uma RNA din amica o que se obtem usando uma rede com realimenta c ao ou usando linha de retardo [25]. Al em disso, o modelo inverso de um sistema din amico real e normalmente um sistema din amico irrealiz avel e consequentemente pode ser implementado apenas aproximadamente.
Redes Neurais Articiais 7.3.4 Controle com Retroa c ao
44
A mais simples topologia permitindo o controlador sentir os efeitos de uma perturba c ao e usar a retroa c ao. Os dois modos principais de empregar uma RNA em um controle usando esta topologia e como controlador e como supervisor do controlador. Uma RNA pode ser usada diretamente na implementa c ao do controlador. Usa-se um controlador para o processo durante algum tempo e registram-se suas rea c oes formando um conjunto de treinamento. Depois de treinada uma rede neural com esse conjunto de treinamento, a RNA substitui o controlador. Como supervisor. Nesse caso essencialmente usa-se um controlador convencional e a RNA e usada para ajustar os par ametros do controlador. Um tipo de controlador muito comum e o conhecido PID. Redes neurais podem ser usadas para implementar o comportamento de um PID mas podem tamb em ser usadas para ajustar os pesos do PID. Esta op c ao tem a vantagem de deixar o sistema funcionar do modo que vinha funcionando e a RNA vem apenas melhorar o funcionamento global. 7.3.5 Modelos Internos
Esta topologia de controle popularizada pelo livro de Morari & Zariou [63] tem grande motiva c ao biol ogica. Com efeito, sup oe-se que muitos seres vivos constroem um modelo mental de seus corpos e do ambiente que os cerca. Baseado nestes modelos e por simula c oes mentais, ele decide que a c oes deve realizar. Por exemplo, um cavalo tem o modelo de seu corpo e visualizando o ambiente que o cerca pode decidir passar por uma porta com grande tristeza para o cavaleiro que n ao estando incluido neste modelo se arrisca a car dependurado na bandeira da porta... Nesta topologia um modelo do processo recebe o mesmo sinal atuante que o processo e suas respostas s ao comparadas. Se existe diferen ca entre as respostas do modelo e do processo, podese atribuir que houve uma perturba c ao. Ent ao esta diferen ca e realimentada para produzir um sinal de controle que corrija os efeitos da perturba c ao. Esta topologia de controle pode ser implementada por uma RNA e treinada diretamente com sinais excita c ao e resposta do processo. Deve-se, no entanto, lembrar que esta estrutura e aplic avel somente no caso de processos est aveis ou que tenham sido previamente estabilizados. Com efeito, em aus encia de perturba c ao, se o modelo for perfeito, o sistema funciona a malha aberta. Portanto, se o processo a controlar for inst avel, o processo controlado tamb em o ser a.
45
7.4
S eries Temporais
Uma aplica c ao de RNAs ` a s eries temporais bastante u til e` a previs ao de mercado de capitais. Neste caso, usa-se uma rede direta que e treinada com valores de uma s erie temporal que ocorreram em um determinado intervalo de tempo e com saida como sendo um valor futuro da s erie. Assim sejam os valores de uma s erie temporal dados por: u0 , u1 , u3 , ..., uk3 , uk2 , uk1 , uk Usa-se como entrada da rede a sequ encia: ukp , ukp+1 , ukp+2 ...uk3 , uk2 , uk1 E para saida da rede, durante o treinamento: uk+q Para q = 0 a rede vai aprender a estimar o pr oximo valor de uma s erie temporal a partir de uma sequ encia de p valores anteriores. Para outros valores de q valores futuros da s erie ser ao estimados. E claro que a estima c ao ser a tanto melhor quanto mais correlacionados forem os valores da s erie, e tamb em quanto melhor tenha sido o treinamento. Para gerar v arios conjuntos de treinamento costuma-se observar o fen omeno durante um intervalo de tempo bem maior do que o que ser a usado no treinamento, podendo com isto usar v arios pares de valores para o treinamento. S eries temporais tem sido usadas em v arios tipos diferentes de aplica c oes, indo desde mercado de capitais at e previs oes meteorol ogicas.
7.5
Monitoramento
Redes neurais podem ser muito u teis em monitoramento se explorada a capacidade de uma rede direta ter resposta praticamente imediata e esta solu c ao deve ser cogitada em casos onde a rapidez de resposta e fator primordial. Um exemplo e o da dete c ao de vibra c oes em um reator nuclear, como no caso concreto de centrais nucleares na B elgica [14]. Vibra c oes em uma instala c ao nuclear em frequ encias pr oximas das frequ encias de resson ancia de partes importantes da instala c ao podem ter resultados catastr ocos. Elas devem ser detetadas urgentemente, antes que sua amplitude chegue a valores cr ticos. Em muitas instala c oes costuma-se periodicamente fazer inspe c oes que consistem muitas v ezes em registrar o ruido neutr onico. Supondo que este ruido e branco, qualquer altera c ao no espectro de frequ encia deste ruido registrado e indica c ao que existe uma vibra c ao neste frequ encia. Havendo uma vibra c ao do n ucleo pode-se esperar que esta vibra c ao se traduz por uma varia c ao na espessura da prote c ao entre o n ucleo e o captor. Isto faz variar a absor c ao de neutrons modulando o ruido neutr onico que deixa de se apresentar como ruido branco. A id eia foi colocar
46
uma RNA, treinada a detetar o espectro de frequ encia de um sinal, solu c ao que deu perfeita satisfa c ao.
Implementa c ao
Pessoas ligadas ` as ci encias da computa c ao est ao t ao habituadas ` a id eia de uma CPU executando instru c oes sobre dados escritos e escrevendo resultados na mem oria que chegam a ter a id eia de que isto e natural e a u nica op c ao em computa c ao. A Natureza usa paradigma diferente para resolver problemas. Assim, sendo as RNA inspiradas na Natureza, e natural que sua implementa c ao siga uma abordagem diferente. Essencialmente as implementa c oes de RNAs podem ser feitas de tres modos distintos: 1. Simula c ao da RNA em um IBC atrav es de t ecnicas de simula c ao. 2. Implementa c ao por circuitos. (a) Simula c ao com uso de circuitos especializados, tais como co-processadores. (b) Implementa c ao direta em circuitos. Neste caso os circuitos podem ser digitais ou anal ogicos.
8.1
Simula c ao de RNA
Um programa de simula c ao deve ter as seguintes caracter sticas: Capacidade de representar o sistema a simular. No caso da simula c ao de uma rede neural, e necess ario dispor de ferramentas para representar a rede, os valores das conex oes sin apticas e implementar algor tmos de aprendizado. Essencialmente necessitase implementar multiplica c ao matricial e uma fun c ao n ao linear. Capacidade de representar a experi encia de simula c ao. Inclui-se a a interface, possibilidade de funcionamento aut onomo, etc. Essencialmente pode-se usar: Linguagens de uso geral tais como Lisp, C, Oberon, estas duas u ltimas com facilidades de programa c ao objeto, o que tem interessado os pesquisadores da area ultimamente. Linguagens de simula c ao que podem ser divididas em: linguagens de modelagem linguagens de simula c ao no sentido restrito.
47
Duas linguagens de simula c ao populares s ao Matlab e DESIRE/NEUNET desenvolvido por Granino Korn [57]. Programas de simula c ao no sentido restrito. Estes programas geralmente apresentam interface amig avel, havendo muitos deles de dom nio p ublico e que s ao acess veis pela Internet. Exemplos s ao os do grupo PDP, Macbrain, Mactivation, NeuralWare.
8.2
Implementa c oes por Circuitos
Implementar RNAs por simula c ao e um modo limitado por raz oes de performance. As tecnologias emergentes tem colaborado em muito para implementa c ao de RNAs. Isto est a bem evidente na u ltima d ecada quando os enormes avan cos de tecnologia VLSI tem estimulado pesquisas em implementa c ao em escala de uso industrial. Essencialmente existem tres modos de implementar uma RNA como circuito aut onomo: 1. Emula c ao por circuitos tais como co-processadores [68, 88] 2. Como Neurocomputadores incluindo estruturas especializadas em representar RNA e dispositivos de entrada e sa da [68] 3. Circuitos dedicados [49, 69]. 8.2.1 Implementa c ao da Sin apse
Essencialmente a sin apse em uma RNA pode ser vista como um componente armazenando um coeciente (valor da conex ao sin aptica) e cuja fun c ao e multiplicar este valor pelo valor da entrada dando sua saida. A sin apse e portanto um multiplicador. Em una RNA totalmente interconectada com n neur onios, n2 sin apses s ao necess arias. Em uma rede direta com p camadas, possuindo ni neur onios na camada i, o n umero de sin apses Sr ser a: Sr = n1n2 + n2 n3 + ...ni ni+1 ... + np1 np = i=1 ni1 ni Como o n umero de sin apses e maior do que o n umero de neur onios, sua implementa c ao e crucial na constru c ao das RNAs. 8.2.2 Implementa c ao do Neur onio
p
O neur onio pode ser dividido em dois circuitos o primeiro implementa a opera c ao de conu encia das entradas ponderadas pelos valores sin apticos. O segundo calcula a saida do neur onio.
Redes Neurais Articiais 8.2.3 Implementa c ao do Aprendizado
48
A diculdade na implementa c ao de um algoritmo de aprendizado depende se e usada apenas informa c oes locais ou n ao. No caso de usar apenas informa c oes locais necessita-se de sub-circuitos com duas entradas, que s ao a excita c ao dos dois neur onios ligados pela sin apse. A saida e usada para atualizar o valor da sin apse. No caso de um algoritmo n ao local s ao necess arias q entradas, onde q e o n umero de sinais de que depende o algoritmo. A gura 8 mostra uma RNA direta por camadas usando um algoritmo n ao local. V e-se que a sin apse w13 para ser alterada usa algoritmo de aprendizado representado na gura pelo bloco L, o qual tem como entradas os valores das saidas yi e das saidas desejadas Yid como em um algoritmo de aprendizagem supervisionada.
L w 13 u1 N1 N3 w23 y1 y 1d y 2d N2 w14 N4 w
24
u2
y2
Figura 8: Rede com aprendizado n ao local. Portanto os algoritmos que usam informa c ao n ao local exigem um maior grau de complexidade de implementa c ao. [49]. Muitas RNAs possuem um conjunto de neur onios que competem uns com os outros, de tal forma que a saida de todos menos um se mantem pequena [19]. Isto exige tamb em um circuito com m ultiplas entradas, as excita c oes dos neur onios que est ao competindo. 8.2.4 Implementa c oes Digitais versus Anal ogicas
Em uma implementa c ao anal ogica tanto ui entrada de neur onios quanto wji valores sin apticos tem valores em um segmento dos n umeros reais que podem ser calculados usando a Lei de Ohm e a saida e uma corrente e a soma pode ser feita gra cas ` a Lei de Kirchho das correntes. A corrente resultante e em seguida convertida para tens ao, entrada de operador n ao linear para dar a saida do neur onio. O c alculo e verdadeiramente em paralelo. Quando a implementa c ao e digital, ent ao o c alculo vai requerer um grande n umero de multiplicadores e acumuladores, correspondendo a todos os neur onios da rede o que torna pouco real stica tal solu c ao. Entretanto solu c oes parcialmente digitais s ao poss veis em alguns casos.
Redes Neurais Articiais A tabela que se segue apresenta uma compara c ao das duas tecnologias. Implementa c ao Digital versus Anal ogica ANALOGICA DIGITAL Requer muito conhecimento Ferramentas de CAD12 n ao s ao comuns Dif ceis de testar Sens veis ao ruido Densidade funcional elevada F acil implementa c ao de n ao linearidades Regras de aprendizado local Pr oxima da realidade biol ogica
49
Requer menos conhecimento Ferramentas de CAD s ao comuns F aceis de testar Boa rejei c ao ao ruido Baixa densidade funcional Dif cil implementa c ao de n ao linearidades Regras de aprendizado de dif cil implementa c ao Diferente da realidade biol ogica
Ep logo
Uma palavra nal adequada seria que o campo das RNAs e vasto. Aqui procurou-se dar ao leitor uma vis ao geral do assunto. Acredita-se que as RNAs vieram para car. Mas redes neurais constituem um assunto novo e velho de pesquisa. Como todo assunto velho trata-se de assunto maduro com muitos anos de pesquisa apoiando os conhecimentos atuais. Como novo campo, serve de polo de atra c ao para prossionais de v arios dom nios distintos se transformando em assunto interdisciplinar. Com efeito: Psic ologos est ao vendo possibilidades de construir redes neurais articiais e ver aparecer
comportamentos emergentes tais como o aprendizado de novos conceitos dando uma ajuda na compreens ao dos mecanismos do aprendizado.
Neurosiologistas est ao interessados em ver as rede neurais articiais como met afora do c erebro permitindo experimenta c ao com esta met afora e melhorando o conhecimento dos mecanismos cerebrais. Cientistas cognitivos se empregam em usar as redes neurais articiais para um melhor conhecimento dos mecanismos envolvidos no processo cognitivo. Engenheiros olham redes neurais articiais como um caminho para, implementado estas redes em circuitos, ter computadores realmente paralelos e distribu dos. Muitos encontraram no aprendizado das redes neurais um campo para aplicar o que se conhece da teoria da otimiza c ao, incluindo o caso de sistemas din amicos e est aticos com algor tmos de programa c ao n ao linear. Cientistas de computa c ao encontraram um novo paradigma de programa c ao e uma arquitetura distribu da. Explorar este paradigma e um desao.
50
Leitura Complementar
Ao t ermino deste texto e conveniente citar alguns livros de interesse que podem ser consultados para um aprofundar o assunto. Para uma introdu c ao ` as bases do conexionismo, os trabalhos de Arbib [2], [3], [4], s ao claros, precisos e fazem uma ponte segura com conceitos biol ogicos. Mais populares s ao, no entanto, os livros do grupo PDP (Parallel Distributed Processing) [82], que se n ao podem ser ignorados. Recentemente Haykin [42] publicou livro did atico bastante completo sobre o assunto. Kosko [59] trata de RNA e sistemas nebulosos real cando as semelhan cas entre os dois campos de estudo. Em portugu es recomenda-se [16], [7], [60]. No Brasil existem livro traduzido e alguns bons de autores nacionais. A segunda edio do Haykin est aumentada e disponivel [52]. Existe ainda os livro de Kov acs (1996 e 1997) [60, 61] sem deixar de mencionar os de Loesch e o de Tafner e co-autores, ambos elementares [62], [85]. Mais recentemente (2000) o grupo de pesquisas do Recife produziu em cooperacc ao com S ao Carlos livro bem feito e mais profundo [30]. Ainda no mesmo ano apareceram outros livros voltados para redes neurais, dentre os quais, um, de tr es ex-doutorandos do autor do presente texto, F. M. De Azevedo, Lourdes M. Brasil e R. C. Lim ao de Oliveira, aos quais agrade co terem colocado em livro meus ensinamentos e id eias [29].
51
Refer encias
[1] Abu-Mostafa, Y. S. & Jacques, J. S. Information capacity of the Hopeld model. IEEE Tans. on Information Theory 31, 4 (July 1985), 461464. [2] Arbib, M. A. Brains, Machines and Mathematics. McGraw-Hill, 1964. [3] Arbib, M. A. Brains, Machines and Mathematics, 2 ed. Springer, 1987. [4] Arbib, M. A. The Metaphorical Brain 2: Neural Networks and Beyond. John Wiley and Sons, New York, 1989. [5] Barreto, J. M. Neural networks learnig: A new programming paradigm. In ACM International Conference: Trends and Directions in Expert Systems , Orlando, Florida, October 29 to November 3 1990, p. ?? [6] Barreto, J. M. Expert systems in biomedicine. Universidade Cat olica de Louvain, Faculdade de Medicina, Programa de Inform atica M edica, Bruxelas, 1993. [7] Barreto, J. M. Conexionismo e a resolu c ao de problemas. UFSC, Dept. de Inform atica e Estat stica, Florian opolis, maio 1996. Trabalho para concurso p ublico para Professor Titular. [8] Barreto, J. M. Redes Neurais Articiais. Texto de Curso apresentado no II-CIPEEL, Universidade Federal de Santa Catarina, Dept. de Engenharia El etrica, novembro 1996. [9] Barreto, J. M. Introdu c ao ` as redes neurais articiais. In V Escola Regional de Inform atica. Sociedade Brasileira de Computa c ao, Regional Sul, Santa Maria, Florian opolis, Maring a, 5-10/05 1997, p. 4171. [10] Barreto, J. M. Intelig encia Articial no Limiar do S eculo XXI, 3 ed. Edi c oes, Florian opolis, SC, 2001. [11] Barreto, J. M. & de Azevedo, F. M. Connectionist expert systems as medical decision aid. AI in Medicine 5, 9 (setembro 1993), 19. [12] Barreto, J. M. & de Azevedo, F. M. On the robot neural control. Relat orio t ecnico., Projeto MUCOM (Multisensory Control of Movement) do Programa ESPRIT de Pesquisa B asica, da CEE (Comiss ao Econ omica Europeia), Lab. of Neurophysiology, UCL, Bruxelas, maio 1993. [13] Barreto, J. M.; de Azevedo, F. M.; de Lima, W. C. & Epprecht, L. R. A neural network with fuzzy elements for a medical diagnosis. In LATINCON92, IEEE Latinoamerican Conference , Santiago, Chile, 1992, p. 335339.
52
[14] Barreto, J. M.; de F. M. Azevedo; de Lima, W. C. & Zanchin, C. I. Neural network identication of resonance frequencies from noise. In IX Congresso Brasileiro de Automatica , Vitoria, Brazil, setembro 14-18 1992, p. 840844. [15] Barreto, J. M.; Neyer, M. D.; Lef` evre, P. & Gorez, R. Qualitative physics versus fuzzy sets theory in modeling and control. In IECON91: IEEE International Conference on Industrial Electronics, Control and Instrumentation , Kobe, Jap ao, outubro-novembro 1991, p. 16511656. [16] Barreto, J. M.; Nievola, J. & de Lima, W. C. A student freedom of a tutor system. In MELECON96; 8th IEEE Mediterranean Electrotechnical Conference , Bari, It alia, 13-16/5 1995, IEEE, p. 10971100. [17] Barreto, J. M. & Proychev, T. Control of the standing position. Relat orio t ecnico., Projeto MUCOM (Multisensory Control of Movement) do Programa ESPRIT de Pesquisa B asica, da CEE (Comiss ao Econ omica Europeia), Lab. of Neurophysiology, UCL, Bruxelas, May 1994. [18] Bechtel, A. & Abrahamsen, A. Connectionism and the mind. Basil Blackwell, Cambridge, Massachusetts, 1991. [19] Carpenter, G. A. & Grossberg, S. A massively parallel architecture for a selforganizing neural pattern recognition machine. Computer Vision, Graphics and Image Processing 37 (1987), 54115. [20] Coimbra, A. F.; dAngelo, G.; Marino-Neto; de Azevedo, F. M. & Barreto, J. M. Use of neural networks in brain state analysis. In Neural Network Contact Group), Louvain-la-Neuve, 30/11 1994. [21] Coimbra, A. F.; DAngelo, G. G.; de Azevedo, F. M. & Jorge M. Barreto, J. M.-N. Electrographic analysis of brain states using neural networks. In World Congress on Medical Physics and Biomedical Engineering) , Rio de Janeiro, 13-16/8 1994, vol. 1, p. 463. [22] Coimbra, A. F.; Marino-Neto; Freitas, C. G.; de Azevedo, F. M. & Barreto, J. M. Automatic detection of sleep-waking states using Kohonen neural networks. In 1o Congresso Brasileiro de Redes Neurais , Escola Federal de Engenharia de Itajub a, 24-27/10 1994. [23] Coimbra, A. F.; Marino-Neto, J.; de Azevedo, F. M. & Barreto, J. M. Brain electrographic state detection using combined unsupervised and supervised neural networks. In Articial Neural Nets and Genetic Algorithms, N. C. S. e. R. A. D. W. Pearson, Ed. Springer Verlag, Viena, 1995, p. 7679.
53
[24] Darwin, C. The origin of species. Grolier Enterprises Corp., Danbury, Connecticut, 1859. [25] de Azevedo, F. M. Contribution to the Study of Neural Networks in Dynamical Expert System. Tese de Doutorado, Institut dInformatique, FUNDP, Namur, B elgica, 1993. [26] de Azevedo, F. M.; Barreto, J. M.; de Lima, W. C. & Zanchin, C. I. Teaching medical diagnosis with associative memories. In Proc. XI Systems Science International Conference , Wroclaw, Poland, setembro 22-25 1992, p. 2829. [27] de Azevedo, F. M.; Barreto, J. M.; Epprecht, E. K.; Epprecht, L. R. & de Lima, W. C. Two approaches in case-based connectionist expert systems. In AINN91 Articial Intelligence and Neural Networks , Anahaim, Calgary, julho 1991, M. H. Hanza, Ed., Acta Press, p. 1317. [28] de Azevedo, F. M.; Barreto, J. M.; Epprecht, L.; de Lima, W. C. & Zanchin, C. Neural network approach for medical diagnostic. In Mini and Microcomputers in Medicine and Health Care 91 , Anahaim, Calgary, December 1991, D. Hudson, Ed., Acta Press, p. 1618. [29] de Azevedo, F. M.; Brasil, L. M. & de Oliveira, R. C. L. Redes Neurais, 1 ed. Visual Books, Florian opolis, Sept. 2000. dua Braga, A.; Ludermir, T. B. & de Leon Ferreira de Carvalho, A. [30] de Pa C. P. Redes neurais articiais: teoria e aplica c oes. Livros T ecnicos e Cient cos Editora, 2000. [31] Falqueto, J.; de Lima, W. C.; da Silva Borges, P. S. & Barreto, J. M. The measurement of articial intelligence: an IQ for machines? In Proceedings of The International Conference on Modeling, Identication and Control , Insbruck, Austria, fevereiro 2001, IASTED. [32] Franklin, S. & Garzon, M. Neural computability. In Progress in Neural Networks, O. Omidvar, Ed. Ablex Publishing Co., New Jersey, 1991, p. 127146. [33] Fukushima, K. Cognitron: A self-organizing multilayered neural network. Biol. Cybernet. 20 (1975), 121136. [34] Fukushima, K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaected by shift in position. Biol. Cybernet. 36 (1980), 193202. [35] Fukushima, K.; Miyake, S. & Ito, T. Neocognitron: a neural network model for a mechanism of visual pattern recognition. IEEE Trans. on Systems, man, and Cybernetics 13, 5 (September/October 1983), 826834.
54
[36] Gallant, S. Connectionist expert systems. Communications of the ACM 31, 2 (1988). [37] Gallant, S. I. Neural network learning and expert systems. MIT press, Cambridge, Massachussets, 1993. [38] Garcia, R.; de Azevedo, F. M. & Barreto, J. M. Articial neural networks optimized by genetic algorithms. In EXPERSYS-95 , San Francisco, November 1995. [39] Gibson, J. E. Nonlinear Automatic Control. McGraw-Hill, Nova York, 1963. [40] Gille, J. C.; Decaulne, P. & P el egrin, M. M ethodes modernes d etudes des syst` emes asservis. Dunod, Paris, 1960. [41] Harary, F. Graph Theory. Addison-Wesley, 1971. [42] Haykin, S. Neural networks: a comprehensive foundation. IEEE Press, New York, 1994. [43] Hebb, D. O. The organization of behavior. Wiley, New York, 1949. [44] Hecht-Nielsen, R. Neurocomputing: Picking the human brain. IEEE Spectrum 25, 3 (1988), 3641. [45] Hecht-Nielsen, R. Neurocomputers. Addison-Wesley, Massachusetts, 1990. [46] Hinton, G. E. Connectionist learning procedures. Articial Intelligence 40, 1-3 (1989), 185234. [47] Hopfield, J. Neural Networks and Physical Systems with Emergent Collectives Computational Abilities. Proceedings of the National Academy of Sciences 79 (1982), 25542558. [48] Hopfield, J. Neurons with graded response have collective computational properties like those of two-state neurons. Proceedings of the National Academy of Sciences 81 (1984), 30883092. [49] Hopfield, J. The eectiveness of analog neural network hardware. Network 1, 1 (1990), 2740. [50] Hubel, D. H. The brain. vol. 1. Freeman, San Francisco, 1979, ch. 1, p. 214. [51] Janson, D. J. & Frenkel, J. Training product unit neural networks with genetic algorithms. IEEE Expert 8, 5 (1993), 2633. [52] Jaykin, S. Redes Neurais: Princ pios e Pr aticas. Bookman, 2001. [53] Kfoury, A. J.; Moll, R. N. & Arbib, M. A. A Programming Approach to Computability. Springer Verlag, 1982.
55
[54] King, P. & Mamdani, E. The application of fuzzy control systems to industrial processes. Automatica 13 (1977), 235242. [55] Kohonen, T. Self Organization and Associative Memory. Springer-Verlag, Berlin, 1987. [56] Kohonen, T. State of the art in neural computing. In IEEE First International Conference on Neural Networks , 1987, vol. 1, p. 7790. [57] Korn, G. Neural Netwoks Experiments on personal computers and workstations. MIT Press, A Bradford Book, Cambridge, Massachussets, 1992. [58] Kosko, B. Bidirectional associative memories. IEEE Trans. on Systems, Man and Cybernetics 18, 1 (1988). [59] Kosko, B. Neural Networks and Fuzzy Systems: A Dynamical Systems Approach to Machine Intelligence. Prentice-Hall, 1992. cs, Z. L. Redes neurais articiais. Edi [60] Kova c ao Acad emica, S ao Paulo, 1996. cs, Z. L. O c [61] Kova erebro e sua mente: uma introdu c ao a neuroci encia computacional. Edi c ao Acad emica, S ao Paulo, 1997. [62] Loesch, C. & Sari, S. T. Redes neurais articiais: fundamentos e modelos. FURB, Blumenau, 1996. [63] M., M. & Zafiriou, E. Robust process control. Prentice-Hall, Englewood Clis, New Jersey, 1975. [64] Mamdani, E. Application of fuzzy algorithms for control of simple dynamic plant. Proc. IEE 121, 12 (1974), 158588. [65] McCulloch, W. S. Embodiments of Mind. The MIT press, Cambridge, Massachusetts, 1965. [66] McCulloch, W. S. & Pitts, W. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics 5 (1943), 115133. [67] McEliece, R. J.; Posner, E. C.; Rodemich, E. R. & Venkatesh, S. S. The capacity of Hopeld associative memory. IEEE Trans. on Information Theory 33, 4 (July 1987), 461482. [68] Mead, C. Analog VLSI and Neural Systems. Addison- Wesley, 1989. [69] Mead, C. A. Analog VLSI Neural Systems. Addison-Wesley, 1988.
56
[70] Mead, C. A. & Mahowald, M. A. A silicon model of early visual processing. Neural Networks 1, 1 (1988). [71] Minsky, M. L. & Papert, S. A. Perceptrons: an introduction to computational geometry. The MIT Press, Massachussets, 1969. [72] Minsky, M. L. & Papert, S. A. Perceptrons: an introduction to computational geometry, 3a ed. The MIT Press, Massachussets, 1988. Impress ao modicada do original de 1969. [73] Monod, J. Le hasard et la n ecessit e. Editions du Seuil, Paris, 1970. [74] Polya, G. A Arte de Resolver Problemas. Intersci encia, Tradu c ao de How to solve it: A New Aspect of Mathematical Method, Princeton University Press, Rio de Janeiro, 1975. [75] Robinson, J. A. A machine oriented logic based on the resolution principle. J. ACM 12, 1 (1965), 2341. [76] Roisenberg, M.; Barreto, J. M. & de Azevedo, F. M. Generalization capacity in neural networks - the ballistic trajectory learning case. In II Congresso Brasileiro de Redes Neurais , Curitiba, 29/10-1/11 1995, p. 4 p aginas. [77] Roisenberg, M.; Barreto, J. M. & de Azevedo, F. M. Specialization versus generalization in neural network learning. In IEEE MELECON96 - 8th IEEE Mediterranean Electrotechnical Conference , Bari, Italy, May 1996, p. 627630. [78] Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Review 65 (1958), 386408. [79] Rosenblatt, F. Principles of Neurodynamics. Spartan Books, 1959. [80] Rumelhart, D. E.; Hinton, G. E. & McCleland, J. L. A general framework for parallel distributed processing. In Parallel distributed processing, vol 1: Foundations, D. E. Rumelhart, J. L. McClelland and the PDP group, Ed. MIT Press, Cambridge, Massachusetts, 1987, p. 4576. [81] Rumelhart, D. E.; Hinton, G. E. & Williams, R. J. Learning internal representations by error propagation. In Parallel distributed processing, vol 1: Foundations, D. E. Rumelhart, J. L. McClelland and the PDP group, Ed. MIT Press, Cambridge, Massachusetts, 1987, p. 318362. [82] Rumelhart, D. E.; McClelland, J. L. & Group, P. Parallel Distributed Processing, vol 1: Foundations. The MIT Press, 1986. [83] Shannon, C. E. & McCarty (edt.), J. Automata Studies. Princeton University Press, New Jersey, 1956.
57
[84] Shortliffe, E. H. MYCIN: a rule-based computer program for advising physicians regarding antimicrobial therapy selection. Tese de Doutorado, Stanford University, California, 1974. [85] Tafner, M. A.; de Xerez, M. & Filho, I. W. R. Redes neurais articiais: introdu c ao e princ pios de neurocomputa ca o. Editoras ECO e Editora da FURB, Blumenau, 1996. [86] Veloso, P. A. S. & Veloso, S. R. M. Problem decomposition and reduction. In Progress in Cybernetics and System Research, F. P. R. Trappl, J .Klir, Ed., vol. VIII. Hemisphere, Washington DC, 1981, p. 199203. [87] Zadeh, L. A. Fuzzy sets. Information and Control 8, 1 (January 1965), 338353. [88] Zurada, J. M. Introduction to Neural Networks. West Pub. Co., 1992.

Introducao As Redes Neurais Artificiais Apostila

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Introducao As Redes Neurais Artificiais Apostila

Загружено:

Авторское право:

Доступные форматы

Indrodu c ao ` as Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais 9 Ep logo Refer encias bibliogr acas

Redes Neurais Articiais .

Redes Neurais Articiais J. M. Barreto

Redes Neurais Articiais

Redes Neurais e Intelig encia Articial

Alguns Fatos Hist oricos das Redes Neurais

Redes Neurais Articiais

Que Esperar da IAC?

Redes Neurais Articiais

Redes Neurais Articiais Objetivo: Entender a intelig encia humana.

Redes Neurais Articiais

Fundamentos Biol ogicos

Redes Neurais Articiais

O Sistema Nervoso Descobrimento de Neur onio

Redes Neurais Articiais

Vocabul ario B asico

Modelos de Neur onios

Redes Neurais Articiais

Redes Neurais Articiais

Inspirado em Rumelhart & al. [80].

Topologias das RNAs

Redes Neurais Articiais

Redes Neurais Articiais

Redes diretas (Feedforward)

Redes Neurais Articiais

Redes com ciclos

Redes Neurais Articiais

Redes sim etricas

Redes Neurais Articiais

O que as RNAs n ao s ao!

Redes Neurais Articiais

Aquisi c ao do Conhecimento: Aprendizado

Redes Neurais Articiais

Regras de Aprendizado Conexionistas

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

M aquina de Resolver Problemas

Redes Neurais Articiais

Redes Neurais Articiais

O Computador na Resolu c ao de Problemas

Redes Neurais Articiais

Equival encia de Computabilidade

Redes Neurais Articiais

Redes Neurais Articiais

N ao Equival encia de Complexidade

Claro que em computa c ao distribu da tal n ao e verdade.

Redes Neurais Articiais

Alguns Resultados Sobre Complexidade de RNA

Redes Neurais Articiais

Aprendizado de RNA como Paradigma de Programa c ao

Redes Neurais Articiais

Aplica co es das RNAs

Redes Neurais Articiais

Reconhecimento de Padr oes

Redes Neurais Articiais

Sistemas Especialistas Conexionistas

Redes Neurais Articiais 7.2.3 SE implementados com BAM

Redes Neurais Articiais