Introdução Às Redes Neurais Artificiais - Apostila

Indroduo `s ca a Redes Neurais Articiais
Jorge M. Barreto
Laboratrio de Conexionismo e Cincias Cognitivas o e UFSC -Departamento de Informtica e de Estat a stica 88040-900 - Florianpolis - SC o
e-mail: barreto@inf.ufsc.br
4/2002 Uma verso preliminar deste texto foi apresentada na Escola de Computaao da Regio a c a Sul em 1997
Redes Neurais Articiais
Sumrio a
1 Redes Neurais e Inteligncia Articial e 1.1 Alguns Fatos Histricos das Redes Neurais . . . . . . . . . . . . . . . . . . . . . . o 1.2 Que Esperar da IAC? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Fundamentos Biolgicos o 2.1 O Sistema Nervoso . . . . . . . . . . . . 2.2 Descobrimento de Neurnio . . . . . . . o 2.2.1 Organizaao geral . . . . . . . . c 2.2.2 Potencial de Ao . . . . . . . . ca 2.2.3 Transmisso da Informaao entre a c 3 Vocabulrio Bsico a a 3.1 Modelos de Neurnios . . . . . . . o 3.1.1 Modelo de McCulloch-Pitts 3.1.2 Modelo Geral de Neurnio . o 3.2 Caracterizao de RNA . . . . . . ca 4 Topologias das RNAs 4.1 Redes diretas (Feedforward) 4.2 Redes com ciclos . . . . . . 4.3 Redes simtricas . . . . . . e 4.4 O que as RNAs no so! . . a a 6 6 7 10 11 11 11 12 13 13 13 14 14 16 17 19 20 21 22 22 23 23 23 24 24 24 25 27 28 29 29 30 30
. . . . . . . . . . . . . . . . . . . . . . . . Neurnios o
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
5 Aprendizado 5.1 Aquisio do Conhecimento: Aprendizado . . . . . . . . . . . . ca 5.1.1 Classicaao quanto ` Independncia de quem Aprende c a e 5.1.2 Classicaao Segundo Retroao do Mundo . . . . . . . c ca 5.1.3 Classicaao quanto ` Finalidade do Aprendizado . . . c a 5.2 Regras de Aprendizado Conexionistas . . . . . . . . . . . . . . 5.2.1 Aprendizado Hebbiano . . . . . . . . . . . . . . . . . . . 5.2.2 Regra Delta . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.3 Retropropagao . . . . . . . . . . . . . . . . . . . . . . . c 5.2.4 Aprendendo com a Natureza . . . . . . . . . . . . . . . 5.2.5 Aprendizado Competitivo . . . . . . . . . . . . . . . . . 5.2.6 Aprendizado Reforado . . . . . . . . . . . . . . . . . . c 5.2.7 Aprendizado Aleatrio . . . . . . . . . . . . . . . . . . . o 5.2.8 Aprendizado Evolutivo . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
. . . . . . . . . . . . .
Redes Neurais Articiais 6 Mquina de Resolver Problemas a 6.1 Tipos de Computadores . . . . . . . . . . . . . . . . . . 6.2 Teoria de Problemas . . . . . . . . . . . . . . . . . . . . 6.3 O Computador na Resoluao de Problemas . . . . . . . c 6.4 Equivalncia de Computabilidade . . . . . . . . . . . . . e 6.5 Pontos de Dvida . . . . . . . . . . . . . . . . . . . . . . u 6.6 No Equivalncia de Complexidade . . . . . . . . . . . . a e 6.7 Alguns Resultados Sobre Complexidade de RNA . . . . 6.8 Aprendizado de RNA como Paradigma de Programaao c 6.9 Um Pouco de Ficao . . . . . . . . . . . . . . . . . . . . c 7 Aplicaoes das RNAs c 7.1 Reconhecimento de Padres . . . . . . . . . . . . . . . o 7.1.1 Em que Consiste o Reconhecimento de Padres o 7.1.2 Reconhecimento de Padres como Classicador o 7.1.3 Principais Aplicaoes . . . . . . . . . . . . . . . c 7.1.4 Reconhecimento de Caracteres . . . . . . . . . 7.1.5 Reconhecimento de Faces . . . . . . . . . . . . 7.2 Sistemas Especialistas Conexionistas . . . . . . . . . . 7.2.1 SE Conexionistas . . . . . . . . . . . . . . . . . 7.2.2 SE usando Redes Diretas . . . . . . . . . . . . 7.2.3 SE implementados com BAM . . . . . . . . . . 7.3 Controle de Processos . . . . . . . . . . . . . . . . . . 7.3.1 Controle Neural . . . . . . . . . . . . . . . . . 7.3.2 Topologias de Controle . . . . . . . . . . . . . . 7.3.3 Malha Aberta . . . . . . . . . . . . . . . . . . . 7.3.4 Controle com Retroao . . . . . . . . . . . . . ca 7.3.5 Modelos Internos . . . . . . . . . . . . . . . . . 7.4 Sries Temporais . . . . . . . . . . . . . . . . . . . . . e 7.5
3 30 30 31 32 33 35 35 36 37 38 38 39 39 39 40 40 41 41 41 41 42 43 43 43 43 44 44 45 45 46 46 47 47 47 48 48
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . .
Monitoramento . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8 Implementao ca 8.1 Simulaao de RNA . . . . . . . . . . . . . . . . . . c 8.2 Implementaes por Circuitos . . . . . . . . . . . . co 8.2.1 Implementaao da Sinpse . . . . . . . . . . c a 8.2.2 Implementaao do Neurnio . . . . . . . . . c o 8.2.3 Implementaao do Aprendizado . . . . . . . c 8.2.4 Implementaoes Digitais versus Analgicas c o
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
Redes Neurais Articiais 9 Ep logo Referncias bibliogrcas e a
4 49 51
Redes Neurais Articiais .
Redes Neurais Articiais J. M. Barreto

Resumo
Redes neurais articiais podem ser consideradas como metodologia de resolver problemas caracter sticos da inteligncia articial. Aps apresentao e o ca de alguns fatos histricos e dos fundamentos biolgicos so apresentados os o o a conceitos de neurnio e rede neural articial. Sendo a capacidade de apreno der por exemplos a grande motivadora do uso de redes neurais, os principais paradigmas de aprendizado so apresentados. Segue-se uma comparao das a ca possibilidades destas redes na resoluo de problemas dando-se uma viso de ca a computabilidade e complexidade em termos de redes neurais. Finalmente so a apresentadas alguns campos de aplicao e como so atualmente estas redes ca a implementadas.
Redes Neurais e Inteligncia Articial e
Pode-se dizer que redes neurais articiais consistem em um modo de abordar a soluo de probleca mas de inteligncia articial. Neste caso, em lugar de tentar programar um computador digital e de modo a faz-lo imitar um comportamento inteligente (saber jogar xadrez, compreender e e manter um dilogo, traduzir l a nguas estrangeiras, resolver problemas de matemtica tais como a se encontram nos primeiros anos dos cursos de engenharia, etc.) procura-se construir um computador que tenha circuitos modelando os circuitos cerebrais e espera-se ver um comportamento inteligente emergindo, aprendendo novas tarefas, errando, fazendo generalizaes e descobertas, co e frequentemente ultrapassando seu professor. Da mesma forma, estes circuitos neurais articiais podero se auto-organizar, quando apresentados a ambientes diversos, criando suas prprias a o representaes internas e apresentar comportamentos imprevis co veis. E, melhor ainda, (ou pior) ter um comportamento que nem sempre pode-se prever e compreender, tal como hoje no a compreendemos mecanismos do nosso prprio crebro. o e Fico cient ca ca? No! Trata-se sim de nova tecnologia que depois de um tempo de latncia, a e emerge encontrando aplicaes concretas, algumas das quais sero mencionadas mais adiante. co a
1.1
Alguns Fatos Histricos das Redes Neurais o
O primeiro esforo conjunto para estudar inteligncia articial (IA) foi o encontro no Darthc e mouth College, em 1956. No livro publicado a seguir [83] com o t itulo de Automata Studies, o primeiro artigo tratava de redes neurais como um paradigma da arquitetura computacional Pode-se dizer que a nasceram simultaneamente os dois paradigmas da inteligncia articial: e simblica e conexionista. o Na IAS (Inteligncia Articial Simblica), o comportamento inteligente global simulado, e o e sem considerar os mecanismos responsveis por este comportamento. Na IAC (Inteligncia a e Articial Conexionista) acredita-se que construindo mquina que imite a estrutura do crebro a e ela apresentar inteligncia. Progressivamente as duas correntes para IA separaram-se, e as a e pesquisas em redes neurais (corrente conexionista) andaram lentamente enquanto a corrente da manipulao simblica se acelerou. ca o E interessante notar que um motivo para esta separao foi o livro de Minsky & Papert [71]. ca Este livro, entretanto, constitui um dos primeiros estudos sobre a complexidade do problema e a correspondente capacidade das redes neurais para resolve-lo: uma perceptron de uma unica camada incapaz de resolver o problemas linearmente no separveis. Possivelmente admine a a istradores dos USA, responsveis por distribuir fundos de pesquisa conclu a iram que o assunto no era interessante e cortaram os investimentos em redes neurais. Os anos que seguiram o a encontro Darthmouth foram anos de grande otimismo e o trabalho feito estava centralizado principalmente em pesquisas de laboratrio. Entretanto, o progresso em muitos destes camo pos caminhava lentamente. Um exemplo estava no campo da traduo automtica, onde os ca a
problemas apresentavam-se muito mais complexos que o esperado. Por outro lado, muito se estava aprendendo sobre linguagens adequadas para pesquisar em IA! Entretanto, necessrio e a no esquecer que em alguns outros campos de aplicao a IA obteve sucesso, e que esses seus a ca mritos no so mais considerados como pertencentes a IA. Como exemplos, temos o xadrez e a a (sendo considerado agora como um jogo, e no como um desao) e fazer matemtica simblica, a a o onde diversos programas comerciais fazem nos esquecer que so resultado de tcnicas de IA. a e
1.2
Que Esperar da IAC?
A IAS j deu muitos frutos, alguns atualmente to populares que nem so mais considerados a a a como produtos da IA. Exemplos so: jogo de xadrez, sistemas especialistas que fazem apoio ` a a deciso mdica, programas de matemtica simblica, etc. a e a o E a IAC? Pode-se dizer que se espera da IAC uma performance melhor que a da IAS em problemas mal denidos, onde falta o conhecimento expl cito de como realizar uma tarefa. Nestes o conhecimento dado atravs de exemplos. Alem disso, caracter e e sticas encontradas nos seres vivos so esperadas e diculdades em realizar tarefas de natureza intr a nsicamente algor tmicas. As principais caracter sticas so: a Degradao progressiva e qualidade. Signica que a performance de um sistema ca baseado na IAC diminue lenta e monotonicamente em presena de informaes falsas ou c co ausentes. Para ilustrar a idia, tome-se a pesquisa em uma base de dados em que se deseje e obter o nome de um artigo que seja do interesse de um certo leitor caracterizado por seu perl de interesse. Usando tcnicas conexionistas, na falta de um documento satisfazendo e aos requisitos da busca, um mais prximo ser escolhido. o a Racioc nio por Default. E outra propriedade intr nseca de RNA, coisa que requer bastante esforo se for usada a IAS. c Generalizao. Uma vez uma rede aprendendo um conceito ela capaz de funcionar com ca e conceitos similares que no foram aprendidos e isto sem esforo suplementar. Roisenberg a c [76], [77] estuda no caso de interceptar um objeto voador esta capacidade.
Racioc nio impreciso. Mas, o mais importante o racioc e nio impreciso, que pode ser tratado na IAS pela a lgica nebulosa. o Em resumo, a IAC se baseia no seguinte princ pio: Princ pio 1 Princ pio da Rplica: Se for constru um modelo sucientemente preciso do e do crebro, este modelo apresentar um comportamento inteligente. Se apenas uma pequena parte e a do crebro for reproduzida, a funo exercida por esta parte emergir do modelo. e ca a
Atualmente as duas abordagens esto cada vez mais sendo usadas juntamente, e `s duas se a a junta ainda uma outra fam de abordagens: as inspiradas na evoluo biolgica e constituem lia ca o 1 que sero abordados no captulo ??, os sistemas evolucionrio, tambm chamados evolutivos a e a base da Inteligncia Articial Evolucionria ou IAE. e a Tambm esta se baseia em um princ e pio conhecido com o nome de Seleo Natural, tirado ca dos trabalhos de Darwin [24] e que pode ser enunciado como: Princ pio 2 Princ pio da Seleo Natural: Dada uma populao de indivduos vivendo em ca ca um determinado ambiente, os mais aptos `s condies de vida oferecidas, tem mais probabilidade a co de se reproduzir do que os menos aptos. Desta forma, com o correr do tempo e aps geraes o co sucessivas a populao tende a car cada vez mais adaptada ao ambiente. ca Este paradigma permite a resoluo de problemas ser feita considerando vrias solues ca a co poss veis como os indiv duos da populao e o problema a resolver como o ambiente. A adaptao ca ca seria ento a qualidade da soluo permitindo consideraes sobre o quo inteligente seria a a ca co a soluo comparada com as demais [31]. ca Com o que foi dito poss dividir as fases da histria da IA2 com nos seguintes per e vel o odos [9]: 1. Epoca pr-histrica (Nesta poca nada se conhecia sobre os mecanismos da mente, nem e o e sob o prisma siolgico nem psicolgico e por esta razo vai at 1875 quando Camillo Golgi o o a e visualizou o neurnio.) o Objetivo: Criar seres e mecanismos apresentando comportamento inteligente. Metodologia e Conquistas: Mecanismos usando mecnica de preciso desenvolvida nos a a autmatos, mecanismos baseados em teares, etc. Apelo ao sobrenatural. o Limitaoes: Complexidade dos mecanismos, diculdades de construo. Insucesso dos c ca apelos ao sobrenatural. 2. Epoca Antiga (1875-1943) (Epoca em que a Lgica formal apareceu (Russel, Gdel, o o etc) bem como se passou a reconhecer o crebro como rgo responsvel pela inteligncia. e o a a e Hilbert imaginava um mundo paradis aco, em que tudo poderia ser axomatizado e reduzido ` Lgica. Entretanto, assim como o nal do sculo XIX viu o desmoronamento do a o e mundo Euclidiano, Gdel abalou o mundo de Hilbert com seu teorema da imcompletude o da aritmtica. Foi a poca em que, tal como os lsofos gregos zeram, so colocadas e e o a as bases da IAS e IAC, terminando com a publicao do trabalho de McCulloch e Pitts ca modelando o neurnio [66]): o
Neste texto sero usados indistintamente e como sinnimos, os dois termos evolutivo e evolucionrio. a o a Note-se que os termos usados no se referem a per a odos da histria da humanidade e sim histria da IA. o o Assim, o tremo pr-histria nada tem a ver com a poca em que seres humanos no deixaram documentos e o e a escritos.
2 1
Redes Neurais Articiais Objetivo: Entender a inteligncia humana. e
Metodologia e Conquistas: Estudos de psicologia e de neurosiologia. Nascimento da psicanlise. a Limitaoes: Grande distncia entre as conquistas da psicologia e da neurosiologia. c a 3. Epoca Romntica (1943-1956) (E o otimismo desordenado, que tal um jvem rapaz a o 3 , cr que tudo poss romntico a e e vel. Acaba com a reunio no Darthmouth College): a Objetivo: Simular a inteligncia humana em situaes pr-determinadas. e co e Metodologia e Conquistas: Inspirao na Natureza. Nascimento da Ciberntica. Primeiros ca e mecanismos imitando funcionamento de redes de neurnios. Primeiros programas imo itando comportamento inteligente. Limitaoes: Limitao das capacidades computacionais. c ca 4. Epoca Barroca (1956-1969) (Tudo fcil e ser conseguido. O livro Perceptrons [71] e a a mostra que nem tudo poss e vel. Alm disto, grandes fabricantes de computadores, intere essados em vender suas mquinas para aplicaes de escritrio, tiveram grande interesse a co o em desmisticar o computador que na poca chegou a ser chamado pelo grande pblico e u de crebro eletrnico. Estes dois fatos marcaram o m da poca.): e o e Objetivo: Expandir ao mximo as aplicaes da IA tanto usando a abordagem simblica a co o quanto a conexionista. Metodologia e Conquistas: Perceptron. Primeiros sistemas especialistas usando a abordagem simblica. Grandes esperanas da IAS. o c Limitaoes: Diculdades em tcnicas de aprendizado de redes complexas. c e 5. Epoca das Trevas (1969-1981) (Paralizao de quase todas as pesquisas em IA por falta ca de verbas. Acabou quando em outubro os japoneses anunciaram seus planos para a Quinta Gerao de Computadores e em outro ambiente Hopeld publica clebre artigo sobr redes ca e neurais. Uma caracter stica interessante que o renascimento de IA simblica se fez em e o ambiente de computao e o de redes neurais em um ambiente interdisciplinar. ca Assim como a Idade Mdia da Histria da humanidade viu orescer idias novas, esta e o e poca no foi de total trevas. Nasceram as primeiras aplicaes dos conjuntos nebulosos e a co de Zadeh [87] nascendo o controle inteligente com Mamdani [54, 64]. Alem disto os sistemas especialistas se rmaram com Shortlie [84]) Objetivo: Encontrar para a IA aplicaes prticas. co a
Para satisfazer a uma minha aluna que teve a gentileza de ler e sugerir melhoras no texto, troquei a jvem o romantica por rapaz romntico evitando conotaao machista. a c
3
10
Metodologia e Conquistas: Sistemas especialistas. Aplicaes principalmente em labco oratrios. Os computadores usados principalmente para aplicaes administrativas o co e numricas. Interesse dos fabricantes de computadores de desmisticar a mquina e a 4. levando a pouco interesse em IA Limitaoes: Interesses econmicos. c o 6. Renascimento (1981-1987) (Comeou a corrida para IA. Os resultados obtidos nas pocas c e anteriores atingiram o p blico em geral. Sistemas especialistas se popularizaram. Primeira u conferncia internacional em Redes Neurais marca o nal do per e odo. Note-se que redes neurais evoluiu independentemente da IA simblica.): o Objetivo: Renascimento da IA, simblica e conexionista. o Metodologia e Conquistas: Popularidade da linguagem Prolog, adotada pelos japoneses. Crescimento da importncia da Lgica. Proliferao de mquinas suportando a o ca a ferramentas para IA. Alguns poucos pesquisadores continuaram seus trabalhos em RNAs, Grossberg, Kohonen, Widrow, Hinton, etc. No nal do per odo, trabalhos de Hopeld, do grupo PDP, etc., criaram condies para a fase seguinte no que diz co respeito `s RNAs. a Limitaoes: a IAS e a IAC evoluindo separadamente. c 7. Epoca Contempornea (1987 - atual): (Logo no in do per a cio odo Gallant [36] publica seu clebre artigo sobre sistemas especialistas conexionistas. Foi o ponto de partida para a e unio das duas abordagens de IA, tornando a abordagem dirigida problemas a abordagem a atual. E a abordagem adotada neste trabalho. Objetivo: Alargamento das aplicaes das IAs. Uso em tomograa, pesquisas em campos co de petrleo, e bases de dados inteligentes. o Metodologia e Conquistas: Redes diretas como aproximador universal. Lgica nebuo losa usada largamente em ind strias para controle inteligente. Sistemas especialistas u se torna tecnologia dominada. Bons resultados em problemas mal denidos com sistemas usando hibridismo neural-nebuloso. Novo paradigma de programao: proca gramao conexionista. ca Limitaoes: Quem sabe???. Uma possibilidade uma grande expanso das bases de c e a dados inteligentes.
Fundamentos Biolgicos o
Supondo que grande parte dos leitores deste texto no esto mais familiarizados com conceitos a a biolgicos em que as redes neurais se inspiram, pequena introduo aqui feita. o ca e
4
Um exemplo a referncia ` IA como sendo ignorncia atrevida, usual a t e e a a tulo de humor.
11
2.1 2.2
O Sistema Nervoso Descobrimento de Neurnio o
Um dos primeiros passos na neuroanatomia foi a descoberta do italiano Camillo Golgi em 1875 [50]. Ele encontrou um mtodo, aparentemente ao acaso, pelo qual apenas uma pequena poro e ca de neurnios so corados durante um tempo, e essas clulas so completamente coradas. Com o a e a esse mtodo poss e e vel isolar e observar neurnios individuais. Golgi foi contemporneo de o a Santiago Ramn y Cajal, um Espanhol, que dedicou sua vida usando o mtodo de Golgi para o e cada parte do sistema nervoso. Nesta poca as junes entre neurnios eram desconhecidas, e co o principalmente porque o mtodo de Golgi revelou um grande n mero de clulas isoladas mas e u e sem sugerir junes entre estas no sentido de formar uma rede. co Entretanto os estudos de Cajal apresentaram dois resultados principais. Primeiro Cajal adotou a noo de sistema nervoso, postulando sobre a comunicao entre as clulas pela sinapse. ca ca e A segunda foi de que a interconexo entre neurnios seria altamente espec a o e ca e estruturada. Ele descreveu diversas estruturas cerebrais. Isto fez com que as pesquisas se voltassem no a apenas para a estrutura dos neurnios mas tambm para o desconhecido campo das muitas o e estruturas neuronais. 2.2.1 Organizao geral ca
O sistema nervoso juntamente com o sistema endcrino proporciona muitas das funes de o co controle do corpo. O sistema nervoso de que o crebro faz parte, controla as reaes rpidas do e co a corpo, como uma contrao muscular (funo motora) e controla a velocidade e equilibra a taxa ca ca de secreo de muitas glndulas endcrinas. Partes do corpo que tm as funes controladas ca a o e co pelo sistema nervoso tem tempo de resposta relativamente rpido. O sistema endcrino, por a o outro lado, controla muitas funes do metabolismo do corpo e sua atuao mais lenta. co ca e Um neurnio Existem dois tipos principais o de clulas no crebro, os neurnios e a glia. e e o comum atribuir aos neurnios as principais E o funes cerebrais j que a funo da glia ainda co a ca tem muito a ser descoberto. Existem aproximadamente 1011 neurnios (um fator de 10 o e razovel como expectativa de erro) no crebro a e humano. Eles podem ser de diversos tipos. Um neurnio t o pico apresentado na gura ao lae do. O neurnio tem um corpo celular chamado o soma e diversas ramicaes. As ramicaes conhecidas como dendritos, conduzem sinais das co co extremidades para o corpo celular. Existe tambm uma ramicao, geralmente unica, chamada e ca axnio, que transmite um sinal do corpo celular para suas extremidades. As extremidades do o
12
axnio so conectadas com dendritos de outros neurnios pelas sinapses . Em muitos casos, um o a o axnio diretamente conectado com outros axnios ou com o corpo de outro neurnio. o e o o As sinpses tem um papel fundamental na memorizao da informao e so principalmente a ca ca a as do crtex cerebral e algumas vezes de partes mais profundas do crebro que armazenam esta o e informao. Pode-se imaginar que em cada sinpse, a quantidade de neurotransmissores que ca a podem ser liberados para uma mesma frequncia de pulsos do axnio representa a informao e o ca armazenada nesta sinpse. a Ora, pode-se imaginar, que seguindo um princ pio frequentemente vlido em biologia, o de a que o uso de um rgo favorece seu desenvolvimento, que cada vez que uma sinpse ativada e o a a e encontra ativado ou consegue ativar outro neurnio o nmero de neurotransmissores liberados o u aumenta na prxima vez que o neurnio for ativado. Isto representa um aumento da conexo o o a entre os dois neurnios. Este processo chama-se facilitao. Um neurnio tem de 1000 a 10000 o ca o sinpses e pode receber informao de perto de 1000 outros neurnios. a ca o O mecanismo de facilitao inspirou a conhecida Lei de Hebb: A intensidade de uma conexo ca a sinptica entre dois neurnios aumenta quando os dois neurnios esto excitados simultaneaa o o a mente. Note- se que a Lei de Hebb bsica de muitos algoritmos de aprendizagem de RNA. e a 2.2.2 Potencial de Ao ca
Existe dentro e fora da clulas concentraes diferentes de N a+ e K que provocam um ponto e co de equil brio de -85 milivolts, o interior da clula negativo com relao ao exterior. Qualquer e ca perturbao da membrana do neurnio provoca uma srie de modicaes que desaparecem ca o e co tambm rapidamente, e durante as quais o potencial se torna positivo durante um curto espao e c de tempo. A esta onda de variao de tenso chama-se potencial de ao. ca a ca A formao de um potencial de ao pode ser causado por uma estimulao eltrica, qu ca ca ca e mica, calor, etc. Um est mulo tem por efeito a destruio das propriedades dieltricas da membrana, ca e em particular as permeabilidades tanto ao sdio como ao potssio, que so aumentadas pero a a mitindo a difuso destes ions atravs da membrana. Aps um certo tempo as coisas voltam ao a e o normal devido a mecanismos de transporte ativo (transporte de molculas atravs da membrana e e celular contra o gradiente de concentrao e com uso de energia). Esta fase chama-se repolarca izao. Logo aps a repolarizao a membrana passa por um per ca o ca odo de tempo durante o qual ela no mais sensvel a outras perturbaes e que se chama perodo refratrio. a e co a Este per odo refratrio tem papel preponderante na transmisso de pulsos eltricos no axnio. a a e o Suponha que por uma razo qualquer aparea no axnio, perto do soma uma perturbao a c o ca provocando um potencial de ao. Ele age com relao ao trecho do axnio um pouco mais ca ca o longe do soma como uma perturbao, provocando o aparecimento de novo potencial de ao um ca ca pouco mais longe e assim por diante at a regio junto ` sinapse onde o potencial de ao tem por e a a ca efeito liberar molculas de neurotransmissores. Estes neurotransmissores liberados se difundem e no espao entre neurnios indo se colar na membrana de um outro neurnio, provocando uma c o o
Redes Neurais Articiais perturbao de membrana do outro neurnio, e o fenmeno continua. ca o o 2.2.3 Transmisso da Informao entre Neurnios a ca o
13
Quando o potencial de ao se propaga pelo axnio, chega a uma de suas terminaes. A ele ca o co provoca modicaes na membrana destas terminaes, as sinpses. Isto permite a liberao co co a ca de molculas, de vrios tipos com o nome genrico de neurotransmissores que se difundem no e a e espao entre o terminal do axnio e um outro neurnio, geralmente o terminal de um dendrito. c o o Molculas de neurotransmissor ao se colar ao dendrito provocam uma modicao na membrana e ca deste que acaba, algumas vezes, provocando um potencial de ao, outras vezes, dicultando ca seu aparecimento. Este potencial de ao, se criado, se propaga at o soma do neurnio que ca e o recebeu o sinal alterando sua frequncia de disparo. e Pode-se dizer portanto que a transmisso de informao entre neurnios depende do tipo de a ca o neurotransmissor e de sua abundncia no terminal sinptico e da sensibilidade da membrana a a dendr tica ` excitaes. Desta forma modicando a intensidade com que um neurnio capaz de a co o e excitar (ou inibir) um outro neurnio, depende de caracter o sticas sinpticas, e so estes valores de a a conexes que globalmente so responsveis pelo comportamento da rede de neurnios. Mudando o a a o valores destas conexes muda-se o comportamento da rede. E estas mudanas de comportamento o c representam um aprendizado da rede. Como o comportamento de uma rede neural depende diretamente dos valores de suas conexes o sinpticas, o estudo de redes neurais tem tambm o nome de Conexionismo. a e
Vocabulrio Bsico a a
A terminologia usada em redes neurais articiais apresenta variaes, principalmente em textos co em portugus. Neste trabalho usa-se a terminologia da Teoria de Sistemas tal como apresentada e em [8].
3.1
Modelos de Neurnios o
A construo de redes neurais articiais (RNAs) tem inspirao nos neurnios biolgicos e nos ca ca o o sistemas nervosos. Entretanto, importante compreender que atualmente as RNAs esto muito e a distantes das redes neurais naturais (RNNs) e freq entemente as semelhanas so m u c a nimas. Se verdade que o primeiro modelo de neurnio, proposto por McCulloch e Pitts em 1943 e o [66] tambm um modelo simples, cabe ressaltar que a inteno era de imitar a realidade e e ca biolgica, preocupao no compartilhada pelos muitos pesquisadores atuais. De fato, dois o ca a fatores diferentes motivam a pesquisa hoje em dia: O primeiro modelar o sistema nervoso com suciente preciso de tal modo a poder e a observar um comportamento emergente que sendo semelhante ao comportamento do ser
Redes Neurais Articiais vivo modelado, possa servir de apoio `s hipteses usadas na modelagem. a o O segundo construir computadores com um alto grau de paralelismo. e
14
O trabalho na modelagem do sistema nervoso comeou h um sculo aproximadamente. c a e Depois do trabalho de McCulloch and Pitts [66], Hebb [43], e Rosenblatt [78], muitos cientistas se interessaram pelo campo. O desejo de construir neurocomputadores mais recente [44]. e 3.1.1 Modelo de McCulloch-Pitts
Warren S. McCulloch era um siologista e conhecendo as ondas de potencial de membrana ele interpretou o funcionamento do neurnio como sendo um circuito binrio. Seu modelo [65] o a e portanto binrio e apresentado na gura 1. a e
excitao u1 excitao u2 excitao u
i
w1 w
2
Neurnio
wi
resposta y
excitao un
wn
Figura 1: Modelo de McCulloch e Pitts A entrada do neurnio tambm binria e as vrias entradas so combinadas por uma soma o e e a a a ponderada, produzindo a entrada efetiva do neurnio: o
n
entrada ef etiva =
1
i ui
(1)
O resultado na entrada efetiva sofre um retardo D (algumas vzes este retardo desprezado e e tendo-se um neurnio esttico) e serve de argumento a uma funo chamada de funo de o a ca ca transferncia (neste caso de sa binria {0 1} para dar a resposta do neurnio. e da a o 3.1.2 Modelo Geral de Neurnio o
O modelo geral de neurnio mostrado na gura 2, sendo uma generalizao do modelo de o e ca McCulloch e Pitts. Neste modelo as entradas wi ui so combinadas usando uma funo , para produzir um a ca estado de ativao do neurnio que atravs da funo vai produzir a sa do neurnio (corca o e ca da o respondente ` freqncia de descarga do neurnio biolgico). Um valor auxiliar geralmente a ue o o e usado para representar uma polarizao, valor abaixo do qual a sa nula. ca da e
15
u1 u2 u3

w1 w2 w3 wn

un
Figura 2: Neurnio articial o Note-se que isso poderia tambm ser obtido por escolha adequada da funo , mas seria mais e ca dif de trabalhar. Note-se ainda que as conexes sinpticas so consideradas como externas ao cil o a a modelo do neurnio, tal como ocorre no sistema nervoso biolgico e no como fazendo parte do o o a neurnio, como usado por alguns autores. Se este detalhe pode ter pouca importncia aparente o a no estudo de uma RNA, proporciona a possibilidade de interpretar a matriz de conexes, chamao da matriz de conectividade como a matriz de pesos de um grafo, o grafo representativo da rede neural. Geralmente a soma das entradas. Algumas vezes o produto. Raramente uma outra e funo, se bem que isto seja poss ca vel. Geralmente costuma-se dar o nome conuncia ` combie a nao ponderada das entradas de um neurnio. A no linearidade do neurnio frequentemente ca o a o introduzida na funo tangente hiperblica,, em degrus. A Figura 3 mostra algumas funes e ca o a co comumente usadas.
f(x)
f(x) v +a
f(x)
x u u
x -a
Figura 3: No linearidades frequentemente usadas no modelo de neurnios de uma RNA. a o O neurnio formal um sistema dinmico por ter memria materializada pelo retardo (ou o e a o equao diferencial). Um neurnio esttico quando o valor de x e de y se referem ao mesmo ca o e a instante que as excitaes ou seja, o retardo nulo. O neurnio dito dinmico se para o clculo co e o e a a de x em um determinado instante necessrio o conhecimento de x em um instante anterior no e a
16
caso do neurnio ser a tempo discreto. o Por esta denio nota-se que o modelo de neurnio proposto por McCulloch e Pitts um ca o e sistema dinmico se o retardo D no for nulo. a a
3.2
Caracterizao de RNA ca
Informalmente uma rede neural articial (RNA) um sistema composto por vrios neurnios. e a o Estes neurnios esto ligados por conexes, chamadas conexes sinpticas. Alguns neurnios reo a o o a o cebem excitaes do exterior e so chamados neurnios de entrada e correspondem aos neurnios co a o o dos rgos dos sentidos. Outros tm suas respostas usadas para alterar, de alguma forma, o o a e mundo exterior e so chamados neurnios de sada e correspondem aos motoneurnios que so a o o a os neurnios biolgicos que excitam os m sculos. Os neurnios que no so nem entrada nem o o u o a a sa so conhecidos como neurnios internos. Estes neurnios internos ` rede tem grande da a o o a importncia e so conhecidos na literatura saxnica como hidden fazendo com que alguns a a o traduzam como escondidos. Os neurnios internos so importantes por vrios aspectos: o a a Importncia biolgica: Por corresponder a uma atividade do sistema nervoso que pode a o apresentar uma independncia de excitaes externas. Com efeito, se entre estes neurnios e co o houver ligaes formando ciclos, e considerando ainda um certo tempo de resposta de um co neurnio, aps cessar toda excitao exterior pode haver nestes neurnios internos uma o o ca o evoluo de um vetor representativo da excitao destes neurnios. Esta excitao pode ca ca o ca provocar uma evoluo durante um tempo relativamente longo e pode ser interpretada ca como uma metfora da mente, onde pensamentos vm e voltam, sem est a e mulo exterior. Importncia matemtica: Desde que se provou que sem estes neurnios imposs a a o e vel uma RNA resolver problemas classicados como linearmente no separveis. a a Para caracterizar uma RNA importante especicar os seguintes pontos5 : e Os componentes da rede: os neurnios: ex; estticos? dinmicos? o a a A resposta de cada neurnio: dicotmica? intervalo dos reais? o o O estado global de ativao da rede: vetor cujas componentes so as ativaes dos ca a co neurnios? o A conectividade da rede dada pelos valores de conexes sinpticas: que dene a o a topologia da rede. Como se propaga a atividade da rede: s ncrona? ass ncrona?
5
Inspirado em Rumelhart & al. [80].
Redes Neurais Articiais Como se estabelece a conectividade da rede: aprendizado. O ambiente externo ` rede: esttico? dinmico? aleatrio? determin a a a o stico? Como o conhecimento representado na rede: localizado? distribuido? e
17
Topologias das RNAs
De forma a denir as Redes Neurais Articiais ns poderiamos, em princ o ipio, estabelecer (e provar) um teorema mostrando que elas se constituem em sistemas dinmicos, da mesma forma a que foi feito para os neurnios. Todavia, um problema surgiria aqui: nada seria dito acerca o dos pesos das conexes entre os diferentes neurnios da rede. Uma outra abordagem seria a de o o considerar uma rede neural como um sistema dinmico complexo, onde: a Denio 1 Um sistema dinmico complexo uma rede de sistemas interconectados. ca a e Da denio apresentada decorre que um sistema complexo pode ser representado por um ca grafo direcionado ou d grafo, onde os vrtices representam os sistemas componentes (subsise temas) e os arcos as interaes entre subsistemas. co Esta ser a abordagem utilizada aqui. No entanto, antes de desenvover estes conceitos, faza se necessrio apresentar alguns conceitos de Teoria de Grafos. Estes conceitos so baseados a a naqueles apresentados por Harary [41]. Nota: E importante observar que, considerando que, em princ pio, qualquer d grafo possa dar lugar a uma topologia de RNA, esta abordagem vem sendo utilizada em textos surgidos nos ultimos anos, como por exemplo [42], [52] entre outros. No entanto, De Azevedo [25] utilizou esta abordagem ainda em 1993. Denio 2 Um Grafo G consiste de um conjunto no vazio nito de vrtices V = vi juntaca a e mente com um conjunto no ordenado de arcos A conectando certos pares de vrtices. Cada par a e vi , vj de vrtices em V um arc0 de G, e o par vi , vj dito juntar vi e vj . e e e Denio 3 Um Grafo G Rotulado quando os p vrtices so distingu ca e e a veis uns dos outros por nomes ou rtulos. o Denio 4 Um Grafo G Arco Rotulado quando tambm os arcos so distinguveis um dos ca e e a outros por nomes ou rtulos. o Tendo estabelecido o que siginica Grafo, no nosso contexto, ns estamos prontos para o denir as Redes Neurais Artifciais. Denio 5 Uma Rede Neural Articial, RN A, um Sistema Dinmico Complexo represenca e a tado por um grafo arco rotulado em que cada vrtice um Neurnio Articial N A. e e o
18
Nesta denio, rtulos so, naturalmente, valores numricos. Eles correspondem aos valores ca o a e das conexes entre os diferentes neurnios. Todavia, eles podem ser interpretados, tambm, o o e como os valores fuzzy entre as conexes. Neste caso, eles devem pertencer a um conjunto, o que na maioria dos casos, o conjunto [0, 1] 6 . Ambas interpretaes so vlidas para nossos e co a a propsitos. Todavia, se ns escolhermos a segunda interpretao ns poder o o ca o amos repensar a denio de Grafos e, por conseqncia, a de Redes Neurais, conforme segue: ca ue Denio 6 Um Grafo Nebuloso um Grafo Arco Rotulado onde os rtulos so valores de um ca e o a conjunto nebuloso. Denio 7 Uma Rede Neural Nebulosa ou: ca e uma rede neural representada por um grafo nebuloso iu uma rede neural contendo ao mnenos um neurnio nebuloso. o
Tendo estabelecido denies precisas para Redes Neurais e Redes Neurais Fuzzy ns co o podemos denir diferentes tipos de redes. Isto feito atravs de escolhas particulares dos e e conjuntos e funes envolvidas na denio de Redes Neurais como Sistemas Dinmicos. Temco ca a se, por conseguinte: Denio 8 Uma Rede Neural Cont ca nua no Tempo uma rede neural denida em um subcone junto contnuo do eixo do tempo T = . Denio 9 Uma Rede Neural Discreta no Tempo uma rede neural denida em um subconca e junto discreto do eixo do tempo T = Z. Denio 10 Uma Rede Neural Invariante no Tempo ou Rede Neural Estacionria uma rede ca a e neural em que a funo de transio depende de um nico elemento de T e a funo de sada ca ca u ca independente de T . e Neste trabalho ns consideramos ambos os tipos de redes, cont o nuas e discretas. Todavia, todas so invariantes no tempo para permitir uma fcil tratabilidade matemtica. a a a Aqui uma questo surge. Relembremos a denio de automatum. Seguindo esta denio a ca ca um automatum um sistema dinmico discreto e invariante no tempo. A questo que surge e a a : Pertencem as RNA ` classe dos automata ? e a
6
Outros intervalos de valores podem ser, tambm, considerados para conjuntos fuzzy. e
19
Alis, esta questo muito importante posto que os Computadores baseados em Instruo a a e ca 7 esto intrinsecamente ligados a Teoria de Automata. A resposta armativa. Pode ser (CBI) a e claramente provado que qualquer rede neural discreta e invariante no tempo um automatum. e Este resultado permite que o formalismo que usado para representar RNA e Computadores e baseados em Redes Neurais (CBRN) seja o mesmo daquele usado para representar CBIs. Este fato torna mais fcil o estudo da integrao das duas abordagens quando do desenvolvimento a ca de computadores h bridos. Nesta direo, um resultado surpreendente que qualquer automatum nito pode ser, ca e essencialmente, substitudo por uma RNA. A prova deste estabelecimento foi feita por McCulloch e Pitts [66]. Arbib apresentou, em [3], uma prova mais didtica. A partir destes resultados a e fcil mostrar as capacidades das RNA para memria e computao. a o ca At agora ns propusemos denies matemticas para NAs e RNAs. Estas denies e o co a co permitem o estudo de diferentes tipos particulares de RNAs como sistemas dinmicos. A a abordagem dinmica para RNA serve como um guia para o estudo da capacidade de memria e a o para formular idias no sentido de uma Teoria da Computabilidade adaptada a RNA. A seguir e sero apresentadas as topologias de RNAs que podem ser derivados de nossos modelos formais. a Nota: Faz-se necessrio dizer que algumas topologias particulares receberam maior ateno dos a ca pesquisadores e so conhecidas com nomes espec a cos.
4.1
Redes diretas (Feedforward)
Denio 11 Redes Diretas (Feedforward) so aquelas cujo grafo no tem ciclos. ca a a Freq entemente comum representar estas redes em camadas e, neste caso, so chamadas u e a redes em camadas. Neurnios que recebem sinais de excitao so chamados da camada de o ca a entrada, ou primeira camada. Neurnios que tm sua sa como sa da rede pertencem a o e da da camada de sa ou ultima camada. Neurnios que no pertencem nem a camada de entrada da o a nem a de sa so neurnios internos ` rede podendo se organizar em uma ou mais camadas da a o a internas (hidden layers). A gura ?? mostra uma rede direta com 3 camadas de neurnios. Observe que nesta gura o os neurnios so apresentados com os seus diversos elementos constituintes conforme a gura ??. o a Estas redes so atualmente as mais populares, principalmente por existirem mtodos de aprena e dizado bastante difundidos e fceis de usar. Um mtodo bastante usado, mas muito ineciente, a e e o backpropagation. Por esta razo alguns autores chegam mesmo a chamar, impropriamente, a este tipo de rede, de backpropagation. Alm disto, estas redes so capazes de aproximar, e a com maior ou menor preciso, dependendo do nmero de neurnios da rede, qualquer funo a u o ca no-linear. Entretanto, mesmo no caso de usarem neurnios dinmicos (equao diferencial de a o a ca
7
Para saber mais dos conceitos de CBI e CBRN veja [5], [10] [25], etc
20
primeira ordem ou a uma diferena nita), tm uma dinmica muito limitada no podendo c e a a representar todos os sistemas dinmicos. a
N4 u1 N9 N1 N5 N10 u2 N2 N6 N11 u3 N3 N7 N12 N14 y2 N13 y1
N8
Figura 4: Uma rede direta com 3 camadas de conexes o Com efeito, seja por exemplo, uma rede s ncrona de 4 camadas com neurnios denidos por o uma equao contendo um retardo. Neste caso, a rede se comportar como um ltro no-linear ca a a FIR de ordem 4, sendo sua aproximao linear um sistema com todos os polos na origem do plano ca Z no podendo aproximar convenientemente sistemas de resposta indicial de durao innita. a ca
4.2
Redes com ciclos
Denio 12 Redes com ciclos (ou com realimentao, ou com retroao, ou com feedback) ca ca ca so aquelas cujo grafo de conectividade contm, ao menos, um ciclo. a e Um exemplo bem conhecido de rede com ciclos a proposta por Hopeld [47]. e Denio 13 Redes recorrentes so aquelas que, alm de apresentarem ciclos, envolvem neurnios ca a e o dinmicos. a Por esta razo McCulloch chamou-as de networks with cycles, ou redes com ciclos. Duas a destas redes tm particular importncia: as redes propostas por Hopeld [47, 48] e as redes e a bi-direcionais, de Kosko [58], que podem ser usadas em um dos dois principais paradigmas de sistemas especialistas: treinamento com exemplos de uma rede direta e representao do ca conhecimento de modo localizado pelo uso de rede com ciclos, geralmente uma rede simtrica. e Com efeito, o mais popular paradigma usado na implementao de sistemas especialistas com ca redes neurais usa redes diretas e foi proposto por Gallant [36], existindo bastantes resultados neste dom nio [37]. Baseia- se no fato de que as redes diretas so aproximadores universais de a
21
funes. Assim, apresenta-se, na entrada da rede, os dados e ela , ento, treinada para a sa co e a da representar o parecer do sistema especialista. O funcionamento da RNA se torna uma metfora a de um ato reexo que, depois de aprendido, se repete inconscientemente. E este aspecto, que uma das foras do paradigma, pois pode ser largamente empregado, constitui-se, tambm, em e c e um dos seus pontos fracos, pois, tal como um ato reexo, difcil explicar o porqu do ato. e e Assim que, com o uso das redes diretas, existem diculdades em extrair explicaes de como e co 8. o sistema chegou a uma concluso a O segundo paradigma usa redes bidirecionais, caso particular das redes com ciclos, contendo neurnios dinmicos [27]. Neste caso, tanto os dados, como os poss o a veis pareceres do especialista so representados pela ativao de neurnios, o conhecimento sendo representado por valores das a ca o intensidades de conexes sinpticas. Uma consulta feita excitando neurnios representativos o a e o dos sintomas presentes no caso, deixando a rede evoluir at atingir um ponto de equil e brio. A excitao de algum (ou alguns) neurnios, representando pareceres, ser a resposta do sistema. ca o a Este segundo paradigma mais recente e ainda pouco explorado. Os principais pontos fracos e so: a - dif saber se a rede vai, ou no, parar em um ponto de equil e cil a brio; - o tempo correspondente ao transitrio da rede pode ser longo. o As principais vantagens so: a - Uso de representao de conhecimento localizada, facilitando extrao de explica ca caes; co - ausncia de mtodo de aprendizagem ; e e - transitrio da rede pode ser interpretado como metfora de racioc o a nio, podendo-se esperar deste paradigma, mais do que um simples ato reexo.
4.3
Redes simtricas e
Denio 14 Uma rede simtrica aquela cuja matriz de conectividade uma matriz simtrica. ca e e e e
Trata-se de um caso particular das redes com ciclos. Com efeito, os sistemas especialistas mencionados anteriormente e que usam redes com ciclos, usam redes simtricas. Isto foi feito e 9. para assegurar estabilidade do transitrio da rede o
Note-se que no artigo de Gallant [36], sugestes de como extrair explicaoes so apresentadas. Mas dif o c a e cil usar estas sugestes em um caso geral. o 9 Pode ser mostrado que tal caso se trata de sistema discreto em que a aproximaao linear tem polos de mdulo c o menor que a unidade. Assim, conforme o teorema de Liapunov da estabilidade local [40] [39], o sistema ter, ao a menos, um ponto de equil brio estvel. a
8
22
4.4
O que as RNAs no so! a a
Sim, as RNAs so inspiradas na redes neurais biolgicas (RNB). Mas at onde esta inspirao a o e ca usada? Na realidade, freq entemente esta inspirao muito limitada e as RNA so uma e u ca e a caricatura da realidade biolgica. o RNN no so circuitos digitais. O modelo apresentado por McCulloch-Pitts [66] usava a a sinais binrios. O neurnio biolgico expressa sua ativao pela freqncia que emite pulsos a o o ca ue e esta freqncia tem uma variao cont ue ca nua entre dois valores positivos. RNN no podem ter excitao negativa. Alguns modelos usam valores de excitao a ca ca negativa. RNN no so homogneas. As RNN no possuem todos os seus neurnios de mesmo a a e a o tipo como nas RNA, apenas em algumas regies existe uma certa uniformidade no tipo de o neurnios existentes nas RNN. o RNN no so circuitos s a a ncronos ou ass ncronos. Com efeito, as RNB so sistemas a a tempo cont nuo, logo no cabe a classicao de s a ca ncrono ou ass ncrono. Nem neurnios nem sinapses tem dois valores. Logo a semelhana com o spin do o c eletron no vlida [56]. a e a Circuitos cerebrais no so capazes de clculos recursivos. Isto consequncia a a a e e dos neurnios no serem sistemas discretos, levando a rede a no ser um autmato. Logo, o a a o equivalncia com problemas sol veis por funes recursivas no tem sentido biolgico. e u co a o Entretanto, os neurnios das RNAs fazem das RNAs sistemas equivalentes ` mquina de o a a Turing e portanto capazes de resolver funes recursivas. co
Aprendizado
Aprender o ato que produz um comportamento diferente a um est e mulo externo devido ` a excitaes recebidas no passado e de uma certa forma sinnimo de aquisio de conhecimento. co e o ca Em IA comum se falar de aprendizado pela mquina e aprender poder ser considerado como e a atributo fundamental de um comportamento inteligente. RNA possuem a capacidade de aprenderem por exemplos, e fazerem interpolaes do que co aprenderam. No aprendizado conexionista no se procura obter regras como na abordagem a simblica da IA, mas determinar a intensidade de conexes entre neurnios. Como o conhecio o o mento armazenado nas conexes, o uso de RNA est intimamente ligado ao que se chama de e o a conexionismo.
23
5.1
5.1.1
Aquisio do Conhecimento: Aprendizado ca

Classicao quanto ` Independncia de quem Aprende ca a e
Quanto ` Independncia de quem Aprende tem-se: a e Memorizao. ca Por ser contado. Por exemplos. Por analogia. Por explorao e descoberta. ca
As RNAs aprendem principalmente por uma mistura dos tres ultimos. 5.1.2 Classicao Segundo Retroao do Mundo ca ca
Um segundo modo de classicar o aprendizado pela presena ou ausncia de realimentao e c e ca expl cita do mundo exterior. Uma realimentao expl ca cita signica que em certos intervalos de tempo um professor assinala erros e acertos. No caso que que a realimentao no exca a e plcita o aprendizado em ausncia de professor. Costuma-se chamar estes dois casos de ensino e e supervisionado e no supervisionado. a Aprendizado Supervisionado Neste caso o professor indica explicitamente um comportamento bom ou ruim. Por exemplo, seja o caso de reconhecimento de caracteres e para simplicar seja reconhecer entre um A ou X. Escolhe-se uma rede direta, com dois neurnios na camada de saida, o uma ou vrias camadas internas e uma conjunto de neurnios na camada de entrada a o capaz de representar com a preciso desejada a letra em questo. Apresentam-se estas a a letras sucessivamente a uma retina articial constituida por uma matriz de elementos fotosens veis, cada um ligado a um neurnio de uma RNA direta (feedforward). Observao se qual dos dois neurnios de saida est mais excitado. Se for o que se convencionou o a representar a letra que for apresentada nada deve ser corrigido, caso contrario modica-se os valores das conexes sinpticas no sentido de fazer a saida se aproximar da desejada. o a Foi exatamente isto que fez Rosenblatt com o seu Perceptron. Como a cada exemplo apresentado uma correo introduzida depois de observar a saida da rede este um caso ca e e de ensino supervisionado. Aprendizado no Supervisionado quando para fazer modicaes nos valores das a e co conexes sinpticas no se usa informaes sobre se a resposta da rede foi correta ou o a a co no. Usa-se por outro lado um esquema, tal que, para exemplos de coisas semelhantes, a a rede responda de modo semelhante. Aprendizado no supervisionado se chama tambm a e
24
descobridor de regularidades ou redes auto-organizadas devido ` propriedade bsica de seu a a funcionamento. O ensino supervisionado tem atraido ateno de muitos pesquisadores. Uma motivao ca ca talvez seja o fato que o aprendizado supervisionado pode ser encarado como um problema de otimizao e usar ferramentas que j mostraram sua ecacidade, tanto em programao linear ca a ca e no linear. Basta para isso considerar o aprendizado com a minimizao do erro entre a saida a ca da rede e uma saida desejada. Entretanto pouco se usou at o momento em ferramentas de e otimizao de sistemas dinmicos para treinamento de RNAs, tais como Programao Dinmica ca a ca a e o Teorema do Mximo de Pontriagin. a 5.1.3 Classicao quanto ` Finalidade do Aprendizado ca a
Um terceiro modo de classicao quanto ` nalidade do aprendizado. Assim temos um auto ca e a associador, um hetero associador ou um detetor de regularidades. Em um auto-associador uma coleo de exemplos apresentado ` rede, a qual suposta ca e a e memorizar os exemplos. Depois, quando um destes exemplos for novamente apresentado de modo deteriorado supe-se que a rede restitua o original sem deteriorao. Neste caso o ca aprende-se a funcionar como um ltro. Um hetero-associador uma variante do auto-associador em que se memoriza um conjunto e de pares. O sistema aprende a reproduzir o segundo elemento do par mesmo que o primeiro se j apresentado de modo contendo pequenas alteraes. Este hetero-associador tambm a co e e conhecido como um reconhecedor de padres, onde o primeiro elemento apresentado o e elemento a reconhecer e o segundo um elemento do conjunto de padres considerado. o O detetor de regularidades um reconhecedor de padres em que os padres poss e o o veis no a denido a priori.O sistema deve se auto-organizar, e criar os poss e veis padres. o
5.2
Regras de Aprendizado Conexionistas
Essencialmente o aprender de redes neurais consiste em colocar valores de conexes sinpticas. o a Em alguns casos estes valores so colocados representando um certo conhecimento, como no a caso usado em sistemas especialistas. Em outros usa-se uma algoritmo para encontr-los. A a este algoritmo chama-se algoritmo de aprendizagem. 5.2.1 Aprendizado Hebbiano
A lei de Hebb, mencionada precedentemente talvez a mais antiga regra de aprendizagem usada. e Uma extenso desta lei : a e
Redes Neurais Articiais Ajuste a intensidade da conexo entre os neurnios A e B de uma quantidade proa o porcional ao valor da ativao simultnea dos dois neurnios. Se no entanto A tenta ca a o excitar B e no consegue a conexo enfraquecida. a a e
25
Uma caracter stica importantissima da lei de Hebb que ela goza da propriedade de localie dade. Isto signica que para alterar o valor de uma conexo sinptica apenas informaes locais a a co a ` sinapse em jogo so usadas dando plausibilidade biolgica ao algoritmo. a o Assim tem-se: wij = xi oj onde: wij intensidade da conexo entre os neurnios i e j a o wij acrscimo da intensidade da conexo entre os neurnios i e j e a o parmetro denindo a intensidade da correo chamado taxa de aprendizado a ca xi estado de ativao do neurnio i ca o oj saida do neurnio j o Apesar da plausibilidade biolgica o uso da lei de Hebb nesta forma apresenta vrios incono a venientes costumando-se usar verses mais sosticadas, tais como a Regra Delta. o Muitos pesquisadores em RNA no se preocupam com plausibilidade biolgica e em muitos a o casos tem razo. Anal avies voam melhor que pssaros e os primeiros tiveram asas inspiraa o a dos nos pssaros. E voam melhor por no terem de bater asas e sim usarem motores a jato, a a desconhecidos como soluo biolgica. Seria mesmo poss ca o ivel dizer que, se o objetivo obter e um artefato com propriedades de generalizao, capazes de aprenderem a realizar tarefas mal ca denidas, a plausibilidade biolgica pode ser desnecessria. Exemplos que se enquadram neste o a caso so in meros. a u Entretanto suponha-se, por exemplo que se esteja interessado em um melhor compreenso de a mecanismos envolvidos na inteligncia. Usa-se um algoritmo que no biologicamente plaus e a e vel e tira-se concluses sobre mecanismos mentais! Que validade tero estas concluses se foram o a o obtidas usando algo que irreal? mesmo que os resultados reproduzam coisas que ocorrem no e aprendizado de seres vivos o que se deveria concluir no que se tem uma idia mais precisa de a e e como o aprendizado ocorreu, E que o aprendizado nada mais do que criar um sistema com um e comportamento determinado. Mas muitos sistemas internamente diferentes podem apresentar o mesmo comportamento externamente, logo o comportamento biolgico que continua ignorado o 5.2.2 Regra Delta (2)
A expresso usada na Lei de Hebb muito simplicada. Com efeito, considerando uma sinapse a e real tem-se:
26
O valor da modicao da intensidade da conexo sinptica para mesmas excitaes dos ca a a co neurnios envolvidos pode variar com o tempo. o A modicao da intensidade da conexo sinptica wij de wij pode depender de wij o ca a a que ser um efeito no linear (anteriormente tem-se um sistema bi-linear por apresentar a a um produto de duas intensidades). Isto ocorre como um efeito de saturao do valor de ca conexo sinptica. a a Pode-se imaginar que a modicao da intensidade da conexo sinptica dependa tambm ca a a e de neurnios vizinhos. o Um modelo um pouco mais completo seria: wij = (xi , di , wij , oj , t) (3)
Note-se que di no local ` sinapse, mas local com relao ao neurnio i. a e a ca o Uma expresso um pouco mais simples seria obtida com a funo dependendo da diferena a ca c entre a excitao real do neurnio i e a que seria desejada. Com isto tem-se a Regra de Widrowca o Ho ou Regra Delta que pode ser expressa como: wij = (di xi )oj (4)
Existem muitas outras variantes para a regra de aprendizado expressa pela equao3. Por ca exemplo, Grossberg propoz a seguinte regra de aprendizado:. wij = xi (oj wij ) (5)
Nesta regra de aprendizado toda a informao necessria ` modicao de uma sinapse ca a a ca e local ` sinapse, sendo portanto um regra de aprendizado plaus biologicamente. a vel interessante notar que a regra delta implementa uma otimizao em H2 isto , minimiza E ca e o erro mdio quadrtico. Com efeito, seja o erro mdio quadrtico correspondente ao exemplo e a e a p : Ep = 1 2 (dpj opj )2 (6)
Este erro funo do valor das conexes e portanto para calcular seu m e ca o nimo deve-se encontrar os valores que anulam a primeira derivada. Assim tem-se: Ep wij Ep oipwij oip opj = (dpj opj ) wij =
(7) (8)
27
Considerando a aproximao de primeira ordem para a funo o = (w)) e tomando o ca ca coeciente de proporcionalidade como uma constante (o sinal negativo escolhido para ter o e mesmo sinal da expresso usada na regra delta) , tem-se: a Ep = (dpj opj ) wij (9)
A Regra Delta biologicamente plaus pois usa apenas informao local ` sinapse para o e vel ca a aprendizado. Seu ponto de partida a generalizao da Lei de Hebb e efetua ama otimizao e ca ca que pode ser interpretada como o modelo matemtico de um mecanismo de seleo. a ca 5.2.3 Retropropago ca
Retropropago (Backpropagation) pode ser considerada como a generalizao da Regra Delta ca ca para redes diretas com mais de duas camadas. Neste caso, ao menos uma camada de neurnios o no est envolvida com a entrada ou saida e portanto interna ` rede. Esta camada e suas a a e a conexes quando aprendem a efetuar uma funo, agem como se houvesse uma representao o ca ca interna da soluo do problema. ca Para uma apresentao de como a retropropagao funciona recomenda-se a leitura do artigo ca ca original de Rumelhart et al. [81]. Sem entrar em detalhes a retropropagao uma regra de ca e aprendizado supervisionado. Apresenta-se ` rede um exemplo e verica-se a saida da rede, a saida esta que comparada ` saida esperada dando um erro. Calcula-se o gradiente deste erro e a com relao aos valores sinpticos da camada de saida que atualizada por um passo escolhido ca a e podendo-se ento calcular o erro da saida da pen ltima camada, e assim por diante propagando a u para tras o erro (origem do nome backpropagation) por todas as camadas de conexes. A seguir o apresenta-se mais um exemplo (pode ser o mesmo repetido) e continua-se o processo at que o e erro seja menor que uma tolerncia desejada. a Esta talvez a mais popular regra de aprendizado. A maioria dos programas para tratar RNA e dispem de uma implementao da backpropagation ou na forma original (usando gradiente) o ca ou em uma forma modicada para melhorar a performance da regra. alem de ser a primeira regra inventada para efetuar treinamento supervisionado de redes diretas com mais de duas camadas e consequentemente no limitada a resolver problemas linearmente separveis, tem a a ainda a vantagem de que, se a funo de ativao for uma funo anal ca ca ca tica derivvel, a derivada a pode ser calculada explicitamente, evitando todos os problemas inerentes derivao numrica. a ca e Tal o caso da funo log e ca stica. ypi = 1 1 + e(
iwji ypi +j )
(10)
onde j a polarizao (bias). e ca Com efeito, chamando a expresso entre parntesis na equao 10 netpi a derivada : a e ca e
28
ypi = ypj (1 ypj ) netpi Consequentemente o erro em uma unidade de saida dado por: e pj = (dpj ypj )ypj (1 ypj ) e em uma unidade interna: pi = ypj (1 ypj ) kpk wkj
(11)
(12)
(13)
O mximo da derivada ocorre para ypi = 0.5 e o m a nimo para 0 ou 1. Como na backpropagation a correo a cada passo proporcional ` derivada, os pesos mudam mais para as unidades ca e a que tem uma ativao de valor intermedirio o que contribue para a convergncia do algoritmo. ca a e Convem ainda notar que retropropagao pode ser usada (teoricamente) para neurnios onde ca o as entradas so combinadas usando multiplicao, para redes com realimentao ou recurrentes. a ca ca No primeiro caso, como observado por Janson & Frenzel [51] a funo erro pode apresentar ca muitos m nimos locais e no deve ser usada. a Finalmente cabe salientar que nem toda rede direta pode ser treinada pela retropropagao, ca pois devido ao clculo da derivada necessrio que a funo de ativao seja derivvel (o a e a ca ca a treinar redes com ciclos por retropropagao, Perceptron est excluido). Por outro lado possivel a e ca como mostrado no artigo mencionado acima. Portanto, impreciso chamar redes diretas de redes e retropropagao como se faz freq entemente na literatura. ca u 5.2.4 Aprendendo com a Natureza
Em seu interessantissimo livro, Le hasard et la ncssit, Monod [73] seguindo idias Darwinie e e e anas [24], discute como aleatoriedade e luta pela vida servem para os seres vivos aprenderem e com isto evoluirem. A mesma idia pode ser usada no treinamento de RNAs. Aplicada a e populaes esta idia leva aos algoritmos genticos. Aqui ser apresentada a verso usada em co e e a a estudo de manter a posio em p. ca e O processo o corpo da criana de p. A entrada o desejo de car nesta posio. As e c e e ca perturbaes so do tipo vento, algum peso carregado, etc. A realimentao modela os sentidos. co a ca Incorpora-se informaes visuais, do labirinto, proprioceptivas relativas `s posies das juntas, co a co etc. As informaes do labirinto incluem as provenientes de rgos vestibulares tais como os co o a canais semicirculares capazes de detetar acelerao angular e os rgos otol ca o a ticos capazes de detetar acelerao linear. ca Usou-se rede direta como controlados. O comportamento global do sistema controlado e funo do valor das conexes que so inicializadas aleatoriamente como uma matriz W (0) e ca o a observa-se o comportamento durante um certo intervalo de tempo registrando-se o erro mdio e
29
quadrtico (0). A seguir gera-se uma outra matriz aleatria W criando uma nova matriz de a o conexes ( um fator de correo): o e ca W (1) = W (0) + W. (14)
Simula-se novamente o sistema. Se o novo erro is for menor que (0), a nova matriz sinptica a adotada como W (1). No caso contrrio comea-se novamente tirado outra matriz aleatria e a c o W . Repete-se o mesmo algoritmo ate melhorar e atingir erro menor que uma tolerncia quando a se aumenta o tempo de observao. ca O processo se repete at que apenas pequenas oscilaes em torno da posio em p sejam e co ca e observadas. 5.2.5 Aprendizado Competitivo
No aprendizado competitivo, usado nas redes popularizadas por Kohonen [55] neuronios so ina ibidos por outros neuronios de modo a que a competio entre eles leva a apenas um acabar excica tado. Assim, enquanto uma rede neural baseada em um aprendizado Hebiano, vrios neurnios a o de saida podem estar simultaneamente ativos, no caso do aprendizado competitivo, somente um neurnio de saida ca ativo de cada vez. o Fundamentalmente existem tres elementos que caracterizam o aprendizado competitivo: 1. Existe um conjunto de neurnios idnticos, ligados por valores de conexes sinpticas de o e o a valores distribuidos de modo aleatrio. o 2. Existe um valor mximo bem denido para a ativao dos neurnios. a ca o 3. Existe um mecanismo que permite que os neurnios entrem em competio pelo direito de o ca permanecerem excitados. No aprendizado competitivo entradas possuindo alguma semelhana tendem a excitar o mesc mo neurnio na saida. Assim que este paradigma de aprendizado pode servir para sugerir o e classicaes, tal como estudado no caso do estudo do sono [21], [22], [20], [23] em que os vrios co a tipos de sono ainda assunto de debate. e 5.2.6 Aprendizado Reforado c
No Aprendizado Reforado ou Reinforcement learning consiste no aprendizado atravs do c e mtodo da tentativa e erro de modo a otimizar um e ndice de performance chamado sinal de reforo. c Este paradigma de aprendizado tem profunda motivao biolgica, em que comportamentos ca o provocando satisfao tem como consequencia um reforo das conexes que os produziram, e ca c o
30
aqueles provocando insatisfao uma modicao do valor das correspondentes conexes. Um ca ca o exemplo o estudo do controle e seu aprendizado da posio erecta [17]. e ca 5.2.7 Aprendizado Aleatrio o
O aprendizado dito aleatrio quando os passos no sentido de obter o comportamento aprendido e o se baseiam em valores tomados aleatriamente que so testados para vericar sua adequabilidade. o a Assim, em essncia o aprendizado aleatrio segue os seguintes passos: e o Selecione os valores das conexes sinpticas de modo aleatrio. o a o Verique o valor da performance da rede. Provoque uma variao aleatria nas conexes sinpticas e verique o novo valor da perforca o o a mance da rede. SE melhorou retenha este novo valor de conexes. Caso contrrio escolha o a um critrio para escolher noiva variao. e ca Verique se um critrio de parada especicado inicialmente foi satisfeito e neste caso pare e o aprendizado. De uma certa forma o aprendizado aleatrio coincide com o aprendizado com a Natureza, o mencionado acima. 5.2.8 Aprendizado Evolutivo
Aprendizado Evolutivo o paradigma de aprendizado que, tirando inspirao da evoluo bie ca ca olgica capaz de modicar a topologia e os valores das conexes sinpticas de modo a fazer o e o a uma rede se tornar apta a resolver um problema. Este assunto pode servir tanto como algoritmo de aprendizado como para determinar a topologia da rede a ser usado para resolver determinado problema [7, 38].
Mquina de Resolver Problemas a
O sucesso das RNAs faz crer que um computador usando estas redes, como bloco bsico, possa a resolver problemas que computadores que no usem esta tecnologia so incapazes, ou ao menos, a a teriam muita diculdade para resolver. Isto nos leva a um estudo comparativo de possibilidades e torna-se conveniente precisar a terminologia empregada.
6.1
Tipos de Computadores
O estudo das possibilidades de RNAs na soluo de problemas implica na existncia de computaca e dores usando estas redes. Chama-se neurocomputador um computador em que o funcionamento interno feito por redes neurais munido de dispositivos de entrada e sa [44], [45]. e da
31
Por outro lado, devemos mencionar computadores que no usam esta tecnologia, que possuem a uma ou mais unidades centrais de processamento, memria. o Muitos destes computadores que no podem ser chamados de convencionais por inclu a rem alto grau de sosticao tm em comum o fato que seu funcionamento se baseia no conceito de ca e instruo. Por esta razo eles sero chamados de Computadores Baseados em Instrues ou CBI ca a a co como proposto em [5]. Em alguns casos pode ser conveniente usar simultaneamente as duas tecnologias tendo-se ento um computador h a brido.
6.2
Teoria de Problemas
Informalmente pode-se dizer que IA serve para resolver problemas, imitando de uma certa forma a inteligncia dos seres vivos (geralmente seres humanos). Mas o que um problema? [6]. e e A palavra problema to familiar que pode at parecer estranho perguntar sobre seu e a e signicado. Durante muito tempo se tratou de problemas, achou-se a soluo de muitos, provouca se que existem ou no soluo para muitos problemas, e muitos ainda desaam a cincia. Polya a ca e [74] sugere que antes de tentar buscar a soluo de um problema procure-se responder as seguintes ca perguntas: Quais so os dados? a Quais so as solues poss a co veis? O que caracteriza uma soluo satisfatria? ca o Estas perguntas podem ser tomadas como guia para formalizar a noo de problema [86]: ca Denio 15 Um problema o objeto matemtico P = {D, R, q}, consistindo de dois conjuntos ca e a no vazios, D os dados e R os resultados poss a veis e de uma relao binria q D R, a ca a condio, que caracteriza uma soluao satisfatria. ca c o Para ilustrar este conceito seja o caso de encontrar as raizes de um polinmio com coecientes o reais. Achar a soluo do problema da busca das ra ca zes de um polinmio com coecientes reais o consiste em associar a cada conjunto de coecientes de um polinmio particular p(x)) de grau n, o n n meros complexos cn de modo a satisfazer a condio de que o valor de p(x) fazendo x = cn u ca para todo n seja nulo. Dene-se ento a soluo de um problema como a funo f : D R, tal a ca ca que d D tem-se (d, f (d)) q. O conceito de problema apresentado se refere a problemas em geral e no a exemplos esa 5 + 3x2 + 3 um caso peccos de problemas. Por exemplo achar as raizes do polinmio 2x o e particular do problema de achar ra de um polinmio de coecientes reais. zes o Como a soluo a um problema uma funo, se for poss implementar esta funo tem-se ca e ca vel ca a soluo do problema. Este fato leva, na abordagem simblica, ` programao funcional e a ca o a ca e base da abordagem conexionista.
32
Com efeito, suponha-se implementada uma mquina abstrata tendo como primitivas um a 10 de funes, alm de um mecanismo de construo de novas funes conjunto bem escolhido co e ca co (recursividade seria um destes mecanismos). A funo soluo do problema poderia ser impleca ca mentada em tal mquina, e esta soluo estaria usando o paradigma funcional de programao. a ca ca Por outro lado, a abordagem conexionista fundamentada no fato de que redes neurais, e e em particular, redes diretas podem ser consideradas como aproximadores universais de funes co [18]. Desta forma, basta criar uma rede direta, sucientemente rica e trein-la para representar a a funo. ca
6.3
O Computador na Resoluo de Problemas ca
O computador pode ser considerado como mquina de resolver problemas, logo, natural imaga e inar que tanto a possibilidade de resolver um problema espec co, como quanto vai ser gasto em recursos na tarefa, dependem da mquina usada. Ao fato de que um problema possa ser a resolvido com recursos nitos chama-se computabilidade [53] e a quantidade de recursos envolvidos complexidade. Fala-se tambm em computabilidade prtica; por exemplo, um problema e a que requeira um tempo de 100 anos do mais rpido computador dispon no praticamente a vel a e computvel. a Para estudar se em um CBI e em um neurocomputador um problema computvel e qual a e a complexidade da soluo, necessrio explicitar como um neurocomputador e um CBI enfrentam ca e a a tarefa de resolver problemas. Em ambos pode-se distinguir os trs pontos seguintes: e a)-Em um CBI tem-se: 1 - o computador virtual (circuitos e programas), 2 - o ato de fazer o computador apto a resolver um problema espec co (carregar o programa no computador), 3 - resolver o problema (rodar o programa). b)-Em um neurocomputador tem-se: 1 - a rede de neurnios com entradas e sa o das (simulado ou materialmente implementado), 2 - um meio de xar os pesos das conexes, muitas vezes usando um algortmo de o aprendizagem (equivalente a carregar o programa), 3 - usar a rede j educada para resolver o problema com os dados a serem usados na a entrada da rede (equivalente a rodar o programa). A computabilidade de um problema depende dos pontos 1 e 2. Com efeito, a possibilidade de resolver um problema depende do apoio material que se dispe e se existe um programa (caso de o
A expresso bem escohido equivale, de modo informal a dizer satisfazendo `s seguintes condies: e a a co enumerar as condies necessrias para que a armao que se segue seja vlida. co a ca a
10
33
um CBI) ou se existe um conjunto de pesos de conexes (caso de um neurocomputador) capaz o de resolver o problema. Por outro lado a complexidade do problema depende do ponto 3, ou seja rodar o programa ou excitar a rede com os dados a serem usados. Se existe uma teoria de computabilidade e complexidade bem desenvolvida, esta teoria e voltada para os CBI. Com relao aos neurocomputadores existem apenas resultados isolados. ca
6.4
Equivalncia de Computabilidade e
A Tese de Church-Turing diz que todo problema computvel pode ser resolvido por mquina de a a Turing. Se as redes neurais so ou no equivalentes a uma mquina de Turing e em conseqncia a a a ue so capazes de resolver qualquer problema computvel e apenas eles, tem despertado grande a a interesse recentemente. Visto a luz dos trabalhos publicados por Arbib [2], [3] pode-se dizer que em termos de computabilidade CBI e neurocomputadores so equivalentes. Isso quer dizer que um neurocoma putador no sabe resolver nenhum problema que no pudesse ser resolvido com um CBI e vice a a versa. Esta armao pode ser descrita mais precisamente por dois teoremas. ca Theorema 1 Todo problema que pode ser resolvido por uma rede neural poder ser resolvido, a com a preciso que se desejar, por um CBI. a A prova deste resultado fcil [2, 3]. Com efeito, sabe-se que toda RNA pode ser simulada e a em um CBI, geralmente usando um programa que efetua multiplicaes matriciais, implementa co funes, etc. E isto com a preciso desejada. Usando esta simulao e os dispositivos de entrada co a ca e sa do CBI tem-se um neurocomputador (simulado). Ora todo problema que este neuroda computador resolve est na realidade sendo resolvido por um CBI, que a mquina hospedeira a e a da simulao. Assim, pode-se dizer que todo problema resolvido por um neurocomputador pode ca ser resolvido por um CBI. A rec proca deste teorema : e Theorema 2 Todo problema que pode ser resolvido por um CBI poder ser resolvido, por uma a RNA munida de convenientes dispositivos de entrada e sada. Com efeito, usando neurnios articiais (e dos mais simples, aqueles que possuem apenas o sa das binrias) poss a e vel construir os circuitos lgicos e, ou e no alm de circuitos bio a e estveis. a Com efeito, a gura 5 mostra como implementar estes circuitos bsicos. O primeiro, implea mentando um circuito no consiste em um neurnio com entrada feita atravs de uma conexo a o e a inibitria, de valor sinptico unitrio. O neurnio , como em todos os trs considerados na o a a o e e gura, denido por:
34
NO u1 0,5 u -1 y 0,5 u2
E u1 0,5 y 0,5 u2
OU y
Bias = 0,6
Bias = 0,4
Figura 5: Circuitos NAO, E. OU implementados com neurnios articiais. o - entrada do neurnio uT : soma dos produtos das excitaes u pelos valores das o co conexes sinpticas; o a - uma entrada auxiliar, chamada bias que usada para alterar a funo de sa e ca da do neurnio; o - neurnio esttico, isto , a sa ocorre no mesmo instante que ocorre a entrada (o o a e da tempo entre estes dois eventos muito pequeno); e - a sa obtida considerando a funo de sa do neurnio, dada pela expresso da e ca da o a abaixo onde uT leva em considerao o bias: ca se uT < 0 ento y = 0 seno y = 1 a a Com estes circuitos pode-se construir um CBI [32] usando tcnicas que os engenheiros de e microeletrnica conhecem e juntando-se dispositivos de entrada e sa o da. Ora, seja um CBI, assim construdo, programado para resolver um problema especco. Este problema estar a sendo resolvido por um conjunto de neurnios articiais ligados de um certo modo, logo por o uma RNA. Logo, pode-se concluir que todo problema que pode ser resolvido por um CBI pode ser resolvido por um neurocomputador. Desta forma ca provada, de modo intuitivo, a equivalncia dos CBI e neurocomputadores e em termos de computabilidade. Prova formal foi apresentada em [66] para o caso de neurnios o com dois estados.
35
6.5
Pontos de D vida u
Para concluir esta discusso sobre a equivalncia de redes neurais articiais (RNA) e mquina a e a de Turing, conveniente apresentar argumentos que mostram que esta equivalncia apenas e e e aproximada. Existem RNAs cujos valores de ativao, sa e entradas so elementos de um intervalo ca da a dos n meros reais. Portanto a cardinalidade destes conjuntos 1 , ou seja a cardinalidade u e do cont nuo. Por outro lado, no caso da mquina de Turing, tem-se cardinalidades nitas, a ou seja, conjuntos enumerveis (memria interna to grande quanto se deseje) sendo a a o a cardinalidade no mximo 0 , ou seja a cardinalidade dos inteiros. Ora, como as cardinala idades so diferentes, no existe bijeo entre estes conjuntos, sendo as RNAs mais ricas a a ca que a mquina de Turing. Uma RNA pode ser simulada em mquina de Turing levando a a em considerao uma certa aproximao. ca ca No caso de neurnios naturais (ou biolgicos), formadores das redes neurais naturais (RNN) o o ou redes neurais biolgicas (RNB), a observao referente ` diferena de cardinalidades o ca a c deixa de ser vlida. Com efeito, a transmisso de informao sinptica se faz por molculas a a ca a e de neurotransmissores e, portanto, quantizada, tendo cardinalidade nita ou no mximo e a 0 . Resta a d vida com relao ao conjunto de excitaes poss u ca co veis: ser que a frequncia a e de descarga dos neurnios pode variar continuamente, ou dar saltos entre frequncias o a e prximas? o A maior parte das RNAs com que se trabalha, so redes s a ncronas. Ora, se isto semelhante e 11 tal no ocorre com as RNN em que aos CBI que trabalham sincronizados por um relgio o a o funcionamento ass e ncrono. Destas observaes pode-se tirar vrias concluses, dentre as quais os teoremas e o corolrio co a o a que existem redes neurais que no podem ser implementadas em CBI. Consequentemente existem a problemas que podem ser resolvidos por neurocomputadores que no podem ser resolvidos pela a Mquina de Turing. a O fato de uma rede neural suave poder ser aproximada com a preciso desejada por uma a outra rede discreta, leva a denir uma equivalncia em termos de computabilidade prtica, dois e a computadores sendo equivalentes, so capazes de resolver os mesmos problemas. Entretanto, a em termos de computabilidade prtica, neurocomputadores e CBI so equivalentes. a a
6.6
No Equivalncia de Complexidade a e
Nas sees precedentes foi discutido o problema de computabilidade de CBI e neurocomputaco dores chegando-se a uma equivalncia prtica em termos de computabilidade. E em termos de e a complexidade?
11
Claro que em computao distribu tal no verdade. ca da a e
36
Embora pouco seja conhecido sobre complexidade quando se usa um neurocomputador, sabese que em termos de complexidade as coisas so diferentes em termos de CBI e neurocomputaa dores. Para ver que as coisas so diferentes basta considerar um exemplo simples. Seja o caso de a um circuito implementando uma RNA direta s ncrona com trs camadas. Suponha-se ainda e que ela foi treinada para associar padres (por exemplo um sistema especialista de diagnstico o o associando sintomas aos correspondentes diagnsticos). Como no h realimentaes, o tempo o a a co para a rede dar uma resposta sempre o mesmo: trs ciclos de relgio! E isso para qualquer e e o nmero de sintomas e doenas. u c Ora, este resultado completamente diferente se for usado um CBI. Por exemplo, se for usado e Prolog, o tamanho da rvore de busca aumenta com o n mero de sintomas e diagnsticos. Podera u o se-ia retrucar que no caso do neurocomputador, para muitos sintomas/diagnsticos poss o veis o tamanho da rede aumenta, e isto verdade ao menos em parte. Porque se uma rede maior pode e fazer crer em um resultado mais preciso daquele que obtm se for usada uma rede menor, no e a se sabe ainda ao certo qual o tamanho da rede ideal para resolver um dado problema. Alm e disto, esta armao sobre preciso baseada em resultados anteriores e pode ser considerada ca a e como uma heur stica. Existem muito poucos estudos sobre complexidade de problemas voltada para a soluo por ca neurocomputadores. Note-se que no se trata de falar da complexidade de problemas ligados `s a a RNA, tais como a complexidade de um algoritmo de aprendizado de redes. A complexidade a que o presente estudo se refere a quantidade de recursos em termos de e RNA necessrios para poder resolver um determinado problema, eventualmente considerando-se a uma certa preciso. Estes recursos incluem o tipo de rede a ser escolhido, a topologia da rede, a etc. Um estudo que se tornou famoso foi o apresentado por Minsky e Papert em 1969 [71], [72] e que desviou a maioria das pesquisas de redes neurais para pesquisas em IA usando manipulao ca simblica. Alm deste trabalho, que pode ser considerado o primeiro grande passo na direo de o e ca uma teoria da complexidade voltada para RNA, alguns outros trabalhos isolados tm aparecido. e Para exemplos, ver as referncias que se seguem: [1], [67]. e
6.7
Alguns Resultados Sobre Complexidade de RNA
A complexidade das RNA diz respeito a dois pontos: 1. Dado um problema, denir a topologia da rede necessria para sua soluo. Por exemplo, a ca se a rede deve agir como modelo de um sistema de controle adaptativo, e a entrada da rede a sa do processo, ser possvel usar uma rede direta? e da a 2. Dado um problema que pode ser resolvido por uma determinada topologia de RNA, e uma preciso desejada, qual a tamanho m a nimo da rede que deve ser usada?
37
Alguns teoremas com relao ` complexidade das RNAs foram apresentados em [7] que ca a permitem sugerir uma classicao baseada em separabilidade e dinmica. ca a 1. Problemas estticos linearmente separveis. a a Trata-se de problemas envolvendo a implementao de uma funo (por ser um problema ca ca esttico) e que podem ser resolvidos por um perceptron de uma camada de conexes. a o 2. Problemas estticos linearmente no separveis. a a a Trata-se de problemas envolvendo a implementao de uma funo (por ser um problema ca ca esttico) e que podem ser resolvidos por uma rede direta, com neurnios estticos, exigindo a o a ao menos uma camada de neurnios internos. o 3. Problemas dinmicos com dinmica nita. a a Os problemas com dinmica nita so aqueles que a durao da resposta do sistema a a ca aps uma entrada dura um tempo nito. Um exemplo so os ltros FIR (Finite Impulse o a Response). Estes problemas pode ser resolvidos por rede direta com neurnios dinmicos. o a 4. Problemas dinmicos com dinmica innita. a a Os problemas com dinmica innita so aqueles que a durao da resposta do sistema a a ca aps uma entrada pode durar um tempo innito. Um exemplo so os ltros IIR (Innite o a Impulse Response). Estes problemas devem ser abordados por rede com retroao e com ca neurnios ou rede esttica e conjunto de retardos. Neste caso o problema da estabilidade o a da rede, ou seja se a rede encontrar ou no soluo e quanto tempo ser necessrio a a ca a a e problema em aberto.
6.8
Aprendizado de RNA como Paradigma de Programao ca
Ser que a diferena em complexidade justica esforos para construir neurocomputadores? A a c c resposta pode ser encontrada no modo de fazer neurocomputadores aptos a resolver problemas. O ato de fazer um CBI apto para resolver um problema bem conhecido como a atividade e de programar. Programar pode ser considerado como o ato de descrever um algoritmo ou como meio de se comunicar com o computador. Como modo de descrever um algoritmo ca imprprio o falar em programar um neurocomputador, mas no se for considerado como o modo de se a comunicar com ele. Assim considere-se o conceito de programar de um modo mais amplo que seja aplicvel tambm aos neurocomputadores. Ora, neurocomputadores se preparam para a e resolver problemas ajustando os valores das conexes sinpticas entre seus neurnios, o que pode o a o ser feito essencialmente de dois modos: Colocando diretamente os valores como uma representao do conhecimento com sugerica do no livro de exerccios da srie PDP [82], exemplo das gangs Jets e Sharks e que foi e
38
modicado para uso em sistemas especialistas conexionistas com sucesso [25], [15], [13], [11]. Usando um algoritmo de aprendizagem [46]. Mas se isso tambm programar, que paradigma de programao ser este? e e ca a costume mencionar vrios diferentes paradigmas de programao: imperativa, funcional, E a ca lgica, declarativa, orientada a objeto, etc. Estes paradigmas no so excludentes, existindo, o a a por exemplo, funcional orientada objeto, imperativa com parte declarativa, etc. Entretanto, considerando a proximidade com o funcionamento de um CBI pode-se falar em imperativa e declarativa. Na programao imperativa se especicam as aes que o computador deve efetuar para reca co solver determinado problema. Na programao declarativa declara-se o que deve ser uma soluo ca ca para o problema e cabe ao computador transformar esta denio do problema em instrues ca co imperativas a serem executadas. Por exemplo, um interpretador Prolog recebe um programa Prolog em estilo quase declarativo e o transforma, usando entre outras coisas o Princpio da Resoluo proposto por Robinson [75] em um programa imperativo. ca E programar um neurocomputador? Isso pode ser considerado como um novo paradigma de programao, em que no mais necessrio nem denir o algor ca a e a tmo nem denir o problema precisamente. Basta introduzir no computador relaes entre conceitos ou usar exemplos de co problemas parecidos j resolvidos para serem usados na fase de aprendizado. A RNA, usando a sua capacidade de generalizao se torna capaz de resolver o problema desejado. At o presente ca e momento no se conhece teoria permitindo associar a preciso da soluo a esta capacidade de a a ca generalizao, o problema tendo sido abordado de modo experimental, usando simulao [76], ca ca [77].
6.9
Um Pouco de Fico ca
Uma discusso de neurocomputadores e computadores h a bridos motiva especulaes. Quem no co a gostaria de um rob domstico? Poderia limpar a casa, por a mesa, por a loua na mquina, o e c a trazer os chinelos depois de abrir a porta para seu mestre, e com as capacidades neurais de aprender e se adaptar a novas manias do mestre. Mas ele deveria aceitar programao declarativa ca tambm para que se pudesse colocar, por exemplo, as leis da robtica inventadas por Azimov... e o e nunca fazer mal a um ser humano.
Aplicaoes das RNAs c
Atualmente as aplicaes das RNAs esto invadindo todos os dom co a nios, saindo das primeiras em reconhecimento de padres, para ir a distribuio de energia eltrica, mercado de capitais, o ca e
39
aplicaes navais, sistemas especialistas, etc. Neste cap co tulo sero abordadas algumas destas a aplicaes. co
7.1
7.1.1
Reconhecimento de Padres o
Em que Consiste o Reconhecimento de Padres o
Reconhecimento de padres talvez uma das primeiras aplicaes de redes neurais. Com efeito, o e co o Perceptron de Rosenblatt [78, 79] foi concebido principalmente como instrumento capaz de reconhecer letras. A principal razo que reconhecimento de padres uma tarefa geralmente a e o e desempenhada muito melhor usando as capacidades cognitivas do homem do que executando um algor tmo. Por exemplo, seres humanos so excelentes no reconhecimento de rostos, m sicas, a u a caligraa de alguem conhecido, etc. Ces so excelente em reconhecer odores e gatos so a a a capazes de sentir o humor de pessoas fugindo daquelas que exprimem caracter sticas agressivas. Isso pode ser atribu a um sistema bastante desenvolvido de reconhecimento de padres. do o Por outro lado os esforos para fazer computadores baseados no conceito de instruo tem c ca encontrado srias diculdades. e 7.1.2 Reconhecimento de Padres como Classicador o
A gura 6 representa esquematicamente um reconhecedor de padres. O transdutor munido de o e um sensor que traduz a forma de energia suporte de informao sobre o objeto (ex: foto-eltrica ca e ou clulas da retina se informao visual, terminaes nervosas do ouvido interno ou microfone e ca co se informao sonora) e traduz esta forma de energia para outra capaz de ser processada (neuca rotransmissores e sinais eltricos de sistema biolgico ou eltricos de circuitos articiais). O e o e processamento inclui geralmente uma primeira fase em que atributo relevantes so selecionados a para processamento e este processamento age como uma funo, associando ao valor de um ca conjunto de atributos relevantes um elemento de um conjunto de padres poss o veis, o qual e apresentado como resposta do classicador. O processamento de sinais visuais tem grande importncia na implementao de robs a ca o autmos e requerem um processamento macisso. Devido a isto esta tem side desde algum tmpo o a pricipal motivadora da implementao de RNAs em pastilhas de silicio usando tecnologia VLSI ca [70]. O paradigma mais comum de aprendizado no caso do reconhecimento de padres o supero e visionado, associado a uma rede direta multi-camadas. Devido a sua disponibilidade, a regra da retro-propagao frequentemente usada bem como suas variantes. Entretanto bons resulca e tados so obtidos tambm com o aprendizado competitivo tipo redes de Kohonen. Este ultimo a e principalmente interessante quando no se sabe quantas classes poss e a veis existem a identicar o que no o caso do reconhecimento de padres. a e o
40
Figura 6: Viso de um sistema de reconhecimento de padres. a o 7.1.3 7.1.4 Principais Aplicaoes c Reconhecimento de Caracteres
Reconhecimento de caracteres uma aplicao bem sucedida de redes neurais desde o Perceptron e ca de Rosenblatt. Muitos programas incluem alguma forma de reconhecimento de caracteres como programa de demonstrao. ca Normalmente a letra apresentada a uma grade tal como a retina. Cada clula da grade e e serve de entrada a um neurnio da rede. Neurnios de saida da rede so associados a letras. o o a A camada de sa normalmente contm tantos neurnios quantos so as letras que se deseja da e o a identicar. Por exemplo para identicar todos os caracteres ASCII a rede ter 256 neurnios. a o No caso apresentado, as letras so representadas na entrada da rede usando uma reprea sentao distribu (a uma letra correspondem vrios neurnios ativados) e na de saida uma ca ida a o representao localizada (a uma letra corresponde apenas um neurnio). ca o Durante a fase de treinamento apresentam-se sucessivamente as letras ` rede em sua forma a ideal e com algumas variaes mais comuns. Depois de treinada, a rede identicar, aceitando co a letras com maior ou menor variao, as letras apresentadas. ca Bastante sosticado e dando resultados bastante bons, pode-se citar o neocognitron de Fukushima [34], evoluo do cognitron [33]. Esta rede do tipo multi-camadas. Permite reca e conhecer letras independentemente de sua posio e pode mesmo servir como modelo para o ca mecanismo biolgico de reconhecimento de padres visuais [35]. o o Uma variante do reconhecimento de caracteres a ltragem de caracteres. Neste caso desejae se poder apresentar na entrada da rede caracteres afetados de um ruido (mal representados) e ter na sa a mesma letra bem representada. Para este caso procede-se de modo inteiramente da anlogo com a diferena que a representao da sa tambm distribu a c ca da e e ida. O reconhecimento de caracteres foi tambm abordado com bastante sucesso por tcnicas e e baseadas em manipulao simblica, mas o reconhecimento de letras em posies diversas, o uso ca o co de caracteres distintos, o reconhecimento de letras manuscritas, por exemplo, continuam a ser
Redes Neurais Articiais problemas que a abordagem simblica encontra diculdades em resolver. o 7.1.5 Reconhecimento de Faces
41
Bem mais complexo que o reconhecimento de caracteres o reconhecimento de faces. Esta aplie cao pode, de modo anlogo ao caso de reconhecimento de caracteres, ser usado para identicar ca a a quem pertence um rosto visto em posies variadas e tambm reconstituir um rosto visto apeco e nas parcialmente. Finalmente os dois problemas podem ser associados no reconhecimento de um rosto apresentado parcialmente. Os trabalhos de Kohonen so notveis. Por exemplo, Kohonen a a [55] chega a mostrar o caso de um rosto que a rede sugeriu corretamente que o rosto deveria ser de um homem de culos! o O reconhecimento de um rosto segue esquema semelhante ao do reconhecimento de uma letra. Note-se, no entanto, que geralmente o problema exige uma grade muito mais na o que aumenta consideravelmente a quantidade de neurnios da rede. o O reconhecimento de faces ainda est em fase de pesquisa. H no entanto um campo enorme a a de interesse ligado a problemas de segurana. Problema anlogo o da identicao de imc a e ca presses digitais aplicao tambm em fase de pesquisa. o ca e
7.2
7.2.1
Sistemas Especialistas Conexionistas

SE Conexionistas
A IAS encontra diculdades na soluo de muitos problemas da vida real, devido a suas inconca sistncias, excesses e especicaes incompletas. e o co E poss identicar dois tipos de dom vel nios em que um SE pode atuar: articiais e naturais. Se geralmente fcil extrair regras para implementar um SE usando a IAS em sistemas e a pertencentes a um dom nio articial tal como panes de motores, bastante dif obter regras e cil se o dom natural conhecido como no caso de diagnstico mdico, previses nanceiras, etc. nio e o e o Um dos primeiros a usar sistemas especialistas conexionistas for Gallant (1988) [36] que considerou uma rede direta para a partir de 6 sintomas diagnosticar duas doenas e mostrou c como poss explicar o racioc e vel nio para o caso estudado. Posteriormente Azevedo [27, 28, 26, 25] mostrou como memrias associativas podem ser o usadas em sistemas especialistas, trabalho continuado em [15, 13, 11]. Muito resta a fazer nestes dois paradigmas de implementao de sistemas conexionistas. ca 7.2.2 SE usando Redes Diretas
Nest caso consideram-se os exemplos dispon veis para o treinamento da rede por um algoritmo de aprendizado supervisionado. Como as redes diretas so capazes de aproximar uma funo a ca no linear qualquer, e imaginando que a soluo do problema pode ser encontrada achando o a ca valor da imagem de uma funo, esta metodologia fornece soluo satisfatria. ca ca o
Redes Neurais Articiais 7.2.3 SE implementados com BAM
42
Neste caso supe-se conhecidas explicitamente as relaes entre sintomas e diagnsticos, tal como o co o usual em um sistema especialista usando a IAS. Ora, tambm possvel incorporar exemplos. e e Seja o caso de um diagnstico mdico. Inicialmente os conceitos so organizados em conjuntos o e a de conceitos semelhantes: doenas, diagnsticos e pacientes. c o
Pacientes
Sintomas
Doenas
Figura 7: Conjuntos de doenas, diagnsticos e pacientes. c o A cada conjunto de conceitos corresponde um cluster de neurnios. As conexes entre objetos o o so colocadas representando o que se conhece da relao entre dois objetos. Assim sabendo que a ca um paciente apresenta um sintoma com uma certa gravidade, coloca-se a conexo entre este a paciente e o sintoma com um valor que mea a gravidade do sintoma, ao menos subjetivamente. c Esta abordagem tem de interessante: Os exemplos so usados para colocar pesos nas conexes e no como elementos de um a o a conjunto de treinamento. O conhecimento localizado. e O aprendizado se reduz ` colocao dos pesos. a ca A matriz sinptica simtrica. a e e A intensidade das conexes varia normalmente no intervalo [-1 1] representando o valor o nebuloso da importncia da relao entre os dois objetos, sendo de [-1 0] para inibio e a ca ca de [0 1] para excitao. ca
43
Uma consulta feita excitando neurnios representativos de conceitos conhecidos e exame o inando o que aparecem excitados quando a rede atingir o equilbrio. Nota: Este paradigma tem sido usado em fase de prottipo para diagnstico em reumatoloo o gia.
7.3
7.3.1
Controle de Processos
Controle Neural
Diz-se que um sistema de controle neural quando se usa de alguma forma uma rede neural e como parte do controlador. Atualmente esse assunto tem interessado largamente a pesquisa, principalmente no caso em que o modelo do processo a controlar no dispon e se deseja a e vel usar as capacidades de aprendizado das RNA para obter a soluo do problema. Para uma ca introduo ao assunto aplicada a problemas de robtica ver [12]. ca o 7.3.2 Topologias de Controle
Aqui se apresentam as topologias de controle mais comuns: malha aberta, realimentao, e ca modelo interno, com comentrios de como uma RNA pode ser usada. a 7.3.3 Malha Aberta
Trata-se da topologia mais simples poss vel. A nalidade usada como entrada do sistema e controlado e, se o controlador escolhido como uma aproximao do modelo inverso do processo e ca a controlar, a sa ser uma aproximao da nalidade. Controle a malha aberta tem, geralda a ca mente, um funcionamento pobre, pois caso aparea uma perturbao no processo, o controlador c ca no tem acesso a esta informao e no corrigir o processo. Alem disso toda imperfeio na a ca a a ca implementao do modelo inverso se reetir na saida do processo. ca a Uma das vrias maneiras de treinar uma RNA para representar o modelo inverso fazer a e vrios ensaios com o processo a controlar obtendo pares entrada/sa a da. Depois usar estes pares como exemplos. Neste ponto convm uma observao da maior importncia, que, por sinal frequentemente e ca a e esquecida. Talvez a topologia de RNA mais utilizada seja a rede direta multi-camadas. Ora, se bem sabido que esta rede pode ser treinada para aproximar uma funo qualquer com e ca uma preciso que depende do n mero de neurnios e topologia da rede, o processo a controlar a u o frequentemente no pode ser representado por uma funo! pois se trata de um sistema dinmico. a ca a Logo necessrio usar uma RNA dinmica o que se obtem usando uma rede com realimentao e a a ca ou usando linha de retardo [25]. Alm disso, o modelo inverso de um sistema dinmico real e a normalmente um sistema dinmico irrealizvel e consequentemente pode ser implementado e a a apenas aproximadamente.
Redes Neurais Articiais 7.3.4 Controle com Retroao ca
44
A mais simples topologia permitindo o controlador sentir os efeitos de uma perturbao usar ca e a retroao. ca Os dois modos principais de empregar uma RNA em um controle usando esta topologia e como controlador e como supervisor do controlador. Uma RNA pode ser usada diretamente na implementao do controlador. Usa-se um ca controlador para o processo durante algum tempo e registram-se suas reaes formando co um conjunto de treinamento. Depois de treinada uma rede neural com esse conjunto de treinamento, a RNA substitui o controlador. Como supervisor. Nesse caso essencialmente usa-se um controlador convencional e a RNA usada para ajustar os parmetros do controlador. Um tipo de controlador muito comum e a o conhecido PID. Redes neurais podem ser usadas para implementar o comportamento e de um PID mas podem tambm ser usadas para ajustar os pesos do PID. Esta opo tem e ca a vantagem de deixar o sistema funcionar do modo que vinha funcionando e a RNA vem apenas melhorar o funcionamento global. 7.3.5 Modelos Internos
Esta topologia de controle popularizada pelo livro de Morari & Zariou [63] tem grande motivao biolgica. ca o Com efeito, supe-se que muitos seres vivos constroem um modelo mental de seus corpos e do o ambiente que os cerca. Baseado nestes modelos e por simulaes mentais, ele decide que aes co co deve realizar. Por exemplo, um cavalo tem o modelo de seu corpo e visualizando o ambiente que o cerca pode decidir passar por uma porta com grande tristeza para o cavaleiro que no estando a neste modelo se arrisca a car dependurado na bandeira da porta... incluido Nesta topologia um modelo do processo recebe o mesmo sinal atuante que o processo e suas respostas so comparadas. Se existe diferena entre as respostas do modelo e do processo, podea c se atribuir que houve uma perturbao. Ento esta diferena realimentada para produzir um ca a c e sinal de controle que corrija os efeitos da perturbao. ca Esta topologia de controle pode ser implementada por uma RNA e treinada diretamente com sinais excitao e resposta do processo. Deve-se, no entanto, lembrar que esta estrutura ca e aplicvel somente no caso de processos estveis ou que tenham sido previamente estabilizados. a a Com efeito, em ausncia de perturbao, se o modelo for perfeito, o sistema funciona a malha e ca aberta. Portanto, se o processo a controlar for instvel, o processo controlado tambm o ser. a e a
45
7.4
Sries Temporais e
Uma aplicao de RNAs ` sries temporais bastante util ` previso de mercado de capitais. ca a e ea a Neste caso, usa-se uma rede direta que treinada com valores de uma srie temporal que e e ocorreram em um determinado intervalo de tempo e com saida como sendo um valor futuro da srie. e Assim sejam os valores de uma srie temporal dados por: e u0 , u1 , u3 , ..., uk3 , uk2 , uk1 , uk Usa-se como entrada da rede a sequncia: e ukp , ukp+1 , ukp+2 ...uk3 , uk2 , uk1 E para saida da rede, durante o treinamento: uk+q Para q = 0 a rede vai aprender a estimar o prximo valor de uma srie temporal a partir de uma sequncia de p valores anteriores. Para o e e outros valores de q valores futuros da srie sero estimados. e a claro que a estimao ser tanto melhor quanto mais correlacionados forem os valores E ca a da srie, e tambm quanto melhor tenha sido o treinamento. Para gerar vrios conjuntos de e e a treinamento costuma-se observar o fenmeno durante um intervalo de tempo bem maior do o que o que ser usado no treinamento, podendo com isto usar vrios pares de valores para o a a treinamento. Sries temporais tem sido usadas em vrios tipos diferentes de aplicaes, indo desde mercado e a co de capitais at previses meteorolgicas. e o o
7.5
Monitoramento
Redes neurais podem ser muito uteis em monitoramento se explorada a capacidade de uma rede direta ter resposta praticamente imediata e esta soluo deve ser cogitada em casos onde a ca rapidez de resposta fator primordial. e Um exemplo o da deteo de vibraes em um reator nuclear, como no caso concreto de e ca co centrais nucleares na Blgica [14]. Vibraes em uma instalao nuclear em frequncias prximas e co ca e o das frequncias de ressonncia de partes importantes da instalao podem ter resultados catase a ca trcos. Elas devem ser detetadas urgentemente, antes que sua amplitude chegue a valores o cr ticos. Em muitas instalaes costuma-se periodicamente fazer inspees que consistem muitas vzes co co e em registrar o ruido neutrnico. Supondo que este ruido branco, qualquer alterao no especo e ca tro de frequncia deste ruido registrado indicao que existe uma vibrao neste frequncia. e e ca ca e Havendo uma vibrao do ncleo pode-se esperar que esta vibrao se traduz por uma variao ca u ca ca na espessura da proteo entre o n cleo e o captor. Isto faz variar a absoro de neutrons modca u ca ulando o ruido neutrnico que deixa de se apresentar como ruido branco. A idia foi colocar o e
46
uma RNA, treinada a detetar o espectro de frequncia de um sinal, soluo que deu perfeita e ca satisfao. ca
Implementao ca
Pessoas ligadas `s cincias da computao esto to habituadas ` idia de uma CPU executando a e ca a a a e instrues sobre dados escritos e escrevendo resultados na memria que chegam a ter a idia de co o e que isto natural e a unica opo em computao. e ca ca A Natureza usa paradigma diferente para resolver problemas. Assim, sendo as RNA inspiradas na Natureza, natural que sua implementao siga uma abordagem diferente. Essenciale ca mente as implementaes de RNAs podem ser feitas de tres modos distintos: co 1. Simulao da RNA em um IBC atravs de tcnicas de simulao. ca e e ca 2. Implementao por circuitos. ca (a) Simulao com uso de circuitos especializados, tais como co-processadores. ca (b) Implementao direta em circuitos. Neste caso os circuitos podem ser digitais ou ca analgicos. o
8.1
Simulao de RNA ca
Um programa de simulao deve ter as seguintes caracter ca sticas: Capacidade de representar o sistema a simular. No caso da simulao de uma ca rede neural, necessrio dispor de ferramentas para representar a rede, os valores das e a conexes sinpticas e implementar algor o a tmos de aprendizado. Essencialmente necessitase implementar multiplicao matricial e uma funo no linear. ca ca a Capacidade de representar a experincia de simulao. Inclui-se a a interface, e ca possibilidade de funcionamento autnomo, etc. o Essencialmente pode-se usar: Linguagens de uso geral tais como Lisp, C, Oberon, estas duas ultimas com facilidades de programao objeto, o que tem interessado os pesquisadores da rea ultimamente. ca a Linguagens de simulao que podem ser divididas em: ca linguagens de modelagem linguagens de simulao no sentido restrito. ca
47
Duas linguagens de simulao populares so Matlab e DESIRE/NEUNET desenvolvido ca a por Granino Korn [57]. Programas de simulao no sentido restrito. Estes programas geralmente apresenca tam interface amigvel, havendo muitos deles de dom a nio p blico e que so acessveis pela u a Internet. Exemplos so os do grupo PDP, Macbrain, Mactivation, NeuralWare. a
8.2
Implementaes por Circuitos co
Implementar RNAs por simulao um modo limitado por razes de performance. As tecnoloca e o gias emergentes tem colaborado em muito para implementao de RNAs. Isto est bem evidente ca a na ultima dcada quando os enormes avanos de tecnologia VLSI tem estimulado pesquisas em e c implementao em escala de uso industrial. ca Essencialmente existem tres modos de implementar uma RNA como circuito autnomo: o 1. Emulao por circuitos tais como co-processadores [68, 88] ca 2. Como Neurocomputadores incluindo estruturas especializadas em representar RNA e dispositivos de entrada e sada [68] 3. Circuitos dedicados [49, 69]. 8.2.1 Implementao da Sinpse ca a
Essencialmente a sinpse em uma RNA pode ser vista como um componente armazenando um a coeciente (valor da conexo sinptica) e cuja funo multiplicar este valor pelo valor da a a ca e entrada dando sua saida. A sinpse portanto um multiplicador. a e Em una RNA totalmente interconectada com n neurnios, n2 sinpses so necessrias. Em o a a a uma rede direta com p camadas, possuindo ni neurnios na camada i, o n mero de sinpses Sr o u a ser: a Sr = n1n2 + n2 n3 + ...ni ni+1 ... + np1 np = i=1 ni1 ni Como o n mero de sinpses maior do que o nmero de neurnios, sua implementao u a e u o ca e crucial na construo das RNAs. ca 8.2.2 Implementao do Neurnio ca o
p
O neurnio pode ser dividido em dois circuitos o primeiro implementa a operao de conuncia o ca e das entradas ponderadas pelos valores sinpticos. O segundo calcula a saida do neurnio. a o
Redes Neurais Articiais 8.2.3 Implementao do Aprendizado ca
48
A diculdade na implementao de um algoritmo de aprendizado depende se usada apenas ca e informaes locais ou no. No caso de usar apenas informaes locais necessita-se de sub-circuitos co a co com duas entradas, que so a excitao dos dois neurnios ligados pela sinpse. A saida usada a ca o a e para atualizar o valor da sinpse. No caso de um algoritmo no local so necessrias q entradas, a a a a onde q o n mero de sinais de que depende o algoritmo. A gura 8 mostra uma RNA direta por e u camadas usando um algoritmo no local. V-se que a sinpse w13 para ser alterada usa algoritmo a e a de aprendizado representado na gura pelo bloco L, o qual tem como entradas os valores das saidas yi e das saidas desejadas Yid como em um algoritmo de aprendizagem supervisionada.
L w 13 u1 N1 N3 w23 y1 y 1d y 2d N2 w14 N4 w
24
u2
y2
Figura 8: Rede com aprendizado no local. a Portanto os algoritmos que usam informao no local exigem um maior grau de complexica a dade de implementao. [49]. ca Muitas RNAs possuem um conjunto de neurnios que competem uns com os outros, de tal o forma que a saida de todos menos um se mantem pequena [19]. Isto exige tambm um circuito e com m ltiplas entradas, as excitaes dos neurnios que esto competindo. u co o a 8.2.4 Implementaes Digitais versus Analgicas co o
Em uma implementao analgica tanto ui entrada de neurnios quanto wji valores sinpticos ca o o a tem valores em um segmento dos nmeros reais que podem ser calculados usando a Lei de Ohm u e a saida uma corrente e a soma pode ser feita graas ` Lei de Kirchho das correntes. A e c a corrente resultante em seguida convertida para tenso, entrada de operador no linear para e a a dar a saida do neurnio. O clculo verdadeiramente em paralelo. o a e Quando a implementao digital, ento o clculo vai requerer um grande n mero de mulca e a a u tiplicadores e acumuladores, correspondendo a todos os neurnios da rede o que torna pouco o real stica tal soluo. Entretanto solues parcialmente digitais so poss ca co a veis em alguns casos.
Redes Neurais Articiais A tabela que se segue apresenta uma comparao das duas tecnologias. ca Implementao Digital versus Analgica ca o ANALOGICA DIGITAL Requer muito conhecimento Ferramentas de CAD12 no so comuns a a Difceis de testar Sens veis ao ruido Densidade funcional elevada Fcil implementao de no linearidades a ca a Regras de aprendizado local Prxima da realidade biolgica o o
49
Requer menos conhecimento Ferramentas de CAD so comuns a Fceis de testar a Boa rejeio ao ruido ca Baixa densidade funcional Dif implementao de no linearidades cil ca a Regras de aprendizado de dif implementao cil ca Diferente da realidade biolgica o
Ep logo
Uma palavra nal adequada seria que o campo das RNAs vasto. Aqui procurou-se dar ao e leitor uma viso geral do assunto. a Acredita-se que as RNAs vieram para car. Mas redes neurais constituem um assunto novo e velho de pesquisa. Como todo assunto velho trata-se de assunto maduro com muitos anos de pesquisa apoiando os conhecimentos atuais. Como novo campo, serve de polo de atrao para ca prossionais de vrios dom a nios distintos se transformando em assunto interdisciplinar. Com efeito: Psiclogos esto vendo possibilidades de construir redes neurais articiais e ver aparecer o a
comportamentos emergentes tais como o aprendizado de novos conceitos dando uma ajuda na compreenso dos mecanismos do aprendizado. a
Neurosiologistas esto interessados em ver as rede neurais articiais como metfora do a a crebro permitindo experimentao com esta metfora e melhorando o conhecimento dos e ca a mecanismos cerebrais. Cientistas cognitivos se empregam em usar as redes neurais articiais para um melhor conhecimento dos mecanismos envolvidos no processo cognitivo. Engenheiros olham redes neurais articiais como um caminho para, implementado estas redes em circuitos, ter computadores realmente paralelos e distribu dos. Muitos encontraram no aprendizado das redes neurais um campo para aplicar o que se conhece da teoria da otimizao, incluindo o caso de sistemas dinmicos e estticos com algor ca a a tmos de programao no linear. ca a Cientistas de computao encontraram um novo paradigma de programao e uma arca ca quitetura distribu da. Explorar este paradigma um desao. e
50
Leitura Complementar
Ao trmino deste texto conveniente citar alguns livros de interesse que podem ser consultados e e para um aprofundar o assunto. Para uma introduo `s bases do conexionismo, os trabalhos de ca a Arbib [2], [3], [4], so claros, precisos e fazem uma ponte segura com conceitos biolgicos. Mais a o populares so, no entanto, os livros do grupo PDP (Parallel Distributed Processing) [82], que a se no podem ser ignorados. Recentemente Haykin [42] publicou livro didtico bastante completo a a sobre o assunto. Kosko [59] trata de RNA e sistemas nebulosos realando as semelhanas entre c c os dois campos de estudo. Em portugus recomenda-se [16], [7], [60]. e No Brasil existem livro traduzido e alguns bons de autores nacionais. A segunda edio do Haykin est aumentada e disponivel [52]. Existe ainda os livro de Kovcs (1996 e 1997) [60, 61] a sem deixar de mencionar os de Loesch e o de Tafner e co-autores, ambos elementares [62], [85]. Mais recentemente (2000) o grupo de pesquisas do Recife produziu em cooperacco com So a a Carlos livro bem feito e mais profundo [30]. Ainda no mesmo ano apareceram outros livros voltados para redes neurais, dentre os quais, um, de trs ex-doutorandos do autor do presente e texto, F. M. De Azevedo, Lourdes M. Brasil e R. C. Limo de Oliveira, aos quais agradeo terem a c colocado em livro meus ensinamentos e idias [29]. e
51
Referncias e
[1] Abu-Mostafa, Y. S. & Jacques, J. S. Information capacity of the Hopeld model. IEEE Tans. on Information Theory 31, 4 (July 1985), 461464. [2] Arbib, M. A. Brains, Machines and Mathematics. McGraw-Hill, 1964. [3] Arbib, M. A. Brains, Machines and Mathematics, 2 ed. Springer, 1987. [4] Arbib, M. A. The Metaphorical Brain 2: Neural Networks and Beyond. John Wiley and Sons, New York, 1989. [5] Barreto, J. M. Neural networks learnig: A new programming paradigm. In ACM International Conference: Trends and Directions in Expert Systems, Orlando, Florida, October 29 to November 3 1990, p. ?? [6] Barreto, J. M. Expert systems in biomedicine. Universidade Catlica de Louvain, Faco uldade de Medicina, Programa de Informtica Mdica, Bruxelas, 1993. a e [7] Barreto, J. M. Conexionismo e a resoluo de problemas. UFSC, Dept. de Informtica ca a e Estat stica, Florianpolis, maio 1996. Trabalho para concurso pblico para Professor o u Titular. [8] Barreto, J. M. Redes Neurais Articiais. Texto de Curso apresentado no II-CIPEEL, Universidade Federal de Santa Catarina, Dept. de Engenharia Eltrica, novembro 1996. e [9] Barreto, J. M. Introduo `s redes neurais articiais. In V Escola Regional de Inca a formtica. Sociedade Brasileira de Computao, Regional Sul, Santa Maria, Florianpolis, a ca o Maring, 5-10/05 1997, p. 4171. a [10] Barreto, J. M. Inteligncia Articial no Limiar do Sculo XXI, 3 ed. Edies, e e co Florianpolis, SC, 2001. o [11] Barreto, J. M. & de Azevedo, F. M. Connectionist expert systems as medical decision aid. AI in Medicine 5, 9 (setembro 1993), 19. [12] Barreto, J. M. & de Azevedo, F. M. On the robot neural control. Relatrio tcnico., o e Projeto MUCOM (Multisensory Control of Movement) do Programa ESPRIT de Pesquisa Bsica, da CEE (Comisso Econmica Europeia), Lab. of Neurophysiology, UCL, Bruxelas, a a o maio 1993. [13] Barreto, J. M.; de Azevedo, F. M.; de Lima, W. C. & Epprecht, L. R. A neural network with fuzzy elements for a medical diagnosis. In LATINCON92, IEEE Latinoamerican Conference, Santiago, Chile, 1992, p. 335339.
52
[14] Barreto, J. M.; de F. M. Azevedo; de Lima, W. C. & Zanchin, C. I. Neural network identication of resonance frequencies from noise. In IX Congresso Brasileiro de Automatica, Vitoria, Brazil, setembro 14-18 1992, p. 840844. [15] Barreto, J. M.; Neyer, M. D.; Lef`vre, P. & Gorez, R. Qualitative physics versus e fuzzy sets theory in modeling and control. In IECON91: IEEE International Conference on Industrial Electronics, Control and Instrumentation, Kobe, Japo, outubro-novembro a 1991, p. 16511656. [16] Barreto, J. M.; Nievola, J. & de Lima, W. C. A student freedom of a tutor system. In MELECON96; 8th IEEE Mediterranean Electrotechnical Conference, Bari, Itlia, 13-16/5 a 1995, IEEE, p. 10971100. [17] Barreto, J. M. & Proychev, T. Control of the standing position. Relatrio tcnico., o e Projeto MUCOM (Multisensory Control of Movement) do Programa ESPRIT de Pesquisa Bsica, da CEE (Comisso Econmica Europeia), Lab. of Neurophysiology, UCL, Bruxelas, a a o May 1994. [18] Bechtel, A. & Abrahamsen, A. Connectionism and the mind. Basil Blackwell, Cambridge, Massachusetts, 1991. [19] Carpenter, G. A. & Grossberg, S. A massively parallel architecture for a selforganizing neural pattern recognition machine. Computer Vision, Graphics and Image Processing 37 (1987), 54115. [20] Coimbra, A. F.; dAngelo, G.; Marino-Neto; de Azevedo, F. M. & Barreto, J. M. Use of neural networks in brain state analysis. In Neural Network Contact Group), Louvain-la-Neuve, 30/11 1994. [21] Coimbra, A. F.; DAngelo, G. G.; de Azevedo, F. M. & Jorge M. Barreto, J. M.-N. Electrographic analysis of brain states using neural networks. In World Congress on Medical Physics and Biomedical Engineering), Rio de Janeiro, 13-16/8 1994, vol. 1, p. 463. [22] Coimbra, A. F.; Marino-Neto; Freitas, C. G.; de Azevedo, F. M. & Barreto, J. M. Automatic detection of sleep-waking states using Kohonen neural networks. In 1o Congresso Brasileiro de Redes Neurais, Escola Federal de Engenharia de Itajub, 24-27/10 a 1994. [23] Coimbra, A. F.; Marino-Neto, J.; de Azevedo, F. M. & Barreto, J. M. Brain electrographic state detection using combined unsupervised and supervised neural networks. In Articial Neural Nets and Genetic Algorithms, N. C. S. e. R. A. D. W. Pearson, Ed. Springer Verlag, Viena, 1995, p. 7679.
53
[24] Darwin, C. The origin of species. Grolier Enterprises Corp., Danbury, Connecticut, 1859. [25] de Azevedo, F. M. Contribution to the Study of Neural Networks in Dynamical Expert System. Tese de Doutorado, Institut dInformatique, FUNDP, Namur, Blgica, 1993. e [26] de Azevedo, F. M.; Barreto, J. M.; de Lima, W. C. & Zanchin, C. I. Teaching medical diagnosis with associative memories. In Proc. XI Systems Science International Conference, Wroclaw, Poland, setembro 22-25 1992, p. 2829. [27] de Azevedo, F. M.; Barreto, J. M.; Epprecht, E. K.; Epprecht, L. R. & de Lima, W. C. Two approaches in case-based connectionist expert systems. In AINN91 Articial Intelligence and Neural Networks, Anahaim, Calgary, julho 1991, M. H. Hanza, Ed., Acta Press, p. 1317. [28] de Azevedo, F. M.; Barreto, J. M.; Epprecht, L.; de Lima, W. C. & Zanchin, C. Neural network approach for medical diagnostic. In Mini and Microcomputers in Medicine and Health Care 91 , Anahaim, Calgary, December 1991, D. Hudson, Ed., Acta Press, p. 1618. [29] de Azevedo, F. M.; Brasil, L. M. & de Oliveira, R. C. L. Redes Neurais, 1 ed. Visual Books, Florianpolis, Sept. 2000. o [30] de Padua Braga, A.; Ludermir, T. B. & de Leon Ferreira de Carvalho, A. C. P. Redes neurais articiais: teoria e aplicaes. Livros Tcnicos e Cient co e cos Editora, 2000. [31] Falqueto, J.; de Lima, W. C.; da Silva Borges, P. S. & Barreto, J. M. The measurement of articial intelligence: an IQ for machines? In Proceedings of The International Conference on Modeling, Identication and Control , Insbruck, Austria, fevereiro 2001, IASTED. [32] Franklin, S. & Garzon, M. Neural computability. In Progress in Neural Networks, O. Omidvar, Ed. Ablex Publishing Co., New Jersey, 1991, p. 127146. [33] Fukushima, K. Cognitron: A self-organizing multilayered neural network. Biol. Cybernet. 20 (1975), 121136. [34] Fukushima, K. Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaected by shift in position. Biol. Cybernet. 36 (1980), 193202. [35] Fukushima, K.; Miyake, S. & Ito, T. Neocognitron: a neural network model for a mechanism of visual pattern recognition. IEEE Trans. on Systems, man, and Cybernetics 13, 5 (September/October 1983), 826834.
54
[36] Gallant, S. Connectionist expert systems. Communications of the ACM 31, 2 (1988). [37] Gallant, S. I. Neural network learning and expert systems. MIT press, Cambridge, Massachussets, 1993. [38] Garcia, R.; de Azevedo, F. M. & Barreto, J. M. Articial neural networks optimized by genetic algorithms. In EXPERSYS-95 , San Francisco, November 1995. [39] Gibson, J. E. Nonlinear Automatic Control. McGraw-Hill, Nova York, 1963. [40] Gille, J. C.; Decaulne, P. & Plgrin, M. Mthodes modernes dtudes des syst`mes e e e e e asservis. Dunod, Paris, 1960. [41] Harary, F. Graph Theory. Addison-Wesley, 1971. [42] Haykin, S. Neural networks: a comprehensive foundation. IEEE Press, New York, 1994. [43] Hebb, D. O. The organization of behavior. Wiley, New York, 1949. [44] Hecht-Nielsen, R. Neurocomputing: Picking the human brain. IEEE Spectrum 25, 3 (1988), 3641. [45] Hecht-Nielsen, R. Neurocomputers. Addison-Wesley, Massachusetts, 1990. [46] Hinton, G. E. Connectionist learning procedures. Articial Intelligence 40, 1-3 (1989), 185234. [47] Hopfield, J. Neural Networks and Physical Systems with Emergent Collectives Computational Abilities. Proceedings of the National Academy of Sciences 79 (1982), 25542558. [48] Hopfield, J. Neurons with graded response have collective computational properties like those of two-state neurons. Proceedings of the National Academy of Sciences 81 (1984), 30883092. [49] Hopfield, J. The eectiveness of analog neural network hardware. Network 1, 1 (1990), 2740. [50] Hubel, D. H. The brain. vol. 1. Freeman, San Francisco, 1979, ch. 1, p. 214. [51] Janson, D. J. & Frenkel, J. Training product unit neural networks with genetic algorithms. IEEE Expert 8, 5 (1993), 2633. [52] Jaykin, S. Redes Neurais: Princ pios e Prticas. Bookman, 2001. a [53] Kfoury, A. J.; Moll, R. N. & Arbib, M. A. A Programming Approach to Computability. Springer Verlag, 1982.
55
[54] King, P. & Mamdani, E. The application of fuzzy control systems to industrial processes. Automatica 13 (1977), 235242. [55] Kohonen, T. Self Organization and Associative Memory. Springer-Verlag, Berlin, 1987. [56] Kohonen, T. State of the art in neural computing. In IEEE First International Conference on Neural Networks, 1987, vol. 1, p. 7790. [57] Korn, G. Neural Netwoks Experiments on personal computers and workstations. MIT Press, A Bradford Book, Cambridge, Massachussets, 1992. [58] Kosko, B. Bidirectional associative memories. IEEE Trans. on Systems, Man and Cybernetics 18, 1 (1988). [59] Kosko, B. Neural Networks and Fuzzy Systems: A Dynamical Systems Approach to Machine Intelligence. Prentice-Hall, 1992. [60] Kovacs, Z. L. Redes neurais articiais. Edio Acadmica, So Paulo, 1996. ca e a [61] Kovacs, Z. L. O crebro e sua mente: uma introduo neurocincia computacional. e ca a e Edio Acadmica, So Paulo, 1997. ca e a [62] Loesch, C. & Sari, S. T. Redes neurais articiais: fundamentos e modelos. FURB, Blumenau, 1996. [63] M., M. & Zafiriou, E. Robust process control. Prentice-Hall, Englewood Clis, New Jersey, 1975. [64] Mamdani, E. Application of fuzzy algorithms for control of simple dynamic plant. Proc. IEE 121, 12 (1974), 158588. [65] McCulloch, W. S. Embodiments of Mind. The MIT press, Cambridge, Massachusetts, 1965. [66] McCulloch, W. S. & Pitts, W. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bulletin of Mathematical Biophysics 5 (1943), 115133. [67] McEliece, R. J.; Posner, E. C.; Rodemich, E. R. & Venkatesh, S. S. The capacity of Hopeld associative memory. IEEE Trans. on Information Theory 33, 4 (July 1987), 461482. [68] Mead, C. Analog VLSI and Neural Systems. Addison- Wesley, 1989. [69] Mead, C. A. Analog VLSI Neural Systems. Addison-Wesley, 1988.
56
[70] Mead, C. A. & Mahowald, M. A. A silicon model of early visual processing. Neural Networks 1, 1 (1988). [71] Minsky, M. L. & Papert, S. A. Perceptrons: an introduction to computational geometry. The MIT Press, Massachussets, 1969. [72] Minsky, M. L. & Papert, S. A. Perceptrons: an introduction to computational geometry, 3a ed. The MIT Press, Massachussets, 1988. Impresso modicada do original de 1969. a [73] Monod, J. Le hasard et la ncessit. Editions du Seuil, Paris, 1970. e e [74] Polya, G. A Arte de Resolver Problemas. Interscincia, Traduo de How to solve it: A e ca New Aspect of Mathematical Method, Princeton University Press, Rio de Janeiro, 1975. [75] Robinson, J. A. A machine oriented logic based on the resolution principle. J. ACM 12, 1 (1965), 2341. [76] Roisenberg, M.; Barreto, J. M. & de Azevedo, F. M. Generalization capacity in neural networks - the ballistic trajectory learning case. In II Congresso Brasileiro de Redes Neurais, Curitiba, 29/10-1/11 1995, p. 4 pginas. a [77] Roisenberg, M.; Barreto, J. M. & de Azevedo, F. M. Specialization versus generalization in neural network learning. In IEEE MELECON96 - 8th IEEE Mediterranean Electrotechnical Conference, Bari, Italy, May 1996, p. 627630. [78] Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain. Psychological Review 65 (1958), 386408. [79] Rosenblatt, F. Principles of Neurodynamics. Spartan Books, 1959. [80] Rumelhart, D. E.; Hinton, G. E. & McCleland, J. L. A general framework for parallel distributed processing. In Parallel distributed processing, vol 1: Foundations, D. E. Rumelhart, J. L. McClelland and the PDP group, Ed. MIT Press, Cambridge, Massachusetts, 1987, p. 4576. [81] Rumelhart, D. E.; Hinton, G. E. & Williams, R. J. Learning internal representations by error propagation. In Parallel distributed processing, vol 1: Foundations, D. E. Rumelhart, J. L. McClelland and the PDP group, Ed. MIT Press, Cambridge, Massachusetts, 1987, p. 318362. [82] Rumelhart, D. E.; McClelland, J. L. & Group, P. Parallel Distributed Processing, vol 1: Foundations. The MIT Press, 1986. [83] Shannon, C. E. & McCarty (edt.), J. Automata Studies. Princeton University Press, New Jersey, 1956.
57
[84] Shortliffe, E. H. MYCIN: a rule-based computer program for advising physicians regarding antimicrobial therapy selection. Tese de Doutorado, Stanford University, California, 1974. [85] Tafner, M. A.; de Xerez, M. & Filho, I. W. R. Redes neurais articiais: introduo ca e princpios de neurocomputaao. Editoras ECO e Editora da FURB, Blumenau, 1996. c [86] Veloso, P. A. S. & Veloso, S. R. M. Problem decomposition and reduction. In Progress in Cybernetics and System Research, F. P. R. Trappl, J .Klir, Ed., vol. VIII. Hemisphere, Washington DC, 1981, p. 199203. [87] Zadeh, L. A. Fuzzy sets. Information and Control 8, 1 (January 1965), 338353. [88] Zurada, J. M. Introduction to Neural Networks. West Pub. Co., 1992.

Introdução Às Redes Neurais Artificiais - Apostila

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Introdução Às Redes Neurais Artificiais - Apostila

Загружено:

Авторское право:

Доступные форматы

Indroduo `s ca a Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais 9 Ep logo Referncias bibliogrcas e a

Redes Neurais Articiais .

Redes Neurais Articiais J. M. Barreto

Redes Neurais Articiais

Redes Neurais e Inteligncia Articial e

Alguns Fatos Histricos das Redes Neurais o

Redes Neurais Articiais

Que Esperar da IAC?

Redes Neurais Articiais

Redes Neurais Articiais Objetivo: Entender a inteligncia humana. e

Redes Neurais Articiais

Um exemplo a referncia ` IA como sendo ignorncia atrevida, usual a t e e a a tulo de humor.

Redes Neurais Articiais

O Sistema Nervoso Descobrimento de Neurnio o

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Inspirado em Rumelhart & al. [80].

Topologias das RNAs

Redes Neurais Articiais

Redes Neurais Articiais

Redes diretas (Feedforward)

Redes Neurais Articiais

Redes com ciclos

Redes Neurais Articiais

Redes Neurais Articiais

O que as RNAs no so! a a

Redes Neurais Articiais

Aquisio do Conhecimento: Aprendizado ca

Redes Neurais Articiais

Regras de Aprendizado Conexionistas

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Mquina de Resolver Problemas a

Redes Neurais Articiais

Redes Neurais Articiais

O Computador na Resoluo de Problemas ca

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Claro que em computao distribu tal no verdade. ca da a e

Redes Neurais Articiais

Alguns Resultados Sobre Complexidade de RNA

Redes Neurais Articiais

Aprendizado de RNA como Paradigma de Programao ca

Redes Neurais Articiais

Aplicaoes das RNAs c

Redes Neurais Articiais

Redes Neurais Articiais

Sistemas Especialistas Conexionistas

Redes Neurais Articiais 7.2.3 SE implementados com BAM

Redes Neurais Articiais

Redes Neurais Articiais 7.3.4 Controle com Retroao ca

Redes Neurais Articiais

Redes Neurais Articiais

Redes Neurais Articiais

Implementaes por Circuitos co

Redes Neurais Articiais 8.2.3 Implementao do Aprendizado ca