Profundo IX Encontro de Engenharia de Produo da UFRJ.

Redes neurais artificiais: conceitos e aplicaes

Daniel Karrer (UFRJ) dkarrer@gpi.ufrj.br Renato Florido Cameira (UFRJ) cameira@gpi.ufrj.br Andr Strauss Vasques (UFRJ) astrauss@click21.com.br Marcos de Almeida Benzecry (UFRJ) marcos_benzecry@yahoo.com.br

Resumo: O artigo se prope a realizar uma introduo terico-conceitual s redes neurais artificiais. Para isso, foi realizada uma breve reviso da bibliografia disponvel, abrangendo em especial o neurnio booleano de McCulloch, alm de uma breve descrio do funcionamento do neurnio biolgico. Por fim, h uma seo onde so descritos exemplos e casos de aplicao das RNAs. Palavras-chave: Redes neurais artificiais, Neurnio de McCulloch, Aplicaes gerenciais e biolgicas

1- Introduo Segundo Braga, Carvalho e Ludemir (2000), em Sistemas Inteligentes, as Redes Neurais Artificiais (RNAs) so modelos matemticos que se assemelham s estruturas neurais biolgicas e que tem capacidade computacional adquirida por meio de aprendizado e generalizao. O aprendizado em RNAs consiste na fase onde a rede neural absorve dados e, a partir destes, modifica seus parmetros de entrada. Esta etapa pode ser considerada como uma adaptao da RNA s caractersticas intrnsecas de um problema, onde se procura cobrir um grande espectro de valores associados as variveis pertinentes. Isto feito para que a RNA adquira, atravs de uma melhora gradativa, uma boa capacidade de resposta para o maior nmero de situaes possveis. Por sua vez a generalizao de uma RNA est associada sua capacidade de dar respostas coerentes para dados no apresentados a ela durante o treinamento. Espera-se que uma RNA treinada tenha uma boa capacidade de generalizao independentemente de ter sido controlada durante o treinamento. No entanto, atualmente, segundo Braga, Carvalho e Ludemir (2000), boa parte das pesquisas atual na rea visa o desenvolvimento de modelos e tcnicas de aprendizado que tenham algum controle de generalizao. O

Profundo IX Encontro de Engenharia de Produo da UFRJ.

conceito atual que aprendizado e generalizao andam juntos em vez de a generalizao surgir naturalmente como conseqncia do aprendizado. Segundo Braga, Carvalho e Ludemir (2000), bem como Kovcs (1996), o processamento da informao em RNAs feito por meio de estruturas neurais artificiais em que o armazenamento e o processamento da informao so realizados de maneira paralela e distribuda, por elementos processadores relativamente simples. Cada elemento processador corresponde a um neurnio artificial, tambm conhecido como modelo de Mc Culloch e Pitts, ou simplesmente modelo MCP. Ainda de acordo com Braga, Carvalho e Ludemir, uma das caractersticas mais importantes das RNAs que as mesmas so aproximadoras universais de funes multivariveis contnuas. Em outras palavras, qualquer problema de aproximao de funes contnuas pode ser resolvido por meio de RNAs, independente do nmero de variveis envolvidas.

2 O neurnio Biolgico De acordo com a descrio de Kovcs (1996), como qualquer clula biolgica, o neurnio delimitado por uma fina membrana celular que alm de sua funo biolgica normal, possui determinadas propriedades que so essenciais para o funcionamento eltrico da clula nervosa. A partir do corpo celular, ou soma o centro dos processos metablicos da clula nervosa projetam-s extenses filamentares, conhecidas como dendritos e axnio. A partir de estudos realizados na dcada de 50 e 60, passou-se a entender o neurnio biolgico como sendo basicamente o dispositivo computacional elementar do sistema nervoso, que possua mltiplas entradas e apenas uma sada. As entradas ocorrem atravs das conexes sinpticas, que conectam a rvore dendrital aos axnios de outras clulas nervosas. Os sinais que chegam por esses axnios so pulsos eltricos conhecidos como impulsos nervosos ou potenciais de ao, e constituem a informao que o neurnio processar, de alguma forma, para produzir como sada um impulso nervoso no seu axnio. O axnio ou fibra nervosa de um neurnio um tubo filamentar delimitado pela membrana celular. Em repouso, isto , sem a presena de um impulso nervoso, o interior da membrana est a um potencial eletronegativo de algumas dezenas de milivolts em relao ao exterior. Este o potencial de repouso da membrana. A formao de um potencial de ao na membrana axonal ocorre quando esta sofre uma

Profundo IX Encontro de Engenharia de Produo da UFRJ.

despolarizao suficientemente acentuada para cruzar um determinado valor conhecido como limiar de disparo. Neste momento, a membrana se despolariza rapidamente, em questo de alguns microsegundos, muito alm do valor do limiar, e em seguida retorna mais lentamente, ao valor de repouso. Este fenmeno o potencial de ao, que passa a se propagar ao longo da fibra nervosa na forma de uma onda no atenuada. Como destacou, Kovcs (1996), no neurnio biolgico, h uma integrao espao-temporal dos estmulos: A polarizao ocorre imediatamente aps a chegada do impulso nervoso na rvore dendrital e se propaga por difuso passiva por toda a membrana at o local em que poder interferir no surgimento de potencial de ao (axnio) e, com o tempo, decai de maneira exponencial. Isto , a membrana mantm, por algum tempo, a memria da atividade sinptica. Este fenmeno conhecido como integrao temporal dos estmulos pelo neurnio. Por outro lado, o potencial de ao provocado no axnio de um neurnio pelo efeito combinado de todos os estmulos excitatrios e inibitrios que chegam a sua rvore dendrital. Esta caracterstica reflete a integrao espacial dos estmulos.

3 O neurnio Booleano de McCulloch Em 1943, Warren McCulloch, juntamente com o estatstico Walter Pitts, publicaram no Bulletin of Mathematical Biophysics o artigo A logical Calculus of the Ideas Immanent in Nervous Activity. O neurnio de McCulloch um dispositivo binrio, que segue a lgica da figura 1. Sua sada poderia ser pulso ou no pulso, e as suas vrias entradas tinham ganho arbitrrio e poderiam ser excitatrias ou inibitrias.
X1 X2 w2 wn Xn w1 u f(u) y = f(u)

Figura 1: Esquema de um Neurnio de McCulloch

Profundo IX Encontro de Engenharia de Produo da UFRJ.

As entradas do neurnio correspondem ao vetor de entrada X = [x1,x2,..xn]T de dimenso n. Para cada uma das entradas xi, h um peso correspondente wi na entrada dos neurnios. A soma das entradas xi ponderadas pelo peso correspondente wi chamada de sada linear u, onde u = wixi. A sada y do neurnio, chamada de sada de ativao, obtida pela aplicao de uma funo f sada linear u, indicada por y = f(u). A funo f chamada de funo de ativao e pode assumir vrias formas, geralmente nolineares. As quatro funes de ativao mais utilizadas so linear, rampa,degrau e sigmide. Um exemplo tpico de funo de ativao a funo degrau unipolar:

f(u) = 0 se u < f(u) = 1 se u >

onde o limiar acima do qual a sada do neurnio ativada. De acordo com os valores dos pesos e do limiar , o neurnio artificial pode computar funes diferentes. Segundo Braga, Carvalho e Ludemir (2000), analisando o comportamento do neurnio representado pela equao acima e considerando uma entrada de dados com duas variveis, podemos observar que a equao de deciso por meio da qual o neurnio ativa ou no a sua sada equivalente a w1x1+ w2x2 = , que corresponde equao de uma reta no espao das variveis de entrada x1 e x2 (figura 2). Como pode ser observado, para cada conjunto de valores diferentes de w1, w2 e teremos uma reta diferente no espao de entrada definido pelas variveis x1 e x2. Com esta visualizao geomtrica do problema, pode-se entender melhor em que consiste o aprendizado em RNAs, que nada mais do que o ajuste dos pesos w e de , de maneira que a superfcie de deciso, neste caso uma reta, atenda aos requisitos de parada de um algoritmo.

Profundo IX Encontro de Engenharia de Produo da UFRJ.

w1x1+ w2x2 = X2 Regio onde h ativao Regio onde no h ativao /w2 X1 u f(u)

Funo degrau

Figura 2: Representao grfica

Como apontado por Braga, Carvalho e Ludemir (2000), uma Rede Neural , portanto, formada por elementos processadores simples. Cada elemento processador executa uma funo simples, mas a RNA como um todo tem capacidade computacional para resoluo de problemas complexos. A estrutura apresentada na figura 3 possui quatro entradas (x1, x2, x3, x4), duas sadas (y1,y2) e quatro neurnios na camada intermediria, e capaz de resolver problemas de regresso, classificao ou predio no espao R4. tambm um exemplo de rede neural do tipo feed-foward.

X1 X2 X3 X4

y1

y2

Figura 3: esquema de uma rede neural de 2 camadas

Profundo IX Encontro de Engenharia de Produo da UFRJ.

4 Aprendizado Conforme descrito anteriormente na introduo, as RNAs caracterizam-se pelo aprendizado por meio de exemplos. Para um determinado conjunto de dados, o algoritmo de aprendizado deve ser responsvel pela adaptao dos parmetros da rede, de maneira que, em um nmero finito de iteraes do algoritmo, haja convergncia para uma soluo. O critrio de convergncia varia de acordo com o algoritmo e com o paradigma de aprendizado, mas pode envolver, por exemplo, a minimizao de uma funo-objetivo, a variao do erro de sada ou mesmo a variao das magnitudes dos vetores de peso da rede. Basicamente, considera-se que o processo de aprendizado tem como caracterstica a ocorrncia de estmulo da rede pelo meio externo atravs da apresentao do conjunto de dados. Como conseqncia deste estmulo, o algoritmo de aprendizado provoca mudana nos parmetros da rede e, finalmente, a mudana nos parmetros acarreta em mudana no comportamento da RNA. Espera-se que a mudana gradual no comportamento da rede resulte em melhoria gradativa do seu desempenho. Segundo Kovcs (1996), a modificao do processamento ou da estrutura de conhecimento de uma rede neural envolve a alterao do seu padro de interconexo. Em princpio, isto pode ser feito de trs maneiras:desenvolvimento de novas conexes; perda de conexes existentes na rede ou modificao dos pesos das conexes j existentes

5 - Aprendizado e Generalizao Segundo Braga, carvalho e Ludemir (2000), o objetivo principal do aprendizado em Redes Neurais a obteno de modelos com boa capacidade de generalizao tendo como base o conjunto de dados. Em problemas de aproximao, classificao e predio, o conjunto de treinamento composto por pares de entra e sada (x, yd), sendo caracterizada previamente a sada desejada yd para um determinado valor de entrada x. O ajuste de pesos deve modificar a sada y de forma que a diferena entre y e yd, ou seja, o erro, diminua a cada iterao. No entanto a minimizao pura e simples do erro pode no levar a resultados satisfatrios. Portanto preciso fazer mais do que simplesmente minimizar o erro do conjunto de treinamento para se obter boa

Profundo IX Encontro de Engenharia de Produo da UFRJ.

resposta de generalizao. O objetivo dos algoritmos de treinamento deve ser o de aproximar funes geradoras fg dos dados e no simplesmente o de minimizar o erro do conjunto de treinamento.

6 Classificao das Redes Neurais Existem diversos tipos de RNA e diferentes maneiras de classific-las. Talvez a mais importante seja quanto forma de aprendizado que pode ser: supervisionada e no supervisionada. Como apontam Portugal e Fernandes (1995), no aprendizado supervisionado so sucessivamente apresentadas rede conjuntos de padres de entrada e seus correspondentes padres de sada. Durante este processo, a rede realiza um ajustamento dos pesos das conexes entre os elementos de processamento, segundo uma determinada lei de aprendizagem, at que o erro entre os padres de sada gerados pela rede alcance um valor mnimo desejado. Por exemplo, perceptron, adaline e madaline, backpropagation, so algumas dentre as dezenas de leis de aprendizagem supervisionada. No aprendizado no-supervisionado a rede analisa os conjuntos de dados apresentados a ela, determina algumas propriedades dos conjuntos de dados e aprende a refletir estas propriedades na sua sada. A rede utiliza padres, regularidades e correlaes para agrupar os conjuntos de dados em classes. As propriedades que a rede vai aprender sobre os dados podem variar em funo do tipo de arquitetura utilizada e da lei de aprendizagem. Por exemplo, Mapa Auto-Organizavl de Kohonen, Redes de Hopfield e Memria Associativa Bidirecional, so alguns mtodos de aprendizado nosupervisionado. As redes tambm podem ser classificadas quanto suas caractersticas: contnua, discreta, determinstica e estocstica, ou quanto sua estrutura: redes de mltiplas camadas - multilayer feedforward network, cujo fluxo de dados segue uma nica direo e redes recursivas - recurrent network.

Profundo IX Encontro de Engenharia de Produo da UFRJ.

7 Modelagem em Redes Neurais artificiais Para o desenvolvimento de um modelo ou projeto baseado em redes neurais artificiais so necessrias diversas etapas: definio do problema; coleta dos dados de treinamento e de teste; pr e ps-processamento dos dados; projeto da estrutura da rede; treinamento; teste e validao. Na elaborao do projeto da RNA ideal para solucionar um determinado problema, uma das tarefas mais difcieis determinar o nmero de elementos de processamento da camada oculta, bem como o nmero de camadas ocultas (camadas intermedirias ou ocultas so as camadas onde feita a maior parte do processamento, atravs de conexes ponderadas. Podem ser consideradas extratoras de caractersticas). No existem regras para isto, entretanto, estudos como o Teorema de Kolmogorov demonstraram que uma nica camada oculta suficiente para representar qualquer funo ou para resolver a maioria dos problemas de generalizao. Todavia, estes no indicam o nmero de elementos de processamento que esta camada deve conter. Os tipos de redes neurais mais adequadas so as redes multicamadas do tipo feedfoward com mtodo de aprendizagem supervisionado (utilizando o algoritmo de backpropagation). A parte principal do algoritmo de backpropagation a maneira interativa pela qual os erros utilizados para adaptar os pesos so propagados para trs, isto , a partir da camada de sada para as camadas anteriores.

8 Aplicaes De acordo com Turbam, McLean e Wetherbe (2004), alm de seu papel de mecanismo computacional alternativo, a computao neural tambm pode ser combinada com outros sistemas de informao baseados em computador para produzir sistemas hbridos poderosos. Em geral, as RNAs no apresentam um bom desempenho em tarefas que no so bem executadas por pessoas. Por exemplo, clculos matemticos e processamento de transaes que exijam rapidez no so adequados para as RNAs e so mais bem executadas pelos computadores convencionais. Entre as reas de aplicao das RNAs podemos citar: Data Mining: Localizar dados em bancos de dados complexos e em sites da Web;

Profundo IX Encontro de Engenharia de Produo da UFRJ.

Fraudes tributrias: identificar, localizar e assinalar irregularidades; Servios financeiros: identificar padres de dados sobre o mercado de aes e auxiliar em estratgias de negociao de aes e ttulos; escolha e comercializao de commodities, subscrio de hipoteca, precificao de ofertas iniciais ao publico e previso de taxas de cmbio;

Avaliao de pedidos de financiamento: avaliar a seriedade dos pedidos de financiamento, com base em padres de informaes anteriores (nvel de critrio do cliente);

Previso de solvncia: avaliando os pontos fortes e fracos de empresas e prevendo possveis fracassos; Anlise de novos produtos: previso de vendas e marketing dirigido; Gesto de tarifas areas: procura de assentos e escalas de tripulao; Avaliao de funcionrios e candidatos a vagas: dados dos candidatos comparados s exigncias da funo de critrios de desempenho; Alocao de recursos baseada em dados histricos e experimentais: descobrir alocaes que maximizem os resultados; Identificao de alvos de aquisio: prever quais empresas esto mais sujeitas a serem compradas por outras; Validao de assinatura: comparao e confirmao de assinaturas com amostras no cadastro; Previses: antecipar as exigncias de comportamento e de pessoal; Deteco de fraudes contra seguradoras: descobrir padres de fraude; Deteco de fraudes contra administradoras de cartes de crdito: anlise de padres de compra para deteco de fraude; Entre outros.

9 Estudo de caso: Aplicaes de Redes Neurais Artificiais em Bioinformtica As Redes Neurais Artificiais podem ser aplicadas a diversos problemas da Bioinformtica, que costumam envolver reconhecimento de padres. Adequam-se aos casos onde h necessidade de manipulao de conhecimento impreciso; alm de possibilitarem a construo de modelos a partir de exemplos depositados em bancos de dados.

Profundo IX Encontro de Engenharia de Produo da UFRJ.

Anlise de Sequncias de Genomas: Uma importante rea de aplicao da Bioinformtica a Anlise de Sequncias (nucleotdeos ou aminocidos), obtidas a partir do seqenciamento de genomas dos mais diversos organismos.Vrias abordagens podem ser utilizadas: a) Reconhecimento de Sinais - Segundo o "Dogma Central da Biologia Molecular", toda informao gentica de um organismo est codificada em seu genoma. Portanto, a anlise de seqncias envolveria a identificao de padres associados a funcionalidades biolgicas. Como o Reconhecimento de Padres uma das principais aplicaes das Redes Neurais Artificiais, interessante que estas sejam aplicadas em Bioinformtica, quando o problema envolver identificao de sinais biolgicos. So exemplos de sinais a serem reconhecidos em seqncias de nucleotdeos: Promotores (incio da transcrio); Sinais de trmino de transcrio; Start codon (incio de traduo); Stop codons (trmino de traduo); RBS (ribossome binding site). b) Identificao de Assinaturas - Um outro tipo importante de anlise a caracterizao da protena, com base nos motivos encontrados em sua seqncia de aminocidos. Uma maneira de realizar esta classificao seria atravs da construo de Mapas Auto-Organizveis contendo os motivos de interesse. c) Identificao de Repeties e de Regies de Baixa Complexidade - De maneira similar aos motivos em seqncias de aminocidos, tanto as repeties como as regies de baixa complexidade poderiam ser detectadas atravs dos Mapas Auto-Organizveis.

10- Estudo de caso: Administradoras de carto de crdito Somente 0,25% do faturamento da Visa International, em 1995, foi perdido para as fraudes, mas o 655 milhes de dlares que esse percentual representa so uma perda significativa que merece ser prevenida. A Visa est concentrando seus esforos agora sobre a reverso do nmero de transaes fraudulentas, utilizando para isso a ajuda da tecnologia de redes neurais. A maioria das pessoas costuma manter um padro bem-definido de uso de carto de crdito e raramente faz compras suprfulas. As redes neurais foram desenhadas para perceber quando um carto, normalmente usado uma vez por semana para abastecer o automvel, por exemplo, de repente usado para comprar vrios ingressos para a mais famosa estria de teatro na Broadway.

Profundo IX Encontro de Engenharia de Produo da UFRJ.

Os bancos associados rede Visa acreditam que a tecnologia de redes neurais um sucesso. O Bank of America usa um sistema de identificao de risco de portador de carto de crdito (CRIS) e cortou o uso fraudulento de cartes de crdito em dois teros. O Toronto Dominion Bank descobriu que as perdas haviam diminudo, e seu atendimento ao cliente melhorado muito desde a introduo da computao neural. Outro banco registrou uma economia de 5,5 milhes de dlares em seis meses. Em 1994, os bancos associados Visa perderam mais de 148 milhes de dlares com falsificao de cartes o que representa uma queda maior que 16%. Com esses nmeros, os 2 milhes de dlares que a visa investiu na instalao do CRIS parecem ter valido a pena. De fato, a Visa dz que obteve retorno sobre o investimento no CRIS em apenas 1 ano. Em 1995, o CRIS realizou mais de 16 bilhes de transaes. Em 2000, o VisaNet (o data warehouse e operaes de e-mail da Visa) e o CRIS efetuavam mais de 5250 transaes por segundo. No outono de 2000, o CRIS conseguia avisar em poucos minutos seus bancos associados sobre qualquer fraude que estivesse ocorrendo com alguma transao. A administradora japonesa de cartes de crdito Sumitomo Credit Service Co. utiliza o Falcon, um sistema baseado em redes neurais da HNC Corp. O produto consegue ler bem os caracteres japoneses, protegendo 18 milhes de portadores de cartes de crdito no Japo.

11 Concluso A partir de nosso estudo dos conceitos bsicos, conclui-se que as RNAs representam uma parte importante do conhecimento que est se formando no campo de sistemas inteligentes e inteligncia artificial. Atravs dos estudos de caso, percebe-se o poder desta ferramenta, que pode, dentre outras coisas, ser de grande valia no mbito da engenharia de produo como suporte a gesto de informao e suporte tomada de deciso.

12 Bibliografia Rezende, Solange O. (2003). Sistemas Inteligentes Fundamentos e aplicaes. Barueri, SP. Editora Manole.

Profundo IX Encontro de Engenharia de Produo da UFRJ.

Turbam, E., McLean, E., Wetherbe, J. (2004) . Tecnologia da Informao para Gesto. Porto Alegre, RS. Editora Bookman. Kovcs, Zsolt L. (1996). Redes Neurais Artificiais : Fundamentos e aplicaes. So Paulo , SP Livraria da Fsisca Editora. Artigo "Redes Neurais Artificiais e Previso de Sries Econmicas: uma introduo". Marcelo S. Portugal e Luiz Gustavo L. Fernandes, 1995