Redes neurais implementadas em hardware: arquiteturas e aplicaes

Leonardo Alves de Paula e Silva CMP135 - Arquiteturas Especiais Prof. Philippe O. A. Navaux 07/01/2002

es p.1/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Introduo
Introduo Especicaes e Medidas de desempenho Classicao Estudos de caso Aplicaes Concluses Bibliograa

es p.2/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Introduo
Mesmo o mais rpido processador no pode prover resposta e aprendizado em tempo-real para redes com um nmero razovel de neurnios e sinapses. Lindsey em [2]. von Neuman geralmente utilizado para neurosimulaes, mas algumas aplicaes como experimentos em fsica de alta energia necessitam implementaes em hardware

es p.3/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Especicaes
Especicaes da rede neural: Arquitetura da Rede Neural (Feedfoward multi-layer, radial basis functions (RBF), etc.) Nmero de entradas e sadas Nmero de neurnios Nmero de sinapses por neurnio Nmero de camadas

es p.4/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Especicaes
Especicaes do hardware: Tecnologia utilizada (analgica, digital, hbrida ou tica) Preciso (em nmero de bits) das entradas e sadas dos pesos dos acumuladores

es p.5/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Medidas de Desempenho
Medidas de desempenho: Connection-Per-Second (CPS): dene a taxa de operaes de multiplicao e acumulao de valores durante o processamento; mede o quo rpido um rede realiza a fase de recall, i.e. mapeamento do entrada para sada; Connection-Update-Per-Second (CUPS): indica a taxa de mudana dos pesos durante o processo de aprendizagem; mede o quo rpido a rede consegue aprender.

es p.6/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Medidas de Desempenho
No existe um consenso entre os testes de benchmark para redes neurais a no ser o tempo de aprendizagem do NETtalk (rede neural do tipo backpropagation que traduz um texto em fonemas) o qual citado em [2, 3] .

es p.7/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Classicao

Neurohardware

Generalpurpose Commercial Chips

Specialpurpose

Custom design

chips technologies

Coprocessors

Processor arrays Digital Analog Hybrid Optical

PCboards Systolic SIMD SPMD

Taxonomia de abordagens de paralelizao para neurosimulaes segundo Serbedzija [2]

Figure 1:

es p.8/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Estudos de Casos
Tabela 1: Neurocomputadores encontrados comercialmente (os resultados de desempenho no foram obtidos utilizando um mesmo benchmark, devendo ser tomados como sendo relativos, como sugere a fonte [2]).

es p.9/35 Redes neurais implementadas em hardware: arquiteturas e aplicac o

Estudos de Casos
Produto SYNAPSE CNAPS RAP SAIC Balboa Lneuro WSI ETANN Boltzmann Arq./tecnologia systolic SIMD SPMD PC+board PC-board transputer board digital analgico hbrido

Neurnios 64 virtual 64 576 64 336

Conexes nenhuma 128k virtual 512 36K 10K 28K

CUPS 33M 1.46G 106M 2M 9M 4.2M 2.3G nenhuma 28G

CPS 5.12G 5.7G 574M 11M 25M 19M 2G 1T

Table 1:

Neurocomputadores encontrados comercialmente [2].

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.10/35

Estudos de Casos
Tabela 2: Alguns neurochips/neurocomputadores encontrados comercialmente classicados seguindo a taxonomia de Serbedzija para hardware dedicado (special-purpose)

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.11/35

Estudos de Casos

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.12/35

Estudos de Casos

Figure 2: Decomposio da rede neural para programao paralela [2].

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.13/35

Estudos de Casos:
SYNAPSE System:

Processor arrays

Produzido pela Siemens Dos mais populares e de uso geral Baseados em arquitetura sistlica bidimensional Projetado para acelerar operaes de matrizes e procura do mximo valor Composto por 8 processadores MA16 e 2 MC6804 CICS para propsitos de controle Um nico mdulo pode processar 4 padres de 16 elementos cada (16-bits) com 16 valores a uma taxa de 800 multiplicaes/acumulaes/sec a 50Mhz

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.14/35

Estudos de Casos:

Processor arrays

CNAPS (Coprocessing Node Architecture for Parallel Systems): Desenvolvida por pela Adaptative Solutions SIMD 64 processadores por chip conectados em uma estrutura de vetor unidimensional Barramento de broadcast conecta os processadores a um sequenciador comum de instruo microcodicada Para o aprendizado on-chip, cada chip tem como manter 128k pesos de 16 bits

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.15/35

Estudos de Casos:

Processor arrays

CNAPS (Coprocessing Node Architecture for Parallel Systems): Pode ter at 512 conectados a um host workstation Ferramentas de desenvolvimento proprietria

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.16/35

Estudos de Casos:

Processor arrays

Figure 3: CNAPS.

Arquitetura Adaptative Solutions

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.17/35

Estudos de Casos:

Processor arrays

Figure 4: Foto do Adaptative Solutions CNAPS em uma placa.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.18/35

Estudos de Casos:

Processor arrays

RAP (Ring Array Processor): Desenvolvido no ICSI Berkeley Estruturado em anel de DSPs (Digital Signal Processor ) Cada DSP tem memria local de 256kbytes de RAM esttica e 4Mbytes de RAM dinmica. At 4 DSPs por placa

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.19/35

Estudos de Casos:

Processor arrays

RAP (Ring Array Processor): Processamento disparado por intermdio de um host workstation Processamento SPMD Mapeamento de conjunto de neurnios em um DSP Apropriado para aplicaes conexionistas

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.20/35

Estudos de Casos:
SAIC SIGMA-1:

Co-processors

Processador comporta at 3M elementos de processamento virtual e conexes Linguagem OO (ANSpec) e biblioteca para rede neural (ANSim)

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.21/35

Estudos de Casos:
Balboa 869:

Co-processors

Para PC e Sun Processador Intel i860 especializado para executar o pacote ExploreNet

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.22/35

Estudos de Casos:

Co-processors

Lneuro (LEP neuromimetic circuit ): Produzido pela Philips Os processadores so integrados em blocos e conectados em transputers Combina MIMD do transputer com SIMD dos processadores

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.23/35

Estudos de Casos:
WSI:

Special-purpose

Produzido pela Hitachi Tecnologia Digital 576 neurnios e 36K pesos Integrado em chips de 5 polegadas usando 0.8 m CMOS

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.24/35

Estudos de Casos:

Special-purpose

ETANN (Electrically Trainable Analog Neural Network ): Produzido pela Intel Tecnologia analgica 64 neurnios e 10K pesos Processamento disparado por intermdio de um PC host

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.25/35

Estudos de Casos:

Special-purpose

Figure 5: Intel ETANN

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.26/35

Estudos de Casos:

Special-purpose

Figure 6: Intel ETANN Multi Chip board para treinamento de at 8 ETANNs.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.27/35

Estudos de Casos:

Special-purpose

Boltzmann Machine: Produzido pela Mitsubishi

Tecnologica hbrida (digital e analgica) 336 neurnios de 1 bit e 28k pesos de 5 bits

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.28/35

Aplicaes
OCR (Optical Character Recognition)

Figure 7: Passos do reconhecimento tico de caracteres.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.29/35

Aplicaes
High Energy Physics: Experimentos em fsica de alta energia envolvem colises de partculas sub-atmicas como prtons e eltrons em aceleradores de partculas. A exploso ocorrem quando as partculas se chocam formando partcluas ainda menores, as quais so de grande interesse (pelo menos para os fsicos!) como os quarks. A maioria das colises no produzem nada interessante.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.30/35

Aplicaes
A freqncia de coliso excede centenas de MHz, exigindo um ltro online sosticado para rejeitar eventos que no tenham interesse e guardar apenas os interessantes. O Fermilab Tevatron perto de Chicago tem (tinha?) um equipamento para realizar esta classicao que emprega o Intel ETANN. O Max Planck Institute em Hamburgo, o equipamento de classicao utiliza 10 placas Adaptative Solutions CNAPS VME executando 10 redes neurais diferentes.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.31/35

Concluso
Hardware dedicado atinge maior desempenho segundo publicao na IEEE Micro de junho de 1994 j que implementam um modelo especco de rede neural diretamente no circuito. O uso combinado de tecnologias digital e analgica produzem neurochips que atingem taxas de Giga CUPS na fase de aprendizado e de Tera CPS na fase de recall.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.32/35

Concluso
A diculdade em desenvolver neurohardware est na relativa imaturidade da pesquisa em redes neurais, onde os modelos j criados continuam sendo modicados e novos modelos vo sendo rapidamente desenvolvidos [2]. O neurocomputador do futuro poder consistir de um nmero modular de componentes abrangendo do hardware convencional at circuitos altamente especializados, dispositivos ticos e moleculares [2].

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.33/35

References
[1] Valeriu Beiu. Handbook of Neural Computation, chapter E1.4. IOP Publishing Ltd and Oxford University Press, 1997. Captulos disponibilizados em formato PDF: http://www.iop.org/Books/CIL/HNC/index.html . [2] Clark S. Lindsey. Neural networks in hardware: Architectures, products and applications. Disponvel em http://www.particle.kth.se/~lindsey/HardwareNNWCourse/home.html . Notas de aula. ltima atualizao: 26/08/2002. Visitado em 19/12/2002. [3] Clark S. Lindsey, Bruce Denby, and Thomas Lindblad. Articial neural networks in high energy physics. Disponvel em http://neuralnets.web.cern.ch/NeuralNets/nnwInHepHard.html . ltima atualizao: 13/11/1998. Visitado em 15/12/2002.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.34/35

References
[1] Clark S. Lindsey and Thomas Lindblad. Review of hardware neural networks: A users perspective. Disponvel em http://www.particle.kth.se/%7Elindsey/elba2html/elba2html.html . ltima atualizao: 06/03/1998. Visitado em 16/12/2002. [2] Nikola B. Serbedzija. Simulating articial neural networks on parallel architectures. Computer, 29(3):5663, 1996.

Redes neurais implementadas em hardware: arquiteturas e aplicac oes p.35/35