Utilização de GPU para Sistemas de Paralelismo Massivo
Diego Pereira Domingos
Abstract
This article presents the techniques for Mas-
sively Parallel Processing using GPUs (Graphic
Processor Unit). Here we discuss the architec-
ture of graphic processors and your technical fe-
atures. The text also presents a brief history of
techinque which CPUs and GPUs are both used
to compound high performance computing. How
a example, a brief study was done in AC Cluster,
created by National Center for Supercomputing
Applications (NCSA).
Resumo
Este artigo apresenta as técnicas de utiliza-
ção de GPUs (Graphic Processor Unit) em Siste-
mas de Paralelismo Massivo. Discute-se ao longo
do texto a arquitetura dos processadores grá-
cos, bem como suas características e funcionali-
dades. Apresenta-se também um breve histórico
da técnica onde se utilizam hibridamente CPUs e
GPUs para comporem clusters de computação de
alto desempenho. Como exemplo de aplicação,
tem-se um breve estudo do cluster AC, criado no
National Center for Supercomputing Applicati-
ons (NCSA).
1 Introdução
Há algumas décadas, a computação no mundo
era vista sob o controle de sistemas uniprocessa-
1
dos, ou seja, sistemas que possuíam apenas um
núcleo de processamento e trabalhavam na forma
sequencial de instruções, instrução por instrução.
A cada nova geração de processadores, era notó-
rio o ganho de desempenho em cima dos softwa-
res, o que motivava cada vez mais os desenvolve-
dores à aperfeiçoar suas aplicações, tornando-as
mais robustas e acompanhando o poder compu-
tacional que crescia juntamente com a frequência
de operação (clock), dissipação de calor e con-
sumo de energia dos processadores [1]. Tal dissi-
pação e consumo cresceram e atingiram um pa-
tamar no qual se inviabilizou o crescimento do
clock dos processadores e abriu frente à uma nova
forma de se realizar a computação: através de
paralelismo computacional.
A computação paralela se baseia na execução
de instruções de forma paralela. Sendo assim,
vários núcleos de processamento são necessários.
Com isso, teve-se um grande impacto no para-
digma de desenvolvimento de programas de ma-
neira sequencial, forçando os desenvolvedores a
pensar em aplicações não como um grupo de ins-
truções que operam sequencialmente, mas como
um grupo de operações que cooperam entre si
para gerar um resultado único [1].
Com isso, hoje temos CPUs multiprocessa-
das, como o exemplo do processador Intel i7,
com suporte à hyperthreading, um processador
contendo quatro núcleos de processamento com
propósito de desempenho de execução de aplica-
ções sequenciais, e também as GPUs, processa-
dores voltadas para aplicações paralelas, como é
o caso da NVIDIA Geforce GTX 580, contendo
512 núcleos de processamento e cada um deles
demasiadamente multithread, in-order e single-
instruction. Nessa arquitetura, alguns processa-
dores compartilham entre si o controle e uma ca-
che de instruções.
Essa mudança radical é referida como revolu-
ção da concorrência, e trouxe mudanças signi-
cativas na indústria de processadores. Desde
2003 observa-se uma corrida de desempenho de
pontos utuantes [1]. Como resultado, verica-
mos um crescimento exponencial de instruções
de pontos utuantes por segundo (FLOPS, do
inglês oating-point operations per second) para
as GPUs, enquanto o crescimento no desempe-
nho das CPUs diminui a cada ano. Como pode-
mos vericar na gura 1, em meados de 2008
a diferença de desempenho para esse tipo de
cálculo (oating-points) eram de 10 vezes, 1000
GFLOPS para GPUs e 100 GFLOPS para CPUs.
Figura 1: Desempenho CPU vs GPU
A defasagem mostrada no gráco da gura
acima (gura 1.1) decorre das distintas losoas
empregadas em cada tipo de processador: no pri-
meiro caso, as CPUs, possuem controles sostica-
dos para aplicar paralelismo em threads únicas,
ou até mesmo gerenciar instruções sequenciais de
2
forma paralela, mas mantendo sua aparência se-
quencial. Outro ponto importante é a questão
das grandiozas memórias caches, desenvolvidas
para lhe darem com aplicações grandes e com-
plexas, causando uma certa latência do desem-
penho. Já as GPUs se beneciam de memórias
com largura de banda até 10 vezes maiores que os
atuais CPUs. Fora isso, a forte demanda pela in-
dústria dos jogos têm alavancado o crescimento
dos processadores grácos, os quais necessitam
paralelismo intenso para renderizações de telas
[1].
Como alternativa aos enormes clusters con-
tendo centenas de processadores, as GPUs são
utilizadas a m de se entregarem aparelhos com-
pactos e poderosos, permitindo maior dissemi-
nação do poder computacional. Hoje, tem-se a
utilização de GPUs nas mais diversas áreas da
ciência, tais como: cálculos em estruturas mole-
culares farmacêuticos, em estruturas biológicas,
genôma humano, turbulência em uidos, e diver-
sas outras áreas em que são necessários reconhe-
cimentos de padrões de imagens, como no caso
da ressonância eletromagnética [3].
O presente trabalho tem como objetivo o es-
tudo das GPUs como Sistemas de Paralelismo
Massivo (MPP, do inglês Massively Parallel Pro-
cessors). Sendo assim, busca-se entender como
é a arquitetura de uma GPU, e como é possível
utiliza-la para realizações de cálculos massivos.
Ainda neste contexto, ter-se-á o estudo das tec-
nologias desenvolvidas para a facilitação e me-
lhor aproveitamento da arquitetura Tesla, atual
arquitetura das GPUs da NVIDIA, com a lingua-
gem de programação CUDA.
2 Organização interna da GPU

Tipicamente, uma GPU é formada por ínumeros

processadores (na ordem de centenas e, atual-
mente, até milhares), organizados e projetados
de forma à aumentar o desempenho de parale-
lismo [7]. Sua organização e forma de proces-
samento leva à uma abordagem chamada SIMD
(single instruction, multiple data) de sistema.
Tal abordagem refere-se à maneira que os da-
dos são tratados: uma única instrução no pro-
cessador faz com que os vários dados que estejam
sendo processados num determinado instante se-
jam tratados da mesma maneira. Dessa forma,
cálculos de vetores e matrizes são facilitados, do
ponto de vista do processador, aumentando sua
eciência no processamento.
Com 7.1 bilhões de transistores e desenvolvida
Figura 2: Diagrama completo da arquitetura Ke-
para o crescente mercado de Tesla e computação
pler GK110
de alto desempenho (HPC), a arquitetura Kepler
BK110 da NVIDIA atinge o maior patarmar em
performance e complexidade já alcançado em um tura.

microprocessador [5]. Suas unidades de proces-
samento grácos são compostas pelos chamados
processadores de streaming (SMXs), formados,
por sua vez por núcleos de processamento de
precisão única, totalmente pipelined e compos-
tos por unidades lógicas e aritméticas de pontos
utuantes e inteiros [5]. Na gura 2.1 abaixo,
verica-se a disposição dessas unidades no chip
da GPU:
2.1 Processadores de Streaming
Cada SMX (gura 2.2) é composto por 192 nú-
cleos CUDA, uma cache de instruções, quatro
Warp Scheduler (agendador de Warp), 8 Dispat-
ches (despachadores), uma cache de memória ní-
vel 1 de 64KB e uma cache de dados somente
leitura de 48KB e 16 unidades de ltros de tex-
Cada processador de streaming separa as thre-
ads em grupos de 32 threads paralelas (chamados
Warps). Cada uma das quatro unidades de Warp
Scheduler, por sua vez, seleciona um warp para
ser executado, e duas de suas instruções indepen-
dentes, as quais serão enviadas de forma unitária
para cada um dos dois Dispatches [5]. Assim,
oito instruções são executadas paralelamente em
um único ciclo no SMX. A gura 2.3 mostra o
funcionamento de uma unidade de Warp Sche-
duler em função do tempo:
Após as instruções serem carregadas pelo des-
pachador, elas são transmitidas para as Dispatch
Ports dos núcleos CUDA. Cada núcleo desses
possui um coletor de operação, o qual irá cole-
tar a operação da instrução a ser executada. O
núcleo possui ainda unidades de lógica aritméti-
cas para inteiros e pontos utuantes e, por serem

3

Figura 3: Arquitetura de um processador strea-
ming (SMX)
Figura 4: Funcionamento de um Warp Scheduler
fully pipelined, consegues um fetch de instrução
por ciclo de execução [11]. A gura 2.4 exempli-
ca a organização interna de um CUDA Core:
4
Figura 5: Organizaçao de um CUDA Core
2.2 Compartilhamento de dados entre
threads
No caso especíco da arquitetura GK110, threads
que fazem parte do mesmo warp não necessitam
das tradicionais instruções de load-store através
da memória compartilhada para compartilharem
dados. Ao invés disso, a arquitetura traz um me-
canismo chamado Shue Instruction. Através
de software, é possível criar permutações para
criar caminhos de compartilhamento (gura 2.4)
[8]. Assim, a cada interação, é possível escolher
quais threads irão enviar dados (origem da seta)
e quais threads poderão receber dados (seta).
Figura 6: Tipos de shue instructions
Embora a arquitetura GK110 utilize essa fer-
ramenta para troca de dados intra-warp, as di-
versas comunicações de dados entre outras thre-
ads podem ser feitas através de instruções atô-
micas na memória compartilhada. Esses tipos
de instruções são muito importantes para a com-
putação paralela e largamente utilizada para al-
goritmos de classicação paralela e construções
de estrutura de dados em paralelo sem travar a
serialização da execução da thread. Elas podem
oferecer o padrão leitura-modicação-escrita sem
interrupção de outra thread. Além das tradi-
cionais instruções atômicas de adição, compare-
and-swap e exchange, a arquitetura GK110 ofe-
rece também Min, Max, And, Or e Xor, todas de
forma atômica.
2.3 Hierarquia de memória
A gura 2.5 mostra a hierarquia de memória da
arquitetura em estudo. Cada SMX possui uma
memória on-chip que pode ser congurada (via
software) em uma cache L1 de 16KB e uma me-
mória compartilhada de 48KB ou o inverso, uma
cache L1 de 48KB e uma memória compartilhada
de 16KB.
Figura 7: Hierarquia de memória da arquitetura
GK110
Embora pequena, as memórias compartilhadas
possuem uma latência bem pequena, o que com-
5
pensa seu tamanho e acarreta em uma eciência
desejável no sistema.
As caches de dados read-only possuem 48KB
e o tempo de vida de seus dados são dados pelo
tempo de execução da função em execução. Este
tipo de cache é benéco ao desempenho pois além
de manter o caminho da cache L1 livre, possui
uma largura de banda maior.
3 GPUs em Sistemas de Parale-
lismo Massivo (MPP)
3.1 Comparativo: CPU e GPU
Os chips grácos, os quais no seu início eram fa-
bricados com o intuito único de processamento
gráco, vêm se tornando cada vez mais indis-
pensáveis na computação multi-propósito. Por
volta do ano 2000, cientistas de computação e
das mais diversas áreas começaram a utilizar as
GPUs para acelerar muitas aplicações cientícas.
Tal advento se transformou em um movimento
chamado GPGPU, ou General-Purpose compu-
tation on GPU, referindo-se à computação multi-
propósito sob GPUs [7].
Contudo, a abordagem de processamento
SIMD forçou os desenvolvedores à repensar em
seus algoritmos: antes um programa era uma
sequência de instruções um a um, agora instru-
ções que executam alterações em diversos dados
de maneira paralela.
Atraídos pelo melhor custo-benefício e pelo
maior crescimento de desempenho ao longo dos
anos diante das CPUs, as GPUs estão cada vez
mais fazendo parte dos grandes supercomputa-
dores [6]. Como exposto na seção anterior, a
NVIDIA já investe em arquiteturas de GPUs vol-
tadas para o mercado de HPC, o que certamente
alavancará ainda mais o uso desse tipo de arqui-
tetura nos supercomputadores.
A gura 3.1 mostra um comparativo de uma
GPU (GT240/CUDA) com processadores da In-
tel (i5) [10]. O comparativo foi baseado na quan-
tidade de operações por segundo de números de
pontos utuantes (FLOPs) para determinados
tamanhos de matrizes aplicando-se FFT (fast
fourier transform).
Figura 9: Gráco comparativo de desempenho e
largura de banda entre GPUs e CPUs

Inc. [6, 12]. Entretanto, a maioria deles foram

Figura 8: Comparativo de GPU vs Intel em de-
sempenho de FFT
Como se pode aferir, a GPU leva vantagem em
todos os casos. Entretanto, uma outra caracte-
rística que torna essa vantagem viável, é o fato
das placas grácas possuirem uma maior razão de
desempenho por potência consumida. A gura
3.2 [10] mostra claramente a defasagem dessa ra-
zão, conforme pode-se ver no gráco à esquerda.
Ainda nessa mesma gura, temos um outro grá-
co que mostra a diferença entre a largura de
banda de memória. Em ambos os grácos é no-
tório uma corrida de desempenho em pontos u-
tuantes que se inicia em 2003. Tal corrida é co-
desenvolvidos para sistemas de visualização [6].
Somente nos últimos anos que esses tipos de clus-
ters vêm sendo explorados para ns de compu-
tação. Como exemplo dessa nalidade tem-se o
cluster de GPU de 160 nós DQ em LANL, Lin-
coln, de 192 nós e AC, de 32 nós. Esses dois
últimos são baseados no sistema de computação
NVIDIA Tesla S1070.
Um cluster de GPU é formado basicamente por
três componentes principais: nós host, GPUs e
uma rede de interconexão. Entretanto, deve-se
atentar à memoria do host, barramento de PCIe
e a rede de conexão, já que é necessário levar em
consideração o desempenho das GPUs, a m de
se construir um sistema balanceado.
Na gura 3.3 mostra-se uma arquitetura típica
de um nó de um cluster de GPU:
Um nó é composto tipicamente de duas a qua-

mumente nomeada como revolução da concorrên- tro GPUs (podendo conter mais), as quais são

cia, devido ao grande crescimento e importância interligadas ao Host através de uma conexão via

ao qual está se agregando aos processadores de PCI Express. Em particular, GPUs de alta tec-

processamento concorrente. nologia, como é o caso da NVIDIA Tesla, reque-

3.2 Clusteres de GPU
Vários clusters de GPU foram feitos nas déca-
das passadas, como é o caso do GraphStream,
rem slots de PCIe Gen2 x16, o que lhe confere
um pico de largura de banda de 16GB/s [6, 15].
O Host por sua vez é composto por uma CPU
e uma memória principal. A quantidade de me-
mória disponível no Host deve ser pelo menos a

6

Figura 10: Arquitetura de um nó típico de um
cluster de GPU
mesma quantidade disponível para as GPUs, a
m de se garantir sua completa utilização. Além
disso, garantir uma razão unitária entre CPUs e
GPUs também é desejável, a m de se facilitar o
desenvolvimento de aplicações baseadas em MPI
(message passing interface) [6].
Os nós são interligados via a tradicional Ether-
net ou Inniband (IB), a qual é uma rede de in-
terconexão utilizada em grande parte dos super-
computadores, de baixa latência, grande largura
de banda e que requer pouco processamento de
overhead [14].
Embora todos esses pontos sejam necessários
para um bom e equilibrado projeto de um clus-
ter de GPUs, diculdades como disponibilidade
de sistema, energia, requerimentos mecânicos e o
preço podem tornar a tarefa de combinar e ga-
rantir todos os requisitos de um bom sistema re-
lativamente difícil.
A utilização da CPU traz uma boa combinação
para o sistema, visto que um código contém par-
tes que devem ser executadas de forma sequênci-
ais e partes que devem ser executadas de formas
paralelas [7].
7
3.3 Breve estudo do Cluster AC
O cluster AC, pertencente à National Center
of Supercomputing Applications (NCSA), é for-
mado por 32 nós contendo Hosts com um Works-
tation HP xw9400, cada um contendo duas CPUs
AMD Opteron dual-core, rodando em 2.4 GHz e
8GB de memória DDR2. Os hosts são interliga-
dos à um sistema de computação NVIDIA Tesla
S1070 através de duas interfaces PCIe Gen1 x16.
Para a interconexão Inniband, é utilizado um
adaptador QDR Inniband [6].
Figura 11: Organização do nó do cluster AC
Ao todo, são 128 núcleos de CPU, 128 GPUs
e 32 aceleradores de unidade (S1070). Cada nó
tem capacidade de um desempenho de pico men-
surado em 349.4 GFLOPS, dados em precisão
dupla (double-precision).
Entretanto, nos experimentos de [6], um nó foi
capaz de um desempenho mensurado em 117.8
GFlops (33.8% do pico esperado). É interessante
notar que essa eciência se estabiliza em apro-
ximadamente 30% para maiores quantidades de
nós. Com 16 nós, contudo, o cluster AC é capaz
de chegar aos 1500 GFLOPS.

Figura 12: Desempenho e porcentagem dos picos
de desempenho no Cluster AC
4 Tecnologia e tendências
Aproveitando a tendência, a NVIDIA apostou
em dispositivos CUDA. Tais dispositivos tiveram
adaptações em seu hardware para facilitar o pro-
gramador a utilizar a biblioteca da tecnologia,
com extensões para linguagens C e C++. Hoje,
graças à essa tecnologia, é possível, em um com-
putador pessoal, realizar grandes cálculos através
da GPU instalada localmente [1].
Outra ferramenta criada e muito difundida é
OpenCL (Open Computer Language), que na
verdade é um ambiente de desenvolvimento cri-
ado com a intenção de aumentar a performance
de aplicações para supercomputadores, ou até
mesmo dispositivos portáteis, utilizando a téc-
nica de se executar um programa hibridamente
em CPU e GPU, escolhendo, para cada trecho, o
local apropriado [16].
Muitas aplicações já se utilizam dessas técnicas
para maximizarem seu desempenho. Aplicações
cientícas como MatLab, Mathematica e Amber
já permitem sua execução em GPUs comerciais, o
que podem lhe conferir um ganho de desempenho
8
de até 20 vezes [7].
Por ser uma aplicação relativamente jovem, a
computação sob GPUs ainda tem muito o que
crescer. Com o crescimento de transistores por
área, tende-se a aumentar o número de núcleos
disponíveis nos processadores, bem como sua
complexidade. Diversas aplicações ainda podem
ser otimizadas para serem executadas de forma
híbrida, CPU-GPU, o que irão lhe conferir ga-
nhos em desempenho na ordem de dezenas de
vezes. Muitos estudos sobre certas otimizações
ainda estão sendo feitas, o que certamente ga-
rante que essa área da computação ainda aguarda
grandes avanços.
5 Conclusão
As GPUs, ou processadores grácos, surgiram da
necessidade de se processar imagens e vieram a
ser utilizadas no meio da ciência para realização
de cálculos que requerem um processamento pa-
ralelo. Com o grande avanço desse tipo de arqui-
tetura, descobriu-se uma grande gama de utili-
dades os quais esses processadores podem atuar.
Aplicações no campo da física, matemática, es-
tudo de fármacos, estruturas biológicas e diversas
outras áreas do campo da ciência. Aproveitando
a tendência, as fabricantes de GPUs começaram
a adaptar suas arquiteturas para sua utilização
em grandes clusteres, compostos hibridamente
por GPUs e CPUs.
Hoje uma GPU é capaz de realizar grandes
quantidades de cálculos em matrizes e vetores,
graças à sua arquitetura compondo centenas e
até milhares de núcleos de processamento. Por
ser um campo relativamente novo na computa-
ção, ainda se esperam muitos avanços, fazendo
com que a curva de crescimento de desempenho
nesse tipo de processamento ainda continue ex-
ponencial por um bom tempo. [12] (2012) GraphStrem, In. [Online]. Disponível
em http://www.graphstream.com

[13] KOMATSU, Kazuhiko. Parallel processing

of the Building-Cube Method on a GPU plat-
Referências form. 2011.

[1] KIRK, David B; HWU, Wen-mei W. Pro- [14] (2012) Inniband Trade Associa-

gramming Massively Parallel Processors. tion WebSite. [Online]. Disponível em

Burlington: Elsevier, 2010. http://www.innibandta.org.

[2] LINTZMAYER, Carla Négri; BOGUE, Edu- [15] J. Coleman, P. Taylor, Hardware Level IO

ardo Theodoro; SAMBINELLI, Maycon. Me- Benchmarking of PCI Express, Intel White

mória Transacional. Paper, December 2008

[3] CULLER, David. SINGH, Jaswinder Pal. Pa- [16] (2012) Khronos WebSite. [Online]. Disponí-

rallel Computer Architecture. Morgan Kauf- vel em: http://www.khronos.org/opencl/

mann, 2007.

[4] GTX 680 Kepler WhitePaper, 2012.

[5] NVIDIA Next Generation CUDA Computer

Architecture: Kepler GK110, 2012.

[6] KINDRATENKO, Volodymyr V. et al. GPU

Clusters for High-Performance Computing.

[7] (2012) Website da NVIDIA Co. Disponí-

vel em http://www.nvidia.com/object/what-
is-gpu-computing.html

[8] (2012) NYLAND, Lars; JONES,

Stephen. Inside Kepler. Disponível em
http://developer.download.nvidia.com

[9] Flexibility: The Dell approach to HPC GPU

computing, 2011.

[10] GPGPU COTS Plataforms. High-

Performance Computing Solutions. GE.
20

[11] NVIDIA's Next Generation CUDA Compu-

ter Architecture: Fermi, 2009.