Proposta de site para a visualização

e acompanhamento de gastos da
câmara de vereadores de Recife
Introdução

2
 “Que continuemos a nos omitir da política é
tudo o que os malfeitores da vida pública mais
querem.”
Bertolt Brecht

3
Contexto

➜ Acesso à internet
➜ Dispositivos móveis
➜ Canal de divulgação
➜ Encontro de pesquisadores e
ativistas

A ideia de dados abertos

governamentais começa a florescer.
4
Oito Princípios

➜ Completos
➜ Primários
➜ Atuais
➜ Compreensíveis por máquina
➜ Não discriminatórios
➜ Não proprietários
➜ Livres de licenças

5
Três Leis de David Eaves

1 2 3
Se um dado não Se um dado não E se algum
pode ser está aberto e dispositivo legal
encontrado e disponível em um impedir sua
indexado na web, formato que seja replicação, ele é
ele não existe. compreensível por inútil.
uma máquina, ele
não pode ser
reaproveitado.

6
Problema

➜ Em março de 2013, foi lançado o

Portal da Transparência da
Prefeitura do Recife
➜ Dados segregados
➜ Diferentes fontes e formatos
➜ Dados não disponíveis para
download

7
Objetivo

➜ Facilitar a visualização e consulta

dos dados referentes aos
vereadores de Recife
➜ Viabilizar o acompanhamento de
informações relevantes
○ Gastos
○ Propostas
○ Sessões plenárias

8
Disposição dos dados

➜ Site Câmara Municipal do Recife

○ Portal da Transparência do
Recife
○ Prestação de Contas
○ Sistema de Processo Legislativo

9
10
11
12
13
Concepção

➜ 3 etapas
○ Extração ou coleta dos dados:
○ Estruturação dos dados e
persistência
○ Apresentação do dados

14
Coleta dos
dados

15
Fontes

SAPL Câmara Municipal

● Web Scraping: ● Planilhas:
○ Vereadores ○ Verbas
○ Matérias Indenizatórias
Legislativas ○ Remunerações
○ Sessões
Plenárias

16
Web Scraping

● Extração de dados do front-end de

páginas HTML de forma
automatizada
● Java/Jsoup
● Vasta Documentação
○ Oficial
○ Comunidade
○ Ferramentas de debugging

17
Web Scraping

18
Web Scraping

19
Web Scraping

20
Web Scraping

21
Web Scraping

● Links indisponíveis durante

extração
● Implementação de timer

22
Planilhas

● Verbas indenizatórias
● Remunerações

23
Planilhas

● Remunerações CSV

24
Planilhas

● Verbas Indenizatórias XLSX

○ Vereador por aba

25
Planilhas

● Formatos diferentes
● Estruturas diferentes

26
Persistência
dos dados

27
Base de dados

● PostgreSQL
○ Vasta documentação
○ Familiaridade
○ Relacional
○ Eficiente

28
Base de dados

29
Base de dados

● Problemas com a correlação entre

nomes dos parlamentares
● Ex:
○ “Missionária Michelle Collins”
○ “Daize Michelle”

30
Apresentação
dos dados

31
Dashboard

● ELK
○ Elasticsearch
■ Engine de busca
○ Logstash
■ Coleta, enriquecimento,
unificação
○ Kibana
■ Visualização dos dados

32
Logstash

33
Elasticsearch

34
Kibana

35
Kibana

36
Kibana

37
Site

● Ruby on Rails
● Praticidade
● Documentação

38
Site

● Ruby on Rails
● Praticidade
● Documentação

39
Site

40
Site

41
Site

42
Site

43
Conclusão

44
Demonstração

45
Obrigado!
Perguntas?

46