Visualização para Big Data (03202)

Contextos
Grupo: Informática e Gestão - 2014 > 2º Ciclo > Optativas > Livre

Período: 1º Ano, 1º Semestre

Grupo: Informática e Gestão - 2014 > 2º Ciclo > Optativas > Livre

Período: 1º Ano, 2º Semestre

Créditos ECTS
6.0

Tipo de ensino
Ensino presencial

Língua(s) de Ensino
Português

Pré-requisitos
?Bons conhecimentos de programação. 

?Capacidade de aprendizagem rápida dos fundamentos de uma linguagem de programação, por ex.
JavaScript e Python.
?Recomenda-se o conhecimento de algoritmos para big data.

Estes pré-requisitos podem ser obtidos através da frequência com sucesso da UC ?Algoritmos para
Big Data?.

Objectivos Gerais
A unidade curricular apresenta os conceitos fundamentais associados a visualização exploratória de
big data. Pretende-se transmitir aos alunos o conhecimento que lhes permita construir sistemas de
visualização exploratória de big data.

Nesse sentido, a unidade curricular aborda os seguintes aspetos:

?Princípios fundamentais do processo de visualização.
?Técnicas direcionadas para visualização exploratória de big data.
?Desenho e conceção de visualizações eficazes, num contexto de interatividade e de escala.
?Desafios colocados ao processo de visualização por características intrínsecas a big data, e
soluções para os ultrapassar.
?Desenvolvimento de visualizações interativas para web, por ex. utilizando D3 baseado em
JavaScript.
?Desenvolvimento de sistemas de visualização exploratória de big data, com foco em aplicações
baseadas em streaming de dados, grafos de grande dimensão e tabelas de grande dimensão.

Objectivos de Aprendizagem
(SABER)
OA1. Entender de que forma a visualização ajuda a extrair conhecimento de dados complexos e em
larga escala.
OA2. Entender os princípios e técnicas mais importantes de análise e visualização de dados em
larga escala.
OA3. Entender de que forma as características intrínsecas de big data afetam as técnicas clássicas
de visualização.

(SABER FAZER)
OA4. Aplicar um processo estruturado de desenho e conceção para criação de visualizações
eficazes.
OA5. Construir sistemas em ambiente web para visualização exploratória de big data.

(COMPETÊNCIAS TRANSVERSAIS)
OA6. Discutir trabalhos de investigação recente, publicados na área de visualização.
OA7. Trabalhar em equipa na execução de projetos de visualização.

Programa
CP1. Fundamentos de visualização para big data
?O processo de visualização
?Desafios decorrentes de características intrínsecas a big data
?Diretivas para desenho e conceção de visualizações eficazes

CP2. Técnicas de visualização exploratória de big data

?Orientada ao pixel
?Agregação e nível de detalhe
?Distorção
?Orientada por questões



CP3. Redução de volume de dados
?Amostragem
?Agrupamento
?Modelação

CP4. Ferramentas e ambientes de programação

?Programação web para criação de visualizações, por ex. utilizando D3 

?Experiência prática com ferramentas direcionadas para big data ? sistemas Hadoop/Spark
?Experiência prática com notebooks de visualização exploratória de big data, em web, por ex.
Apache Zeppelin
?Desempenho computacional

CP5. Construção de sistemas de visualização exploratória de big data

?Streaming de dados em quase-tempo real
?Baseados em grafos de grande dimensão
?Baseados em tabelas de grande dimensão

Processo de avaliação
AVALIAÇÃO CONTÍNUA
Inclui 3 componentes:
?Trabalhos práticos de 2-3 alunos. (30%) O fator de ponderação de cada trabalho varia em função
da sua dimensão e dificuldade.
?Projeto final de 2-3 alunos. (30%)
?Teste final escrito e individual. (40%)

Nota mínima em cada componente: 8 em 20.

EXAME FINAL
A opção existente de realizar apenas um exame final (100%) não é encorajada, porque é difícil
aprender as temáticas desta UC sem a experiência prática obtida numa avaliação contínua.

Processo de ensino-aprendizagem
AULAS TEÓRICAS
Usarão slides com ex., vídeos pedagógicos curtos, demos de ferramentas e, se apropriado,
apresentações convidadas.
AULAS PRÁTICAS
Incluirão trabalhos de programação e análise de artigos científicos. Se apropriado, os trabalhos
usarão tutoriais com código parcialmente fornecido, potenciando o uso de ferramentas de análise e
visualização de dados.
PROJETO FINAL DE GRUPO
Incluirá o desenho e implementação dum sistema de visualização exploratória de big data, em
ambiente web.

Observações
UCs anteriores onde é lecionada matéria relevante para esta UC (justificação fornecida entre
parêntesis curvos):
Programação Orientada por Objetos
[1º ciclo, 1º ano, 2º semestre] e
Algoritmos e Estruturas de Dados
[1º ciclo, 2º ano, 1º semestre]
(Domínio da programação)

Algoritmos para Big Data

[2º ciclo, 1º ano, 1º semestre]
(Domínio de conceitos e algoritmos para big data, permitindo também obter experiência prática com
plataformas orientadas para big data, por ex. Hadoop e Spark).

UCs que irão utilizar a matéria lecionada nesta UC

Dissertação / Trabalho de Projeto
[2º ciclo, 2º ano, ambos os semestres]
(Se aplicável no âmbito do tema escolhido)

Bibliografia

Básica
?Matthew O. Ward, Georges Grinstein, Daniel Keim. Interactive Data Visualization: Foundations,
Techniques, and Applications, 2nd Edition. CRC Press, 2015
?Bill Chambers, Matei Zaharia. Spark: The Definitive Guide: Big data processing made simple.
O?Reilly Media, 2017
?Jure Leskovec, Anand Rajaraman and Jeffrey David Ullman. Mining of Massive Datasets, 2nd
Edition. Cambridge University Press, 2014

Complementar
?Adriano Lopes. Slides of Big Data Visualization, available in the e-learning platform as the topics are
delivered in the lectures.
?Small collection of research papers, software and online materials e.g. tutorials and pedagogical
videos. That is the case of material related to systems and toolkits mentioned in the course e.g. D3,
Hadoop, Spark and Apache Zeppelin.
?Scott Murray. Interactive Data Visualization for the Web: An Introduction to Designing with D3, 2nd
Edition. O?Reilly Media, 2017
?Tamara Munzner. Visualization Analysis & Design: Abstractions, Principles, and Methods. CRC
Press, 2014
?Colin Ware. Information Visualization: Perception for Design, 3rd Edition. Morgan Kaufmann, 2012
?Robert Spence. Information Visualization: An Introduction, 3rd Edition. Springer, 2014
?Chaomei Chen. Information Visualization: Beyond the Horizon, 2nd Edition. Springer, 2010
?Alexandru C. Telea. Data Visualization: Principles and Practice. AK Peters/CRC Press, 2008
?Edward Tufte, The Visual Display of Quantitative Information, 2nd Edition. Graphics Press, 2001
?Jacques Bertin. Semiology of Graphics: Diagrams, Networks, Maps. Esri Press, 1983 (Reprinted in
2010)