QualityStamp – Avaliando a Qualidade de Linked
Datasets para Aplicações de Domínio Específico
Walter Travassos1, Damires Souza2, Bernadette Lóscio1
1Centro de Informática / UFPE, Brasil
2Instituto Federal de Educação, Ciência e Tecnologia da Paraíba / IFPB, Brasil
wts@cin.ufpe.br, damires@ifpb.edu.br, bfl@cin.ufpe.br
Resumo. O grande número de linked datasets disponíveis na Web,
bem como a falta de informações sobre a qualidade destes dados,
traz a tona um grande desafio: como identificar os melhores
Linked Datasets para uma determinada aplicação? Este trabalho
apresenta a QualityStamp, uma ferramenta que avalia a qualidade
de Linked Datasets considerando os requisitos da aplicação.
O Problema
Linked Datasets candidatos (SA)
Como identificar
?
+ os melhores
Domínio (D) linked datasets
Aplicação
+ para a aplicação
Linked Data
Linked Data?
Requisitos da Aplicação (RAPP)
Requisitos da Aplicação (RAPP)
Requisitos de Dados (QA)
QualityStamp = + Ao final da avaliação a QualityStamp gera uma Medida Única de
Requisitos não funcionais (CE)
Requisitos de Dados (QA). Conjunto de consultas SPARQL
importantes do ponto de vista da do usuário ou da aplicação.
Requisitos não funcionais (CE). Conjunto de critérios de Qualidade
da Informação (QI) escolhidos pelo Especialista no Domínio da
aplicação. Os critérios de QI utilizados são: Disponibilidade, Tempo
de Resposta, Atraso de Fila, Completude e Interlinking.
São atribuídos pesos para cada critério de QI selecionado pelo
especialista no domínio para participar da avaliação. A soma de
todos os pesos deve ser igual a 1.
Avaliação da Completude
A pontuação para o critério completude é calculada a partir de três
tipos de completudes: de Esquema (PTA), de Literal (PTLA) e de
Instância (RIA).
Conjunto de Padrões de Triplas sem literais (PTA)
Ex: ?journal a akt:Journal
Conjunto de Padrões de Triplas com Literais (PTLA)
BGPs de QA
Ex: ?autor akt:full-name "Takeo Kanade"
Conjunto de Recursos que Representam Instâncias (RIA)
Ex: ?artigo akt:has-date akt-date:2000
A Ferramenta
Avaliação da Qualidade
Critério de QI Métrica Descrição
onde: |AV| é o somatório de um conjunto
|𝐴𝑉| de respostas positivas para o teste da
Disponibilidade
𝑛 disponibilidade; n é o total de testes de
disponibilidade.
onde: |RT| é o somatório de um conjunto
Tempo de |𝑅𝑇| de tempos de resposta; n é a quantidade
Resposta 𝑛 de elementos do conjunto de tempos de
resposta.
onde: teste1 representa o teste de
(𝑡𝑒𝑠𝑡𝑒1 ∙ 𝑤1 ) + variação de carga para 10 solicitações,
Atraso de Fila (𝑡𝑒𝑠𝑡𝑒2 ∙ 𝑤2 ) + teste2 para 50 solicitações e o teste3 para
(𝑡𝑒𝑠𝑡𝑒3 ∙ 𝑤3 ) 100 solicitações; w1 representa o peso de
20%, w2 de 30% e w3 de 50%.
onde: |RSi| é o somatório dos padrões de
Completude do |𝑅𝑠𝑖 | triplas sem literais de PTA encontrados em
Esquema |𝑃𝑇𝐴 | si; PTA é o somatório de todos os padrões
de triplas sem literais procurados.
onde: |RSi| é o somatório dos padrões de
Completude de |𝑅𝑠𝑖 | triplas com literais de PTLA encontrados
Literal |𝑃𝑇𝐿𝐴 | em si; PTLA é o somatório de todos os
padrões de triplas com literais procurados.
onde:|RSi| é o somatório dos recursos que
|𝑅𝑠𝑖 | representam instâncias de classes de RIA
Completude de
encontrados em Si; RIA é o somatório de
Instância |𝑅𝐼𝐴 |
todos os recursos que representam
instâncias de classes procurados.
|𝑇𝐼𝑠𝑖 | onde: |TTSi| é o total de triplas de si; TISi é
Interlinking o total de triplas com predicados de
|𝑇𝑇𝑆𝑖 | interlinking em si.
Qualidade para classificação dos linked datasets candidatos (SA)
utilizando o método de decisão por múltiplos atributos SAW (Simple
Additive Weighting).
𝑛 onde i representa cada linked dataset candidato  SA; pij
representa a pontuação de cada critério j para o candidato
𝑆𝐴𝑊𝑖 = ෍ 𝑝𝑖𝑗 𝑤𝑗
i; e wj representa o peso atribuído ao critério j pelo
𝑗=1
especialista no domínio no início da avaliação da qualidade.
Conclusões
A ferramenta proposta facilita a avaliação da qualidade de um
grande número de linked datasets, além de minimizar o custo de
execução de consultas complexas no momento da avaliação da
qualidade.
Foram realizados experimentos em 32 linked datasets (SA) no
domínio de dados bibliográficos considerando um conjunto QA com
05 consultas SPARQL e diferentes pesos para cada critério de
qualidade.
Observou-se que o critério de QI completude (esquema, literal e
instância) possui a maior influência com relação aos demais na
avaliação da qualidade. Os resultados obtidos foram similares aos
obtidos a partir de uma avaliação manual.
Principais Referências
Buil-Aranda C., Hogan A., Umbrich J., Vandenbussche P. (2013) “SPARQL Web-
Querying Infrastructure: Ready for Action?”, In: 12th International Semantic Web
Conference (ISWC 2013). Sydney, Australia, Outubro de 2013.
Naumann F. (1998) “Data Fusion and Data Quality”, In: New Techniques and
Technologies for Statistics Seminar (NTTS’98). Sorrent, Italy, 1998.
Wang, R. Y. e Strong, D. M. (1996): “Beyond accuracy: What data quality means to
data consumers”, In: Proceedings of the Journal on Management of Information
Systems, 12(4):5-34.
Zaveri, A., Rula, A., Maurino, A., Pietrobon, R., Lehmann, J., Auear, A. (2012) “Quality
Assessment Methodologies for Linked Open Data”, In: IOS Press 2012.