1

ANHANGUERA EDUCACIONAL

HIANARA MOREIRA DE ARAJO FBIO PEDRO RIBEIRO SINARA DE ALMEIDA

CAPTURA DE INFORMAES EM REDES SOCIAIS UTILIZANDO KEYWORDS

ORIENTADOR SANDRO RENATO DIAS

BELO HORIZONTE, BRASIL. MAIO 2012

ANHANGUERA EDUCACIONAL

HIANARA MOREIRA DE ARAJO FBIO PEDRO RIBEIRO SINARA DE ALMEIDA

CAPTURA DE INFORMAES EM REDES SOCIAIS UTILIZANDO KEYWORDS

Trabalho de Concluso de Curso Apresentado banca examinadora Da Faculdade Anhanguera Educacional, como requisito Parcial obteno do grau de Bacharel em Sistemas de Informao sob a orientao do professor Mestre Sandro Renato Dias.

BELO HORIZONTE, BRASIL. MAIO 2012

HIANARA MOREIRA DE ARAJO FBIO PEDRO RIBEIRO SINARA DE ALMEIDA REIS

CAPTURA DE INFORMAES EM REDES SOCIAIS UTILIZANDO KEYWORDS

Trabalho de concluso de curso apresentado banca examinadora da Faculdade Anhanguera Educacional, como requisito parcial obteno do grau de Bacharel em Sistemas de Informao sob a orientao do professor Mestre Sandro Renato Dias.

Aprovada em __ de __________________ de _______.

BANCA EXAMINADORA

____________________________________ Prof. Tnia Mara Paiva Anhanguera Educacional Ltda. ____________________________________ Prof. Luis Augusto Almeida Anhanguera Educacional Ltda.

RESUMO

O trabalho mostra de forma concisa, a possibilidade de pesquisar informaes no Twitter. perceptvel, a cada vez mais, que as redes sociais vm transformando-se em um ambiente onde o nmero de informaes geradas pelos usurios extensa. Tendo em vista a quantidade e a velocidade com que elas trafegam em rede, tornase impossvel efetuar buscas e gerar relatrios de forma manual, sobre o assunto que se deseja acompanhar. O estudo empenha-se em descobrir como possvel efetuar tais buscas de maneira automtica. Para isso so levantados os conceitos da utilizao do e-clipping, que utilizado para fins de coleta de dados em rede, a utilizao do YQL que uma tecnologia recente no mercado e a integrao desta com outras linguagens, servios e tecnologias como Twitter, SOA, PHP e MySQL. Todo o estudo gira em torno da criao de um sistema que se baseia em buscas utilizando Keywords, que coleta dados e armazena-os no banco de dados, possibilitando relatrios das informaes pesquisadas de acordo com sua relevncia. Palavras-chave: Redes sociais, Twitter, e-clipping, SOA, YQL.

ABSTRACT

The work shows concisely the ability to research information on twitter. It is increasingly noticeable, that social network has become an environment where the amount of information generated by users is extensive. Given the amount and speed at which they travel in network, it becomes impossible to make searches and generate reports manually on the subject you want to monitor. The study attempts to find out how one can perform such searches automatically. In order to enable automatic search, the e-clipping and YQL, a recent technology the market among other language services and technologies such as Twitter, SOA, PHP and MYSQL are used for data collection network. The whole study focuses on the creation of a system based on searches using keywords that collect data and stores them in the database, enabling reports of surveyed information according to its relevance.

Keywords: Social Networks, Twitter, e-clipping, SOA, YQL.

LISTAS

Figura 1- Exemplo de vantagem da utilizao de JSON ........................................... 20 Figura 2- Retorno no formato XML ............................................................................ 21 Figura 3- Retorno no formato JSON .......................................................................... 21 Figura 4- Utilizao do YQL ...................................................................................... 22 Figura 5 - Diagrama DER .......................................................................................... 23 Figura 6- Diagrama de caso de uso .......................................................................... 24 Figura 7 - Tela de Login ............................................................................................ 25 Figura 8 - Tela de Busca ........................................................................................... 26 Figura 9 - Tela de Resultados ................................................................................... 27 Figura 10 - Tela de Relatrio ..................................................................................... 28

Tabela 1- Exemplo de Cdigo JSON......................................................................... 20 Tabela 2 - Descrio Caso de Uso............................................................................ 25

SUMRIO

1 INTRODUO ........................................................................................................ 1 1.1 Justificativa ........................................................................................................ 3 2.1 Objetivos ............................................................................................................ 3 2.1.1 Objetivo Geral .............................................................................................. 3 2.1.2 Objetivos especficos ................................................................................... 3 2 REFERENCIAL TEORICO ...................................................................................... 5 2.1 E-Clipping .......................................................................................................... 5 2.2 Redes Sociais .................................................................................................... 6 2.3 SOA ................................................................................................................... 8 2.3.1 Pontos fortes do SOA .................................................................................. 9 2.3.2 Pontos fracos do SOA ................................................................................. 9 2.3.3 Servio ......................................................................................................... 9 2.3.4 Web Services ............................................................................................. 10 2.3.5 Interoperabilidade ...................................................................................... 11 2.4 Benefcios da Orientao a Servio ................................................................. 11 2.5 Reso de cdigo .............................................................................................. 12 2.6 LINGUAGEM PHP ........................................................................................... 12 2.6.1 HTML ......................................................................................................... 13 2.7 SGBD MYSQL ................................................................................................. 13 2.7.1 MYSQL ...................................................................................................... 14 2.8 FERRAMENTA YQL ........................................................................................ 14 2.9 Comparao com outras ferramentas .......................................................... 15

3 DESENVOLVIMENTO DO SISTEMA FABRIBH ................................................... 17 3.3 Etapas do Desenvolvimento ......................................................................... 19

4 CONCLUSO......................................................................................................... 29

REFERNCIAS...................................................................................................... 31

1 INTRODUO

Vive-se hoje a era das redes sociais. Praticamente todas as pessoas possuem um perfil em uma rede social e isso gerou uma oportunidade, para que os empresrios possam saber sobre como suas empresas so vista nas redes por seus clientes. Mas, como mensurar o que dito nas redes sociais? Segundo Ribeiro (1998), o ato de buscar informaes existe h algum tempo e conhecido como clipping. O clipping feito manualmente sendo retirados recortes de jornais, revistas, selecionando matrias no rdio e TV e isto geralmente feito de acordo com o interesse de quem realiza a clipagem. Atualmente temos uma forma de clipping eletrnico: o e-clipping. Hoje, praticamente todas as mdias se encontram tambm no formato digital, onde, grandioso o volume de dados gerado, seria humanamente impossvel utilizar o clipping tradicional, sendo utilizado assim, o e-clipping, que feito atravs de ferramentas para busca de determinadas palavras ou expresses na internet. Hoje, as empresas veem isso como uma estratgia para mensurar a visibilidade da marca no mercado. O e-clipping pode ser usado no s por empresas, mas por pessoas fsicas tambm, como celebridades que querem saber como est sua imagem diante das mdias. Com o crescimento da Internet e o surgimento das redes sociais, uma grande quantidade de informao disponibilizada pelos usurios, informaes estas que so valiosas para as empresas, sendo assim, torna-se possvel buscar informaes nas redes sociais por determinados assuntos, de acordo com o interesse, sendo especificado por palavra-chave. Esse tipo de busca possvel utilizando a tecnologia SOA (Service-oriented Architecture), que permite utilizar servios disponveis na web; utilizando-a, ganha-se tempo e economia de recursos para realizar essa busca, de acordo com Lazzeri (2009). De acordo com Yahoo (2012), um dos servios que possvel utilizar-se para realizar essa busca o YQL (Yahoo Query Language), que fornecido pela Yahoo, onde possvel consultar, filtrar e juntar dados atravs de servios web. Na aplicao que ser desenvolvida para realizar a busca, utiliza-se esse servio, que

permite ser integrado com PHP (Hypertext Preprocessor), que uma linguagem de programao gratuita, utilizada para desenvolver aplicaes para web. Os resultados da busca que essa aplicao far, sero armazenados no MySql, que um sistema gerenciador de banco de dados (SGBD), que utiliza como interface o SQL (Linguagem de consulta estruturada), e atualmente um dos SGBDs mais populares, de acordo com Date (2003). Com o resultado armazenado, a aplicao ir disponibilizar para consulta dos usurios, relatrios para que eles visualizem o resultado das buscas nas redes sociais. Os relatrios sero renderizados no navegador do usurio, atravs da linguagem de marcao HTML (HyperText Markup Language), que a mais utilizada com o PHP para exibir o resultado do processamento das informaes ao usurio.

1.1 Justificativa
O clipping uma tecnologia que baseia-se na busca de informaes em diversos meios de comunicao. Atravs dele possvel avaliar os assuntos e notcias que esto em evidncia no momento. Alm disso, o clipping pode ser visto como uma estratgia comercial, onde pode-se buscar informaes de diversas naturezas: medir a viso que o cliente tem de uma empresa, o nvel de satisfao de um produto, as preferncias de determinado grupo de pessoas, dentre outras percepes. Atualmente, no foi encontrado na literatura um sistema que faa clipping em redes sociais utilizando conceitos e tecnologias como SOA e YQL, (...) tornando-se difcil acompanhar o volume de informaes que trafegam nelas diariamente. O sistema proposto neste trabalho atende carncia deste servio, tendo como foco a rede social Twitter.

2.1 Objetivos
2.1.1 Objetivo Geral

Elaborar uma ferramenta que possibilite a qualquer pessoa ou empresa, acompanhar o que est sendo dito a seu respeito ou a respeito de qualquer assunto na internet, utilizando para isto buscas atravs de keywords.

2.1.2 Objetivos especficos

- Propor o desenvolvimento de uma ferramenta que seja capaz de capturar

informaes que circulam pela web. - Capturar informaes, utilizando keywords (palavras-chave) que sejam prdeterminadas pelo usurio da ferramenta. - Armazenar informaes no banco de dados, filtrando-as de acordo com a relevncia da informao capturada.

- Exibir relatrios, mostrando as notcias que foram capturadas de acordo com a pesquisa que foi realizada. Esses relatrios devem ser exibidos atravs de uma interface web.

2 REFERENCIAL TEORICO
2.1 E-Clipping
Com o passar do tempo, a informao tornou-se algo muito valioso no apenas no mbito empresarial, mas tambm pessoal. Devido a isso, pode-se

perceber a quantidade de meios existentes para tratar a informao, seja para divulg-la, seja para proteg-la ou torn-la sigilosa. De acordo com Ribeiro (1998), devido evoluo da informao, os meios para a divulgao de notcias tambm tomaram conta da Internet, das redes sociais e e-mails. possvel encontrar praticamente todo tipo de informao na web. Tendo em vista que uma informao negativa pode trazer danos irreparveis, viu-se a necessidade de monitorar o que veiculado na web, tendo como chave principal para esse monitoramento, o e-clipping. Segundo Barbosa, Borges e Lemos (2011) o clipping surgiu no norte da Inglaterra. Na poca, esse termo fazia meno ao trabalho que os camponeses exerciam: colheita, tosquia de ovelhas, corte de rvores, dentre outros servios. Palavra originria da lngua inglesa que tem como significado corte ou recorte, uma forma de selecionar notcias de acordo com o grau de interesse de quem as seleciona, sendo que essas notcias podem ser buscadas em jornais, revistas, televiso, e outros diversos meios. O e-clipping baseia-se nos mesmos conceitos e objetivos do Clipping, diferese apenas no foco: a web. Devido ao alto nvel de veiculao das informaes na web as empresas e organizaes viram a necessidade de monitorar em rede as notcias que so veiculadas com seu nome, no somente para fins de marketing. Segundo Mafei (2007), o clipping tornou-se uma estratgia que ajuda a mensurar o retorno de determinada ao. Atravs dele, possvel avaliar atitudes de concorrentes de uma empresa, a imagem do cliente dela na mdia, imagem dos produtos dessa empresa perante seu pblico alvo e vrias outras percepes que podem se tornar de grande interesse para uma empresa. Ao saber o que o consumidor pensa a seu respeito, a empresa poder medir no s suas aes, bem como medir seus investimentos futuros. Outro exemplo, a facilidade que o e-

clipping pode trazer aos assessores de imprensa, trazendo qualidade, agilidade e eficincia ao servio. So vrias as formas de buscar notcias em rede, podemos citar, por exemplo, a utilizao da Famlia Miner de Agentes que um conjunto de ferramentas que facilitam buscas na web. Para a clipagem de notcias, so utilizados os chamados Agentes de Notcias, que so agentes capazes de coletar e elaborar clippings das notcias que esto sendo veiculadas na rede. Dessas notcias, apenas as mais relevantes sero enviadas ao usurio, via correio eletrnico, conforme o estudo de Ribeiro (1998). Alm disso, existem ainda, vrias empresas que oferecem o servio de clipagem de notcias. Essas empresas fazem o monitoramento e oferecem aos seus clientes relatrios impressos, online, gravados em CDs ou DVDs. O retorno dado ao cliente de acordo com a sua necessidade. Pode-se citar a empresa Clip, que especializada em monitoramento de notcias na web. Para isso, ela utiliza o software Clipnet que permite ao usurio ter acesso s informaes em seu site. Ao acessar o sistema utilizando o login e senha, possvel escolher o escopo com que se deseja buscar as informaes: impacto, perodo, veculo, editoria ou assunto, conforme citado por Barbosa, Borges e Lemos (2011).

2.2 Redes Sociais

Ao longo do tempo, com a evoluo tecnolgica e com o tempo cada vez mais escasso, as pessoas vm buscando na Internet uma maneira de comunicar-se entre si. Cada vez mais, a rede se torna um meio de comunicao entre as pessoas e, principalmente, troca de informaes. Surgiram ento, as redes sociais. O conceito de redes sociais, conforme Marteleto (2001) nos transmite a idia de um conjunto de indivduos autnomos que participam de um meio em comum, unindo e compartilhando idias, conhecimentos, informaes e interesses. Atualmente, podemos encontrar diversos tipos de redes sociais. Todas possuem o mesmo foco: relacionar pessoas entre si. Essas redes diferenciam-se apenas no pblico que desejam atingir. Temos como exemplo o Colnect que

voltado para colecionadores (http://colnect.com/pt), o Ebah voltado para estudantes e possibilita o compartilhamento de material acadmico entre os usurios (http://www.ebah.com.br/), o LinkedIN voltado para profisisonais procura de uma melhor colocao no mercado de trabalho (http://www.linkedin.com/) e temos ainda, redes como Facebook (http://www.facebook.com/) e Twitter (https://twitter.com/) que so apenas para compartilhar informaes, expressar opinies e que exigem apenas que o usurio seja maior de 18 anos. A utilizao das Redes Sociais para proporcionar a comunicao entre as pessoas vai muito alm das questes pessoais, atualmente o meio organizacional tambm se interessa por esse ambiente. O foco levar s pessoas as informaes sobre a organizao e tambm traz-las para perto, a fim de cerc-las de informaes verdicas e do comportamento da empresa, perante a sociedade. Alm disso, possvel que, dentro do meio corporativo, as redes sociais sejam utilizadas internamente, de maneira a trazer maior entrosamento entre os funcionrios. Os autores Alcar, DI Chiara e Tomal (2005), afirmam que as redes possibilitam a interao entre pessoas, organizaes, interferem de forma significativa nos processos inovadores, pois elas so formadas por pontos fortes que interligam entre si as pessoas, no caso e esses pontos, so os detentores do conhecimento, das informaes. Como o compartilhamento dessas informaes ocorre de maneira pblica, possvel criar um foco e entender as necessidades e desejos dos participantes da rede, sendo assim, possvel inovar processos e criar novos produtos, voltados para esse pblico alvo. Conforme Alcar, DI Chiara e Tomal (2005), a criao de Redes Sociais, est fugindo totalmente de seu foco inicial que eram os meios cientfico e acadmico e vem tomando novos rumos, conquistando sempre mais adeptos. Esto surgindo no mercado, novos profissionais com objetivo de criar interfaces e sites que possibilitam esse tipo de relacionamento, diferenciando-se apenas, pelo pblico que deseja atingir. Dentre inmeras redes sociais, o Twitter est entre as que mais agradam os usurios. De acordo com Abreu, Ferreira e Tavares (2010), o microblog foi criado em 2006 por Biz Stone, Jack Dorsey e Evan Williams e atualmente conta com milhes de usurios. Com o cadastro gratuito, necessrio apenas que o usurio crie seu

perfil na rede, informando alguns dados pessoais, escolha quais perfis deseja seguir e comece a interagir com os demais membros da rede. O Twitter tem sua interface pblica, ou seja, no necessrio possuir um perfil na rede para visualizar outros perfis, porm, o usurio tem a possibilidade de determinar a privacidade do contedo de seu perfil, conforme Ferreira, Tavares e Abreu (2010). Com essa quantidade de pessoas e interesses diferentes, o volume de informaes muito grande, para fazer o e-clipping dentro das redes sociais necessria a utilizao de ferramentas que suportem essa grande quantidade de informao. Ser apresentado adiante, algumas metodologias e ferramentas para buscar, analisar e aproveitar o que se tem de informao nas grandes redes sociais.

2.3 SOA
Segundo Huhns e Singh (2005), a Arquitetura Orientada a Servios (Service Oriented Architeture SOA) uma metodologia que utiliza do conceito de reso de cdigo para um melhor aproveitamento dos servios que j existem e fazendo a integrao desses novos servios com servios existentes; com isso, tem-se um ganho de tempo, pois no ser preciso desenvolver todo um sistema do ponto zero e tem-se um aumento na produtividade da empresa. SOA um paradigma de desenvolvimento de software que visa permitir que os componentes de um processo de negcio sejam integrados facilmente. De acordo com Lazzeri (2009), a riqueza do modelo de Arquitetura Orientada a Servios se manifesta na noo de servio, que transforma as referncias da modelagem do software, enfatizando aspectos mais prximos da perspectiva dos negcios. Segundo Huhns e Singh (2005), Arquitetura orientada a Servio tem como fundamento principal o conceito de servio. Trata-se de um paradigma criado com o objetivo de desenvolver sistemas modularizados, o que traz diversos benefcios ao produto final. Deste modo, fica mais fcil para disponibilizar na rede funes independes, do que um grande bloco macio de cdigo SOA que mantm cada funo independente, sendo responsvel apenas por definir como ser a comunio de cada componente.

De acordo com Huhns e Singh (2005), SOA modela os servios em uma empresa tornando assim disponveis para uso em toda empresa. Depois de organizar a arquitetura no mais preciso refazer as aplicaes desde o incio, as mesmas passam a ser organizadas de acordo com os servios j disponveis.

2.3.1 Pontos fortes do SOA

Decomposio modular voltada para o negcio O sistema dividido em servios de acordo com o negcio da empresa. Alto nvel de desacoplamento Cada servio implementado de maneira independente.

Adequada automao de fluxos de processos de negcio Abrange a empresa como um todo e estende-se por todas as reas de negcios que est inserida. Alto suporte ao manuseio do negcio O processo de negcio efetiva os princpios da estratgia da empresa dentro da arquitetura de TI, deslocando mais tecnologias para o aperfeioamento dos negcios. Capacidade em acomodar sistemas heterogneos Essa arquitetura independe da plataforma.

2.3.2 Pontos fracos do SOA

Fragilidade de fundamentos Os grandes blocos de software do modelo antigo denominado monoltico replicavam muito cdigo em desuso. Insuficincia semntica Essa metodologia deixa a desejar o tratamento do sentido semntico. Escassez literria Tem-se pouca documentao e materiais sobre essa arquitetura.

2.3.3 Servio

Segundo Lazzeri (2009, um servio a abstrao do trabalho a ser provido em uma relao especfica entre a entidade provedora e a requisitante.

10

Segundo Mecella (2000), o conceito de servio pode ser entendido de formas diferentes. Sob o ponto de vista da literatura no acadmica, servio pode ser coisas distintas. Ao invs de serem desenvolvidas aplicaes como um nico bloco macio, pode-se dividir as funes mais importantes e oferec-las na forma de servios. J na literatura acadmica, o termo servio tratado como um contrato ou um componente, se o termo servio for tratado como a implementao de uma ao a ser executada, o mesmo ser tratado como componente, se for a descrio de uma ao ser um servio. Um servio deve funcionar de forma independente do estado de outros servios e deve possuir uma interface bem definida. Normalmente, a comunicao entre o sistema cliente e aquele que disponibiliza o servio realizada atravs de web services que ser definido no prximo tpico.

2.3.4 Web Services

Segundo Newcomer (2002), um web service uma classe escrita para ser acessada via protocolos padres da Internet, isso significa que possvel acessar qualquer web service disponvel na rede e utilizar todas as funcionalidades do mesmo. Uma diferena entre Web Services e SOA, pode-se resumir que o SOA voltado para dentro da empresa, fornecendo informaes ou recursos para toda organizao, um pouco mais abrangente pode-se mencionar que os Web Services, so sites abertos para o mundo todo fazer consumo do servio disponvel. Uma das principais vantagens dessa arquitetura permitir que programas escritos em diferentes linguagens e em diferentes plataformas, comuniquem-se uns com os outros de uma forma padronizada. O seu principal foco a interoperabilidade na web.

11

2.3.5 Interoperabilidade

Para alcanar uma interface para o servio, um conjunto de regras e padres deve ser seguido. Esses padres e regras foram desenvolvidos para mostrar o que mais importante para que um servio torne-se acessvel e utilizvel atravs de uma rede. De acordo com Huhns e Singh (2005), a interoperabilidade possibilita que um sistema se comunique com outro de forma transparente, para que um sistema seja considerado interoperabilizado importante que ele trabalhe com livre acesso e implementao, ou seja, tem que ser independente de taxas e sem discriminao de uso. Segundo Huhns e Singh (2005), a interoperabilidade viabiliza que sistemas se comuniquem independente do seu fabricante ou da tecnologia que ele foi desenvolvido, tem uma caracterstica muita importante que permite produzir solues muito mais flexveis e de melhor qualidade j que no encontramos dificuldades de comunicao entre sistemas diversos, implementados de acordo com necessidades e limitaes igualmente diversas.

2.4 Benefcios da Orientao a Servio

De acordo com Huhns e Singh (2005) por serem separados em servios possvel que se tenha um melhor reaproveitamento de cdigo reduzindo assim os custos com projeto e o tempo para desenvolvimento do mesmo, o SOA tem est funcionalidade apenas por ser uma metodologia centralizada nos servios, valores e processos das regras de negcio. Sendo assim qualquer mudana no negcio facilmente adaptada ao sistema, apenas ajustando as funcionalidades que j esto na forma de servio e reajustando a lgica restante e tendo um ganho de tempo com reso de cdigo.

12

2.5 Reso de cdigo

Segundo Josuttis (2008) a no utilizao da reutilizao de cdigo implica em despesas adicionais para as fbricas de softwares que poderiam ser quase que aniquiladas na medida em que as solues j esto desenvolvidas e no necessrio gastar tempo e recursos para desenvolver a mesma soluo outras tantas vezes. A utilizao de servio facilita a reutilizao de cdigo, se no fosse utilizada a orientao a servio seria difcil o reso de cdigo devido a incompatibilidade de plataformas e linguagens. Com a orientao a servio esta dificuldade contornada devido a interoperabilidade entre os sistemas sendo necessrio apenas encontrar o servio que ser preciso e utiliz-lo.

2.6 LINGUAGEM PHP

De acordo com Davis (2008) PHP1 uma linguagem de programao voltada para desenvolvimento de aplicaes web, essa linguagem surgiu da necessidade de desenvolver e manter web sites contendo um funcionamento dinmico de servio ao cliente. O PHP compatvel com todos os grandes sistemas operacionais, uma linguagem fcil de aprender, tornando-se assim uma ferramenta ideal para iniciantes de programao. Segundo Davis (2008) a linguagem PHP facilita o desenvolvimento web pelo fato de todo o cdigo que ser preciso est contido na prpria estrutura do PHP. Isso significa que no necessrio recriar cdigos todas as vezes que for desenvolver um sistema em PHP, ele j tem funes de web embutidas.
1

- Hypertext Preprocessor

13

De acordo com Phillips (2008) o PHP uma tima linguagem para desenvolvimento para aplicaes web, porm ele no armazena informaes, sendo assim necessrio um banco de dados. O mais recomendado o banco de dados MYSQL, pela facilidade de integrao com essa linguagem, ele vai armazenar todas as informaes processadas pelo PHP.

2.6.1 HTML
A linguagem de marcao HTML2 tem a grande vantagem que a facilidade em sua manipulao, considerada a linguagem mais simples desenvolvida at os dias atuais. Segundo Marcondes (2007) por ser uma linguagem simples de manipulao de textos no necessrio que um programador necessite ter um grande embasamento terico de lgica de programao, a linguagem HTML responsvel pela manipulao de textos, objetos, figuras, fotos e raramente utilizada para manipulao de dados.

2.7 SGBD MYSQL

Segundo Date (2003), um banco de dados um conjunto de dados persistentes, utilizados por aplicaes de uma empresa. So entendidos por dados persistentes os dados que tenham natureza transitria, os dados no banco de dados persistem porque uma vez aceitos pelo SGBD3 para entrada no banco de dados s podem ser removidos por uma requisio do prprio SGBD. Um SGBD um programa que permite utilizar operaes tais como insero, excluso, consultas e alteraes sobre dados armazenados geralmente em servidores, alm de permitir controlar a integridade e a segurana desses dados.
Um SGBD (Sistema de Gerenciamento de Banco de Dados) basicamente apenas um sistema computadorizado de manuteno de registros. O banco de dados, por si s, pode ser considerado como o equivalente eletrnico de

- HyperText Markup Languagem - Sistema de Gerenciamento de Banco de Dados

14
um armrio de arquivamento; ou seja ele um repositrio ou recipiente para uma coleo de arquivos de dados computadorizados . (DATE, 2003. p.3). 2.7.1 MYSQL

Nos tempos atuais praticamente impossvel que uma empresa ou at mesmo pessoas fsicas no tenham um banco de dados, mesmo em tarefas simples estamos usando banco de dados. As grandes empresas utilizam de sistemas SGBD para armazenar e manipular os dados. Geralmente empresas que manipulam grandes quantidades de dados necessitam de um servidor, uma maquina de grande porte para suportar grandes quantidades de informaes armazenadas.
MYSQL um SGBD relacional que utiliza a linguagem padro SQL e largamente utilizado em aplicaes para Internet. o mais popular entre os bancos de dados com cdigo-fonte aberto. (NIEDERAUER, PRATES, 2006, p. 4).

O SGBD Mysql um programa que vem ganhando cada dia mais mercado principalmente no que se refere a web pela fcil integrao com a linguagem de programao PHP que amplamente utilizada para desenvolver aplicaes para web. Segundo Prates (2006) o custo do SGBD Mysql baixo em relao ao seu desempenho e sua alta complexidade um banco de dados confivel, com alta escalabilidade e um timo controle de privilgios de usurios, o que muito importante para a segurana da informao.

2.8 FERRAMENTA YQL

O Yahoo Query Language - YQL uma linguagem SQL-like4 que permite que seja feita uma consulta e uma filtragem dos dados juntos, atravs de web services de diferentes fontes na Internet. A sintaxe familiar a qualquer desenvolver com o

- SQL-LIKE determina se uma cadeia de caracteres especifica corresponde a um padro especificado. Um padro pode incluir caracteres normais e curingas. Durante a correspondncia de padres, os caracteres normais devem corresponder exatamente aos caracteres especificados na cadeia de caracteres.

15

mnimo de experincia com banco de dados. YQL voltada para buscas nas bases de dados do Yahoo ou em documentos especificados por desenvolvedores. De acordo com Yahoo (2012) quando se processa uma consulta, o YQL Web Services acessa uma fonte de dados na internet, transforma os dados e retorna em formato em XML5 ou JSON6. YQL pode acessar vrios tipos de fontes de dados, incluindo o Yahoo! Web Services, outros Web Services e vrios contedos em formatos HTML7, XML, RSS8 e Atom9. O YQL Web Services oferece os seguintes benefcios:

YQL esconde a complexidade dos Web Services APIs, apresentando dados em tabelas simples.

YQL inclui tabelas pr-definidas para servios do Yahoo! Para acesso h alguns sites mais populares da Web como: Flickr

(http://www.flickr.com/),

Twitter

(https://twitter.com/),

MyBlogLog

(http://mybloglogb.typepad.com/).

YQL pode acessar servios na internet que os dados sejam retornados nos seguintes formatos: HTML, XML, JSON, RSS.

2.9

Comparao com outras ferramentas

Com a crescente utilizao das redes sociais, so vrias as ferramentas e aplicativos que so desenvolvidos afim de t-las como base ou para serem utilizadas em conjunto com determinada rede social. Atualmente, existem algumas ferramentas que efetuam buscas em redes sociais, podemos citar: Icerocket (http://www.icerocket.com/) - uma ferramenta de busca em tempo real. Suas buscas podem ser efetuadas em Blogs, Facebook, Twitter; alm disso, podem ser tambm pesquisados, vdeos, imagens, notcias na Internet. Lanado em abril de
5 6

- Extensible Markup Language - Java Script Object Notation 7 - HyperText Markup Language 8 - Rich Site Summary 9 - Formato para ler e escrever informaes na web

16

2004, possui dois tipos de licena: livre e proprietria. Possui a Ferramenta da Trend, que possibilita aos usurios acompanharem as ultimas "tendncias" da palavra, ou seja, os assuntos que esto em maior evidncia sobre a palavra, dentro de at trs meses. Possui ainda o Construtor de RSS, que um servio que permite a usurios criar tpicos, links e contedos para seus sites. Social Pulse (http://www.reuters.com/social) uma interface de mdia social, lanada pela Agncia de Notcias Reuters. Ela tem o objetivo de filtrar as notcias mais importantes no momento, as empresas que esto sendo mais faladas e as pessoas mais populares na web. O intuito do Social Pulse, ajudar o leitor a definir o que pode ser ou no interessante para ele dentro das redes sociais. A Reuters, disponibiliza jornalistas que iro decidir e editar quais sero as notcias a serem exibidas, fazendo com que ela se torne um poderoso instrumento de influncia para seus leitores. Para ter acesso ao Social Pulse possvel cadastrar-se no site ou utilizar contas de sites parceiros como Twitter, Yahoo!, Facebook, Aol, LinkdIn e Myspace. As ferramentas acima citadas so ferramentas de alta qualidade; porm, podemos observar alguns pontos importantes que as diferem da ferramenta Fabribh: Site e informaes, em grande parte, so em outro idioma No focam em apenas uma rede social As informaes no so armazenadas de acordo com sua relevncia, mas de acordo com tendncias. As ferramentas no armazenam as informaes pesquisadas. No possuem a possibilidade de exibir relatrios posteriormente, sobre as pesquisas. As informaes no caso da Social Pulse, podem ser exibidas de maneira tendenciosa. A partir disso, possvel perceber que quando uma ferramenta possui escopo direcionado para somente uma rede social, possvel tratar com maior eficincia as informaes buscadas. Com o acesso direcionado a apenas um aplicativo, o retorno das informaes ser mais rpido; pois ele estabelecer a comunicao com apenas um servio disponvel na web, no sendo necessrio utilizar mais de um WebService na mesma consulta, o que trar

17

agilidade no retorno dos dados. Por ela ser especfica, poder retornar informaes mais refinadas.

3 DESENVOLVIMENTO DO SISTEMA FABRIBH

3.1 Pesquisa e escolha das ferramentas

Ao desenvolver o projeto, foi optado pela utilizao de ferramentas que atendessem as necessidades do levantamento de requisitos e que possussem licena gratuita. Ferramentas que embora sejam de fcil utilizao, apresentam qualidade e robustez em suas aplicaes. A linguagem de programao adotada PHP tem uma curva de aprendizagem baixa o que torna ela uma linguagem com uma grande facilidade desenvolvimento. A grande vantagem da utilizao do PHP sua alta integrao com o banco de dados Mysql, que embora sejam gratuitos, so softwares de alto nvel de qualidade. Dentre vrios estudos, foi concludo que a utilizao da arquitetura SOA, est a cada dia mais presente no desenvolvimento de aplicaes, com isso essa metodologia foi adotada para que a reutilizao da aplicao seja utilizada com grande facilidade.

3.2 Tecnologias utilizadas

Para a realizao deste trabalho foi utilizado para o desenvolvimento da ferramenta de pesquisa de keywords na web o servio YQL disponibilizado pela YAHOO!. Este servio foi utilizado para elaborar as consultas tabelas disponveis em vrias APIs10 em forma de open data table.

10

- Application Programming Interface(Interface de Programao de Aplicativos).

18

Segundo Yahoo (2012) Open data tables so arquivos de XML que podem ser ligados consulta do YQL, estes arquivos descrevem como a linguagem YQL ser mapeada em algum servio ou fonte da web. Uma vez mapeados essas fontes de dados podem ser usadas pelos desenvolvedores. A utilizao de servios disponveis na internet possvel atravs da metodologia SOA, essa metodologia proporciona uma maior agilidade no processo de desenvolvimento de aplicaes voltadas para web, por fazer uso de reutilizao de cdigo muitas vezes no preciso desenvolver uma aplicao por completo so utilizados cdigos j prontos, sendo assim integrando servios j prontos com novos servios. A linguagem PHP foi escolhida para o desenvolvimento do aplicativo por ser direcionada principalmente para aplicaes web e pela grande quantidade de funcionalidades que a linguagem oferece que podero ser utilizadas sem precisar criar novos cdigos. tambm uma linguagem que pode ser utilizada em plataformas diferentes, possui um manual online, de fcil entendimento e no idioma portugus Brasil. Um fator importante que ajudou na sua escolha por ser um projeto open source no sendo necessrio comprar licena de uso para o desenvolvimento do trabalho. Ela responsvel pela estrutura do que vai ser mostrada no navegador. Esta estrutura basicamente um cdigo que ser responsvel por receber as consultas feitas com a linguagem YQL. Essas consultas buscaram as informaes digitadas pelo usurio do sistema em vrias tabelas disponibilizadas pelos sites que utilizam de APIs para realizao de busca. As informaes retornadas sero armazenadas no Sistema Gerenciador de Banco de Dados MySQL, uma ferramenta flexvel e robusta, que tem uma tima integrao com a linguagem PHP. O relatrio ser visualizado no navegador atravs da linguagem de marcao HTML, que ir gerar a estrutura para receber os dados j armazenados no banco de dados.

19

3.3 Etapas do Desenvolvimento

A ideia principal desde projeto a busca de keywords na web, atravs de pesquisas foi optado pelo servio YQL disponibilizado pela Yahoo. YQL tem uma sintaxe parecida com SQL, isso torna a curva de aprendizado muito baixa, outro detalhe importante que foi preponderante na escolha, a quantidade de API's que possvel acessar utilizando YQL, alm disso, a economia de linhas de cdigo, tempo de desenvolvimento, mtodo de utilizao genrico, ou seja, a aplicao no fica engessada, caso seja necessrio interao com outras api's isso torna-se possvel, no sendo necessrio realizar nenhuma alterao no consumo de servio, antes desenvolvido, alm disso, possvel integrar e manipular dados utilizando N servios. Ao utilizar o YQL, existe um ponto fundamental que tem que ser levado em considerao, o tipo de servio a consumir e se essas informaes so pblicas ou privadas. A partir desse momento existe uma medida que adotada de acordo com o tipo de privacidade dessas informaes. Para acesso a dados privados, necessrio registrar sua aplicao no Yahoo, automaticamente recebida uma chave, onde necessrio utiliz-la no processo de desenvolvimento do software. Neste trabalho, foram consumidos servios que acessam informaes do tipo pblica, no caso, o Twitter. Todas as informaes que so postadas pelos usurios (twitte) so de acesso publico. Para acessar um webservice, existe um caminho (url), onde a aplicao se conecta, e ali ocorre a troca de informaes, o PHP tem uma funo nativa da linguagem que responsvel por realizar essa comunicao, a funo cURL, existem vrios parmetros para definir informaes adicionais nesse processo, um deles o tipo de informao que ser retornada aps a consulta o tipo utilizado foi JSON. JSON utilizado principalmente para realizar trfego de informaes em rede utilizando protocolo HTTP, o YQL trabalha com retornos dos tipos JSON, XML dentre outros, o retorno padro XML, caso no seja especificado o tipo de retorno, ele ser utilizado. Como demonstrado na tabela 1 um trecho de cdigo a seguir, o retorno foi alterado para JSON:

20

$yql_query_url = $yql_base_url . "?q=" . urlencode($yql_query) . "&env=http://datatables.org/alltables.env"; $yql_query_url .= "&format=json"; Tabela 1- Exemplo de Cdigo JSON A principal vantagem de se trabalhar com JSON, o ganho que se tem com o trafegado pela rede, comparado o tamanho de um arquivo XML e JSON, com a mesma quantidade de dados (resultado de uma busca usando o keyword Anhanguera). Demonstrado na figura 1 a seguir:

Figura 1- Exemplo de vantagem da utilizao de JSON

A diferena considervel, neste caso, 28% menor em relao ao XML, perceptvel o ganho em velocidade e economia de banda. No consumo de servios fundamental que essa observao seja relevante, quantidade de dados que retornada do Twitter considervel, por limitaes do prprio YQL, retornando no mximo 100 publicaes por consulta. As figuras 2 e 3 a seguir, ilustram um retorno nos formatos XML e JSON, respectivamente.

21

Figura 2- Retorno no formato XML

Figura 3- Retorno no formato JSON O trecho de cdigo da figura 4 exemplifica a utilizao do YQL, que responsvel pelo processo de busca das publicaes feitas pelo usurio no Twitter. Na linha 7 armazenado o caminho referente a url do web service, a linha 9 recebe uma string contendo o sql para realizar a busca no Twitter. A linha 13 responsvel por concatenar em uma mesma varivel, os contedo das variveis das linhas 7 e 13, respectivamente. O mtodo utilizado na linha 17, responsvel iniciar a comunicao com o web service, esse mtodo nativo no PHP e possui alguns

22

parmetros adicionais, na linha 20 utilizado um parmetro que impede que o retorno dessa consulta seja exibido diretamente no navegador, possibilitando o tratamento dessas informaes antes de exibi-las. A linha 23 responsvel por executar a consulta no Twitter, o tratamento do resultado da consulta, realizado na linha 26, converso dos dados para um array, a seguir, na linha 28, o resultado retornado.

Figura 4- Utilizao do YQL Aps esse retorno, utilizada outra funcionalidade da linguagem PHP, onde convertemos esse retorno em um array, isso foi possvel atravs do json_decode(). Com o array povoado com as informaes necessrias, utilizando mais funcionalidades do PHP, essas informaes sero disponibilizadas na tela para o usurio, onde este ir decidir quais informaes lhe sero til e armazen-las na base de dados para consultas posteriores. Para armazenar os dados foi escolhido o Sistema de Gerenciamento de Banco de Dados MYSQL alm de ser um software com licena pblica GNU suporta grandes quantidades de dados em sua base. Um fator decisivo para a escolha do MYSQL sua alta velocidade de acesso dos dados, que para a gerao de relatrios essencial.

23

A modelagem para o armazenamento de dados seguiu a lgica da necessidade de armazenar informaes dos usurios que teriam acesso ao sistema sendo criada a tabela de Usurio, cada usurio que utilizar o sistema poder salvar os resultados da pesquisa, ser armazenado na tabela de Log, informaes referentes consulta como o que ele pesquisou e a data da pesquisa, j os dados retornados da consulta ficaro armazenados na tabela de Registro como mostrado na figura 5.

Figura 5 - Diagrama DER A documentao de um caso de uso tabela 2 - descreve por meio de uma linguagem bastante simples, a funo em linhas gerais do caso de uso, quais atores interagem com ele, quais etapas devem ser executadas pelo ator e pelo sistema para que o caso de uso execute sua funo, quais parmetros devem ser fornecidos e quais restries e validaes o caso de uso deve ter.

24

Figura 6- Diagrama de caso de uso

Nome do caso de uso Ator principal Ator Secundrio Resumo

Buscar Keywords Administrador Usurio Este caso de uso descreve etapas percorridas para fazer buscas de

keywords no sistema. Pr-condies Necessrio ter feito login para acesso ao sistema. Ps-condies Digitar palavra para obter retorno dos dados. Fluxo Principal Aes do Ator 1. Fazer login do sistema Aes do Sistema 2. Verificar acesso de permisso

25

3. Digitar keyword para pesquisa 3. Selecionar dados e salvar Fluxo de exceo Aes do Ator

4. Retornar os dados 5. Armazenar dados no banco

Ao do sistema 1. Se usurio no digitar nenhum valor valido para pesquisa no ser exibido nenhum resultado. Tabela 2 - Descrio Caso de Uso

Conforme demonstra a figura 7, o usurio ter acesso ao sistema por uma tela de login, ao digitar a informao de nome e senha os dados sero submetidos h uma analise de acesso para que seja mostrado o menu de acordo com as permisses disponveis para quem estiver logado no sistema.

Figura 7 - Tela de Login

26

Ao efetuar login o usurio tem acesso tela para consultar a palavra desejada, figura 8. No momento que a busca submetida, o sistema processa a solicitao atravs do caso de uso Buscar Keywords, ocorre a comunio com o Twitter atravs do consumo do servio disponibilizado pelo YQL, aps a consulta, os dados coletados so retornados no formato JSON, o objeto tratado e exibido ao solicitante, figura 9.

Figura 8 - Tela de Busca

Sero exibidos os resultados da pesquisa com um checkbox para cada linha retornada para que sejam selecionadas apenas as informaes que lhe forem pertinentes, ou mesmo selecionar todas as informaes selecionando a opo para marcar todos checkbox, conforme caso de uso Selecionar Resultados, ao clicar em gravar, o caso de uso Gravar processa essa solicitao salvando as informaes referentes pesquisa na tabela Registros conforme Figura 5 a seguir, tambm armazenado na tabela Log, informaes do usurio que est executando esta ao, como o keyword utilizado na busca e data e hora da ao.

27

Figura 9 - Tela de Resultados

28

O caso de uso Gerar Relatrio responsvel por gerenciar e exibir os relatrios, os filtros exibidos figura 10 -, o resultado de uma seleo dos keywords utilizados na busca ao Twitter, que foram armazenados. Caso haja mais de um keyword, ser possvel refinar a pesquisa atravs dos campos como data, hora, minutos e segundos, que foi realizada determinada busca. Outro tipo de filtro disponvel por perodo, contendo uma data inicial e final onde sero retornados todos os dados que foram armazenados naquele perodo, o retorno processado e exibido ao solicitante.

Figura 10 - Tela de Relatrio

29

4 CONCLUSO
No foi encontrado na literatura sistemas que disponibilizem a captura de informaes em redes sociais utilizando tecnologias como SOA e YQL. Com o alto ndice de utilizao dessas redes, possvel perceber o alto nvel de transferncia dessas informaes e como pode ser importante para as empresas acompanhar o que mensurado nelas. Sabemos hoje, que em todo o ambiente virtual, concentrase nas redes sociais o maior nmero de pessoas, dispostas a expressar opinies e compartilhar interesses. O clipping uma tecnologia que alm de oferecer coleta de dados, tornou-se uma estratgia de mercado que, quando bem utilizada, poder trazer bons frutos s organizaes, possibilitando-as saber o que seus clientes pensam a respeito de sua marca ou produto. O trabalho tem como foco principal ligar duas grandes tecnologias: o eclipping e as redes sociais. Tendo como base umas das maiores redes sociais, o Twitter, foram feitos vrios levantamentos, sobre conceitos, tecnologias e linguagens que se aplicariam melhor ao escopo do trabalho. Dentre as diversas tecnologias usadas, podemos ressaltar a utilizao da metodologia SOA e do YQL, que alm de ser uma linguagem recente no mercado, possui diversas funes que facilitam ao programador desenvolver o cdigo, o que colaborou de forma significativa no desenvolvimento do sistema Fabribh. O desenvolvimento do sistema atendeu a todas as expectativas. O usurio que tem acesso ao sistema efetua a busca com a palavra-chave que deseja e, ao obter os resultados, decide quais sero as informaes que so relevantes para ele ou para a organizao e as armazena, possibilitando a exibio posterior de relatrios desses dados. Com isso, conclui-se que a pesquisa realizada e o desenvolvimento do sistema foram amplamente satisfatrios, atendendo demanda da proposta. O sistema Fabribh, poder trazer inmeros ganhos para as empresas em termos de captura de informaes, alm de poder ser utilizado com outras ferramentas que

30

podero fazer uma anlise em cima dos dados que foram coletados. Alm disso, o ganho para o grupo com o desenvolvimento desta ferramenta, proporcionou conhecimento inestimvel.

31

REFERNCIAS
ABREU, Karen Cristina Kraemer; FERREIRA, Robson Thiago; TAVARES, Daiane da Silva. O Twitter como Ferramenta de Comunicaao Organizacional. RP em Revista, Fevereiro de 2010. Disponvel em <http://www.rp-

bahia.com.br/rpemrevista/edicao25/o_twitter_como_ferramenta_de_comunicacao_or ganizacional.pdf>. Acessado em 26 de Maio 2012. ALCAR, Adriana Rosecler; DI CHIARA, Ivone Guerreiro; TOMAL, Maria Ins. Das redes sociais inovao. Scielo - Scientific Eletronic Library Online. Maio/ago, 2005 Disponvel em: <http://www.scielo.br/pdf/ci/v34n2/28559.pdf >. Acesso em: 24 abr. 2012. BARBOSA, Ricardo Rodrigues; BORGES, Mnica Erichsen Nassif; LEMOS, Ariane Barbosa. O Monitoramento de Notcias como Ferramenta para a Inteligncia Competitiva. Revista Digital Biblioteconomia e Cincia da Informao. Disponvel em:<http://polaris.bc.unicamp.br/seer/ojs/index.php/sbu_rci/article/viewFile/490/pdf_1 >. Acesso em: 23 Maio 2012. DATE, Christopher J. Introduo a Sistemas de Banco de Dados. Traduao [de] Daniel Vieira. 4.ed. Rio de Janeiro: Editora Elsevier., 2003. DAVIS, Michele E.; PHILLIPS, Jon A. Aprendendo PHP & MySQL. Rio de Janeiro: Editora Alta Books., 2008. GROSSI, Bruno Estoliano. Estudo do Modelo de Computao Orientada a Servio e sua Aplicao a um Sistema de Minerao de Dados. 2005. 67f. Tese (Mestrado em Cincia da Computao) - Universidade Federal de Minas Gerais, Belo Horizonte, 2005. HUHNS, Michael N.; SINGH, Munidar P. Service-Oriented Computing Semantics, Processes, Agents. John Wiley & Sons, Ltd.,2005. JOSUTTIS, Nicolai M. SOA na Prtica. Rio de Janeiro: Editora Alta Books, 2008.

32

LAZZERI, Jos Carlos. Arquitetura Orientada a Servios: Fundamentos e Estratgias. Rio de Janeiro: Editora Cincia Moderna Ltda., 2009. MAFEI, Maristela. Assessoria de Imprensa: como se relacionar com a mdia. So Paulo: Editora Contexto, 2007. MARCONDES, Christian Alfim. HTML 4.0 Fundamental: A Base da Programao para WEB. So Paulo: Editora rica, 2007. MARTELETO, Regina Maria. Anlise de redes sociais: aplicao nos estudos de transferncia da informao. Cincia da Informao, Braslia, 2001. MECELLA, Massimo; PERNICI, Barbara. Designing Components for e-services em Proceedings of the VLDB Workshop on Technologies for e-services. Cairo: VLDB-TES, 2000. METAMEND. Disponvel em < http://technorati.com/social-media/article/reuters-

social-pulse-lets-social-media/>. Acesso em: 04 de jul. 2012 NEWCOMER, Eric. Understandig Web Services : XML, WSDL, SOAP, and UDDI.Boston: Pearson Education, Inc. 2002 PINHEIRO, Carlos Andre Reis. Inteligncia Analtica: Minerao de Dados e Descoberta de Conhecimento. Rio de Janeiro: Editora Cincia Moderna Ltda., 2008. PRATES, Rubens; NIEDERAUER, Juliano. Mysql Guia de Consulta Rpida. So Paulo: NovaTec Editora Ltda., 2006. RIBEIRO, Victor Fernando. A Famlia Miner de Agentes para a Wold-Wide Web. 1998. 109f. Tese (Mestrado em Cincia da Computao) - Universidade Federal de Minas Gerais, Belo Horizonte, 1998. REUTERS: Disponvel em < http://www.reuters.com/social>. Acesso em: 04 de jul. 2012 TECNHORATI. Disponvel em < http://technorati.com/social-media/article/reuterssocial-pulse-lets-social-media/>. Acesso em: 04 de jul. 2012

33

YAHOO. Disponvel em < http://developer.yahoo.com/yql/>. Acesso em: 12 de abr. 2012.