COMPUTERWORLD

Maro 2012

Big Data
A grande promessa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Problema antigo mas maior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Trs vertentes de reforo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 Mais ou no melhor? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Tirar partido para l do hype . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Tendncia preocupa e causa grande confuso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 Cinco coisas que deve fazer agora . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 Mais oportunidades de carreira para profissionais de TI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Faltam profissionais em Portugal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Ma!(o 2012 - COMPUTERWORLD

2|

Com$nica(*e" Big Da#a Unificada"

aberto, muitas vezes referida como Big Data ou grandes quantidades de dados. "D-nos uma vantagem competitiva se podemos entender melhor com o que as pessoas se preocupam e para melhor utilizar os dados que temos para criar experincias mais relevantes", refere Aaron Batalion, director de tecnologia (CTO) para o servio de compras online LivingSocial, que usa tecnologias como a plataforma de processamento de dados Hadoop, do projecto Apache, para recolher mais informaes sobre o que os seus utilizadores querem. "Os dias terminam quando se cria um produto uma vez e ele simplesmente funciona", disse Batalion. "Tem de se ter ideias, test-las, iterlas, usar os dados e analtica para entender o que funciona e o que no funciona, a fim de ser bem sucedido. E assim que usamos a nossa infra-estrutura de Big Data". Muitos dados cada vez maiores Em Maio passado, a empresa de consultoria McKinsey publicou um relatrio que antecipou como as organizaes seriam inundadas com dados nos prximos anos. Ela tambm previa que uma srie de indstrias - incluindo sade, sector pblico, retalho e fabrico - poderiam beneficiar da anlise dos seus rapidamente crescentes montes de dados. Recolher e analisar os dados transaccionais dar s organizaes um melhor conhecimento sobre as preferncias dos seus clientes. Isso pode ser usado para informar melhor na criao de produtos e de servios, e permitir que as organizaes possam resolver problemas emergentes mais rapidamente. "A utilizao de grandes dados ser uma base fundamental na concorrncia e crescimento para as empresas", conclui o relatrio. "A utilizao de Big Data suportar novas ondas de crescimento na produtividade e satisfao do consumidor". claro que a Teradata, a IBM e a Oracle, entre muitas outras, tm warehouses de dados escala dos terabytes h mais de uma dcada. Actualmente, no entanto, os dados tendem a ser recolhidos e armazenados numa ampla variedade de formatos e podem ser processados em paralelo em vrios servidores, o que uma necessidade dadas as quantidades de informaes que esto a ser analisadas. Para l de manter exaustivamente os dados transaccionais em bases de dados e outros cuidadosamente residentes em warehouses, as organizaes tambm esto a recolher quantidades incalculveis de dados dos acessos (logs) dos servidores e outras formas de dados gerados pelas mquinas, comentrios de clientes internos e de redes sociais exter-

A grande promessa
As organizaes esto a descobrir que as tecnologias para gerir grandes quantidades de dados (Big Data) podem rapidamente encontrar uma agulha no palheiro.
Para o Twitter, fazer sentido das montanhas de dados dos seus utilizadores era um problema suficientemente grande que comprou uma outra empresa apenas para a ajudar a fazer esse trabalho. O sucesso do Twitter depende inteiramente de quo bem a empresa explora os dados que os seus utilizadores geram. E tem um monte de dados para trabalhar: armazena mais de 200 milhes de contas, que geram 230 milhes de mensagens dirias no Twitter. Em Julho passado, a gigante das redes sociais adquiriu a BackType, uma empresa com o software Storm que permite analisar fluxos de dados dinmicos, como os milhes de feeds do Twitter. Aps a aquisio, o Twitter libertou o cdigo-fonte do Storm, no tendo interesse em comercializar o produto em si. O Storm valioso para o Twitter nas suas prprias operaes, especificamente porque pode ser til na identificao de tpicos emergentes medida que se esto a desenvolver, em tempo real, no servio da empresa. Por exemplo, o Twitter usa o software para calcular quo amplamente endereos da Web so partilhados entre vrios utilizadores do Twitter em tempo real. Esse trabalho " realmente de computao intensiva, que pode envolver milhares de acessos s base de dados e a milhes de registos de utilizadores", revela Nathan Marz, engenheiro-chefe para o Storm, que explicou a tecnologia em Dezembro passado numa conferncia em Nova Iorque realizada pela DataStax, empresa de software de Big Data. Usando uma nica mquina, calcular o alcance de um endereo Web pode levar at 10 minutos. Mas usando 10 mquinas, explicou Marz, pode ser executado em apenas alguns segundos. Para uma empresa que ganha dinheiro a vender anncios que se conjuguem com as tendncias emergentes, quanto mais rpida for essa operao pode ser crucial. Como o Twitter, as organizaes esto a descobrir que tm uma grande quantidade de dados em mos, e que os dados podem ser usados para maximizar os lucros e melhorar a eficincia - se os conseguirem organizar e analisar com suficiente rapidez. Este objectivo, tornado possvel por uma srie de novas tecnologias que so em sua maioria de cdigo

COMPUTERWORLD - Ma!(o 2012

Big Da#a
nas, e ainda outras fontes de dados soltos, no

|3

chamado Bigtable. A Google manteve o Bigta-

aestruturados. Internet nem Amazon e nmeros at um pouco mais ble para usotemos interno, mas Doug Cutting, um a "Os Fnac sistemas no facturava tradicionais o M&P: de dados Mas h simplesplanos concretos de aujovens dohavia que a criado idade mdia do meu programador que j o motor de que mente factura no hoje. manipulam Receber grandes mentar o quantidades portflio da RD ao nvel de clientesource em base de dados, tenho de adbusca em open Lucene/Solr, criou uma de carta dados das muito Seleces bem, seja imprensa? porque no podem uma verso de mitir. Tirando os pases da Amrica Lacdigo aberto, denominando a era lidar umcom evento a variedade e tinha deFL: dados Se as - os oportunidades dados de surgirem e a partir tina e do danome sia, do a elefante minha revista tecnologia de peuma hoje taxa so de resposta muito menos bruforem estruturados boas, sim.porque E ter como luche accionista jovem, por estranho que do seuinvulgarmente filho. tal. evoluem Hoje no muito estamos rapidamente um fundo -, de ouinvestimento porque at facilita parea em relao a a outros pases. DeUma das primeiras entidades adoptar o Hanessa [esses realidade. sistemas] A concorno conseguem as coisas. Mais ser dimenfacilmente doop vem foi uma Yahoo. pois tambm no contratou propriamente um A empresa Cutting rncia sionados durssima, velocidade os que plano devem para mastigar investiir uns os quantos mi- aproblema a populao no est e comeou dedicar porque grandes quantidades do nossos dados", livros refere tm dscondo Eric Baldeschwieler, lhes num novo CTO prodrda uns quantos mi- de engenharia a rejuvenescer, antes pelo contrrio. No trabalho a refinar a tecnologia, que Hortonworks, foi uma dasuma razes empresa lhessada num novo da Yahoo, produto do por que volta meio delimite at tenho um mercado 2006. "A Yahoo tinha maior. muitos que que me oferece facilitou uma a decidistribuio milho do deHadoop. dlares de desvio de budget. dados interessantes em toda a empresa que so, Os entrei dadosdepois esto a de crescer no a uma taxa exponen- poderiam ser M&P: A percepo que revista um correlacionados deavrias maano cial, anterior graas terem Leisado de Moore, M&P: salientou Dado que Curt tm Mode diversificar pouco envelhecida. Como que se neiras, as mas o que existia estava em sistemas muitas nash, da Monash Research. fontes Ade Lei receita, de Moore parece quase uma muda?Cutting, que agora trabalha separados", refere afirma que o nmero inevitabilidade. de transstores que para a Cloudera, FL: Aum maior parte dasde pessoas no fornecedor distribuiM&P: podem As 'gorduras' ser colocados j ti- numa FL: No wafer necessariamente. dum pro- Tenho o vrias Hadoop. pega na revista h mais de dez anos. A nham cessador sido cortadas. duplica aproximadamente formas de poder a cada crescer, 18 uma delas hoje percepo um ciclo vicioso, A Yahoo um dos depois maiores utilizadores do FL: meses. J, j.Cada Houve nova trs gerao rasair de da processadores minha concha. H um mercado tendo-o se a minha percepo esta no vou Hadoop, implantado em mais de 40 zes duas pelas vezes quaismais conseguipotenteque que domino a sua muito antecesbem, quemil a venda procura. Por outro lado, a astecnologia vendas em servidores. A empresa utiliza sora maiseste recente. no surpreendentemos atingir ano o E, por correspondncia. Estamos tentar banca tambm Clusters tm vindo a cair. A esdea diferentes maneiras. Hadoop mente, odepois poder dos novos servidores tambm break-even, de dois alargar o lote de produtos que podemos ficheiros magadora maioria de das logs vendas, de 94 a 95 mantm massivos hisduplica a cada 18 meses, o que que ou trs anos de perdas vender, jsignifica hoje vendo vitaminas, como mil, so assinatura e.< trias e seces em por que os utilizadores clicaas suas gerar conjuntos de muito durasactividades em Portugal. vose fossem cum teste e vendemos ram. vitaA actividade publicitria tambm igualmente maiores. A dados fundamental foi, claraminas. Nos catlogos j vendemos armazenada em clusters Hadoop, como so A abordagem Big Data mente, o corte na estrujias.representa uma as listas de todo o contedo e artigos que a grande alterao na forma como os dados so Yahoo publica. tura de custos, aconteceu manipulados, Jack Norris, tambm noutros diz pases, M&P: vice-presidente Diversificar no necessaria"O Hadoop uma ptima ferramenta para ormas de em marketing Portugal foi dadrsMapR. mente Antes,na os rea dados editorial, cui- portanto. ganizar e condensar grandes quantidades de tico. dadosamente Saram dezenas escolhidos de FL: eram No canalizados uma inevitabilidade. dados Ou antes de serem colocados numa base pesal atravs e Espanha, da rede ra fa para do um seja, data sim warehouse, tenho de analisarde oportunidados relacional", refere Monash. A tecnoque onde prosto podiam no depois a estru- ser dades examinados. de investimento Com ana rea editologia particularmente bem adequada para tura de custos, crescente que no de rial e revistas em concreto, no padres em grandes conjuntos de quantidade dados, no entanto, "a depois pesquisar elevada, o problema que sei que posso cdes Sis que vou investir, rede torna-se o estrangulamento", refere. texto. a temas receita distribudos no suficiente no posso apostar tudoa a. Posso crescomo o Hadoop permitem Outra tecnologia de Big Data que teve o seu para, em condies nor- os cer o negcio com venda deincio mais proanlise onde residem dados. num fornecedor de servios online foi a mais, essa um subconjunto dumail, de anncios pasesde da dados Cassandra. A Cassandra Em rentabilizar vez de criar limpo nos de psbase Europa. dados do utilizador para os colocar numa capaz de armazenar 2 milhes de colunas M&P: Noutros mercados a data warehouse para serem consultados numa nica linha, tornando-as acessveis para RD tem lanado ttulos deM&P: E isso est a ajudar a rejuvenesnum nmero limitado formas pr-determiacrescentar mais dados sobre contas de utiliem segmentos nos quais cer o perfil de audincia nadas, o software deoBig Data recolhe todos osda Seleces? zadores existentes, sem saber de antemo grupo temque know-how. Esse FL: Estamos a ter resultados como de vendas dados uma organizao gera, e permite os dados devem ser formatados. tipo de estratgia est a emelhores dose que h uns tempos, meque os administradores analistas preocuUsar a base de dados Cassandra tambm pode ser pensada para o lhores do que espervamos, precisapem em como osmerusar mais tarde. Neste sen- ser vantajoso na medida em que pode ser dicado ibrico? porque estamos conseguir tido, so mais escalveis mente do que os bancos de a vidida por vrios servidores, o que ajuda as orFL: O mercado portugus chegar a mais pessoas. A internet, as a escalar as suas bases de dados dados tradicionais e as data warehouses. ganizaes em termos publicitrios novas formas de comunicao, esto- para l de um nico servidor, ou at facilmente um dcimo, mais coisa nos permitir chegar a novos clientes, Como a Internet estimulou aaBig Data mesmo num pequeno cluster de servidores. menos coisa,maneiras, do Espa- os gigantes clientes diferentes, mas que, felizDe muitas fornecedores A Cassandra foi desenvolvida pela rede social nhol. um mercado relano so assim to diferentes. de servios online comomente, a Google, Amazon, Facebook, que precisava de uma enorme base tivamente pequenoe Twitter e Diferradicionais compram. Eles tm distribuda para lidar com as buscas Yahoo, Facebook tm estado na van- de dados muito ocupado por granvindo retirar e gostam dos produtos. Euentrada tenho do servio, refere Jonathan Ellis, o guarda da aprendizagem para o mximo na des grupos de porbons produtos, um responsvel problema proveito demedia, tais enormes conjuntos de tenho dados. do projecto Apache Cassandra e tanto, no lanar percepo, as pessoas pensam RD A Google e caro a Yahoo, entrede outros, participaram co-fundador da DataStax, empresa que agora revistas em Portugal o di-do Hadoop. e imaginam logo teias de aranha. no desenvolvimento Engenheiros oferece suporte profissional para Cassandra. fcil rentabiliz-las. do Facebook desenvolveram a primeira base Como o Yahoo, o Facebook queria usar a arAgora o meu dever ana- Cassandra, M&P: Olhando para o perfil quitectura da Selec- Bigtable da Google, que poderia de dados distribuda da Apache, lisar oportunidades, ver source. o es o Bareme Imprensa indica tambm em open fornecer uma estrutura de base de dados que sentidoteve lanar FL: Esses nmeros do uma idade para colunas e linhas que poderia O faz Hadoop o ou, seu incio a partir de um orientada eventualmente, adquirir. mdia de 44 anos meu leitor o Bawhite paper da Google, em 2004, quedo desser -espalhada por um grande nmero de ns. Do lado de Espanha, o reme Imprensa da maneira como cal- da Bigtable que era um projecto creveu a infraestrutura da Google construda O limite mercado muito dados grande,em vrios culadoservidores vale o que difevale, mas o que para um n principal. Toda a operapara analisar orientado

rentes, utilizando um sistema de indexao

o dependia de um nico n para coordenar

Ma!(o 2012 - COMPUTERWORLD

4|

Big Da#a

as actividades de leitura e escrita em todos os outros ns. Por outras palavras, se o n principal fosse abaixo, todo o sistema ficava inutilizado. "Isso no o melhor desempenho. Quer-se um em que se uma mquina vai abaixo, as outras continuaro a funcionar", disse Ellis. Assim, Ellis e os seus colegas desenvolveram a Cassandra usando uma arquitectura distribuda da Amazon, chamada Dynamo, que os engenheiros da Amazon descreveram num artigo de 2007. A Amazon desenvolveu inicialmente a Dynamo para acompanhar o que os seus milhes de clientes online iam colocando no carrinho de compras. A Dynamo no dependente de qualquer n central. Qualquer n pode aceitar dados para todo o sistema, bem como responder a consultas. Os dados so replicados em vrios hosts. Para a empresa A boa notcia que muitas destas primeiras ferramentas desenvolvidas por esses fornecedores de servios online esto a ficar mais disponveis para as empresas como software de cdigo aberto. Por estes dias, ferramentas para grandes dados esto a ser testadas por uma ampla gama de organizaes, fora dos

grandes fornecedores de servios online. Instituies financeiras, telecomunicaes, agncias governamentais, empresas de servios pblicos, retalho e empresas de energia esto a testar grandes sistemas de dados, observa Baldeschwieler. "H um ar de inevitabilidade" com o Hadoop e implementaes de Big Data, diz. " aplicvel a uma grande variedade de clientes". Ento como que uma organizao pode comear a usar os seus montes de dados gerados por mquinas e redes sociais? Talvez surpreendentemente, a criao da infraestrutura no ser o maior desafio para o CIO. Fabricantes como a Cloudera, Hortonworks, MapR e outros esto a comercializar tecnologias de Big Data, com efeito, tornando-os mais fceis de implementar e gerir. Em vez disso, encontrar o talento certo para analisar os dados ser o maior obstculo, segundo o analista da Forrester Research, James Kobielus. As organizaes "tem de se concentrar na cincia dos dados", diz Kobielus. "Tm de contratar modeladores estatsticos, profissionais de extraco de texto, pessoas que se especializaram em anlise de sentimentos". A Big Data baseia-se na slida modelao dos dados, refere Kobielus. "Modelos estatsticos

preditivos e modelos analticos de teste sero as principais aplicaes de que se precisa para gerir muitos dados", refere. Muitos esto prevendo que a Big Data trar um tipo inteiramente novo de profissional, o cientista de dados. Este ser algum com um profundo entendimento de matemticas e estatsticas, que tambm sabe trabalhar com tecnologias de Big Data. Pode haver escassez destas pessoas. Em 2018, s os Estados Unidos podem enfrentar a falta de 140 mil a 190 mil pessoas com profundas capacidades analticas, bem como 1,5 milhes de gestores e analistas com knowhow para usar a anlise dos grandes dados para tomar decises eficazes, estimou a McKinsey. Apesar destas limitaes, as organizaes precisam de seguir em frente apenas para permanecerem competitivas e eficientes, diz Norris, da MapR. Como exemplo, ele aponta a Google, que entrou no campo das buscas na Internet anos aps a concorrncia, para acabar por dominar o mercado em dois anos. "Muito disto deveu-se s vantagens da arquitectura back-end da Google", considera Norris. A Big Data " uma grande mudana de paradigma que tem o potencial de mudar indstrias".<

COMPUTERWORLD - Ma!(o 2012

6|

Big Da#a

P!oblema an#igo ma" +maio!,

As empresas portuguesas j lidam com os problemas do crescimento exponencial de dados h algum tempo. Mas considerando as dimenses e os constrangimentos actuais, o desafio mais elevado e diferente. Para grande parte das organizaes portuguesas, Big Data uma denominao nova para um problema antigo, com dimenses maiores e a exigir redobrada ateno. O grau de preparao varia, com o sector da banca e das telecomunicaes a liderarem. Mas, desta vez, os constrangimentos de financiamento trazem barreiras adicionais, muitas vezes incontornveis incluindo o adiamento do investimento. As empresas em Portugal j assimilaram o conceito de Big Data , afirma Fernando Faria, Manager de Data & Information Management na Unisys. Existiro factores externos para isso, como o papel da comunicao social e o prprio discurso dos fabricantes e prestadores de servios de alojamento. Mas as prprias organizaes j constataram o fenmeno internamente, refora. Tambm o CTO da Feedzai, Paulo Marques, considera que o fenmeno Big Data no novo para as empresas portuguesas. Do seu ponto de vista, a questo mais importante que se coloca s empresas passa por saber como extrair valor de negcio dos dados que existem na organizao, independentemente da tecnologia utilizada como suporte. A grande diferena que hoje o desafio ganha outra dimenso e relevncia devido surpreendente magnitude dos volumes de dados produzidos pelas organizaes, salienta Sofia Esteves, directora do centro de competncia de BI da Novabase. Assim, ele depende da organizao ter ou no um volume de dados tal, que impossibilite o seu tratamento e anlise de forma efectiva, sustenta. A prpria globalizao constitui um factor de presso, na opinio desta responsvel. A presena das organizaes em vrias partes do

globo, as consequncias da actividade empresarial decorrer em fusos horrios distintos e a necessidade de haver uma viso global sobre o negcio, so vertentes desse aspecto. O mesmo resulta num esmagamento das janelas de processamento de dados disponveis, criando novos desafios na eficincia e performance dos processos de ETL (Extraction, Transformation e Loading), explica. Como noutros pases, tambm em Portugal as redes sociais so um dos factores de crescimento exponencial da informao, confirma Fernando Faria (Unysis). E a anlise, extrac-

o e processamento desta informao pertinente para o ramo de negcio de uma empresa ser um factor justificativo para o investimento no tratamento de Big Data, explica. Contudo, o responsvel considera que as organizaes esto a tentar passar esta problemtica para um futuro prximo, procurando adiar investimentos que no tenham um retorno rpido para o seu negcio. O momento de conteno de investimentos ser o principal responsvel pela situao. No obstante, Paulo Marques (Feedzai) tem uma perspectiva mais positiva sobre a din-

Trs vertentes de reforo

O novo universo de capacidades inerente ao Big Data permitir complementar as capacidades actualmente instaladas nas empresas portuguesas, considera o consultor da Deloitte, Pedro Lopes. Sobretudo em trs vertentes ou situaes: quando se pretende que os data warehouses actuais desam a um nvel de detalhe adicional que antes no era suportvel pela enorme quantidade de informao resultante (exemplos so os detalhes de facturas ou de chamadas telefnicas); para se tirar partido de ferramentas de funcionamento em tempo real, que necessitam de capacidades de resposta sobre anlises de grandes quantidades de dados, superiores s tradicionais; com o objectivo de obter alertas e significado, com valor, a partir de informao no estruturada como Web logs, fluxos de media social, dados de RFID ou de outros sensores, ou dados sobre cliques em sites Web.<

COMPUTERWORLD - Ma!(o 2012

Big Da#a
mica do mercado. Confia na abertura enorme das empresas nacionais para usar tecnologia de ponta mas com uma condio: preciso que a tecnologia resolva os seus problemas de anlise de dados. Do que temos assistido no terreno, as empresas tambm esto neste momento dispostas a investir por forma a conseguirem reduzir custos nas suas operaes com tecnologia, que lhes permitam melhores insights de negcio na sua organizao, concretiza. Para o responsvel da start-up participada da Novabase, o mercado portugus no apresenta qualquer peculiaridade face a outros. Empresas em aprendizagem Sendo Portugal um pas com uma malha empresarial composta sobretudo por PME, levantam-se algumas dvidas. Na opinio de Pedro Lopes, da Deloitte, as PME no sero naturais clientes das capacidades inerentes ao fenmeno Big Data. A sua justificao liga-se viso de Sofia Esteves: o consultor baseia a sua opinio nas necessidades tpicas de anlise de informao que normalmente evidenciam. Contudo isso no invalida a utilidade de investirem num contexto de Big Data e obterem proveitos. As organizaes portuguesas, tal como as outras, podero tirar partido destas capacidades para segmentar os seus clientes com base em novas fontes de informao como os media sociais, tomar decises de oferta de produtos ou servios em tempo real com base em informao captada no momento ou identificar fraudes por anlises a informao mais detalhada que antes no eram possveis, explica. Nesse contexto, considera que do ponto de vista da sua preparao, esto ao nvel da generalidade das organizaes de outros pases pelo que podero, mediante mais alguma preparao, reforar e complementar as suas capacidades actuais. Na sua viso, exceptuando organizaes como a Google ou a Facebook, pioneiras a lidar com o fenmeno Big Data, todas as empresas ainda esto a aprender como faz-lo. Na mesma linha, o gestor da Reditus, Nuno Pacheco, afirma que o universo tecnolgico em torno do Big Data recente e disruptivo, considerando os cenrios tradicionais de BI. Nuno Pacheco considera existir no mercado portugus algum investimento, particularmente nas solues de data mining e data warehousing. A realidade que apenas tm capacidade limitada de armazenar e analisar as suas fontes internas de informao, mesmo que j conseguindo desenvolver uma actividade analtica sobre o negcio , revela. Com o know-how j existente, complementado com uma abordagem Big Data, ser possvel adquirir, organizar e analisar fontes de informao tanto internas como externas, com uma abrangncia bastante mais alargada, de-

|7

Mai" ) o$ n'o melho!?

"Big Data no tem a ver apenas com anlise de dados, assegura o CTO da Amazon, Werner Vogel. Tem a ver com o fluxo todo, afirma. Por isso, necessrio pensar em todas as diferentes etapas de processamento de dados: recolha, armazenamento, organizao, anlise e partilha. J o CTO da Feedzai, Paulo Marques, d destaque ao conhecimento sobre as perguntas mais importantes a fazer. Para aproveitar as crescentes quantidades de dados e ganhar vantagens competitivas, as empresas tero de inovar em todas essas reas, no apenas na anlise, segundo Vogel. A Amazon tem desenvolvido muita actividade em torno do Big Data e da anlises de dados para conseguir chegar a clientes-alvo e disponibilizar recomendaes pertinentes. O que tem aprendido ao longo do caminho que maior, neste caso, sinnimo de melhor, diz Vogel. Quando so detectados erros, estes so normalmente devidos ao facto de no existirem dados suficientes para sustentar uma recomendao, por exemplo. Mas para o CTO da Feedzai, nem sempre prefervel ter uma maior quantidade de dados. Em contexto de "Big Data", diz, a pergunta mais importante a fazer o que que eu preciso de compreender do negcio que me permita ter uma organizao mais eficiente, mais produtiva, ou com mais oportunidades de negcio? Quando essa questo estiver resolvida, utilizam-se os dados necessrios existentes nos sistemas de informao. Usar a maior quantidade possvel de dados no ser efectivamente a melhor resposta. Saber que perguntas que tm valor em termos de negcio, sim, um catalisador chave de solues de Big Data, defende.<

Ti!a! a!#ido a!a l& do +h% e,

impossvel negar o crescimento exponencial da informao nos ltimos anos. Para Fernando Faria, Manager de Data & Information Management da Unisys, o reconhecimento da sua existncia como Big Data, mais recentemente, comprova a tendncia. Estando na ordem do dia, tem sido um pouco enfatizado pelos fabricantes. Contudo, no deixa de ser uma realidade que merece ateno. Sobretudo, com o objectivo de as organizaes conseguirem tirar partido da compreenso e explorao desta informao em tempo real, refora o responsvel.

fende o responsvel da Reditus. Que capacidades devero ser utilizadas? Para que propsitos de negcio?, so as questes mais prementes para as organizaes interessadas, segundo Pedro Lopes. O responsvel da Deloitte aponta ainda trs aspectos em que uma abordagem no contexto Big Data poder complementar as estratgias das organizaes portuguesas (ver caixa). Nem s de software se far a preparao para a abordagem Big Data. As empresas iro comear a olhar para um tipo de informao diferente, que antes estava consolidada na sua

infra-estrutura tradicional, destaca Fernando Faria, da Unisys. Esse corpo de informaes comear a ser deslocado para sistemas desenhados para proporcionarem armazenamento e rpido acesso, explica. Alm disso, os mesmos tero a capacidade para interpretar e explorar os dados em benefcio do negcio. Desta forma, as empresas tero que comear a manejar um novo tipo de infra-estrutura, para um novo tipo de informao com requisitos de manipulao completamente diferentes daqueles utilizados at agora, alerta.<

Ma!(o 2012 - COMPUTERWORLD

8|

Big Da#a
Big Data, se administrada correctamente, pode dar uma tonelada de conhecimento para ajudar a lidar com questes da segurana, operacionais e de conformidade. Organizaes de todos os tamanhos esto a recolher mais dados de uma variedade de fontes de dentro da empresa e de infraestruturas na nuvem, e muitas organizaes no esto a utilizar as ferramentas e processos adequados para gerir esses dados. Se este padro continuar, veremos as empresas a ficarem para trs, incapazes de obter conhecimentos que podem ajudar as organizaes a tomar decises inteligentes". A maioria dos inquiridos 62% - disse que j geria mais de um terabyte de dados. Mas h mais para vir. O volume de dados est a aumentar no mundo a uma taxa quase incompreensvel. A IBM diz que criamos 2,5 quintilies de bytes de dados todos os dias. E talvez ainda mais surpreendente, 90% dos dados no mundo foram criados nos ltimos dois anos, segundo a empresa. Os dados so provenientes de sensores, registos de transaces, imagens e vdeos, mensagens nos media sociais, registos de entrada e todos

Tendncia preocupa e causa grande confuso

A Big Data tem tido alguma ateno por estes dias e as organizaes esto cada vez mais preocupadas com o problema da sua gesto, mas muitas ainda no entendem o que so realmente as grandes quantidades de dados. Nem sequer tm as ferramentas existentes para gerir eficazmente muitos dos dados j sua disposio, diz Mandeep Khera, director de marketing da LogLogic, especializada numa plataforma escalvel de registos e segurana de inteligncia (log and security intelligence platform ou LSIP) para empresas e cloud. "A maioria delas esto preocupadas com os grandes dados, mas ainda no entendem o que isso significa", diz Khera. "Porque tem havido tanto dito sobre Big Data, no h uma definio clara e todos esto confusos". Um novo estudo conduzido pela LogLogic em conjunto com a consultora de segurana de TI Echelon One verifica que 49% das organizaes esto um pouco ou muito preocupadas com a gesto de grandes dados, mas 38% no entende o que a Big Data e 27% ainda dizem que tm uma compreenso parcial. Alm disso, o estudo descobriu que 59% das organizaes no possuem as ferramentas necessrias para gerir os dados nos seus sistemas de TI, voltando-se em vez disso para sistemas separados e diferentes, ou at folhas de clculo. "Sabemos que os dados so importantes a partir de muitas perspectivas diferentes: segurana, operaes de TI, conformidade", diz Khera. "As empresas precisam de gerir os dados dxe forma muito mais eficaz para que possam tomar decises mais inteligentes". O estudo global foi baseado nas respostas de 207 indivduos ao nvel da direco numa variedade de indstrias, incluindo manufactura, educao, governo, finanas, sade, transportes, media e edio, e outros. "Big Data sobre muitos terabytes de dados no estruturados", explica Khera. "A informao poder, e a

COMPUTERWORLD - Ma!(o 2012

Big Da#a
os tipos de outras fontes. isto que a Big Data. Ela pode fornecer o tipo de inteligncia e perspiccia activa com que os lderes empresariais sonham. Na frente da segurana, pode ajudar a proteger a organizao contra ameaas persistentes avanadas (APT) e ataques de malware, fornecendo visibilidade sobre o que est a acontecer na rede, e pode tambm dar anlise forense um enorme impulso. E tambm pode levar a enormes ganhos em termos de eficincia operacional, desde a optimizao dos servidores a otimizar a gesto da cadeia de abastecimento. Pode at ajudar em questes de conformidade. Mas se no se tiverem as ferramentas para gerir e realizar a analtica na infindvel inundao dos dados, eles so essencialmente lixo. Khera diz que uma das chaves para ter a Big Data sob controlo a gesto dos logs, que consolida e centraliza os registos de toda a organizao - incluindo os logs de aplicaes Web, middleware, aplicaes de back-end personalizadas e bases de dados -, com um repositrio indexado de armazenamento e uma interface de utilizador comum. Para se obter sentido dos dados, requerse a capacidade de os normalizar, correlacionar, emitir relatrios e alertas. Este ano, a LogLogic encomendou ao IANS (fundado como Institute for Applied Network Security), para realizar uma anlise de investimento na segurana da informao (Information Security Investment Analysis ou ISIA) dos seus produtos de gesto de registos e de conformidade. Aps entrevistar clientes da LogLogic que lidam com as questes das grandes quantidades de dados, o IANS afirmou: "o maior diferencia-

|9

dor na gesto de registos em Big Data o tamanho da quantidade de informaes nos logs. Tentar recriar um evento aps o facto no uma questo simples se apenas alguns dispositivos esto disponveis. Imagine olhar atravs de milhares de dispositivos e atravs de petabytes de dados sem ter um fcil de usar interface de utilizador ou um repositrio de armazenamento indexado para uma resposta rpida. A Big Data caracterizada no apenas pelo tamanho, mas tambm pela velocidade. Procurar atravs de quantidades macias de dados leva tempo se no estiverem indexados correctamente. Se a informao crtica sobre acessos no autorizados ou outras actividades no estiverem disponveis porque no foram indexadas, os resultados de uma pesquisa sero inconclusivos. Assim, uma soluo de gesto de muitos dados deve ser capaz de funcionar mesmo com a inundao das novas mensagens. Isto ainda mais importante quando se trata dos alertas. Se a indexao demorar muito, as mensagens crticas de alerta sero atrasadas causando uma latncia inaceitvel nos tempos de resposta". Por enquanto, porm, apenas 54% dos entrevistados disseram usar uma soluo de gesto de logs para gerirem os seus dados de registos. Muitos usam folhas de clculo para gerir os registos, de acordo com o estudo, e 33% no fazem nada. "Os resultados mostram significativas inconsistncias na prtica", diz Bob West, fundador e CEO do Echelon One. "Ou seja, enquanto a Big Data, as necessidades na cloud e os requisitos de conformidade so claramente as maiores preocupaes, a maioria das empresas no esto preparadas para lidar com qualquer um deles de forma adequada. fascinante ver essa distncia, e uma percentagem esmagadora das empresas inquiridas no esto preparadas para gerir muitos dados adequadamente, monitorizar os ambientes cloud de forma eficaz ou relatar as actividades da rede e dos dispositivos correctamente. Estas empresas esto a ficar expostas a ataques, a tomada de decises menos informadas de negcios e at mesmo a arriscarem multas das agncias reguladoras por no cumprirem com as suas obrigaes".<

Ma!(o 2012 - COMPUTERWORLD

10 |

Big Da#a

Cinco coisas que deve fazer agora

Tem o seu plano para grandes quantidades de dados em prtica? Se no, pode querer pensar na implementao de um. A Big Data est sendo saudada - ou mediatizada, dependendo do seu ponto de vista - como um activo de negcio estratgico para o futuro. Isto significa que apenas uma questo de tempo at os colegas no escritrio quererem saber os pensamentos da TI sobre o assunto. O que lhes pode dizer? Para ter a certeza, lidar com grandes quantidades de dados no um territrio virgem para a maioria dos departamentos de TI, mas para alm do hype, dizem os analistas, a Big Data realmente diferente do data warehousing, data mining ou da anlise de business intelligence que surgiram antes. Os dados esto a ser gerados a uma maior velocidade e variabilidade do que antes e, ao contrrio dos dados no passado, a maior parte desestruturada e rude (por vezes, so os chamados "dados cinzentos"). Blogues, redes de media social, sensores de mquinas e ferramentas baseadas em localizao esto a gerar todo um novo universo de dados no estruturados que - quando rapidamente capturados, geridos e analisadas podem ajudar as empresas a descobrir factos e padres que no foram capazes de reconhecer no passado. "Recolhemos dados h muito tempo mas era de forma muito limitada o que produziu um monte deles, mas sem que algum estivesse a fazer alguma coisa com eles", diz Paul Gustafson, director dos programas de tecnologia Forum Leading Edge na Computer Sciences Corp. "Os dados foram arquivados, e foram modelados em torno de processos de negcios, no como um conjunto mais amplo de conhecimento bsico para a empresa. O mantra essa mudana de os recolher para os ligar". A TI est a liderar a vanguarda dessa revoluo dos dados, dizem observadores do sector. "Esta uma oportunidade para entrar no escritrio do CEO e dizer, 'eu posso mudar este negcio e proporcionar o conhecimento na ponta dos dedos em questo de segundos, por um preo que eu no podia oferecer h cinco anos", diz Eric Williams, CIO da Catalina Marketing. Williams sabe do que fala a Catalina mantm uma base de dados de 2,5 petabytes com a fidelizao dos clientes que inclui dados sobre mais de 190 milhes de clientes de supermercados norte-americanos, reunidos pelas maiores redes de retalho. Esta informao , por sua

vez, utilizada para gerar cupes no checkout com base no historial de compras. Para orientar as organizaes para a era da inteligncia predictiva em tempo real, Williams e outros observadores da indstria dizem que os gestores de tecnologia devem evoluir a sua arquitectura corporativa de gesto da informao e cultura para suportar analticas avanadas em armazenamento de dados que calculem em terabytes e petabytes (e possam potencialmente escalar para os exabytes e zetabytes). "A TI est sempre a dizer que quer encontrar formas de aproximar-se do negcio - [Big Data] uma oportunidade fenomenal para fazer exactamente isso", diz Williams. Ao invs de esperar que as peas encaixem, os lderes conhecedores de TI devem comear a preparar-se e s suas organizaes para se chegarem frente da transformao, dizem os analistas, como Mark Beyer, da Gartner. Eis as cinco principais aces que os gestores de tecnologia devem tomar hoje para definir uma base adequada para a era da Big Data de amanh. Faa um balano dos seus dados Quase todas as organizaes tm potencialmente acesso a um fluxo constante de dados no estruturados seja nas redes sociais ou a

partir de sensores que monitorizam o cho da fbrica. Mas s porque uma organizao est a produzir essa quantidade de informao, isso no significa que h um imperativo de negcio para guardar e agir em cada byte. "Com todo este interesse inicial em torno dos grandes dados, as pessoas esto a sentir uma necessidade artificial de compreender todos os dados que vm de Web logs ou de sensores", observa Neil Raden, analista da Research Constellation. Parte dessa ansiedade pode ser proveniente de fornecedores e consultores ansiosos para promover a prxima grande coisa na computao empresarial. "H concerteza um esforo determinado nesse sentido vindo das pessoas que esto a comercializar a tecnologia", observa Raden. Os gestores inteligentes de TI vo resistir tentao e servir como filtro para ajudar a descobrir quais os dados que so ou no relevantes para a organizao. Um bom primeiro passo fazer um balano de que dados so criados internamente e determinar quais as fontes de dados externas, se as houver, para preencher lacunas de conhecimento e trazer conhecimento agregado ao negcio, diz Raden. Uma vez isso em curso, a TI deve avanar com

COMPUTERWORLD - Ma!(o 2012

Big Da#a
projectos altamente direccionados que possam ser usados para demonstrar os resultados, por oposio a optar por grandes projectos de Big Data. "No se tem de gastar alguns milhes de dlares para iniciar um projecto e ver se vale a pena", diz Raden. Deixe as necessidades corporativas prevalecerem Pode j ter ouvido isto antes, mas o alinhamento dos negcios com as TI fundamental para uma iniciativa to grande e variada como a Big Data, dizem os analistas. Muitas das primeiras grandes oportunidades nos grandes dados comearam em reas fora das TI - os departamentos de marketing, por exemplo, esto a analisar os fluxos nos media sociais para ganharem uma melhor compreenso sobre as exigncias dos clientes e tendncias de compra. Enquanto especialistas em disciplinas especficas sobre o lado do negcio podem reconhecer as oportunidades de fazer dinheiro, responsabilidade da TI de tomar conta dos conceitos de partilha e de federao dos dados que fazem parte integrante de uma estratgia de Big Data. "Isto no algo que a TI possa fazer por conta prpria", diz Dave Patton, analista das indstrias de gesto de informao na PricewaterhouseCoopers. "Vai ser difcil transformar isto numa histria de sucesso se [a iniciativa] no estiver alinhada com os objectivos do negcio". No incio da iniciativa de Big Data na Catalina Marketing, Williams juntou os gestores de negcio ao grupo de anlise e planeamento financeiro (FPA), num esforo de equipa para ter um business case para investimentos em arquitectura de informao. O lado do negcio identificou reas onde novas ideias podiam trazer valor - por exemplo, na determinao de compras posteriores com base nos items do carrinho de compras ou atravs de uma anlise da prxima compra baseada em ofertas de produtos e a equipe FPA analisou os nmeros para quantificar o que os resultados significavam em termos de aumento de produtividade ou de aumento de vendas. Reavaliar a infra-estrutura As iniciativas de Big Data exigem grandes mudanas, tanto na infra-estrutura de servidores e de armazenamento e na arquitectura de gesto de informao na maioria das empresas, dizem Beyer e outros especialistas. Os gestores de TI precisam de estar preparados para expandir os seus sistemas para conseguirem lidar com as quantidades cada vez maiores de dados estruturados e no estruturados, dizem. Isto requer descobrir a melhor abordagem para tornar ambos os sistemas extensveis e escalveis e desenvolver um roteiro para a integrao de todos os diferentes sistemas que iro alimentar o esforo de anlise de Big Data. "Hoje, a maioria das empresas tem sistemas diferentes e silos para folhas de pagamento, para gesto de clientes, para marketing", diz Anjul Bhambhri, vice-presidente da IBM para os produtos Big Data. "Os CIOs precisam realmente de ter uma estratgia para juntar esses diferentes sistemas e silos e construir um sistema de sistemas. Quer-se fazer perguntas que fluam atravs de todos esses sistemas para se obterem respostas". Desossar a tecnologia O mundo dos dados enormes vem com uma longa lista de novas siglas e de tecnologias que provavelmente nunca apareceram no radar de um CIO. Ferramentas de cdigo aberto esto a ter a maior parte da ateno. Tecnologias como Hadoop, MapReduce e NoSQL esto a ser creditadas como a ajuda de gigantes da Web, como a Google e o Facebook, a escavarem os seus reservatrios de muitos dados. Muitas destas tecnologias, agora j disponveis em modelos comerciais, ainda esto bastante imaturas e necessitam de pessoas com competncias muito especficas. Outras tecnologias que so importantes para o mundo dos grandes dados incluem analtica de base de dados, bases de dados verticais e aplicaes de data warehouse. Os gestores de TI e as suas equipas tm de compreender estas novas ferramentas para garantir que sero capazes de tomar decises bem informadas na Big Data. Prepare as suas equipas Quer precisem de especialistas do Hadoop ou cientistas de dados, a maioria das organizaes

| 11

de TI sentem muita falta do talento necessrio para dar os prximos passos na Big Data. Capacidades de analtica so talvez a mais crucial, e essa a rea onde a maioria das equipas de TI tm as maiores lacunas. A McKinsey antecipa que, s nos EUA, haver uma necessidade em 2018 entre 140 mil a 190 mil especialistas em mtodos estatsticos e em tecnologias de anlise de dados. Os cargos que estaro em procura vo incluir o papel amplamente alardeado e emergente do cientista de dados. Alm disso, a McKinsey antecipa a necessidade seja no lado do negcio ou tcnico da organizao para mais 1,5 milhes de gestores letrados em dados que tenham formao em analtica predictiva e estatstica. Para algumas empresas, especialmente aquelas em reas menos povoadas, o pessoal ser provavelmente um dos aspectos mais desafiantes numa iniciativa de Big Data. A enorme quantidade de dados "requer definitivamente uma mentalidade diferente e capacidades numa srie de reas", diz Rick Cowan, CIO da True Textiles, fabricante de tecidos interiores para o mercado comercial, baseado em Guilford (EUA). "Como empresa de mdio porte, tem sido um desafio ser capaz de conseguir pessoal e mant-lo a funcionar num ambiente em constante mudana", diz Cowan. Para atender necessidade, ele comeou a treinar programadores e analistas de bases de dados para os levar at analtica avanada. Os responsveis dos departamentos de TI tero tambm de assumir algumas transformaes para terem sucesso neste admirvel mundo novo. Enquanto os melhores lderes de tecnologia do passado foram parte bibliotecrio da informao e parte engenheiro de infra-estrutura, os gestores de TI do futuro vo ser uma combinao de cientista de dados e engenheiro de processos de negcios, diz Beyer, da Gartner. "Os CIOs tm sido usados para gerir a infra-estrutura baseada num conjunto de instrues dadas a partir do negcio, por oposio a um CIO que capaz de identificar a oportunidade e, portanto, puxar pelo uso inovador da informao", explica. "Essa a transformao que precisa de acontecer".<

COMPUTERWORLD

www.computerworld.com.pt

AV. DA REPBLICA, N. 6, 7 ESQ. 1050-191 LISBOA DIRECTOR EDITORIAL: PEDRO FONSECA pfonseca@computerworld.workmedia.pt EDITOR: JOO PAULO NBREGA jnobrega@computerworld.workmedia.pt DIRECTOR COMERCIAL E DE PUBLICIDADE: PAULO FERNANDES pfernandes@computerworld.workmedia.pt TELEF. / FAX +351 213 303 791 PAGINAO: PAULO COELHO - TODOS OS DIREITOS SO RESERVADOS.

A IDG (International Data Group) o lder mundial em media, estudos de mercado e eventos na rea das tecnologias de informao (TI). Fundada em 1964, a IDG possui mais de 12.000 funcionrios em todo o mundo. As marcas IDG Computerworld, CIO, CFO World, CSO, ChannelWorld, InfoWorld, Macworld, PC World e TechWorld atingem uma audincia de 270 milhes de consumidores de tecnologia em mais de 90 pases, os quais representam 95% dos gastos mundiais em TI. A rede global de media da IDG inclui mais de 460 websites e 200 publicaes impressas, nos segmentos das tecnologias de negcio, de consumo, entretenimento digital e videojogos. Anualmente, a IDG produz mais de 700 eventos e conferncias sobre as mais diversas reas tecnolgicas. Pode encontrar mais informaes do grupo IDG em www.idg.com

Ma!(o 2012 - COMPUTERWORLD

12 |

Big Da#a

Mais oportunidades de carreira para profissionais de TI

Novas oportunidades de emprego esto a surgir para os profissionais de TI na rea dos dados "grandes", o termo usado para descrever como as empresas renem grandes quantidades de dados em tempo real sobre os seus clientes e os analisam para conduzir a tomada de deciso e aumentar o lucro. Um novo cargo - cientista de dados est na moda. Um cientista de dados tem normalmente formao em cincias da computao ou matemtica, bem como as capacidades analticas necessrias para encontrar a proverbial agulha num palheiro de dados recolhidos pela empresa. "Um cientista de dados algum que curioso, que pode olhar os dados e detectar tendncias", diz Anjul Bhambhri, vice-presidente de produtos Big Data na IBM. " quase como um homem da Renascena que realmente quer aprender e trazer mudana para a organizao". Indito h 18 meses atrs, o termo "cientista de dados" explodiu em popularidade no Google. O nmero de buscas atingiu picos de 20 vezes maior do que o normal no ltimo trimestre de 2011 e primeiro trimestre de 2012. um termo de busca popular em locais de alta tecnologia nos Estados unidos, como So Francisco, Washington D.C. e Nova Iorque. Entre as empresas que procuram contratar cientistas de dados esto a PayPal, Amazon e HP. O termo "cientista de dados" mencionado em 195 anncios de emprego no Dice.com, um site para profissionais de TI. Os departamentos de TI tambm est adicionando programadores centrados nos dados e administradores de sistemas especializados em ferramentas como o open source Apache Hadoop. O Hadoop mencionado em 612 dos mais de 83 mil anncios de emprego no Dice.com. Entre as empresas que procuram contratar engenheiros de software e programadores Hadoop esto a AT&T Interactive, Sears, PayPal, AOL e Deloitte. O Hadoop " uma capacidade emergente", diz Alice Hill, directora-executiva do Dice.com. "As empresas precisam de gerir operaes de dados em grande escala, e toda a ideia do Hadoop que se pode fazer isso com um baixo custo. Isto funciona muito bem com o que estamos a ver em termos de movimento para a cloud". Hill v oportunidades relacionadas com o Hadoop quer ao nvel de entrada como de equipas de TI experientes, bem como nos especialistas de hardware e de software. "As pessoas tradicionais do hardware precisam de descobrir como se agrupar em diferentes ambientes. No apenas sobre a compra de uma base de dados e a ligar a um disco rgido. Agora j se tm bancos de dados distribudos que esto ligados a mltiplos servidores e mltiplos discos rgidos", diz Hill. O Hadoop " barato mas exige algum que realmente saiba como escalar hardware". Hill diz tambm que o Hadoop igualmente uma boa oportunidade a seguir por profissionais de TI com experincia em gesto de bases de dados relacionais. "Se realmente se entende de estrutura de dados e de consultas [queries], haver um monte de oportunidades de emprego", acrescenta. Oportunidades de trabalho para cientistas de dados e especialistas do Hadoop esto a surgir em todos os sectores, desde empresas de Web a e-lojas, a servios financeiros, energia, sade, utilities e media. "H tantas direces em que se pode seguir com estas capacidades de gesto de dados, aponta Hill. " um solo muito frtil para profissionais de TI experientes, mas tambm para pessoas que se esto a formar em cincias da computao. uma grande rea para se especializar". Bhambhri diz que os departamentos de TI vo estar a olhar para contratar novas pessoas na rea da Big Data, bem como para re-formar alguns dos seus actuais empregados para adicionar capacidades anlise de dados e programao relacionada com Hadoop e capacidades administrativas. Por exemplo, a IBM re-treinou 2.400 profissionais de TI em Big Data Bootcamps, que usava para os seus clientes e parceiros no ano passado. "Os departamentos de TI tm realmente que expandir as suas plataformas de dados e no estarem restringidos aos repositrios de dados estruturados", diz Bhambhri. "Eles tm que trazer novas fontes de dados no estruturados para as suas plataformas para responder s perguntas que os executivos de nvel C esto a pedir para os seus processos decisrios. De uma perspectiva da TI, muito importante para as pessoas em TI no s identificarem estas fontes de dados mas para trabalharem com os seus parceiros de negcios e descobrir que outras fontes de dados precisam de ser integradas nas suas plataformas". A IBM tem uma nova iniciativa denominada Big Data University, que visa a formao de estudantes e de ps-graduados na rea de Big Data e de exposio ao Hadoop. Lanada em Outubro passado, a Big Data University j atraiu mais de 14 mil estudantes interessados em se inscreverem nos seis cursos online relacionadas com Hadoop e Big Data. "Estamos a tentar fazer com que os alunos vejam o potencial real do Big Data e que resultados de negcio pode obter a partir dessas novas fontes de dados", diz Bhambhri. "Estamos a dar-lhes casos teis de empresas no retalho, cuidados de sade ou telecomunicaes. Mostramos porque no era possvel antes e possvel agora por causa do trabalho que temos feito com diferentes clientes nestes sectores diferentes". Bhambhri est optimista com as perspectivas de carreira para profissionais de TI com competncias em gesto de dados e em Hadoop. "Em todos os sectores, h uma grande quantidade de dados que est sendo capturada", diz Bhambhri. "Os volumes de dados so enormes. Assim, muitos dos nossos clientes esto a capturar os dados mas at agora no havia tecnologia disponvel que eles pudessem usar para analisar esses dados de forma rpida numa relao de custo-benefcio. Era um grande problema. Agora, lemos o que o Yahoo e a Google esto a fazer com o Hadoop e o MapReduce, e parece realmente que essas ferramentas em cdigo aberto vo resolver o problema".<

Fal#am !ofi""ionai" em Po!#$gal

O gestor da Reditus, Nuno Pacheco, revela que no mbito da sua aposta numa oferta para Big Data est a fazer um forte investimento na aquisio de valncias nesta rea. Mas considera que ainda escassa a oferta de profissionais de TI especializados. Na sua viso, as PME tero de se adaptar a um novo paradigma, no qual as fontes de informao a analisar esto fora do domnio das empresas. O volume de informao j no se encontra na ordem dos gigabytes, mas sim nos tera, exa ou mesmo petabytes. Pode parecer assustadora esta ordem de grandeza, mas importante referir que uma soluo Big Data actua mais no tratamento e reduo da informao, do que no armazenamento, explica. E esse enfoque que permitir efectuar anlises mais especializadas por exemplo, na anlise a redes sociais.<

COMPUTERWORLD - Ma!(o 2012