Metodologia de Pesquisa 2008 Texto Sumrio N 08/08 Revista Superinteressante Setembro 1994

Os nmeros no mentem jamais. Ser?

Como so feitas as pesquisas e as estatsticas.

Fulano est com 34% de intenes de voto. Fome atinge 32 milhes de brasileiros. So realizados 4 milhes de abortos por ano no Brasil. Por Thereza Venturoli O homem nem sequer sonhava com eleies de massa, contabilizao da misria ou de abortos quando Santo Agostinho, no sculo VI, alertou os bons cidados contra os matemticos e todos aqueles que fazem profecias vazias. Segundo Agostinho, o perigo que eles tenham feito um pacto com o Diabo para obscurecer o esprito e manter o homem no cativeiro do Inferno. Pactos demonacos parte, ainda hoje com uma boa dose de ceticismo que o brasileiro encara as chamadas estatsticas. No importa o que pretendam retratar como vai a sade ou a economia do pas, o que pensa ou como se comporta a populao , os grandes nmeros calculados por rgos oficiais ou institutos particulares so, seno diablicos, pelo menos muito misteriosos. A desconfiana tem seus motivos. O brasileiro est se acostumando a assistir a infindveis bate-bocas sobre a validade dos nmeros que l. At parece que atrs de uma pesquisa corre sempre uma polmica. Quando dois especialistas falam, os que no so do ramo abaixam a orelha. Assim, quem no conhece a metodologia, no sabe o que varivel e nunca viu de perto a tal margem de erro, fica nadando num mar de dvidas. Afinal, pode-se ou no confiar no que os nmeros dizem? A dvida tanta que o brasileiro j incorporou uma nova palavra ao seu vocabulrio: chutometria. O termo pode ser definido como sistema de medir por meio de chutes, quer dizer, por palpites. Mas nem tudo to obscuro ou vago no mundo das estatsticas. A verdade que elas so fundamentais para a compreenso da realidade. O problema interpret-las corretamente. preciso distinguir, primeiro, os dois tipos de estatsticas as calculadas por amostragem, como as pesquisas sobre a inteno de voto, e as que envolvem a contagem pura e simples, como o censo da populao, feito pelo IBGE. Deve-se saber tambm que h algumas regras bsicas empregadas na contabilidade e na generalizao dos dados obtidos. E tomar alguns cuidados pra no cair em ciladas. A nica maneira de se conferir o resultado exato de uma eleio realiz-la hoje mesmo, afirma o estatstico Carlos Alberto de Bragana Pereira. Como isso impossvel, temos de utilizar os mtodos de pesquisa por amostragem. Bragana Pereira diretor do Instituto de Matemtica e Estatstica da Universidade de So Paulo (USP) e foi consultor da Organizao dos Estados Americanos (OEA) nas eleies presidenciais do Haiti, El Salvador e Nicargua. A amostragem um dos principais instrumentos da Estatstica a rea da matemtica que lida com os grandes nmeros. Os estatsticos preocupam-se com o levantamento, a organizao e a anlise dos dados de um conjunto a populao de um pas, as mulheres de uma cidade ou as molculas do corpo humano. Isso pode ser feito de duas maneiras: contando todos os elementos do conjunto (quando isso possvel), ou contando uma pequena parte e calculando os resultados globais por generalizao. Amostra uma fatia separada para estudo do universo. como se algum quisesse descobrir os ingredientes de um bolo de chocolate sem desmilinguir o bolo inteiro e cortasse, para anlise, apenas um pedao. Se a farinha, o fermento, o chocolate e os outros elementos esto bem misturados na massa, a proporo empregada de cada ingrediente pode ser inferida de uma fatia qualquer. No caso das pesquisas eleitorais no Brasil, os ingredientes do bolo de 100 milhes de eleitores no esto bem misturados. Apesar disso, podemos chegar a uma projeo muito prxima da realidade falando apenas com uma fatia desse conjunto, de 2 500 pessoas, garante a estatstica Renata Nunes Csar, gerente do Datafolha, instituto ligado ao jornal Folha de S. Paulo. A base do mtodo de anlise de um todo por suas fatias a teoria da probabilidade, criada por dois importantssimos pensadores do sculo XVII o filsofo, matemtico e fsico francs Blaise Pascal (1623-1662) e o matemtico, tambm francs, Pierre de Fermat (1601-1665). Em 1654, eles foram desafiados por grandes apostadores a calcular quanto uma pessoa poderia ganhar ou perder em jogos de moedas, dados, cartas e roleta. Foi assim que surgiram as

frmulas matemticas que definem as chances de um evento ocorrer. Hoje, a Estatstica ferramenta indispensvel em todas as cincias, biolgicas, exatas e sociais. Mas no se pode dizer que seja, ela prpria, uma cincia, afirma Bragana Pereira. No se trata, tampouco, de adivinhao ou magia. um mtodo de ‘fotografar' o presente e fazer projees para o futuro. Para a foto sair com um bom foco, a parcela a ser estudada tem de ser bem escolhida. Voltando ao exemplo do bolo eleitoral brasileiro, para descobrir a quantidade de cada ingrediente que a receita leva, no basta analisar um naco qualquer. necessrio pegar pedaos diferentes e montar uma fatia que seja representativa do bolo inteiro. Para comear, as pessoas no esto distribudas igualmente pelo territrio nacional. Algumas reas tm uma populao maior que outras. preciso fazer entrevistas em proporo densidade das regies. At esse ponto, os institutos de pesquisa empregam o mesmo sistema de definio da amostra por sorteio e proporcionalidade, explica rjan Olsn. Sueco, no Brasil h 41 anos, Olsn foi diretor do Ibope e hoje dirige sua prpria empresa, a Companhia Brasileira de Pesquisa e Anlise (CBPA), em So Paulo. Da para diante, podem-se seguir dois mtodos diferentes: a amostragem probabilstica ou por quotas. Pelo mtodo probabilstico, tudo tem de ser sorteado dentro de cada setor da cidade: primeiro, o quarteiro, depois, o domiclio e, dentro do domiclio, a pessoa a responder o questionrio. Para representar a totalidade dos eleitores brasileiros, os entrevistados tm de se encaixar nos diferentes tipos de pessoas que existem no pas. So as chamadas variveis caractersticas, como sexo, idade, ocupao, nvel de instruo e situao scio-econmica, que influem na opinio e no voto de cada um. a prpria experincia que nos mostra quais variveis devem ser levadas em conta, afirma o veterano estatstico Jos Severo de Camargo Pereira, professor aposentado da USP e consultor do Instituto Gallup. Assim, como a populao brasileira composta 50% por homens e outros 50% por mulheres, aproximadamente, o nmero total de entrevistas tem sempre de ser feito dentro dessa proporo. Para garantir a proporcionalidade da amostra probabilstica, temos um pequeno pulo-do-gato, conta Severo. Qualquer distoro corrigida por alguns clculos matemticos simples. Essas continhas de chegar so as chamadas ponderaes. Na pesquisa por quotas, diferente. Antes de comearem as entrevistas, determinado quantas pessoas de cada tipo ter de haver no final. Ento, o entrevistador j sai procurando um nmero definido de eleitores para compor a proporo representativa de cada varivel. O principal objetivo do planejamento rigoroso da amostra garantir a menor margem de erro na pesquisa. Margem de erro significa exatamente o que o nome diz um intervalo controlado dentro do qual podem variar os resultados finais. Ou seja, um estudo bem planejado no elimina o erro, apenas o limita. O que pode parecer um preciosismo metodolgico muitas vezes o detalhe que faz a diferena. Imagine que o candidato A tem 34% das intenes de voto e o candidato B, 30%, numa pesquisa com margem de erro de 3%, bastante comum no Brasil. Isso significa que o instituto s afirma que o candidato A est com algo entre 31% e 37% das intenes de voto, e o candidato B, com 27% a 33% das preferncias. Eles podem, portanto, estar empatados, com 33%, ou afastados em at dez pontos percentuais. Prestar ateno na margem de erro o tipo de cuidado que ajuda a avaliar corretamente as porcentagens que bombardeiam o cidado. Veja este resultado do censo de 1980: o Instituto Brasileiro de Geografia e Estatstica (IBGE) levantou na ocasio que havia no Brasil 41.974.865 pessoas casadas, sendo 21.029.031 homens e 20.945.834 mulheres. Percebeu alguma coisa errada? Claro, se no Brasil legalmente s existe casamento monogmico e heterossexual (isto , cada homem s pode se casar com uma e apenas uma nica mulher), como que pode haver um nmero maior de maridos do que de esposas? que o IBGE entrevistou pessoas de 15 anos de idade ou mais, explica Severo. Como no interior do pas comum as mulheres se casarem at com 13 anos, estas ficaram fora da contagem. Este um exemplo de escorrego metodolgico. Mas os nmeros podem enganar de outras maneiras. Um erro no sistema de levantamento de dados, na composio da amostra, na elaborao do questionrio ou na interpretao dos resultados, sem falar na forma de divulgao, podem ser fontes de equvoco. Muitas vezes os nmeros que retratam a realidade brasileira so fruto de meras estimativas. Nos ltimos meses, alguns palpites formidveis tm recheado as notcias nos jornais e os discursos polticos. So dados alarmantes, como os supostos 4 milhes de abortos realizados por ano no pas, que tem aparecido freqentemente na imprensa. A estimativa foi atribuda Organizao Mundial da Sade (OMS), mas l ningum assume a autoria da pesquisa. Contar o nmero de abortos no Brasil praticamente impossvel, comenta o epidemiologista Ruy Laurenti, da Faculdade de Sade Pblica da USP. Simplesmente porque o aborto provocado proibido por lei e, por isso, feito

clandestinamente, sem registro. Outro caso polmico o dos 32 milhes de brasileiros famintos. A concluso do trabalho do Instituto de Pesquisa Econmica Aplicada (IPEA) que mais de 9 milhes de famlias passam fome porque tm renda abaixo de dois salrios mnimos. Entre vrias crticas levantadas metodologia utilizada, afirma-se que no se pode medir a fome das famlias brasileiras por salrios mnimos. Metade da populao que vive no campo, por exemplo, no paga em dinheiro, mas em produtos agrcolas, como mantimentos e animais. Da, no se poder concluir, com segurana, que toda famlia sem dinheiro no bolso seja necessariamente faminta. Uma simples palavra mal definida tambm pode ser responsvel por grandes disparates estatsticos. o caso do nmero de desempregados no Brasil. Os ndices variam de 1 milho a 20 milhes de pessoas. Qual o nmero correto, afinal? Tudo depende do que se entenda por desempregado quem no tem carteira assinada (nesse caso, a pessoa pode trabalhar como autnomo), quem est procurando emprego, ou quem vive de peque-nos negcios, como vender frutas nas esquinas? Mesmo tomadas todas as precaues, as estatsticas podem ser perigosas para quem as l desavisadamente. Principalmente em assuntos que representem alguma ameaa vida. Os hipocondracos e pessimistas crnicos que o digam. Eles sabem o quanto fcil se auto-incluir em ndices crescentes de mortalidade por doenas graves. As pessoas se esquecem de que, quando se descobre a cura para uma molstia, a porcentagem de mortes causadas por ela naturalmente cai, alerta Severo. Mas, como o total de mortes representa sempre 100%, a porcentagem de bitos por outras doenas tem de subir, avisa Severo aos que se preocupam toa. A dica no confundir possibilidade com probabilidade. Mesmo antes do choque do cometa Shoemaker-Levy 9 contra Jpiter, em julho passado, foi levantada a hiptese de que o mesmo poderia acontecer na Terra. A crena no desastre se fortaleceu quando o Congresso americano anunciou planos de investir 50 milhes de dlares num gigantesco programa de preveno queda de cometas por aqui. A idia dos congressistas americanos que a NASA desenvolva um siste--ma de rastreamento e destruio de grandes objetos que eventualmente entrem em rota de coliso com o planeta. Mas qual a probabilidade real de um cometa ou asteride atingir a Terra? de uma vez a cada 100 milhes ou 200 milhes de anos, afirma o astrnomo Augusto Damineli Neto, do Instituto de Astronomia e Geofsica da USP e colaborador de SUPER. Damineli explica que o planeta bombardeado todos os dias por rochas menores, pesando at um quilo, comuns no espao. Mas, por serem muito pequenos, esses meteoros desintegram-se assim que entram na atmosfera. Corpos maiores, como o Shoemaker, so bem mais raros. Alm disso, a Terra um alvo minsculo, em termos astronmicos, e, portanto, difcil de acertar. Como se acredita que o ltimo cometa a passar por aqui tenha sido aquele que eliminou os dinossauros da face da Terra, h 65 milhes de anos, o mais provvel que a NASA tenha de esperar pelo menos outros 35 milhes de anos para colocar em uso as armas de caa a cometas. Ou seja, existe a possibilidade, mas a probabilidade de que isso venha a ocorrer mnima. Em se tratando de pesquisa, o mais provvel a nica expresso que se pode utilizar. Em Estatstica no existem certezas pelo menos enquanto os especialistas no fizerem o pacto com o demnio, to temido por Santo Agostinho. Ningum guru ou adivinho. A nica verdade abso-luta sobre Estatstica que, por mais prximo que os resultados estejam da realidade, a probabilidade de se acertar exatamente na ‘mosca' remotssima, diz Bragana Pereira. Para saber mais: Amor de vero, filhos de primavera (SUPER nmero 1, ano 6) A cincia do tetra (SUPER nmero 6, ano 8)

Como se escolhe o entrevistado

Veja como os institutos selecionam as pessoas que vo responder os questionrios das pesquisas eleitorais Universo: So todos os eleitores do Brasil cerca de 100 milhes Amostra: uma fatia do universo, definida segundo o nmero de eleitores em cada regio Em cada regio: Calcula-se a distribuio de eleitores por estado e da se tira, proporcionalmente, o nmero de entrevistas que devem ser feitas em cada um deles

Em cada estado: As cidades so ordenadas segundo o nmero de eleitores que possuem. Da se tira o nmero de entrevistas que devem ser feitas em cada uma Cada cidade: dividida em zonas, segundo a quantidade de eleitores. As reas onde sero feiras entrevistas so ento sorteadas Em cada zona: A pesquisa precisa encontrar um grupo de eleitores representativos daquela rea. Se 60% do eleitorado da regio da classe C, ser necessrio que 60% dos questionrios sejam respondidos por pessoas da classe C.

Quando os nmeros enganam

Mulheres sorriem mais Esta a concluso de um trabalho acadmico de uma psicloga de So Paulo. A constatao saiu da comparao de 623 fotografias coletadas junto a amigos e familiares da pesquisadora. Nas fotos, mulheres de diferentes faixas de idade apareciam sorrindo mais do que os homens. O problema que as 623 fotografias colhidas entre amigos e familiares da pesquisadora no podem representar o universo de todas as mulheres do mundo, nem do pas, nem de uma regio ou cidade. Para isso, a amostra deveria ser colhida em diferentes regies geogrficas, grupos sociais e culturais. Assim, o mximo que a pesquisadora poderia concluir com o levantamento que suas amigas e parentes so sorridentes. Pessimismo deixa careca Outro caso real, que saiu nos jornais: uma empresa japonesa de cosmticos constatou que homens pessimistas tm cabelos mais fracos e tendem a ficar carecas. Foram entrevistados 733 homens entre 15 e 59 anos de idade, em Tquio. Resultado: 51% dos que se consideravam pessimistas disseram que seus cabelos estavam ficando fracos, enquanto 47% dos otimistas percebiam algum sinal de calvcie. Problema: pessimismo e calvcie uma associao no mnimo questionvel. O prprio porta-voz da empresa japonesa admitiu que ainda no se comprovou cientificamente nenhum vnculo entre a personalidade e a quantidade de cabelo. Alm disso, a prpria diferena entre as declaraes dos pessimistas (51%) e as dos otimistas (47%) muito pequena para se tirar qualquer concluso nesse sentido. A poltica cambial do Plano Real melhor do que a dos outros planos econmicos? A pergunta fictcia. Mas serve para ilustrar vrios pecados capitais em pesquisas de opinio pblica. 1. tendenciosa. Deveria apresentar as duas opes para o entrevistado: Voc acha que a poltica cambial do Plano Real melhor ou pior do que...? 2. Pressupe que o entrevistado saiba o que significa poltica cambial e conhea as polticas adotadas em diversos planos econmicos. 3. A comparao imprecisa: no fica claro a que outros planos econmicos a questo se refere. Cai o nmero de seqestros em So Paulo Outro exemplo fictcio. Deve-se ficar alerta para informaes desse tipo. preciso saber mais antes de tirar qualquer concluso. Ser que menos pessoas esto sendo seqestradas? Ou o que caiu foi o nmero de casos registrados na polcia, para evitar interrupo de contato com os seqestradores? Em outras palavras, preciso estar atento para as causas que geram certos dados, antes de interpret-los pelo caminho mais bvio. O candidato Fulano de Tal cai 15 pontos nas pesquisas Preste ateno tambm nesse tipo de manchete. O nmero at pode ser verdadeiro, mas esta talvez no seja a informao mais importante daquela pesquisa. s imaginar que Fulano de Tal estivesse com 70% das intenes de voto. E Sicrano, o segundo colocado, com 5%. A diferena entre os dois, nesse caso, enorme 65 pontos percentuais. Assim, mesmo descendo para 55% das intenes de voto, Fulano continua ainda muito na frente de Sicrano, se este permanecer com 5%. Estados Unidos tm mais rvores hoje do que cem anos atrs O exemplo real. A informao divulgada por madeireiras norte-americanas. Ela uma meia-verdade, com as quais se deve ter muito cuidado. O dado sobre o maior nmero de rvores no falso. Mas a concluso a que a frase pode levar de que os Estados Unidos tm hoje mais florestas do que no sculo passado mentirosa. Uma muda de poucos centmetros uma rvore, porm, para o meio ambiente, ela no tem nem de longe a importncia de uma sequia nativa com cerca de 300 metros de altura (veja, sobre o assunto, reportagem na pgina 40). preciso sempre avaliar a fonte da informao que est por trs dos nmeros apresentados.