Ramos, Carlos Alberto. Anexo I. Captulo XIII.

Captulo XIII Anexo I A Questo da Avaliao das Polticas de Emprego

512

Os problemas enfrentados e as tcnicas utilizadas na avaliao das PEs podem ser vistos como fazendo parte de um conjunto mais amplo e que diz respeito avaliao das Polticas Pblicas na rea social. Em todos os casos os desafios so similares e a forma de enfrent-los quase idntica, dado que os desafios, em termos de avaliao, so quase idnticos. A questo da avaliao tem muitas dimenses e esgotar o tema foge aos objetivos deste livro. Muitas esto amplamente sedimentadas na literatura, tm certo apelo ao senso comum e j est fora de debate contemporneo. Como exemplo desse consenso podemos mencionar a relao custobenefcio.1 Contudo, existe um aspecto que, no obstante ter merecido certa ateno nos pases centrais faz algum tempo (especialmente nos EUA, como veremos nos prximos pargrafos), o tema s recentemente adquiriu uma certa popularidade e, mesmo assim, em nichos acadmicos e tcnicos todavia restritos. No caso do Brasil, o dficit em matria de avaliao, que assinalamos no corpo do Captulo, de uma evidente falta de familiaridade com o assunto, mesmo entre gestores de poltica com sofisticada formao para desenhar, implementar e monitorar programas na rea social. Nesse contexto, o nosso objetivo neste Anexo ser, simplesmente, apresentar os problemas e sintetizar as diferentes respostas tcnicas que tm sido desenvolvidas. Voltamos a repetir que tratar o tema de forma aprofundada est fora de nossos propsitos e, nesse sentido, remetemos o leitor bibliografia que mencionaremos no transcurso deste Anexo. I. A Questo da Medio do Impacto.

Na sua essncia, a questo principal se reduz forma de quantificar em que medida um programa afetou a trajetria de certas variveis. Imaginemos que estamos avaliando um programa de formao profissional e assumimos que o mesmo, aplicado sobre um conjunto de desocupados, vai elevar as chances
1

Estamos simplificando, dado que tomar a relao custobenefcio como um parmetro de avaliao tambm pode ser motivo de polmica, especialmente quando os debatedores so noeconomistas ou, em geral, um pblico que resiste em reduzir o universo dos custos e benefcios a variveis econmicas. Como exemplo mais recente dessa possvel discordncia podemos mencionar o PLANFOR, onde se tinham estabelecidos como objetivos do programa elevar o grau de conscincia social, fortalecer a democracia, etc..Nesse caso, os benefcios no seriam quantificveis e sintetizar a relao custobenefcio em um parmetro se torna uma tarefa infrutfera.

Ramos, Carlos Alberto. Anexo I. Captulo XIII.

513

desses trabalhadores encontrarem um emprego. A questo : o programa elevou, realmente, as chances de emprego de seus beneficirios? Responder a essa pergunta requer saber se Joo, que foi beneficirio e encontrou emprego depois de finalizado um curso, teria ou no ocupado uma vaga na ausncia do programa. Responder a essa pergunta , em ltima instncia, um non sense, visto que se Joo foi beneficirio no pode ser, simultaneamente, um no beneficirio e vice-versa. Essa metodologia denominada, na linguagem mais tcnica, de contra-factual e consiste em supor que o que teria acontecido se o que ocorreu no tivesse ocorrido. Diante dessa complexidade, uma resposta intuitiva (e metodologicamente incorreta) consiste em comparar o estado do beneficirio antes e depois do programa e outorgar toda a mudana aos benefcios (ou ausncia de benefcios) das atividades realizadas. Assim, se Joo estava desempregado e aps o curso encontrou emprego, o resultado da avaliao consistiria em atribuir ao curso o xito de conseguir o emprego. Esta metodologia , em ltima instncia, incorreta, uma vez que no sabemos se Joo teria encontrado emprego mesmo no caso de no ser beneficirio do curso de formao. No obstante esta evidente inconsistncia nesta forma de avaliao, a quase totalidade das avaliaes realizadas no mbito das PEs no Brasil segue este tipo de procedimento. II. O Mtodo Experimental.

Outras reas (como a biologia e a medicina), no obstante a distncia com respeito s cincias sociais, enfrentam um problema similar. Imaginemos que um indivduo tem uma determinada doena e lhe administrado um medicamento que est em fase experimental. Na hiptese da pessoa sarar, a mudana no seu estado de sade no pode ser atribuda ao medicamento em fase de teste, dado que no sabemos se esse indivduo no teria sarado ainda na ausncia da droga administrada. Diversas disciplinas contornaram este problema mediante a formao de dois conjuntos de pessoas, com as mesmas caractersticas: a um outorgado o medicamento (grupo de tratamento) e ao outro grupo (grupo de controle) no. 2 / Partindo da mesma situao se observa em que medida a evoluo dos dois grupos difere e o diferencial pode ser atribudo ao efeito do medicamento testado.

/ Em realidade, a um grupo distribudo o medicamento e a outro um placebo (substncia neutra) na medida em que o consumo de um medicamento pode provocar um efeito psicolgico que acabe afetando a trajetria de uma doena, por exemplo. Logicamente, nenhum indivduo (exceto os pesquisadores) sabe quem est tomando a verdadeira droga e quem, o placebo. Veremos, mais na frente, que o efeito psicolgico tambm pode estar presente nos programas de emprego.

Ramos, Carlos Alberto. Anexo I. Captulo XIII.

514

Em todo esse processo, denominado de Mtodo Experimental (ME), a questo chave, e para nada trivial, como mais na frente veremos, consiste em formar dois grupos com as mesmas caractersticas. Para certas reas da pesquisa, essa tarefa pode no envolver grandes desafios. Por exemplo, dentro de um conjunto de portadores da mesma doena, escolhe-se aleatoriamente o grupo que ser tratado e aquele no submetido ao tratamento. Dado que a escolha aleatria (uma loteria) cada conjunto (o submetido ao tratamento e o grupo de controle) no deve apresentar diferenas (que no sejam aleatrias) e, em mdia, os dois conjuntos no deveriam apresentar nenhum vis.3 / Em princpio, esta metodologia poderia ser aplicada s polticas pblicas.4 / Contudo, uma srie de restries impedem, na maioria das vezes, a sua utilizao. Sem pretender esgotar o tema, vamos dar vrios exemplos que restringem optar pelo ME que, em princpio, seria o ideal. Muitas vezes o problema tico. Imaginemos que se pretende avaliar o impacto de um programa de combate desnutrio infantil e o impacto que uma determinada distribuio de bens ou de renda entre as famlias tem sobre o desenvolvimento fsico e intelectual das crianas. O ME requerer que parte do potencial pblico beneficirio fique fora do programa (se perpetue o estado de desnutrio das crianas) para que sirvam de grupo de controle e o programa possa ser avaliado. Logicamente, este tipo de alternativa de avaliao, no obstante seu rigor tcnico, impensvel em termos ticos. Um programa desses ou universal (no sentido de atingir todas as crianas com sinais de desnutrio) ou restrito por questes financeiras mas, certamente, no pode ser limitado simplesmente para que o programa possa ser avaliado mediante metodologias tecnicamente rigorosas. Um segundo problema diz respeito trajetria de certas variveis chaves no grupo de controle. Vamos ilustrar este potencial problema. Suponhamos que exista um conjunto de desempregados e, a fim de testar o impacto de um curso de formao profissional sobre as chances de reverter a situao de desocupao, se realize uma escolha aleatria (entre os desocupados) dos futuros beneficirios do curso. O ME nos diz que se devem comparar as trajetrias dos dois grupos, para avaliar o impacto da formao. Contudo, ningum pode garantir que, o fato de no serem beneficiados na hora do sorteio,
3

/ Em ltima instncia, a nica diferena entre os dois grupos consiste em um ter tido a sorte de ter sido escolhido, aleatoriamente, para participar do programa. Em mdia, as outras variveis tm que apresentar valores prximos. 4 / O ME tem uma certa tradio em reas das cincias sociais como psicologia e educao. As primeiras tentativas em reas correlatas s PEs foram realizadas nos EUA a partir dos anos 60 (na ocasio do New Jersey Income Maintenance e, posteriormente, no Job Training Partnership Act). Com o transcorrer dos anos se foram tornando corriqueiras, sendo adotadas pelo Canad e, hoje, so, dadas as restries sobre as possibilidades de implementao que vamos a analisar nos prximos pargrafos, na maioria dos pases da OCDE. Na Amrica Latina, a ME foi utilizada para avaliar o programa de combate pobreza PROGRESA, do Mxico, e, mais recentemente, o programa Pro-Empleo, na Argentina.

Ramos, Carlos Alberto. Anexo I. Captulo XIII.

515

parte dos desempregados do grupo de controle no tenham realizado outros cursos de formao. Ou seja, o grupo de controle foi alterado, qualitativamente, por vontade prpria de seus integrantes, em um aspecto crucial para a avaliao do programa, fato que compromete os resultados. Logicamente, no se pode proibir aos no beneficirios do programa procurar um benefcio similar em outros espaos. Um terceiro problema, similar (porm inverso) do tratado no pargrafo anterior, consiste no abandono do programa por parte dos contemplados. Neste caso, assim como no se pode obrigar a um no beneficirio procurar polticas similares em outros mbitos, no se pode obrigar aos contemplados no programa a permanecer neles at o fim. Um quarto problema surge de um efeito psicolgico por parte do beneficirio, pelo simples fato de estar contemplado no programa.5/ Na literatura, este efeito conhecido como Efeito Hawthorne, e identificado, nos EUA, nos anos 30, em um programa da General Eletric em um estabelecimento em Hawthorne. Uma quinta restrio est vinculada aos custos. Em geral, aplicar o ME em programas sociais requer mobilizar indivduos e recursos financeiros que, na maioria dos casos, os tornam inviveis. Restries de ordem financeira induzem a restringir a amplitude dos grupos (tanto o de beneficiado como o de controle), fato que pode comprometer a consistncia dos resultados. Por ltimo, podemos mencionar um sexto inconveniente que est associado impossibilidade de, mediante uma avaliao pautada pelo ME, quantificar o impacto sobre o conjunto da economia de um determinado programa. A avaliao mediante o ME seria muito cara e, no obstante seu rigor em termos de equilbrio parcial (se encontra um resultado robusto para um certo conjunto de variveis) no se chega a ter uma dimenso sobre o real desdobramento da poltica sobre a totalidade da economia. III. A Questo do Vis de Seleo ou Porque dois Indivduos que parecem Iguais podem No S-lo.

Qualquer das restries mencionadas na Seo anterior pode inviabilizar a construo de um grupo de tratamento e outro de controle. Fica, ento, a questo de como identificar um conjunto da populao que sirva de controle para identificar os efeitos lquidos do programa. Em outros termos: como construir ou identificar um conjunto de indivduos que tenha as mesmas caractersticas, nas variveis que podem afetar os resultados, logicamente,

/ Este fato leva a que, como mencionamos, nas experincias mdicas se utilize o placebo e ningum sabe se est sendo submetido ou no ao novo medicamento. Em um curso de formao profissional, logicamente, todos sabem se esto fora ou no contemplados.

Ramos, Carlos Alberto. Anexo I. Captulo XIII.

516

daquele sobre o qual se vo a efetuar as aes. 6 / Contudo, essa tarefa no trivial no tanto pelas variveis que devem ser includas (neste aspecto existe um certo consenso e as mesmas esto relacionadas com a faixa etria, sexo, grau de instruo, etc.) como pelas variveis ou caractersticas no observveis. Como este um ponto de crucial importncia, vamos ilustrar o problema com dois exemplos. Imaginemos que estamos realizando uma pesquisa sobre migrao e tentamos avaliar como o fato de ter migrado pode ter mudado os rendimentos ganhos no transcurso da vida ativa. 7 / Ou seja, trata-se de estudar os retornos da migrao. Nesse caso, podemos estimar uma equao de salrios para a populao que migrou e outra para a populao que permaneceu em sua regio ou pas de origem. 8 / Contudo, nessa equao que incorporaria as variveis usuais podemos deixar de considerar caractersticas no observveis (vis de seleo). Assim, os migrantes podem ser indivduos mais ousados, com maior iniciativa, etc. que os no migrantes e seriam essas caractersticas (noobservveis, lembremos) os que justificam os maiores rendimentos. 9 / Nesse caso, todos os coeficientes obtidos pela equao de rendimentos podem estar comprometidos visto que captam essas variveis omitidas. 10 / O segundo exemplo diz respeito a uma PE especfica. Suponhamos que o grupo de impacto esteja constitudo por indivduos desocupados que procuraram um escritrio do SPE (Sistema Pblico de Emprego) a fim de realizar um curso de reciclagem para elevar a sua probabilidade de encontrar um emprego. Suponhamos que os tcnicos do SPE pretendem avaliar em que medida os cursos proporcionados tm um impacto positivo sobre as chances de preencher uma vaga. A metodologia seria o ME e, para esse fim, constituem um grupo de controle com desocupados que no fizeram um curso. Assim, temos dois grupos. O do tratamento procurou o SPE e freqentou um curso. O segundo no procurou o SPE e no realizou nenhum curso. Em realidade, esse grupo de controle est erroneamente constitudo porque os indivduos que procuraram o SPE podem ter uma caracterstica (ter mais iniciativa, procurar emprego com maior seriedade, etc.) que os outros e, ao serem positivamente selecionados, ou apresentarem um vis positivo, as comparaes podem ser invlidas. Nesse sentido, se os que freqentarem o curso apresentarem uma chance de preencherem uma vaga maior que o do grupo de controle pode ser que, mesmo
6

/ Estamos falando das variveis relevantes dado que os indivduos no tm que ser idnticos em tudo. Por exemplo, em princpio no parece ser relevante uma varivel como ser torcedor do flamengo ou no. As variveis relevantes seriam as usuais (sexo, idade, grau de instruo, etc.). Aprofundaremos este ltimo ponto na prxima frase. 7 / Esse incremento de rendimentos pode ser a chave para explicar o processo de migrao. 8 / Inclusive, poderamos comparar os rendimentos dos migrantes com os nativos da regio de destino. 9 / Estamos imaginando uma situao hipottica s a fins de ilustrao. Podemos supor, como em realidade sugerem certos modelos na literatura, que os migrantes, contrariamente ao exemplo, apresentam uma seletividade negativa na regio de origem. 10 / Em caso de seletividade, os coeficientes da regresso estariam viesados.

Ramos, Carlos Alberto. Anexo I. Captulo XIII.

517

sem o curso, a probabilidade de ser contratado seja superior aos restantes, por causa das variveis no observadas (iniciativa, etc.). O procedimento correto, a fins de comparao, deveria ser a seleo dos dois grupos considerados. Essa forma de construir um par de conjuntos de indivduos implicaria em no outorgar a chance de certos candidatos no serem beneficiados por um curso (no integrarem o pbico alvo) simplesmente para constituir um grupo de controle, fato que poderia inviabilizar, por questes ticas, a utilizao do ME. 11 / IV. A Metodologia Quase-Experimental (MQE).

Diante da (freqente, no caso das cincias sociais) impossibilidade de construir um grupo de controle de forma rigorosa, foram se desenvolvendo tcnicas para identificar um conjunto da populao que possa servir de parmetro de comparao ainda que sua construo no tenha as vantagens estatsticas de um grupo escolhido de forma aleatria. Aqui, a meno de James J. Heckman inevitvel. Prmio Nobel de economia no ano de 2000 (que compartilhou com Daniel L McFadden, ainda que o campo de pesquisa deste ltimo no coincida com o primeiro), o Prof. Heckman foi o principal terico de uma srie de tcnicas economtricas hoje usuais e que revolucionaram (propiciando um avano qualitativo) nas tcnicas de avaliao. 12/ Basicamente, a MQE tenta utilizar um instrumento que evite a correlao entre variveis explicativas e caractersticas no observveis e, assim, estaramos muito prximos dos resultados do esperados no caso do ME. Sem recorrer a desenvolvimentos muito tcnicos, a proposta de Heckman, em seu artigo de 1999, consiste na soluo do vis de seletividade com um procedimento em dois estgios. No primeiro se estima um Modelo Probit ou Logit (estimar a probabilidade de um indivduo participar ou no do programa em funo de certas caractersticas individuais ou socioeconmicas) para depois calcular-se o que se denomina de inverso da razo de Mill, um parmetro que ser utilizado na estimao da equao de rendimentos. As vantagens desta metodologia so diversas. Por exemplo, os custos so sensivelmente menores, dado que podem ser utilizadas pesquisas de domiclio
/ Estamos s ilustrando atravs de uma hipottica situao, visto que, em outras circunstncias, a correta utilizao do ME poderia ser vivel. Suponhamos que existam restries oramentrias e todos indivduos que demandam um curso no podem ser contemplados. Nesse caso, os beneficirios podem ser escolhidos aleatoriamente e os no includos fazerem parte do grupo de controle. Nesse caso, se o vis de seletividade est dado pela iniciativa de procurar o SPE, o mesmo estaria neutralizado. 12 / As referncias aos artigos e Heckman so diversas. Talvez o de maior relevncia em termos histricos seja: Sample Selection Bias as a Specification Error Econometrica. Vol 47 (1). 1979. Para a sntese de um panorama mais abrangente, o leitor interessado pode consultar: Heckman, J., Lalonde, R. and Smith. J., The Economics and Econometrics the Labor Market Programs, in Ashenfelter, O and Card, O (Eds.), Handbook of Labor Economics. Vol. III. Esevier Science. New York, 1999.
11

Ramos, Carlos Alberto. Anexo I. Captulo XIII.

518

que contenham as variveis necessrias. Por outra parte, e este um ponto de relativa importncia, no se esto infligindo princpios ticos, visto que no se est marginalizando um indivduo de um programa simplesmente para que integre o grupo de controle. Entre as limitaes, que tambm so de diversas ordens, certas j estavam presentes no caso da avaliao ser norteada pelo ME. Por exemplo, no so levados em considerao possveis efeitos sobre o conjunto da economia ou no se tem controle se os no participantes no seguiram, por exemplo, outros cursos de formao.