OS QUATRO ELEMENTOS DA AVALIAO Rogrio Renato Silva1 Daniel Brando2 Resumo Este ensaio foi elaborado para a oficina

Iniciativas inovadoras na avaliao de programas sociais realizada no V Congresso Nacional da Rede Unida, de 24 a 27 de maio de 2003, na cidade de Londrina, no Estado do Paran. Ele rene e articula um conjunto de experincias e reflexes vividas pelos consultores ao longo do ano de 2002 e dos primeiros meses de 2003 na avaliao de programas e projetos sociais de organizaes da sociedade civil com sede em So Paulo. O ensaio apresenta-se estruturado em quatro eixos, os quais so metaforicamente chamados de elementos da avaliao. Estes elementos so (I) a atribuio de sentido aos processos avaliativos, (II) o uso de mtodos e tcnicas de investigao da realidade, (III) a tica dos processos e (IV) a necessidade de estmulo ao desenvolvimento de capacidade avaliativa nas organizaes, aos quais atribui-se caractersticas de ar, terra, gua e fogo, respectivamente. Os consultores esperam o texto seja til para reflexes em torno do desenvolvimento da cultura de avaliao no Brasil. A fim de aprimorar este material para futuras edies, sero bem vindas as sugestes para sua melhoria e o relato de experincias que nos ajudem a aprofundar nossas reflexes. Palavras chave: avaliao, programas sociais, projetos sociais, perguntas avaliativas, indicadores, mtodos e tcnicas de investigao da realidade.
Contatos: Fonte Instituto para o Desenvolvimento Social Rua Dr. Phdias de Barros Monteiro, 53, Pinheiros - So Paulo - SP CEP 05404-030 - www.fonte.org.br avaliacao@fonte.org.br

Coordenador da rea de avaliao do Instituto Fonte; aluno de Doutorado na Faculdade de Sade Pblica da Consultor em avaliao do Instituto Fonte So Paulo e animador da Rede Brasileira de Monitoramento e

USP e animador da Rede Brasileira de Monitoramento e Avaliao - ReBraMA.

2

Avaliao ReBraMA.

I. Introduo

Este ensaio rene algumas reflexes que temos feito ao longo dos ltimos meses de trabalho, tendo em vista o importante conjunto de prticas e discusses com as quais nos envolvemos neste perodo. Sua elaborao s foi possvel em razo das avaliaes pelas quais fomos responsveis, como na primeira edio do Projeto Garagem Digital (Fundao Abrinq, HP Brasil, Meninos do Morumbi e Cidade Escola Aprendiz), no Programa Formare (Fundao Iochpe), do Programa Grmio em Forma (Instituto Sou da Paz), na Rede Corrente Viva (Ncleo Maturi), no Programa de Apoio a Projetos de Atendimentos a Crianas e Jovens na Grande So Paulo 4a edio (Vitae), no Programa Cidado 21 Arte (Instituto Ayrton Senna), no Prmio Empreendedor Social (Ashoka e McKinsey) e da 5a edio no Programa de Apoio a Projetos de Atendimentos a Crianas e Jovens na Grande So Paulo (Vitae), estes dois ltimos ainda em curso, alm de nosso papel de animadores da Rede Brasileira de Monitoramento e Avaliao (ReBraMA), nossa iniciativa de criao do Grupo de Estudos em Avaliao no mbito do Instituto Fonte, e do processo de planejamento e posicionamento estratgico vivido pelo Instituto neste momento. Desde j agradecemos a estas experincias as idias que aqui apresentamos e esperamos que este texto contribua com a aprendizagem de todos os interessados no campo da avaliao. Queremos olhar a avaliao atravs de um exerccio metafrico que possa nos ajudar a aproximar as pessoas do tema e a desmitificar alguns dos receios que ainda acompanham o pensamento sobre avaliao. Ainda que nossa inteno no seja de aprofundar a compreenso do simbolismo associado a cada um dos quatro elementos em questo, queremos sim provocar os leitores a sentirem-se mais prximos ao objeto do que normalmente esto. Temos a pretenso de que a leitura de algumas passagens do texto os estimule a se posicionar em relao avaliao, seja por concordar com nossas reflexes, seja por discordar delas, apresentando novas idias. O exerccio metafrico que propomos se inicia ao caracterizarmos a avaliao de programas sociais segundo algumas propriedades dos elementos da natureza. Esta classificao a seguinte: (I) a constante busca por atribuir sentido aos processos avaliativos, qual, por sua natureza reflexiva e abstrata, atribumos o elemento ar; (II) os esforos em desenvolver formas metodolgicas adequadas para a investigao da realidade em cada processo avaliativo, aos quais, em razo de sua natureza cientfica, concreta e ferramental, atribumos o elemento terra; (III) a preocupao em conduzir processos avaliativos pautados em princpios ticos, qual, em razo de sua natureza transparente, sua capacidade de lubrificar as relaes e de cuidar para que os processos sejam limpos,

atribumos o elemento gua e (IV) a necessidade de construir capacidade avaliativa na sociedade brasileira, qual, em razo de sua natureza multiplicadora, combustvel, geradora de conhecimentos e prticas, atribumos o elemento fogo. Estamos procurando contribuir para o desenvolvimento social de nosso pas atravs dos indivduos, grupos, movimentos e organizaes com os quais trabalhamos. Nesta busca nos defrontamos com um grande desafio: entender o papel da avaliao no processo de desenvolvimento de uma organizao. Neste sentido, compreendemos que a avaliao um processo de aprendizagem que pode apoiar pessoas, organizaes e grupos sociais a fazer escolhas mais consistentes em relao aos rumos de suas iniciativas. A avaliao oferece a esses atores a possibilidade de criar espaos de reflexo sobre a prtica, desconstruir idias vigentes ou construir sensos comuns em relao a conceitos e discursos. Entretanto, o que temos percebido ao longo dos ltimos anos, sobretudo a partir da crise de financiamento atravessada pelo pas ao incio da dcada de 1990 e da posterior retirada do Estado de inmeras atividades de interesse pblico, que houve um aumento significativo do interesse por resultados, por processos mais efetivos e por iniciativas transparentes e socialmente responsveis. Somando-se a estes eventos o desenvolvimento de diversos espaos de participao e de controle social no Brasil (em especial os conselhos representativos), a avaliao passou a ocupar uma posio de importncia crescente na sociedade brasileira. Entendemos avaliao como a elaborao, negociao e aplicao de critrios explcitos de anlise, em um exerccio metodolgico cuidadoso e preciso, com vistas a conhecer, medir, determinar ou julgar o contexto, mrito, valor ou estado de um determinado objeto, a fim de estimular e facilitar processos de aprendizagem e de desenvolvimento de pessoas e organizaes. Considerando este cenrio, reconhecemos que existe presso social para o desenvolvimento da cultura de avaliao no Brasil. Para que esta cultura desenvolva-se em harmonia com as necessidades do pas, sobretudo a necessidade de gerar tecnologias acessveis, que atuem a favor das comunidades e das organizaes da sociedade civil, pensamos ser essencial conhecer os quatro elementos que escolhemos para nortear este texto.

II. A busca de sentido para a avaliao (ar)

Avalia-se programas e projetos para muitas finalidades. O que nos parece, no entanto, que no existe classificao genrica que justifique o propsito de cada avaliao particular. Ao fazer esta afirmao, queremos ressaltar a importncia de perguntar, e verdadeiramente explorar em cada processo, por qu avaliar? A busca de sentido em um processo de avaliao etapa fundamental para que pessoas e organizaes faam escolhas conscientes a respeito dos esforos e investimentos que desejam alocar nos processos avaliativos. Atribuir sentido a um processo vai alm de dizer o que vai ser avaliado, ao que denominamos foco, ou dizer com que finalidade se far uma avaliao, o que denominamos utilizao (para que avaliar?). O sentido encontra-se em fazer com que cada pessoa envolvida na avaliao procure reconhecer e explicitar o contexto em que vivem o programa ou organizao avaliados, procurando vislumbrar que papel a avaliao vai realmente cumprir neste cenrio, que decises podem surgir a partir dos resultados da avaliao e, sobretudo, que conscincia e que inteno de aprendizagem esto associadas ao processo avaliativo. Atribuir sentido saber tambm que a avaliao pode ser utilizada com a finalidade de excluso ou de punio, sendo necessrio que estas intenes sejam acessadas e que mecanismos para mediar as relaes envolvidas nestas situaes sejam criados. A atribuio de sentido um processo reflexivo e poltico. A construo do sentido permite ao grupo discutir e alinhar seus conceitos sobre avaliao. Se bem conduzida, a construo de sentido pode fortalecer a equipe de trabalho o que pode contribuir para o desenvolvimento de outras reas da organizao. Para no tratarmos deste elemento apenas em carter terico, gostaramos de compartilhar dois casos que podem estimular a reflexo e o entendimento da atribuio de sentido aos processos avaliativos. O caso 1 retrata um processo em que o sentido da avaliao no estava claro, o que resultou em problemas para os envolvidos, enquanto o caso 2 ilustra um processo em que o sentido foi procurado sistematicamente, levando a resultados importantes para a aprendizagem dos envolvidos. Caso 1 A organizao da sociedade civil (OSC) A possui um Programa realizado em parceria com uma Empresa B, e atua na periferia de um grande centro urbano da regio Sul. Cada projeto do Programa dura 12 meses e tem a inteno de desenvolver competncias pessoais, sociais, produtivas e cognitivas em jovens na faixa etria de 15 a 18 anos. Ao final de um

dos projetos, a OSC A contratou uma avaliao externa para conhecer os resultados alcanados junto aos adolescentes, estimulada pelo desejo da empresa financiadora em conhecer os resultados de seus investimentos. Duas perguntas avaliativas foram elaboradas com contribuies no presenciais dos principais interessados na avaliao na OSC A e Empresa B. Foram elaborados indicadores com a participao de educadores da OSC A, e ento um amplo processo de coleta de dados junto aos jovens, educadores e gestores do projeto foi realizado. Ao longo da avaliao, a equipe externa percebeu a existncia de um grande conflito entre os interessados. O conflito tem impedido o desenvolvimento do Programa e ameaado sua continuidade. Este conflito tornou-se evidente em cada entrevista individual, nas visitas de observao e nos grupos focais realizados para a coleta de dados. As perguntas avaliativas foram respondidas com um amplo cuidado tcnico, contudo, a presena do conflito entre os interessados fez com que os resultados da avaliao fossem utilizados para que alguns interessados reafirmassem sua posio no conflito, enquanto outros se sentissem mais ameaados pela disputa de poder. Por perceber o conflito instalado em um momento avanado do trabalho, a equipe de avaliao no conseguiu criar as condies para que a crise recebesse a ateno necessria e a avaliao no cumpriu o papel de ferramenta de aprendizagem esperado. Caso 2 A Fundao A possui um Programa de carter nacional que procura desenvolver estratgias de incluso de adolescentes no mercado de trabalho atravs de cursos que oferecem aos jovens tanto uma formao tcnica de alto nvel tecnolgico, quanto o desenvolvimento de competncias pessoais e sociais. Uma equipe externa de avaliao foi contratada para desenvolver um processo que revelasse os resultados do Programa ao longo dos ltimos trs anos. Duas perguntas avaliativas foram estabelecidas atravs de um amplo processo de discusso presencial com os principais interessados. Algumas rodadas de negociao foram realizadas tendo em vista a existncia de diferentes desejos em relao ao curso da avaliao, o que proporcionou a escolha de um caminho metodolgico contemplando estes diferentes interesses e abrindo um caminho de aprendizagem para os interessados ao longo da avaliao. Os resultados encontrados motivaram reunies internas para desenvolver um processo de monitoramento do Programa, para discutir a cultura de avaliao no organizao e para subsidiar as reflexes do Conselho Deliberativo da Fundao A a respeito do Programa. A etapa de atribuio de sentido fundamental para garantir a avaliao. Ainda que faamos aqui uma diviso didtica desta etapa, necessrio compreender e atuar com a

preocupao de atribuir sentido ao longo de todo o processo de avaliao. Como ser visto na terceira parte do texto, a fase de planejamento da investigao da realidade e sua realizao, a qual denominamos passos da avaliao, dever estar permanentemente orientada pelo sentido. III. O processo de investigao da realidade (terra) Enquanto o elemento ar da avaliao permite encontrar o sentido, compreender sua intencionalidade, dimensionar sua grandeza e limitar sua atmosfera de expectativas, a aplicao precisa dos mtodos disponveis para a investigao da realidade que vai materializar estas dimenses em aes concretas e em resultados palpveis. Por sua natureza slida, o elemento terra da avaliao representa a fase destes processos em que esto colocados os esforos mais volumosos, o envolvimento de equipes, o preparo de instrumentos, o trabalho de campo, a realizao de anlises e o preparo dos materiais de comunicao. So sete os passos metodolgicos compreendidos nesta etapa da avaliao: (1) a elaborao de perguntas avaliativas, (2) a elaborao de indicadores, (3) a escolha das fontes de informao, (4) a escolha das formas de coleta de informaes, (5) a coleta de informaes trabalho de campo, (6) a anlise das informaes coletadas e (7) a comunicao dos resultados. Ainda que diferentes abordagens de avaliao sejam utilizadas, estes passos sero teis aos avaliadores como um roteiro ou matriz elementar na organizao de processos de avaliao. Ainda que estejamos falando de uma avaliao de linha de base ou de qualquer outro modelo que procure investigar os pontos de partida das intervenes sociais; de avaliaes de natureza formativa, ou de qualquer outra classificao que venha a ocorrer ao longo da interveno social, incluindo o monitoramento das aes; ou de avaliaes de natureza somativa, ou de qualquer outro desenho que implique a investigao de resultados ou de impacto das intervenes sociais, seguir os sete passos metodolgicos que propomos ser de grande utilidade para os avaliadores. Seguir passos metodolgicos claros e interrelacionados uma forma concreta de assegurar consistncia a um processo de avaliao. Do ponto de vista externo, permite que qualquer interessado visualize e compreenda a lgica do caminho percorrido pelo avaliador; do ponto de vista interno, proporciona ao avaliador uma maneira de gerir o processo com maior facilidade. Respeitar passos metodolgicos no significa estar aprisionado a amarras cientficas, e sim estar orientado segundo uma lgica que amplia a qualidade da avaliao.

Passo 1: A construo da pergunta avaliativa A reflexo sobre o sentido e o conseqente acordo poltico construdo nas etapas iniciais de uma avaliao provoca a necessidade de definir o que avaliar, ou seja, a definir o foco da avaliao. O foco pode ser explicitado de formas opostas: como uma afirmao (semelhante a um objetivo) ou como uma pergunta. Nossa experincia tem mostrado que trabalhar com perguntas, as quais chamamos perguntas avaliativas, mais profcuo para o processo de avaliao. A pergunta provoca a equipe do programa, os avaliadores, gera boas expectativas e leva ao incio dos trabalhos. A pergunta avaliativa torna-se a pea chave, orientar todos os desdobramentos da avaliao e ser a guia do processo. Costumamos dizer que a pergunta avaliativa a alma da avaliao. Construir uma pergunta avaliativa um processo desafiador e apaixonante. Exige do avaliador habilidades para mediar conflitos e negociar interesses e oferece ao projeto ou organizao uma excelente oportunidade de afinar idias e olhares sobre a sua prtica. Por isso a elaborao da pergunta deve envolver os principais interessados na avaliao, sendo feita atravs de um processo participativo. preciso lembrar sempre que no existe boa avaliao sem uma boa pergunta. Contudo, uma boa pergunta no garante uma boa avaliao. Para exemplificar o que uma pergunta avaliativa, mostramos abaixo alguns exemplos de perguntas de diferentes projetos com os quais trabalhamos. A qualidade da pergunta est em sua simplicidade, sua viabilidade, sua capacidade de trazer informaes teis aos interessados e seu sentido para o contexto do projeto ou programa. Em que medida o Programa contribuiu com a vida pessoal, familiar e comunitria dos jovens? Em que medida o projeto influenciou o ambiente escolar? Que mudanas a participao no programa est gerando nas organizaes e em seus pblicos beneficirios?

Passo 2: A construo de indicadores

Depois de estabelecida a pergunta avaliativa necessrio que indicadores sejam construdos, descritos e que, algumas vezes, critrios de julgamento sejam estabelecidos. Como costumamos dizer, se a pergunta avaliativa a alma da avaliao, os indicadores so sua encarnao, ou seja, so as dimenses concretas que iro orientar o desenho metodolgico. As organizaes e projetos sociais tendem a mitificar indicadores. Diversos so os discursos que exaltam a dificuldade de se estabelecer indicadores para uma determinada interveno social. Os indicadores parecem estar no Olimpo, distante da prtica dos mortais. Acreditamos, porm, que este endeusamento e conseqente distanciamento dos indicadores ocorre por simples desconhecimento do que so indicadores e da falta de uma experincia prtica em formul-los. Talvez o grande desafio que o indicador nos oferea seja entender a sua simplicidade. Como o prprio nome diz, indicadores so indicaes a respeito de determinado sujeito ou objeto. Indicadores so comportamentos ou estados observveis deste sujeito ou objeto. Uma pergunta avaliativa s pode ser respondida com preciso se for feito um recorte sobre o que deve ser analisado. Este recorte definido pelos indicadores. To importante quanto definir o indicador a formular sua descrio, que explicita seu significado. Os indicadores devem ser plenos de sentido especialmente para aqueles que atuam frente a uma dinmica social especfica. Os atores sociais legtimos para definir indicadores sobre determinada realidade so aqueles que convivem com essa realidade, o que convida o consultor em avaliao a atuar como um facilitador de processos e no como especialista que traz todas as respostas. O indicador uma pea prtica que reflete a experincia, os estudos e as vivncias que o grupo carrega. A equipe do projeto a autora dos indicadores e o avaliador um apoiador deste processo de elaborao. Cabe a ele conduzir uma dinmica na qual o grupo se sinta confortvel, seguro e criativo para trabalhar. Cabe ainda ao avaliador oferecer questionamentos relacionados a descrio, viabilidade e importncia de cada indicador proposto, e que ajuda o grupo a fazer as escolhas que garantam preciso e sentido ao processo de avaliao. O momento de elaborao de indicadores, precioso para o grupo, uma oportunidade para alinhar conceitos que esto presentes no discurso, mas nem sempre tm o mesmo significado para todos da equipe. Vejamos por exemplo, que muitos projetos trabalham com o desenvolvimento da auto-estima em jovens. Por isso muito comum que

este seja um indicador presente em suas avaliaes. No entanto, quando perguntamos equipe o que significa auto-estima, diversos conceitos costumam vir mesa. Observa-se que o grupo trabalhou durante muito tempo com uma mesma idia na cabea, mas com diferentes compreenses do seu significado. Acreditamos que alinhar estes conceitos contribui para o desenvolvimento do projeto e assegura o curso da avaliao. Para exemplificar alguns indicadores, escolhemos uma das perguntas avaliativas citadas anteriormente, apontando alguns de seus indicadores. Em que medida o projeto influenciou o ambiente escolar?
_Habilidade para a resoluo de conflitos: os alunos so capazes de agir coletivamente na resoluo no violenta de conflitos no ambiente escolar. _Sentido de Pertencimento: os alunos reconhecem que a escola um espao til e importante para os alunos; criao de uma identidade entre os alunos e o espao escolar. _Percepo da depredao e da violncia: forma como os alunos percebem a violncia e a depredao na escola.

Em algumas circunstncias, a descrio de cada indicador deve buscar o mais especfico comportamento observvel que se possa perceber, por exemplo o aluno rabisca a carteira, o aluno agride fisicamente um colega da escola e tantos outros comportamentos que sejam indicadores concretos de comportamentos. Esta procura por especificidade ajudar a precisar os instrumentos de coleta de dados, como roteiros de observao, roteiros de grupos focais e questionrios (sobre os quais falaremos mais adiante). Geralmente so os prprios educadores dos jovens, que interagem com as crianas e os jovens no dia a dia dos projetos, as pessoas mais indicadas para relatar comportamentos observveis. A inteno deste movimento construir instrumentos to bons quanto nossos olhos. Passo 3: Definio das fontes de informao A partir dos indicadores, preciso definir as fontes de informao adequadas para que cada indicador possa ser explorado, conhecido, investigado. A fonte de informao o ator social, evento ou objeto atravs dos quais possvel verificar o indicador, seja observando um comportamento ou medindo determinada caracterstica. Cada indicador ter, pelo menos, uma fonte de informao: os participantes do projeto, os familiares, os gestores do programa, os financiadores, os educadores, documentos de registro, etc. Seguindo o curso dos exemplos anteriores:

Em que medida o projeto influenciou o ambiente escolar?

_Habilidade para a resoluo de conflitos: os alunos so capazes de agir coletivamente na resoluo no violenta de conflitos no ambiente escolar. Fontes de informao: jovens participantes do Programa (n=200) e educadores dos jovens (n=8)

Passo 4: Definio das formas de coleta de informaes Para cada fonte de informao haver formas distintas e mais apropriadas para coletar informaes. A forma de coleta definida respeitando-se o contexto cultural do pblico alvo e a viabilidade do processo de avaliao. Por exemplo, questionrio para um pblico iletrado uma estratgia equivocada, ao mesmo tempo em que a realizao de entrevistas individuais ser inadequada para uma populao muito grande, diante de uma equipe restrita e de pouco volume de recursos. As formas de coleta de dados mais comumente utilizadas em nossa prtica tm sido: (1) Entrevistas telefnicas; (2) Entrevistas presenciais; (3) Grupos focais; (4) Aplicao de questionrio com questes fechadas; (5) Questionrios com questes abertas; (6) Observao (com roteiro estruturado); (7) Testes de performance; (8) Testes padronizados; (9) Anlise de documentos e registros; e (10) Questionrios por correio eletrnico. Qualquer que seja a forma de coleta de dados, importante uma cuidadosa preparao do instrumente que deve incluir a equipe do projeto na sua discusso. Seguindo o exemplo anterior para ilustrar os passos metodolgicos temos: Em que medida o projeto x influenciou o ambiente escolar?
_Habilidade para a resoluo de conflitos: os alunos so capazes de agir coletivamente na resoluo no violenta de conflitos no ambiente escolar. Fontes de informao: jovens participantes do Programa (n=120) e educadores dos jovens (n=8) Formas de coleta: jovens (questionrios e grupos focais) e educadores (entrevistas individuais).

Passo 5: Coleta de informao Aps definidas as formas de coleta e elaborados os instrumentos, chega-se ao momento de ir a campo e coletar as informaes. Costumamos utilizar uma definio que, se no possusse algo de trgico, seria bastante divertida para resumir as dificuldades que

10

esto associadas a esta etapa. O que dizemos que uma fase de coleta de informaes precedida de um intenso e detalhado processo de planejamento provavelmente lhe trar menos problemas do que uma fase de coleta no precedida de muitos cuidados e todos os procedimentos possveis. Problemas sempre existiro. E como melhor recolher dados a problemas, muito importante planejar para no sofrer decepes. Alguns elementos fundamentais para a coleta de dados so os seguintes: (a) o cronograma precisa ser negociado com todos aqueles que sero envolvidos na coleta, e preciso conhecer o contexto no qual esto essas pessoas, para que a programao de coleta no as prejudique nem sofra prejuzos em razo de competir com outros eventos, reunies, feriados, horrios de trabalho, etc; (b) bons instrumentos de coleta de dados so fundamentais para assegurar a qualidade da informao, mas eles pouco serviro a este propsito se os coletores de informao (pessoal do campo) no estiverem treinados e comprometidos com a qualidade do processo; (c) no economize roteiros ou manuais de procedimentos para orientar as pessoas que faro a coleta de dados, que faro as observaes ou visitas, que mediaro os grupos focais, etc; (d) esteja preparado para organizar as informaes medida que elas forem sendo recolhidas. Alm de ser necessrio identificar todo o material e tomar todos os cuidados possveis para que informao coletada no seja perdida, a organizao das informaes coletadas o primeiro passo para assegurar a anlise, aspecto tratado no prximo passo. Passo 6: Anlise de informaes A anlise de informaes deve respeitar a natureza da informao. Caminhos qualitativos e quantitativos sero teis e devem atuar de forma complementar para que a melhor leitura possvel da realidade seja obtida. Para dados quantitativos, as anlises estatsticas3 so as mais comuns e necessrias. J os dados qualitativos exigem abordagens distintas, como a anlise temtica de discursos, que a tcnica mais utilizada em nossa prtica. Ao contrrio do que se possa imaginar, a anlise das informaes no uma prerrogativa apenas dos avaliadores. Temos vivido experincias em que torna-se muito importante que esta etapa seja conduzida com base em orientaes dos principais interessados na avaliao. Informaes preliminares, uma vez analisadas, podem ser discutidas com os interessados em busca de aprofundar achados, levantar novas hipteses,

Temos utilizado o software EPI-INFO 6.0, de domnio pblico e com download disponvel na Web.

11

testar critrios de julgamento, etc. Desta maneira, os resultados finais sero construdos atendendo demanda que surge de cada descoberta do prprio grupo. Passo 7: Comunicao A comunicao a etapa que encerra os sete passos metodolgicos da avaliao e que, muitas vezes, encerrar o processo como um todo. O formato monogrfico um padro de relatrio ainda desejado pelos financiadores brasileiros e importante para os processos. O formato monogrfico permite tambm um registro detalhado de todas as etapas da avaliao, e servir como fonte de informao para diferentes momentos de um projeto. Contudo, o que temos procurado valorizar so as outras estratgias de comunicao que permitem que informaes e anlises sejam feitas ao longo do processo avaliativo, e no apenas ao seu final. Muitas vezes, determinadas etapas metodolgicas, s quais denominados de fases exploratrias, antecedem os momentos mais intensos de coleta de dados, ou fase de investigao. Utilizar relatrios parciais ajuda a estabelecer uma relao de confiana com os interessados, ajuda a equipe a conhecer a melhor forma de apresentar os resultados, ao mesmo tempo que pode gerar informaes que gradualmente ajudem os interessados em seus processos de aprendizagem e de tomada de deciso.

Fase exploratria
til para conhecer o contexto, levantar o perfil do programa, explorar casos reais (histrias de vida) e enriquecer as perguntas e indicadores Relatrios parciais

Fase de investigao
viver os sete passos da avaliao com base em um foco e em perguntas negociadas

Fase da aprendizagem
priorizar a reflexo e a ao com base nos achados da avaliao

Relatrios parciais

Relatrio final

Figura 1. Possveis fases da avaliao e o uso de relatrios parciais.

Para que a terra seja capaz de gerar vida, rompendo sua caracterstica esttica, dura, vimos que fundamental a presena do elemento ar para lhe trazer sentido, lhe criar aerao e lhe nutrir com os componentes apropriados. Entretanto, esta combinao ainda carece de mais dois elementos para que exista vida, e para que o desenvolvimento social que buscamos esteja associado aos processos avaliativos. preciso gua e fogo.

12

A gua o elemento que permitir ligao, que criar interfaces entre os organismos, que os far cooperar e coexistir em harmonia e que ir lavar os componentes desnecessrios. Em nossa prtica, este papel est diretamente associado ao debate tico em torno dos processos. J o fogo, ltimo dos quatro elementos, est associado energia demandada por um processo de avaliao, o calor necessrio para que existam e para que em sua chama sejam forjadas novas organizaes e novas prticas a partir da realidade avaliada. III. A tica nos processos avaliativos (gua)

Relaes entre indivduos permeiam todo e qualquer grupo social. Estas podem ser orientadas por princpios que visam o bem comum, aos quais denominamos tica. Pela sua natureza de permear, estabelecer-se entre relaes, unir virtudes, higienizar processos, associamos a este conceito o elemento gua. A tica obedece a contextos culturais e temporais de cada povo. Na sociedade em que vivemos, ocidentalizada, com bases judaico crists, e porque no, mergulhada na era virtual, o campo da avaliao tem a oportunidade de reproduzir, em micro escala, valores ideais que norteiam relaes contemporneas. Na prtica, isso se traduz em alguns pontos a serem zelados durante a avaliao, que abordamos abaixo. a) Respeito a todos os indivduos envolvidos em um processo de avaliao: pressupe o respeito aos contextos culturais, sociais e polticos, s opinies, dignidade e aos valores de todos os envolvidos na avaliao. Procedimentos como o consentimento informado para qualquer tipo de coleta de informao, a garantia da no exposio (anonimato) quando necessrio e a adaptao da linguagem utilizada nos instrumentos e roteiros so alguns dos cuidados que ajudaro a que o respeito seja preservado. b) Explicitar as intenes da avaliao como um todo e de cada etapa do processo em particular: pressupe que exista clareza das intenes dos diferentes grupos de interesse que participam da avaliao para negoci-las sempre que necessrio. Cada etapa da avaliao precisa tambm possuir intenes claras e explcitas para todos os interessados e envolvidos. c) Realizar avaliaes justas: pressupe que as avaliaes trabalhem com um princpio de justia que motive os avaliadores a examinar e registrar tanto as informaes de

13

carter positivo quanto as de carter negativo do projeto ou programa avaliado. O cuidado na anlise e na comunicao dos dois tipos de informao deve ser o mesmo, e necessrio que acordos sejam estabelecidos com os interessados para que o uso das informaes, sobretudo das que tenham carter negativo, tambm siga o princpio do respeito aos indivduos e da aprendizagem. d) Transparncia na comunicao: pressupe que os envolvidos na avaliao tenham acesso aos resultados. S assim haver possibilidade de debat-los, reconhecer pontos fortes e limitaes, e aprender com a avaliao. Informao poder, mant-la somente com um grupo esvazia o fortalecimento de distintos grupos sociais e o desenvolvimento da sociedade. e) Responsabilidade fiscal: pressupe a elaborao de oramentos claros e detalhados, a correta alocao de recursos, o cumprimento das responsabilidades fiscais legais e a prestao de contas de maneira transparente para os financiadores. Queremos tambm ressaltar que as ponderaes acima no foram realizadas com a inteno de se configurar como um cdigo de tica para avaliadores, mas sim apontar elementos importantes que tm orientado nossa prtica, provocando um debate a respeito do tema. A tarefa de produzir um cdigo de tica caber aos prprios profissionais do setor, s universidades, ao parlamento e a sociedade civil organizada medida que a avaliao ganhar importncia e espao na agenda poltica do pas. Este no um tema para ficar em segundo plano. IV. A construo de capacidade avaliativa (fogo)

Como ltimo elemento do texto, abordaremos a construo de capacidade avaliativa em organizaes, aspecto que ultrapassa os limites de um projeto ou programa especficos e procura olhar para as organizaes de um ponto de vista sistmico. Por esta caracterstica de ampliao, de cruzar fronteiras, visitar novos territrios, multiplicar foras, renovar matrias e energias, associamos ao tema o elemento fogo.

14

Tratamos a construo de capacidade avaliativa por meio de cinco componentes. Cada um deles, explorados em maiores detalhes no texto Construo da capacidade avaliativa em organizaes da sociedade civil4, pode ser resumido da seguinte forma. a) necessrio buscar identidade, entendendo esse processo como a necessidade de buscar entendimentos entre os interessados na avaliao, em torno de um padro conceitual comum para a avaliao nas organizaes. Algumas vezes esta busca de identidade dever envolver os financiadores, considerando que suas expectativas e necessidades de informao podem ter natureza distinta dos desejos da organizao. b) necessrio enfrentar o desafio de transferncia de poder, entendendo esse processo como a conquista de autonomia frente a outras organizaes parceiras e, sobretudo, frente aos financiadores. Por um lado, este processo implica em maior liberdade para as aes organizacionais. Por outro, em maior responsabilidade em relao s prticas e ao papel social da organizao. O desenvolvimento de capacidade avaliativa, ao qual alguns chamam

empowerment

evaluation,

ou

avaliao

emancipadora, ter esta como uma de suas dimenses principais. c) necessrio buscar motivao, processo compreendido na importncia de que os esforos de desenvolvimento de capacidade avaliativa acessem o desejo de aprender existente nas pessoas e nas organizaes que se lanam no caminho da avaliao de suas prticas. d) necessrio desenvolver competncias em avaliao, processo compreendido como o preparo das pessoas em trs grandes campos de competncia para atuarem como avaliadores: (1) a competncia para a facilitao de processos de avaliao, (2) a competncia para a gesto de processos de avaliao e (3) a competncia para a investigao da realidade5.

Brando D. Silva RR. Palos CMC. Construo da capacidade avaliativa em organizaes da sociedade

civil. So Paulo: Instituto Fonte; 2003.

5

idem.

15

e) necessrio alocar recursos, processo compreendido na necessidade da organizao estabelecer rubricas para a avaliao em seus projetos e programas, em um esforo de captao de recursos que apoie seu processo de aprendizagem e seu desenvolvimento . Frente aos quatro elementos destacados no texto, queremos provocar reflexes a respeito da construo e do fortalecimento de uma cultura de avaliao no Brasil. Em busca do desenvolvimento social em que acreditamos, sobretudo por sermos uma organizao cuja misso est focada neste ponto, achamos e exercitamos o pensamento de que qualquer prtica organizacional, seja o planejamento estratgico, seja a gesto de pessoas, seja o desenvolvimento de novas iniciativas sociais ou a avaliao de aes, tero maior mrito e sentido, medida que estiverem relacionadas ao desejo de criar organizaes que aprendam e que efetivamente se orientem pela criao de um pas melhor. Para nos confortarmos nessa caminhada, costumamos repetir em nossas reunies de aprendizagem, nas quais refletimos a respeito do que sabemos, do que no sabemos e da estrada que queremos percorrer rumo ao horizonte que perseguimos, caminhantes, no h caminho. Faamos nosso caminho enquanto caminhamos.

Permitimos a reproduo parcial ou total deste texto, para fins de aprendizagem, em quaisquer organizaes da sociedade civil, em organizaes de ensino, em rgos governamentais e em empresas do setor privado, desde que citada a fonte. Silva RR, Brando D. Os quatro elementos da avaliao. So Paulo: Instituto Fonte; 2003.

Outras publicaes do Instituto Fonte na rea de avaliao:

_Chianca T; Marino E; Schiesari L. Desenvolvendo a cultura de avaliao em organizaes da sociedade civil. Coleo Gesto e Sustentabilidade. So Paulo: I. Fonte/ Editora Global; 2001.

_Brando D. Silva RR. Palos CMC. Construo da capacidade avaliativa em organizaes da sociedade civil. So Paulo: Instituto Fonte; 2003.

16