Construo de Indicadores Qualitativos para

Avaliao de Mudanas
The Construction of Qualitative Indicators
for the Evaluation of Changes
Maria Ceclia de Souza MinayoI

RESUMO

Apresenta-se uma reflexo terico-metodolgica focada na construo de indicadores qualitativos, voltados principalmente para a avaliao de mudanas no campo educacional. Foi escrito para subsidiar o
processo de autoavaliao de um conjunto de escolas mdicas que desenvolvem um programa de transformao de seus mtodos tradicionais para outros fundamentados na filosofia e na prtica de aprendizagem ativa. Nele so discutidos e problematizados: o conceito de indicador; a produo de indicadores
para pesquisa avaliativa e a construo de indicadores qualitativos. Esses ltimos so tratados sob duas
formas mais frequentes: dentro da lgica quantitativa e da lgica qualitativa. Indicadores qualitativos
a partir da viso quantitativa da realidade so construdos principalmente por meio de escalas. Dentro
da tica qualitativa, so elaborados a partir das representaes e prticas dos sujeitos envolvidos na
investigao. Enfatizando a necessidade de produo de indicadores de mudana que levem em conta
estruturas, processos, relaes e a contribuio da subjetividade, conclui-se que a validade interna desses
indicadores pode ser alcanada quando as categorias empregadas em sua construo so fundamentadas
terica e contextualmente e possuem significados mtuos e partilhados entre os participantes.

PALAVRAS-CHAVE:
Educao Mdica.
Avaliao em Sade.
Sociologia Mdica.

ABSTRACT

This essay presents a theoretical and methodological approach to the construction of qualitative indicators, mainly for evaluation of changes in the educational field. It was prepared as a contribution to the
self-evaluation process of a group of medical schools that are implementing a program for transformation
of their traditional methods to other fundaments in philosophy and to the practice of active learning. The
following concepts are discussed: indicator, production of indicators for evaluative research and construction of qualitative indicators, the latter in their two most frequent aspects: within the quantitative
logic and the qualitative logic. Qualitative indicators within the quantitative view are mainly constructed by scales. In the qualitative perspective they emerge from the representations and practices of the
participants of an investigation. The author emphasizes the need for constructing indicators for change
that take into account structures, processes, relationships as well as the contribution of subjectivity of all
participants. The conclusion is that internal validity of this kind of indicators can be achieved when the
categories employed in this construction are theoretically and contextually founded and contain mutual
meanings shared between the participants.

KEYWORDS:
Medical Education.
Health Evaluation.
Medical Sociology.

Recebido em: 11/12/2008

Reencaminhado em: 08/01/2009
Aprovado em: 09/01/2009

REVISTA BRASILEIRA DE EDUCAO MDICA

83

33 (1 Supl. 1): 83-91; 2009

Fundao Oswaldo Cruz, Rio de Janeiro, Brasil.

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

INTRODUO
O objetivo deste ensaio apresentar uma reflexo tericometodolgica focada na construo de indicadores qualitativos, voltados principalmente para avaliao de mudanas. Foi
escrito para subsidiar o processo de autoavaliao de um conjunto de escolas mdicas que esto implementando um programa de transformao de seus mtodos tradicionais para
outros fundamentados na filosofia e na prtica de aprendizagem ativa. Nesse sentido, este artigo faz parte de um conjunto
de textos que esto sendo produzidos no interior do projeto
conduzido pela Comisso de Avaliao do Ensino Mdico
(Caem).
So trs os termos principais que compem o campo semntico deste artigo: construo de indicadores, mudana e
avaliao. A nfase ser dada ao primeiro termo, e os outros
dois constituem o pano de fundo da reflexo e por isso apenas
sero mencionados oportunamente.
Embora o conceito de mudana seja um dos mais fortes e
complexos tratados pela sociologia1-5 neste estudo, seu sentido
ser resumido como o impacto de determinadas intervenes
sociais ou pedaggicas sobre instituies e atores: as que so
produzidas rapidamente e s vezes em cadeias sequenciais;
as que procedem de uma vontade deliberada; as que ocorrem
por influxo de tecnologias materiais e sociais; e as que so
cumulativas e afetam muitos indivduos ou aspectos cruciais
da sociedade6.
Igualmente, quando falo de avaliao neste texto, estou
me referindo ao conceito de investigao avaliativa que exige determinados cuidados acadmicos como fundamentao
terica e contextualizao ao lado dos processos normativos
tradicionais, tendo como base as reflexes de Contandriopoulos et al.7
Neste texto sero tratados os seguintes temas: o conceito
de indicador; construo de indicadores de avaliao; o que
so e como construir indicadores qualitativos.
Conceito de indicador
A definio do termo indicador, do ponto de vista
cientfico, varia pouco de um autor para outro. Em geral, os
pesquisadores consideram que os indicadores constituem parmetros quantificados ou qualitativos que servem para detalhar se os objetivos de uma proposta esto sendo bem conduzidos (avaliao de processo) ou foram alcanados (avaliao
de resultados). Como uma espcie de sinalizadores da realidade, a maioria dos indicadores d nfase ao sentido de medida
e balizamento de processos de construo da realidade ou de
elaborao de investigaes avaliativas.
Instituies pblicas como o Instituto Brasileiro de Geografia e Estatstica (IBGE), o Ministrio da Educao, por meio

de seus institutos como a Coordenao de Aperfeioamento

de Pessoal de Nvel Superior (Capes) e o Instituto Nacional
de Estudos e Pesquisas Educacionais (Inep), e o Ministrio da
Cincia e Tecnologia, por meio da Financiadora de Estudos e
Projetos (Finep) e do Conselho Nacional de Pesquisa (CNPq),
entre outros utilizam maciamente indicadores considerando seu sentido como especificaes quantitativas e qualitativas para medir o alcance de determinados objetivos, metas e
resultados.
Do ponto de vista internacional, a Organizao para a
Cooperao e o Desenvolvimento Econmico (OCDE)8 possui vrias publicaes sobre indicadores e os considera como
sries de dados, definidos para responder perguntas sobre
determinado fenmeno ou sistema especfico. Igualmente a
International Organization for Standardization (ISO), que avalia a
qualidade de determinados processos e de aes de empresas,
estabelece que indicadores so expresses numricas, simblicas ou verbais, empregadas para caracterizar atividades ou
eventos, em termos quantitativos e qualitativos, com o objetivo de determinar seu valor9.
Autores e instituies coincidem em que indicadores podem ser construdos para medir ou revelar aspectos relacionados a diversos planos em observao: nveis individuais,
coletivos, associativos, polticos, econmicos e culturais, entre
outros. Podem, por exemplo, ser instrumentos para mensurar
a disponibilizao de bens e atividades, assim como para conceber parmetros de acesso de diferentes atores a um programa, a relevncia que ele possui para a vida de cada um, sua
intensidade e seu sentido.
Do ponto de vista de sua utilidade, alm de ser um dispositivo para medio, para o estabelecimento de parmetros
e para avaliao, os indicadores so importantes instrumentos de gesto, pois permitem ao administrador operar sobre
dimenses-chave de sistemas e de processos, monitorando
situaes que devem ser mudadas, incentivadas ou potencializadas desde o incio de uma interveno at o alcance do que
foi pretendido e previsto como resultado.
Mas a utilidade de um bom indicador depende de algumas condies: (a) que estejam normalizados e que sua produo histrica (sua temporalidade) se atenha sempre mesma
especificao ou forma de medida, permitindo a comparabilidade; (b) que sejam produzidos com regularidade, visando
formao de sries temporais e permitindo visualizar as
tendncias dos dados no tempo: (c) que sejam pactuados por
quem (grupos, instituies) os utiliza e quem pretende estabelecer comparabilidade no mbito nacional e at internacional,
como feito, por exemplo, pela Capes e pelo CNPq na avaliao de cursos, de projetos e de peridicos cientficos; (d) e

REVISTA BRASILEIRA DE EDUCAO MDICA

84

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

que estejam disponveis para um pblico amplo e de forma

acessvel, propiciando opinio pblica um formato simples
de acompanhamento do desempenho de instituies e de polticas pblicas ou que recebam financiamento pblico.
Para poder eleger indicadores, devemos ter uma concepo precisa das organizaes e sistemas que queremos gerenciar ou transformar, fato este que pode apresentar diferentes
nveis de facilidade ou complexidade. Portanto, os vrios tipos de indicadores existem para que possamos efetuar adequaes nos objetivos, nas metas e at na misso de uma organizao, permitindo ao gestor ou avaliador acompanhar todo
o processo. Os indicadores assinalam tendncias. No entanto,
nenhum indicador pode aportar certeza absoluta quanto aos
resultados de uma ao ou de um processo, pois sua funo
apenas ser um sinalizador: indicadores so instrumentos, no
operam por si mesmos, indicam o que devem indicar.
Quando observados do ponto de vista quantitativo e qualitativo, os indicadores se referem aos aspectos tangveis e intangveis da realidade. Tangveis so os elementos facilmente
observveis, como renda, escolaridade, forma de organizao
e gesto, legislao, mecanismos de divulgao. Intangveis
so os atributos que s podem ser captados indiretamente
por meio de suas formas de manifestao, como o caso do
incremento da conscincia social, da autoestima, de valores,
de atitudes, de liderana, de protagonismo e de cidadania.
Como essas so dimenses complexas da realidade, processos no-lineares ou progressivos, demandam um conjunto de
indicadores que apreendam algumas de suas manifestaes
indiretas, cercando a complexidade do que pretendemos observar10 (p. 4).
Construo de indicadores para avaliao
A escolha de indicadores para avaliao deve ser feita em
funo dos aspectos que queremos analisar por exemplo,
se queremos medir ou acompanhar a eficincia, a eficcia, a
efetividade ou o impacto a partir de determinada poltica organizacional. Eficincia diz respeito boa utilizao de recursos financeiros, materiais e humanos em relao s atividades
e resultados alcanados. Eficcia se refere relao entre as
aes realizadas e os resultados obtidos. Efetividade a observao da incorporao das mudanas geradas por determinado programa na realidade da populao-alvo. Impacto corresponde ao poder de influncia e de irradiao de um projeto
realizado11,12.
Uma pergunta fundamental na investigao avaliativa
saber qual a combinao mais adequada entre indicadores
quantitativos e qualitativos, tangveis e intangveis, diretos e
indiretos. Valarelli10 recomenda que, no caso de avaliao de

projetos sociais e de projetos educacionais, trabalhemos sempre com um sistema de indicadores, levando em conta:
Concepes, interesses e enfoques das organizaes
e atores envolvidos Um bom sistema de indicadores para avaliao deve sempre surgir do processo
de dilogo e de negociao entre todos os atores. Por
exemplo, numa escola de Medicina, os gestores responsveis pela instituio poderiam estar interessados numa avaliao que enfatizasse a participao de
determinados atores envolvidos no ensino e aprendizagem; os professores gostariam de saber sobre a qualidade da formao oferecida; e o MEC (por hiptese),
como financiador, gostaria de ter conhecimento sobre
a eficcia e a efetividade de uma proposta de mudana
que estivesse sendo implementada e que ele estivesse
financiando.
O contexto Cada investigao avaliativa dever construir seu sistema de indicadores especficos. Pois, mesmo quando um conjunto de variveis pode ser usado
para vrios projetos, os indicadores devem sinalizar
condies especficas da realidade em avaliao. Por
exemplo, a quantidade e a qualidade de informaes
preexistentes influenciam a necessidade de produzir
novas informaes, assim como o nvel de aprofundamento de possveis anlises. Por isso, a maioria dos
projetos avaliativos deve se iniciar com uma anlise
situacional, como ponto de partida para a construo
de indicadores.
O modo de gesto A forma de organizao de uma
proposta avaliativa deve contemplar um projeto claro, com objetivos e metas, conceitos bsicos, conexo
entre os diferentes investigadores e outros atores e
desenhos metodolgicos em seu sentido mais amplo
(frequentemente exigindo abordagens quantitativas
e qualitativas). Nesse espao, os indicadores so os
bons sintetizadores e sinalizadores do caminho. No
entanto, eles no falam por si mesmos, precisam estar articulados com as diferentes atividades que esto
sendo avaliadas e servir de parmetro para a tomada
de decises.
Os recursos O tempo, a durao do projeto de avaliao e os recursos disponveis tambm interferem na
possibilidade de utilizao de determinados indicadores. Por exemplo, um indicador de impacto s pode
mostrar seu sentido em investigaes de longo prazo.
Nossa experincia nesse sentido que os processos
sociais e educacionais frequentemente oferecem aos
gestores dados importantes que so como termme-

REVISTA BRASILEIRA DE EDUCAO MDICA

85

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

tros que medem os avanos ou retrocessos dos processos de interveno. Por isso, h muitas mudanas
que precisam ser acompanhadas com critrios qualitativos, pois esto em processo de acontecer. No entanto,
frequentemente no possvel medir seu impacto em
termos quantitativos. Por exemplo, no caso da avaliao de mudanas do ensino mdico tradicional para o
que utiliza mtodos de aprendizagem ativa, no bastaria saber quantos alunos e quantos mdicos foram
includos ou aderiram s atividades profissionais e
tcnicas do programa Sade da Famlia ou mesmo a
determinado treinamento para tratar uma enfermidade especfica em nvel secundrio ou tercirio. importante saber, tambm, como esse processo est sendo encaminhado, que nvel de dilogo e de reflexo
existe entre esses atores e como os estudantes esto se
apropriando do conhecimento, das dvidas e das crticas que toda interao humana compartilhada produz. E, principalmente, seria preciso criar indicadores
que respondessem sobre em que medida os processos
de mudana iniciados esto sendo institucionalizados,
deixando para trs prticas arcaicas. Nesse particular,
a sociologia nos diz que a questo mais problemtica
de qualquer mudana o seu processo de incorporao s rotinas institucionais.
Construo de Indicadores Qualitativos
Esforos diversificados vm sendo feitos para aprimorar
o desenvolvimento de indicadores no mbito da abordagem
qualitativa. A tentativa de insero de elementos subjetivos,
tendo em vista as teorizaes que mostram a importncia do
envolvimento dos diferentes atores na produo do processo
e dos resultados, vem acompanhando o prprio desenvolvimento desse conceito cientfico, cuja finalidade primeira aumentar a validade dos parmetros de anlise. H pelo menos
duas linhas de abordagem nessa forma de construo. Uma
proveniente da lgica quantitativa, e outra especificamente
marcada pela fundamentao hermenutica.
Construo de indicadores qualitativos por estratgias
quantitativas A busca de mensurar valores, opinies, relaes e vivncias intersubjetivas bastante antiga no campo
das Cincias Sociais. Desde 1920, diversas escalas tm sido
criadas. Assis et al.11 citam as seguintes:
A de distncia social, de Bogardus13, que solicita ao
entrevistado para estabelecer uma hierarquia de intimidade e convivncia social que ele estaria disposto a
ceder para pessoas de outras nacionalidades, raas ou
etnias.

A de Thurstone14, que se baseia em questionrios do

tipo concordo ou discordo de certas afirmaes
cujos resultados sero submetidos a especialistas no
tema estudado e que definiro as tendncias comportamentais, das mais radicais e neutras s mais conservadoras.
A de Lickert15, que estabelece o mesmo procedimento
da escala de Thurstone, mas substitui o grupo de especialistas por um grupo social com as mesmas caractersticas.
Os escalogramas de Guttman16, que seguem a mesma lgica da escala de Bogardus e estudam as concordncias entre as respostas, criando-se um perfil de
comportamento em relao tolerncia e aceitao de
outros grupos tnicos.
E a proposta sociomtrica de Moreno17, capaz de estabelecer um sociograma, isto , uma representao
diagramtica dos sentimentos de atrao ou repulsa
entre pessoas de determinado grupo.
A maioria desses instrumentos foi produzida entre os
anos 1920 e 1930. Todos os seus organizadores atribuam valor
numrico ou ordenao percentual a respostas sobre atitudes
e comportamentos frente a situaes reais ou hipotticas18.
Tais dispositivos seguiam os mesmos modelos de anlise qualitativa desse perodo histrico, os quais so intensivamente
analisados por Lazarsfeld & Baron19, evidenciando a lgica do
pensamento estatstico que os preside em suas preocupaes
epistemolgicas e metodolgicas: (a) construo de amostras
reunidas de maneira sistemtica; (b) busca de validao dos
procedimentos de coleta de dados e de resultados; (c) criao
de codificadores para medir regularidades; (d) utilizao de
anlise de frequncia como critrio de objetividade e de cientificidade; (e) construo de dispositivos para medir validade,
fidedignidade e produtividade da anlise6.
Um exemplo bastante conhecido de avaliao qualitativa
pela lgica quantitativista a que analisa programas e servios
por meio do chamado indicador de satisfao do usurio.
Nesse dispositivo, os pesquisadores buscam expressar um
quantum de contentamento sobre relaes travadas com os profissionais, informaes recebidas e eficcia ou competncia da
ao dos profissionais para atender s necessidades do cliente.
Convencionou-se denominar mensurao de atitudes
ou escalas de atitudes a referida linha de investigao avaliativa qualitativa que utiliza instrumentos e resultados tpicos da abordagem quantitativa. Apesar de serem uma frmula
muito antiga de estudo de percepes e subjetividade, as escalas que quantificam atitudes e comportamentos continuam

REVISTA BRASILEIRA DE EDUCAO MDICA

86

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

por reduzir a questo da singularidade e da individualidade a

uma srie de proposies estabelecidas pelo pesquisador. Aparentemente considerados objetivos, em geral os indicadores
estabelecidos em escalas permanecem externos aos sujeitos investigados. Por exemplo, uma escala de satisfao do usurio
de sade um artefato fechado que no leva em conta o grau
de conscincia de direitos por parte dos clientes. Usurios sem
acesso a nveis bsicos de cidadania, por exemplo, tendem a
assinalar maior grau de satisfao nas respostas aos questionrios, pelo simples fato de serem atendidos ou de serem ouvidos por uma assistente social, uma diretora ou um mdico.
No mesmo sentido, Williams20 ressalta que a quantificao do
qualitativo sob a forma de surveys empobrecedora, pois no
leva em considerao os critrios dos usurios quando julgam
a ateno recebida, como, por exemplo, seus problemas socioculturais, de gnero e tnicos, entre outros.
No pretendo aqui fazer uma crtica destrutiva a respeito
das escalas, mas apenas ressaltar que o tipo de informao que
podem gerar est vinculado filosofia que as fundamenta.
Sua limitao precisa ser levada em conta por pesquisadores
das reas de psicologia, sociologia, da rea de epidemiologia
e da avaliao que fazem rotineiro uso delas para enfatizar
percepes, sentimentos e reaes dos indivduos em relao
a atributos pessoais, como autoestima e depresso; ou sociais,
como caso da avaliao de qualidade de vida. Considero que
haveria um enriquecimento muito grande desses pesquisadores se buscassem se aproximar do universo cultural dos atores
que avaliam.
Construo de indicadores qualitativos por estratgias
qualitativas Chamo de indicadores qualitativos propriamente ditos os que expressam a voz, os sentimentos, os pensamentos e as prticas dos diversos atores que compem o universo de uma pesquisa ou de uma avaliao6. Eles evidenciam
a adoo ou a rejeio de certas atitudes, valores, estilos de
comportamento e de conscincia10 e se fundamentam na necessidade de ressaltar as dimenses das relaes vividas intersubjetivamente, entendendo que elas fazem parte de qualquer
processo social e o influenciam.
Para construir indicadores qualitativos, importante assumir sua natureza hermenutica21-23. Ou seja:
A origem da produo de indicadores deve ser a realidade emprica e concreta (no caso, a dinmica das
escolas mdicas). Os indicadores no devem ser colocados como um produto a ser provado pela realidade
e, sim, a partir da realidade social para a construo
do sistema de indicadores de sade.
preciso entender que os atores sociais, ao se comunicarem sobre qualquer assunto do mundo da vida,

o interpretam e julgam a partir de um estoque de referncias, como classe, gnero, grupo de pertinncia,
etnia, idade e funo social, entre outros24.
Igualmente, os pesquisadores que analisam tais interpretaes (como construto de segunda ordem, como
diria Shutz24) devem se colocar dentro do processo de
construo da realidade, buscando valorizar a relao
entre observador e observado que convivem no mesmo tempo histrico e esto marcados por diversos fatores sociais comuns25.
Geralmente no vamos encontrar listagens de indicadores qualitativos, pois, diferentemente das escalas de
mensurao, esses so construdos com os prprios
atores que fazem parte do estudo avaliativo e, a no
ser em casos culturais mais ou menos homogneos,
no podem e no devem ser replicados.
As tcnicas mais comuns para construo de indicadores
qualitativos so: Grupos Focais, Delphi e Grupos Nominais.
Mas muitas outras, como a tcnica de narrativa, costumam ser
utilizadas, e neste texto apresento um exemplo a respeito.
Grupos Focais Por grupos focais, como o prprio nome
indica, entendemos um dispositivo para aprofundar o significado de determinado tema. Vrios autores coincidem em
que grupos focais como uma tcnica de pesquisa qualitativa
derivada das entrevistas grupais so organizados para coletar
informaes por meio das interaes frente a um tpico especfico sugerido por um pesquisador que ao mesmo tempo
coordenador ou moderador do grupo.
Relegada a segundo plano durante dcadas, a partir de
1980 a tcnica dos grupos focais passou a ocupar um lugar
fundamental em investigaes qualitativas no campo social,
cultural, psicolgico, organizacional, educacional e da avaliao. O foco da reflexo aprofundado pelas opinies surgidas
no prprio grupo, a partir do jogo de influncias mtuas que
emergem entre os participantes e se desenvolvem no contexto
das interaes. Ou seja, o grupo permite manifestar divergncias, explicitar e defender pontos de vista, mas tambm mudar
de opinio. Geralmente, quando utilizados para a construo
de indicadores, os grupos focais so encaminhados para consensualizar temas-chave que posteriormente so analisados
pelo investigador e transformados em dispositivos balizadores da realidade.
A organizao de um grupo focal segue mais ou menos a
seguinte orientao: o coordenador, tambm chamado moderador, esclarece aos participantes o motivo da pesquisa e qual
o tema-chave que pretende colocar em discusso. A seu lado
deve estar um relator que toma nota de todos os detalhes da

REVISTA BRASILEIRA DE EDUCAO MDICA

87

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

reunio, a grava ou a filma (com o consentimento dos participantes), deixando o coordenador com tempo e tranquilidade
suficientes para ouvir e encaminhar as discusses.
Um bom grupo focal no deve ter mais que seis a oito
pessoas, para que todos tenham possibilidade de se expressar,
debater e defender suas idias. As regras bsicas de funcionamento dos grupos focais, a serem combinadas de antemo
com os participantes, so: (1) solicitar que apenas uma pessoa
fale de cada vez; (2) evitar discusses paralelas, para que todos
possam participar; (3) pedir que cada um fale livremente o que
pensa; (4) evitar que alguns participantes dominem a discusso e (5) manter a ateno de todos voltada para a temtica em
questo. Alm de garantir essas regras, o coordenador deve
estar atento para que o grupo no se disperse, introduzindo
perguntas que possam aprofundar o assunto e esclarec-lo o
mais adequadamente possvel.
Tcnica Delphi Essa tcnica pode ser caracterizada como
uma estratgia para estruturar o aperfeioamento de instrumentos de pesquisa ou dos resultados das anlises. Geralmente, para participar, so convocados pesquisadores ou especialistas no assunto. Muito utilizada nas pesquisas avaliativas,
essa tcnica pode apresentar-se de vrias formas. o caso de
um grupo de especialistas que se rene para ler, criticar e sugerir sobre determinado material anteriormente preparado,
com a finalidade de refinar, adequar e dar qualidade ao que
foi construdo por um pequeno grupo ou por uma pessoa.
O uso mais comum da tcnica Delphi, no entanto, tem sido
mais individualizado. Um grupo de pesquisa ou um pesquisador elabora um texto, contendo um conjunto de indicadores
que julga serem fundamentais para determinada avaliao e
compartilha sua verso preliminar com os melhores especialistas sobre o assunto. O demandante pede a colaborao para
leitura e crtica, dando aos colaboradores um prazo para correo, acrscimos e supresses. Ao receber as respostas, cabe
ao pesquisador ou ao grupo de investigao a incorporao
das sugestes e a sntese das contribuies. Essa tcnica tem
um valor fundamental para validao tanto de instrumentos
como de resultados de investigao. A base da tcnica Delphi
o reconhecimento da superioridade do juzo de pessoas experientes em relao ao juzo individual ou de um pequeno
grupo. preciso ressaltar que, quando falamos aqui de especialistas, no estamos nos referindo necessariamente a ttulos.
Por exemplo, um mdico do servio de ateno bsica dedicado e experiente em relao orientao dos alunos pode ser
um excelente colaborador para pensar indicadores de avaliao dos cenrios da prtica, junto com os pesquisadores.
Grupo Nominal A tcnica de grupo nominal26 bastante usada em processos de tomada de deciso operacional e

tambm para construo de indicadores. A expresso grupo

nominal utilizada para designar o fato de que cada pessoa
convidada a participar de uma discusso mediada por essa
tcnica trabalhar, inicialmente, com um nome ou com uma
palavra na qual colocar toda a fora de sua idia a respeito
do tema em pauta. Essa a parte mais importante do trabalho, que em seguida ser socializado dentro do grupo, que no
deve ultrapassar dez pessoas.
A conduo do grupo nominal poderia ocorrer da seguinte forma: a coordenao distribui a cada participante uma caneta e uma folha de papel, solicitando que responda a determinada pergunta por escrito. Por exemplo: na construo de
indicadores de avaliao das escolas mdicas, que tema voc
considera que definitivamente no pode faltar? Coloque-o
em apenas uma palavra. So concedidos mais ou menos trs
minutos para a resposta. Uma vez que, a partir da demanda
do investigador, cada pessoa escreveu a palavra que sintetiza
sua idia, inicia-se a segunda etapa: sob a coordenao do pesquisador, cada um vai dizendo a sua palavra, que imediatamente escrita num quadro ou projetada em datashow. Num
terceiro momento, abre-se tempo suficiente para que cada um
aprofunde o sentido da palavra que escolheu. A experincia
mostra que, geralmente, ocorrem repeties de palavras ou de
sentidos, o que muito bom porque demonstra que existem
consensos em relao aos temas-chave. Aos poucos, o coordenador vai conduzindo o grupo para resumir seu pensamento
em torno de um nmero pequeno de temas.
preciso ficar claro que um grupo nominal ou focal ou
a tcnica Delphi no tm como obrigao construir indicadores. Essa uma tarefa terica do pesquisador ou do grupo
de pesquisa, que, no entanto, pode ter seu trabalho altamente potencializado se ouvir os diferentes atores envolvidos no
processo ou especialistas que tm experincia na rea. O que
os participantes oferecem so temas cruciais que precisam ser
transformados em indicadores.
Indicadores qualitativos, portanto, devem ser construdos
de forma participativa e considerados como balizas avaliativas, que permitem mapear com mais profundidade a natureza das mudanas ocorridas e em processo27. Reforando esse
princpio, Demo28 ressalta que a participao dos sujeitos
essencial para a construo de indicadores, pois a participao poltica no cotidiano o cerne da dimenso humana de
qualidade, da capacidade de se autogerir, da criatividade que
desenha caminhos futuros, da autodeterminao e da autopromoo dos sujeitos.
Existem muitos investimentos na construo de indicadores analisveis por mtodos tipicamente qualitativos. Darei
dois exemplos nesse sentido.

REVISTA BRASILEIRA DE EDUCAO MDICA

88

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

O primeiro, bastante elucidativo, fala da construo de

indicadores qualitativos para avaliao do programa Family Resource Programs, do Canad, que mantm 2 mil projetos
comunitrios. Os avaliadores criaram indicadores utilizando
narrativas das famlias assistidas29 a partir de histrias individuais. Na teorizao de suas tcnicas, os pesquisadores apresentam o movimento em que falas individuais so agrupadas
em cdigos, subcdigos e temas de anlise, at que sejam definidos os melhores indicadores a serem testados em protocolos
de investigao operacionais voltados para avaliao dos servios. O exemplo a seguir mostra a construo de um indicador baseado em falas como a dessa mulher, cujo depoimento
citado abaixo30.
O programa ajudou a que ele ficasse um pouco mais
independente e um pouco mais acostumado a lidar
com outras crianas. Isso nos deu uma chance para
entender que algumas das coisas vividas por ele iam
ser motivo para que ns fssemos capazes de ajudlo e estimular suas habilidades... Por exemplo... lidar
com nveis altos de rudo e com muitas crianas, e
ensinar que, em alguns momentos em que precisar,
ele pode achar um canto quieto, se sentar e depois
se reunir de novo com os outros. Ele agora sabe que
tem que fazer isso. A situao tambm nos permitiu
poder falar para os professores que, se comearem a
ver certos comportamentos dele, o levem para um
canto e deem alguns minutos para ele ficar quieto
(Lily).

Um cdigo foi extrado dessa fala: benefcio para a criana. Igualmente foi extrado um subcdigo: acesso a recursos
para cuidar dos filhos; e alguns temas fortes: as prticas e
experincias de engajar famlias e de empoderar participantes. A partir do depoimento de Lily, os autores elaboraram
dois indicadores: (1) meu filho est pronto para a escola por
causa do Programa Comunitrio; (2) eu sou capaz de pedir aos
professores para ajudarem meu filho.
Os dois indicadores criados, segundo seus autores, serviram de base para a construo de roteiros testados nos servios de todo o Canad, visando implementar tecnologias (soft)
de avaliao em nvel nacional, baseadas na experincia dos
participantes.
Outra tentativa importante a experincia avaliativa do
Centro Latino-Americano de Estudos sobre Violncia e Sade
(Claves), densamente narrada no livro Avaliao por triangulao de mtodos6. Essa obra condensa as experincias
tericas do grupo nos ltimos anos6,25,31,32, ao mesmo tempo
em que mostra como, na prtica, a avaliao foi realizada.
Geralmente, nas pesquisas citadas, todos os atores interessa-

dos no processo so chamados a participar na construo de

indicadores. Com eles so trabalhadas diversas tcnicas para
aflorao dos temas relevantes, sobretudo as de grupo focal
e de grupos nominais. A experincia do Claves mostra que
quanto mais atores participam na construo dos instrumentos que balizam as avaliaes, mais possvel ter legitimidade e consenso na apresentao dos resultados parciais e finais
do trabalho.
Validade interna e externa dos indicadores qualitativos
Por se tratar de uma abordagem de compreenso da experincia a partir tanto do aporte de especialistas como do senso
comum e do julgamento dos atores, uma das questes crticas que se coloca frequentemente ao investigador o grau de
confiabilidade e validade dos indicadores qualitativos. Para
alguns autores, no cabe falar em confiabilidade, pois as percepes e as relaes sociais, objetos desse tipo de operao,
so dinmicas e impossveis de serem repetidas em sua integralidade, alm de serem fruto do caminho interpretativo,
eminentemente intersubjetivo.
Minayo23, em O desafio do conhecimento, mostra que
o maior consenso hoje existente entre os estudiosos sobre a
confiabilidade e a validade dos dados qualitativos o que se
forma por meio da intersubjetividade, pelo julgamento dos
pares e pelo reconhecimento dos participantes sobre o sentido e a veracidade da anlise. Gadamer21 fala exatamente
o mesmo quando trata da validade na relao intrnseca entre investigador e investigado (avaliador-avaliado). Em suas
palavras, o estudo vlido quando os investigados compartilham com o investigador a veracidade e o sentido dos resultados.
Por isso, como lembram Minayo23 e Demo28, preciso investir na objetivao, por meio de estratgias mltiplas. Entre
estas, destacamos: (a) o cuidado permanente e compartilhado
de discusso e troca entre os pares sobre a pertinncia de determinados indicadores e procedimentos; (b) O rigor tericometodolgico em relao definio do objeto, dos pressupostos ou hipteses, dos instrumentos conceituais e de campo
e da anlise do material recolhido. Demo28 lembra, porm, que
os critrios de coerncia, consistncia, originalidade e objetivao so o marco da crtica interna de qualquer investigao
cientfica e no apenas do processo de produo da pesquisa
qualitativa; (c) A triangulao como esforo de comunicao
entre pessoas, conceitos, abordagens e elaborao de resultados. A triangulao, assim pensada e praticada, oferece mais
confiabilidade aos dados e s anlises.
Especificamente em relao confiabilidade externa, em
que diferentes pesquisadores deveriam encontrar os mesmos
resultados investigando o mesmo tema, necessrio ter em

REVISTA BRASILEIRA DE EDUCAO MDICA

89

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

conta que as investigaes qualitativas no buscam homogeneidades, mas, sim, diferenciaes e especificidades. A elas no
se aplica o critrio quantitativo de comparabilidade, cuja raiz
epistemolgica a observao das regularidades nos fenmenos sociais, tpica do mtodo positivista23. Porm, nada impede
que existam indicadores qualitativos capazes de expressar tanto expresses coletivas como especficas e diferenciadas.
Em outras palavras, a validade externa pretendida dentro
da perspectiva qualitativa a que se refere possibilidade de
gerao de conhecimentos que contribuam para o aprofundamento conceitual ou analtico, por meio da elaborao de
tipificaes ou de lgicas culturais. Esses achados permitem
a melhor compreenso do grupo estudado e o refinamento de
categorias empricas que podem ser utilizadas em estudos de
outros grupos sociais e de instrumentos padronizados21, como
a pretenso do esforo canadense tratado acima.
Em relao ao incremento da confiabilidade interna, em
que diferentes pesquisadores envolvidos no mesmo estudo
concordam entre si em suas anlises, privilegiamos algumas
iniciativas: (a) constante troca de impresses e informaes entre os pesquisadores, visando a interpretaes consensuais; (b)
checagem da adequao das impresses obtidas no trabalho de
campo com os atores, interlocutores e participantes do processo de pesquisa; (c) descrio de situaes e relatos verbais sem
muitas interpretaes a priori do pesquisador; (d) anlise em
que se busque a lgica interna e hermenutica do grupo23; (d)
exame do produto final da pesquisa pelos mesmos pares e atores que ajudaram a construir os instrumentos6,27,33. No entanto,
lembra Popper34 em relao a qualquer tipo de estudo, seja ele
qualitativo ou quantitativo, os critrios tradicionais de validade do conhecimento precisam ser relativizados, pois nenhuma
hiptese verificvel, uma vez que a acumulao de casos afirmativos no pode garantir uma generalizao terica.
CONSIDERAES FINAIS
Em sntese, a validade dos estudos de avaliao qualitativa
concebida no como um dispositivo que espelha a realidade
e sim como uma produo reflexiva, em que o observador
parte e parcela do contexto e da cultura que busca entender e
representar. Mais validade interna de uma pesquisa qualitativa pode ser obtida quando as categorias conceituais empregadas tm significado mtuo e partilhado entre os participantes
e o pesquisador. Para tanto, alguns fatores so fundamentais:
tempo, pois, quando o processo e as mudanas so focalizados,
o fenmeno observado pode no se manter constante; variaes nos informantes selecionados, que podem agir de forma
diferente e demonstrar interpretaes diferenciadas sobre os
vrios aspectos em questo; diversidade de informantes, o que

amplia a variedade de informaes; ocorrncia de eventos-limite que podem mudar o convvio e o cotidiano do contexto
sob observao.
REFERNCIAS
1. Nisbet RA. Social Change and History. New York: New
York University Press;1969.
2. Rocher G. Le changement social. Paris: ditions de Seuil;
1970.
3. Tourraine A. Crtica de La Modernidad. Mxico: Fondo de
Cultura Econmica; 1995.
4. Terrn E. Posmodernidad, legitimidad y educacin. Educacin & Sociedad. 20(67):10-26; 1999.
5. Atlan H. Entre o cristal e a fumaa: ensaio sobre a organizao dos seres vivos. Rio de Janeiro: Zahar; 1992.
6. Minayo MCS, Assis SG, Souza ER, (Org.). Avaliao por
triangulao de mtodos: abordagem de programas sociais. Rio de Janeiro: Ed. Fiocruz; 2005.
7. Contandropoulos AP, Champagne F, Denis JL, Pineault T.
Avaliao na rea de sade: conceitos e mtodos. In: Hartz,
ZMA (Org.). Avaliao em sade: dos modelos conceituais
a prticas da implantao de programas. Rio de Janeiro:
Ed. Fiocruz; 1997. p.28-48.
8. Organizao para a Cooperao e o Desenvolvimento
Econmico. Knowledge and Skills for Life. Paris: OECD;
2001.
9. The International Standard Organization. The ISO Standards Glossary/ISO; 1998.
10. Valarelli LL. Indicadores de resultados de projetos sociais.
2004. [online]. [Acesso em: 16 jun.2004]. Disponvel em:
http://www.rits.org.br/gesto
11. Assis SG, Deslandes SF, Minayo MCS & Santos NC. Definio de objetivos e construo de indicadores visando triangulao. In: Minayo MCS, Assis SG, Souza ER
(Org.).Avaliao por triangulao de mtodos: abordagem
de programas sociais. Rio de Janeiro: Ed. Fiocruz. p.105131.
12. Aguilar MJ, Anger-Egg E. Avaliao de servios e programas sociais. Petrpolis: Vozes; 1994.
13. Bogardus E. Distncia social na cidade. In: Pierson D (Org.).
Estudo de Organizao Social. So Paulo; 1970. p.38-52.
14. Thurstone LL. Attitudes can be measured. American Journal of Sociology. 1928;33: 529-44.
15. Likert R. A Technique for the measumerement of attitudes.
Archives of Psychology. 1932;140:1-55.
16. Guttman L. The problem of attitude and opinion measurement: the basis for scalograma analysis. Measurement and
Prediction. Princeton:Princeton University Press; 1950.

REVISTA BRASILEIRA DE EDUCAO MDICA

90

33 (1 Supl. 1): 83-91; 2009: 83-91

Maria Ceclia de Souza Minayo

Indicadores de Avaliao para Mudana

17. Moreno JL. Fondaments de la sociomtrie. Paris: Presses

Universitaires de France; 1954.
18. Osgood C.E. The measurement of meaning. Illinois: University of Illinois; 1957.
19. Lazarsfeld P, Barton AH. Qualitative measurement in the
social sciences: classification, typologies and indices. In:
Lerner D, Lasswell HD (Ed.). The policy sciences. Stanford: Stanford University Press; 1951. p.155-92
20. Williams B. Patient satisfaction: a valid concept? Soc. Sci.
Med. 1994;38(4):509-516.
21. Gadamer H. Verdade e mtodo. Petrpolis: Vozes; 1999.
22. Minayo MCS. Hermenutica-Dialtica como caminho do
pensamento social. In: Minayo MCS, Deslandes SF (Org.).
Caminhos do Pensamento. Rio de Janeiro: Ed. a Fiocruz;
2002. p. 83-108.
23. Minayo MCS. O desafio do conhecimento. 11. ed. So
Paulo: Hucitec; 2008.
24. Shutz AA. Common sense and Scientific Interpretations of
Human Actions. In: Colleted Papers I, 2 ed. Hague: Martiness Niphoff; 1982.
25. Minayo MCS, Deslandes SF. Anlise diagnstica da Poltica Nacional de Reduo da Morbimortalidade por acidentes e violncias. Rio de Janeiro: Ed. Fiocruz; 2007.
26. Schermerhorn JR, Hunt JG, Osborn RN.(Org.). Fundamentos de comportamento organizacional. Porto Alegre: Bookman; 1999.
27. Deslandes SF, Assis SG. Abordagem quantitativa e qualitativa em sade: o dilogo das diferenas. In: Minayo MCS,
Deslandes SF (Org.). Caminhos do Pensamento. Epistemologia e Mtodo. Rio de Janeiro: Ed. Fiocruz; 2002. p.195-226.
28. Demo P. Avaliao qualitativa. So Paulo: Cortez; 2002.
29. Family Resources Programs. Participants voices. [pgina
eletrnica]. Toronto: Ryerson University. [Acesso em: 02
dez.2008]. Disponvel em: http://www.ryerson.ca/voices

30. Silver S, Wilson S, Berman R, Salazar CC, Soklaridis S, Karim A. Program. For Narratives to Likert Scales. the long
and winding road of developing evaluation indicators
from qualitative data. In: The Tenth International Qualitative Health Research Conference. April 30-May 4, 2004.
Alberta: University of Alberta; 2004. p.39.
31. Minayo MCS, Souza ER. Misso Investigar: entre o ideal e
a realidade de ser policial. Rio de Janeiro: Ed. Garamond;
2003.
32. Minayo MCS, Souza ER, Constantino P. Misso Prevenir
e Proteger. Condies de trabalho, sade e qualidade de
vida dos policiais militares do Rio de Janeiro. Rio de Janeiro: Ed. Fiocruz; 2008.
33. Le Compte MD. Problems of reliability and validity in
etnographic research. Review of Educational Research.
1982;52:31-60.
34. Popper K. La logique de la dcouverte scientifique. Paris:
ditions Payot; 1973.
CONFLITOS DE INTERESSE
Declarou no haver
ENDEREO PARA CORRESPONDNCIA
Maria Ceclia de Souza Minayo
Fundao Oswaldo Cruz, Escola Nacional de Sade
Pblica, Srgio Arouca Claves.
Av. Brasil, 4036 sala 700 Manguinhos
CEP. 21040-361 Rio de Janeiro RJ
E-mail: ceclia@claves.fiocruz.br

REVISTA BRASILEIRA DE EDUCAO MDICA

91

33 (1 Supl. 1): 83-91; 2009: 83-91