You are on page 1of 9

Mtodos Avanados de Investigao

2 Ciclo em Psicologia

TEXTO DE APOIO
Procedimentos de construo de um instrumento psicolgico de medida

Etapas no desenvolvimento de instrumento psicomtrico


(adaptado de Almeida & Freire, 2008 e de Brown, 1976)

Especificao do objetivo do
instrumento

Operacionalizao

Reviso da literatura

Definio do construto

Populao alvo

Elaborao dos itens e sua


reviso
Anlise e seleo dos itens
(anlises qualitativas e
quantitativas)

Elaborao da verso final


do instrumento
Redao das instrues

Padronizao dos
procedimentos de
administrao e cotao
Aplicao do instrumento a
uma amostra alargada

Anlise psicomtrica do
instrumento (sensibilidade,
fiabilidade, validade, aferio)

Qualquer instrumento de medida psicolgica, seja um teste, um inventrio, uma grelha de entrevista, pode definir-se como um
conjunto de itens, questes ou situaes, mais ou menos organizado, representativo do construto que se pretende avaliar.

Mtodos Avanados de Investigao


2 Ciclo em Psicologia

Fase 1 Especificao do objetivo do instrumento


A construo de uma prova ou situao de avaliao inicia-se pela especificao dos objetivos do instrumento que se pretende
construir:
 O que se vai avaliar? Trata-se de uma prova para avaliar comportamentos, conhecimentos e/ou competncias ou outros
constructos internos (atitudes, traos, crenas)? Que conceito se pretende avaliar? Qual a sua dimensionalidade?
 Para que se vai avaliar? Pretende-se avaliar diferenas individuais ou selecionar casos especficos de uma populao?
Pretende-se fazer um despiste (por exemplo, screening) ou uma avaliao profunda? Pretende-se avaliar para intervir ou
avaliar uma interveno? Estas questes podem determinar a dificuldade dos itens ou a extenso com que se abrange o
construto em causa.
 Quem vai ser avaliado? Caracterizar a populao a que se destina a prova. Testes para crianas ou para populaes
especiais devero ter uma linguagem especfica.

Fase 2 Operacionalizao
Nesta fase procura-se chegar a uma definio do constructo. Precisar o constructo a avaliar ou os contextos e os comportamentos
manifestos a observar requer uma reviso da literatura sobre a dimenso psicolgica que se pretendem avaliar.
O objetivo da operacionalizao , para alm da definio clara do constructo em estudo, chegar sua definio operacional
atravs do conjunto de itens a incluir no instrumento (definir as tarefas, afirmaes ou comportamentos a integrar no instrumento e
que iro servir para avaliar construto).
Formulao dos Itens
A construo de uma prova psicolgica inicia-se pela formulao de um conjunto de itens (aqui tomados em sentido lato).
Os itens so amostras representativas de situaes que se sabem ter potencial para evocar o construto psicolgico em causa. A
operacionalizao do construto em sucessivos nveis de aproximao ao comportamento manifesto permite-nos a formulao do
conjunto inicial de itens da prova.
Construto Definio operacional Itens
Decises prvias:

Optar por um instrumento uni ou multidimensional, dependendo da natureza do construto a ser avaliado.

Decidir qual o modelo mtrico subjacente ao instrumento (Guttman, Thurstone, Likert, IRT).

Decidir a dimenso da verso definitiva do instrumento (sugere-se 20-25 itens).

Decidir o grau de dificuldade ou de intensidade dos comportamentos expressos nos itens do instrumento, atendendo aos
sujeitos e aos objetivos a que se destina.

Tipo de avaliao pedida em cada item (concordncia, veracidade, intensidade, frequncia, tipicidade, importncia).

Decidir a escala de resposta (unipolar ou bipolar, dicotmica, escala visual analgica, escala com n par ou mpar de
nveis, resposta por escolha mltipla, etc.).

Mtodos Avanados de Investigao


2 Ciclo em Psicologia

Decidir a forma como vai ser feita a sua aplicao aos sujeitos (por exemplo, autoadministrado ou aplicao individual
ou coletiva por um tcnico)

Estes aspetos devem ser especificados de antemo, de modo a garantir que aquilo que o investigador pretende avaliar com a
prova corresponde ao que ela vai realmente medir (e.g., os sujeitos podem interpretar o teste e dar as suas respostas tomando
referenciais diferentes do autor).
Princpios gerais a considerar na formulao dos itens:
o

Pensar cuidadosamente sobre o objetivo de cada item a inserir no instrumento (que informao se pretende solicitar?);
se o investigador no tiver claro que informao pretende do respondente, dificilmente este ser capaz de fornec-la.

Obter itens relevantes para o domnio e objetivo da avaliao a tarefa pedida (item) deve estar relacionada e ser
relevante para a dimenso a avaliar; trata-se de apreciar a pertinncia, saturao, dimensionalidade ou correspondncia
entre o item e a caracterstica psicolgica ou educacional a avaliar.

Excluir itens que no solicitem o tipo de informao pretendido.

Formular itens que abarquem toda a amplitude do domnio que se quer avaliar (tanto em termos conceptuais como em
termos de dificuldade/intensidade).

Respeitar o critrio de credibilidade para evitar atitudes desfavorveis ao teste, os itens devem ser credveis; a falta de
credibilidade pode afetar a atitude do respondente, afetando consequentemente a validade do teste.

Ser claro prende-se com a inteligibilidade tanto do item como da ideia por ele expressa:
 simplicidade na formulao do item: a clareza est inversamente relacionada com a extenso do item;
 A situao ideal a correspondncia um item uma tarefa uma ideia; assim, cada item deve ter apenas uma
afirmao;
 Quanto mais literria e sofisticada for a redao de um item, menos claro poder ser o seu significado; evitar
sintaxe complexa (por exemplo, muitos alunos tm maus resultados, no por no serem inteligentes, mas por
terem problemas em casa);
 Ateno ao vocabulrio: muitas pessoas tm habilitaes escolares restritas, pelo que nos devemos considerar
como referncia o nvel mais baixo, mas tendo o cuidado de garantir a credibilidade dos itens;
 Itens que utilizam conjunes (e, ou, mas, nem, tambm, etc.) e combinaes de conjugaes podem
promover a ambiguidade (por exemplo, tenho frequentemente dores de cabeas e de estmago);
 Evitar duplas negaes (por exemplo, no tomo medicamentos que no tenham sido receitados pelo mdico)
 Evitar perguntas duplas (por exemplo, sabe se pode recorrer ao Centro de Sade mesmo sem carto? que
significa a resposta No?)
 Evitar itens no neutros, que s refiram uma posio, contenham informao persuasiva, adjetivos quantitativos,
possibilidades de respostas estereotipadas, solicitem posies socialmente desejveis, solicitem concordncia
com determinado pressuposto.

Decidir se se devem incluir itens com contedo semntico invertido (por exemplo, formulados na negativa); muitas vezes
o seu contedo no semanticamente equivalente, pois pode no ser claro o que inverso (por exemplo, qual o
inverso da afirmao Tenho vrias qualidades positivas?).
3

Mtodos Avanados de Investigao


2 Ciclo em Psicologia

Na formulao dos itens, a consulta de outros instrumentos j construdos sobre o mesmo constructo revela-se fundamental.
Pode-se realizar tambm a consulta da populao-alvo (por exemplo, por entrevista) e/ou de especialistas e profissionais do
domnio em questo, de modo a adequar os itens s situaes que se pretendem avaliar.
Importa assegurar uma convergncia de opinies, e embora isso dependa dos objetivos de cada instrumento, torna-se
fundamental conseguir uma complementaridade entre teoria e prtica.
Por norma, o conjunto inicial de itens dever ter o dobro do nmero desejado de itens para a verso final do instrumento.

Modalidade de resposta:
muito frequente utilizar uma escala de avaliao para responder aos itens; existem vrios tipos de alternativas que podem ser
utilizados para o efeito, cada uma delas com vantagens e limitaes.
o

Pensar no que vai ser avaliado em cada item (concordncia, intensidade, frequncia, veracidade, tipicidade,
importncia) e redigir os itens em conformidade. Evitar confuses na dimenso em avaliao (por exemplo, o item
Est muito satisfeito com o seu emprego? poder confundir a avaliao da intensidade da satisfao com a sua
frequncia).

Optar entre escalas referenciadas (com etiquetas verbais), escalas numricas (em que os extremos podem ter ou no ter
etiquetas verbais e os restantes nveis so apenas numerados), escalas analgicas (em que o respondente tem de se
situar numa linha contnua), resposta por escolha mltipla (o nveis de resposta caracterizam-se por ser comportamentos
qualitativamente distintos, podendo ser uma alternativa s respostas abertas).
As escalas referenciadas so preferveis s numricas, pois no h garantia de que os diferentes respondentes
interpretem da mesma forma os nmeros que caracterizam os nveis de resposta (apesar de tambm no haver garantia
que interpretem as etiquetas verbais da mesma forma). No entanto, nem sempre possvel encontrar etiquetas verbais
adequadas para descrever de forma equilibrada os diferentes nveis da escala.
As escalas puramente numricas (sem referencial verbal) ou apenas com referncias verbais nos extremos so de evitar
com populaes de baixa escolaridade ou pouco habituadas a responder a questionrios.

Pensar nas etiquetas verbais associadas (geralmente s existe etiquetas para escalas com cinco nveis) e no misturar
etiquetas de domnios diferentes (por exemplo, s vezes com muito).
Seguem-se alguns exemplos de escalas de resposta, com as respetivas etiquetas verbais:
Respostas sobre concordncia
Discordo totalmente
Discordo
1

Respostas sobre intensidade/quantidade


Nada
Pouco
1
2

Nem concordo, nem


discordo
3

Concordo

Concordo totalmente

Mdio
3

Bastante
4

Muito
5

Mtodos Avanados de Investigao


2 Ciclo em Psicologia
Respostas sobre frequncia
Nunca
1

Raramente
2

Respostas sobre qualidade / avaliao


Muito mau
Mau
1
2

s vezes
3

Frequentemente
4

Sempre
5

Razovel
3

Bom
4

Muito bom
5

Ateno: no confundir o ponto mdio das escalas de concordncia ou de qualidade com a alternativa No sei

Decidir o nmero de nveis de resposta (depende do modelo mtrico subjacente ao instrumento, do objetivo da pergunta,
da forma como esta est redigida, da populao alvo)
 Escalas dicotmicas adequadas sobretudo quando se pedem respostas factuais e s h duas respostas possveis
(por exemplo, Conheo Paris Verdadeiro ou Falso); pouco adequada para a mediao de construtos psicolgicos,
pois pouco informativa e os respondentes consideram permitir pouca margem de expresso.
 Escalas com trs nveis podem ser utilizadas com crianas ou respondentes com baixa escolaridade (por
exemplo, Nunca, s vezes, Sempre), mas so pouco informativas e a gama de expresso restrita (os
respondentes podem sentir que no esto a conseguir expressar a sua opinio por haver poucos nveis de
resposta).
 Escalas com cinco nveis as mais utilizadas e considerado o nmero mnimo de nveis defensvel num
instrumento psicolgico.
 Escalas com sete nveis podem ser utilizadas com nveis de escolaridade mais elevados,
 Raramente se utilizam escalas com mais de nove nveis.

Decidir se se utiliza um nmero par ou mpar de alternativas


Perante um nmero mpar de respostas alternativas, muitos inquiridos podem ter a tendncia para dar uma resposta
conservadora e assinalarem o nvel mdio da escala, pensando que mais seguro no dar uma opinio forte (nem
positiva nem negativa). Esta tendncia est particularmente associada a itens sensveis sobre atitudes, opinies ou
satisfaes (assuntos ntimos e potencialmente embaraosos, ou perguntas que o respondente pensa que pode estar a
correr um risco se der uma resposta especfica).
Um nmero par de respostas alternativas obriga os respondentes a posicionar-se de forma positiva ou negativa. No
possvel tomar uma posio neutra, mesmo que essa seja realmente a opinio do inquirido seja verdadeiramente neutra
(portanto, um nmero par de respostas alternativas pode forar a respostas erradas).

Fase 3 Anlise e seleo dos itens


Construda a primeira verso dos itens, inicia-se o processo de anlise. Vrias anlises exploratrias qualitativas e quantitativas
podem ser conduzidas nesta fase, produzindo-se reformulaes, acrescentos e eliminaes sucessivas de itens.

Mtodos Avanados de Investigao


2 Ciclo em Psicologia
Anlises Qualitativas
Este tipo de anlises pode basear-se num nmero reduzido de respondentes. Incluem-se aqui as anlises realizadas para
apreciar o contedo e a forma dos itens, nomeadamente a sua clareza, compreensibilidade e adequao aos objetivos da prova.
Pode-se recorrer a diferentes estratgias:
 Mtodo thinking aloud ou reflexo falada aplicao individual da prova e registo das verbalizaes dos inquiridos
durante o processo de resposta. Estes, instrudos para o efeito, devem comunicar as impresses em relao a cada
item, a forma como abordam e realizam, os processos utilizados e as facilidades ou dificuldades que encontram.
 Consultar especialistas ou profissionais da rea avaliada, para darem uma opinio fundamentada sobre o instrumento
(por exemplo, Tcnica Delphi).
Aspetos de interesse da anlise qualitativa:
i.

Deteo de erros na redao dos itens (ortografia, sintaxe);

ii.

Identificao de ambiguidades no formato e contedo dos itens;

iii.

Identificao dos processos e estratgias usadas pelos sujeitos nas suas respostas, para avaliar se contrariam os
objetivos da avaliao (por exemplo, as respostas podem basear-se em aspetos para os quais os itens no foram
concebidos);

iv.

Apreciao da adequao da escala de resposta utilizada (n de alternativas, etiquetas verbais);

v.

Identificao de itens que solicitem factos sensveis ou problemticos;

vi.

Identificao de aspetos peculiares/dificuldades sentidas;

vii.

Conhecimento das atitudes gerais dos sujeitos face aos itens;

viii.

Verificao dos padres especficos de realizao (reduo do vis);

ix.

Perceo de dificuldade dos itens, suficincia das instrues e do tempo requerido pela prova.

Anlises Quantitativas
Este tipo de anlises exige j uma amostra largada.
Anlises estatsticas para seleo dos itens:
i.

Apreciao da tendncia central, da disperso e da assimetria das respostas; em algumas escalas (e.g., Likert)
importante ter itens com disperso das respostas pelos nveis que a escala permite.

ii.

Avaliar dificuldade dos itens (no caso de provas que avaliem conhecimentos ou competncias); os itens de dificuldade
mdia so os que proporcionam mais variabilidade nos resultados e portanto so os mais adequados; mas tambm se
devem incluir itens fceis (para motivar o respondente) e itens difceis (para diferenciar respondentes com elevado
desempenho).

iii.

Avaliao de dados omissos (missing values) a prova deve ser homognea; itens sistematicamente no respondidos
podem estar a ser influenciados por outra dimenso psicolgica que no a que est a ser avaliada.

iv.

Apreciao da capacidade discriminativa dos itens (o resultado do item correlaciona com o total da prova ou com outros
itens correlao item-teste);

v.

Apreciao do contributo de cada item para a fiabilidade da escala total;


6

Mtodos Avanados de Investigao


2 Ciclo em Psicologia
vi.

Apreciao da validade externa do item (correlao com critrios externos, nomeadamente outras provas, notas
escolares, diagnsticos clnicos ou ndices de produtividade da empresa).

A utilizao de respostas em formato de escolha mltipla introduz o problema das respostas dadas ao acaso. Nas provas que
avaliem conhecimentos ou competncias, pode acontecer que alguns sujeitos acertem o item sem conhecer realmente a resposta
correta. No final, o seu desempenho ir traduzir, simultaneamente, a capacidade possuda e um estilo pessoal de resolver
situaes cuja resoluo no conhea em absoluto (por exemplo, um estilo mais arriscado, dando a resposta mesmo quando no
a sabe, ou um estilo conservador). Por essa razo, recomenda-se o recurso a frmulas de correo, de modo a atenuarem os
acertos devidos ao acaso (e.g., Garrett, 1962, p. 220).
Poder Discriminativo
Por poder discriminativo de um item entende-se o grau em que o item diferencia os respondentes no sentido da prova global. Por
exemplo, os sujeitos com bons conhecimentos de vocabulrio e que tenham um desempenho numa prova de vocabulrio devero
tambm devero responder de forma acertada a um item dessa prova se ele for discriminativo; pelo contrrio, sujeitos com baixo
desempenho de vocabulrio iro falhar nesse item. Se o item no for discriminativo, acertar ou errar nele relaciona-se pouco com
o desempenho total global na prova de vocabulrio ( o que acontece com itens muito fceis ou itens muito difceis).
O poder discriminativo avaliado atravs de um coeficiente de correlao (correlao item-teste, variando entre -1.0 e +1.0).
Correlaes negativas indicam que so os sujeitos com pior desempenho no teste global que melhor realizam o item em causa,
situao inversa da que se espera num teste psicomtrico. Valores de correlao item-teste prximos de .00 significam poder
discriminativo nulo.
importante referir que quando uma escala em anlise formada por um nmero reduzido de itens (por exemplo, no superior a
dez), no se deve entrar com o item em anlise no clculo das correlaes item-teste para no inflacionar os valores obtidos.
Este cuidado evita que o item contribua para a sua prpria correlao com o total da escala. Obtm-se assim um coeficiente de
correlao item-total corrigido ( um dos outputs disponveis quando se recorre ao SPSS para clculo do Alpha de Cronbach).
Sugere-se que o coeficiente de correlao do total da escala com o item nunca deva ser inferior a .20 (recomenda-se valores da
ordem .30-.40).
Quantos itens devem ser colocados na verso prvia e quantos devem ficar na verso definitiva?
No existe uma resposta segura a esta questo. Contudo, um construto necessita de vrios indicaroes para ser avaliado de forma
fivel e vlida. Considera-se que 20-25 itens o mnimo necessrio para se garantir a validade de construto (representatividade
dos itens relativamente ao conceito que pretendem avaliar) e a fiabilidade da medida compsita proporcionada pelo instrumento.

Fase 4 Elaborao da forma final do instrumento


Organizao dos Itens na Prova
Os itens a reter para a verso final da prova sero aqueles que, no quadro das anlises qualitativas e quantitativas anteriores, no
apresentaram problemas face aos objetivos da prova, sendo selecionados pelos seus melhores parmetros estatsticos e
informativos.
7

Mtodos Avanados de Investigao


2 Ciclo em Psicologia

Cuidados a ter na organizao final da prova:


Em testes de desempenho, a hierarquizao dos itens segundo o seu grau crescente de dificuldade pode ser vantajosa:
 Permite criar um clima de confiana e sentimentos de auto-eficcia por parte do sujeito no incio da prova (itens mais
fceis);
 Evita que se perda tempo e motivao com itens mais difceis, dificultando atingir itens mais fceis;
 Em testes no hierarquizados, o desempenho pode estar contaminado por caractersticas de personalidade dos
respondentes (em funo da sua maior ou menor persistncia quando confrontados com tarefas difceis, por exemplo);
 Evita que o cansao e a desmotivao, que ocorrem tipicamente na fase final da realizao das provas, afetem o
desempenho dos itens mais fceis.
Nas escalas de personalidade, de atitudes ou em questionrios de auto-conceito, a organizao dos itens deve respeitar certas
precaues, evitando o agrupamento dos itens de acordo com as especificidades do seu contedo, mesmo tratando-se de vrias
dimenses diferentes (de forma a minimizar efeitos de halo ou enviesamentos de resposta). Por exemplo, se o respondente se
apercebe que determinado bloco de itens sobre determinado tema, poder ter tendncia a responder da mesma forma a todos
os itens desse bloco (efeito de halo).
Administrao da Prova
O material
O material necessrio para aplicao da prova consiste na prova em si, na folha de respostas e eventualmente num manual (que
inclui enquadramento da prova, especifica os procedimentos de aplicao e instrues, bem como a forma como deve ser cotada
e interpretada).
O material deve estar em boas condies e ser agradvel par ao respondente.
O layout da prova deve ser cuidado, esteticamente atraente e sem erros, para transmitir confiana e motivar o respondente.
Ateno especial legibilidade dos itens (tamanho da letra, espaamento o entre itens, alinhamento com a escala de resposta)
A aplicao
A leitura das instrues, a apresentao e a resoluo dos exemplos e exerccios de treino so aspetos fundamentais a
considerar na aplicao da prova.
O esclarecimento do sujeito deve basear-se sobretudo em instrues pr-definidas e nos exerccios de treino (para garantir a
padronizao dos procedimentos), devendo ocorrer antes do incio da prova.
usual colocar-se uma pequena introduo no incio da primeira pgina do instrumento a informar o sujeito sobre o que trata a
prova que ele vai realizar, a pedir-lhe a colaborao, dando garantias de confidencialidade, bem como instrues sobre a forma
de responder. Esta introduo dever ser redigida com cuidado, pois a primeira coisa que o respondente vai ler.
Quer no formato escrito quer no formato oral, a aplicao do instrumento deve ser antecipada por uma introduo que poder
incluir os seguintes aspetos:
Um primeiro bloco onde se faz a apresentao do instrumento:
 Um pedido de cooperao no preenchimento do instrumento;
8

Mtodos Avanados de Investigao


2 Ciclo em Psicologia
 A razo da aplicao do instrumento (incluir o objetivo, a natureza e a importncia do problema, mas de forma muito
breve e clara);
 O nome da instituio envolvida no estudo (universidade, centro de investigao);
 Se o instrumento medir atitudes, opinies, satisfaes, gostos ou preferncias, til referir-se que no existem respostas
certas ou erradas;
 Uma declarao formal da natureza annima do questionrio (se for annimo) e da confidencialidade das respostas (este
esclarecimento garante, geralmente, uma maior cooperao).
Num segundo bloco, e se necessrio, devero ser dadas instrues especficas sobre a forma de responder:
 Se a resposta ao instrumento no requer muito tempo, convm que tal seja mencionado, dando-se uma estimativa
realista;
 Explicar a tarefa, indicando a dimenso que est a ser avaliada (frequncia, tipicidade, concordncia, etc.), se existe
enquadramento temporal ou contextual para essa avaliao (por exemplo, no ltimo ms, quantas vezes pensou em);
 Como responder (colocando uma cruz, por exemplo) e como corrigir erros
No final das instrues, agradecer a colaborao.
Nunca assuma que os respondentes sabem como responder s questes; d instrues e garanta sempre que foi claro. A falta de
instrues ou instrues vagas ou ambguas pem em causa o valor dos dados; logo, pe em causa o valor das concluses
tiradas a partir dos dados.
Na aplicao da prova deve-se ainda atender s condies em que a mesma vai ocorrer:
i. Condies fsicas do espao
- Luminosidade, som ambiente, outras condies ambientais que possam afetar o desempenho (por exemplo,
interrupes)
- Ergonomia do equipamento e mobilirio
ii. Condies do material e aplicao
- Qualidade do material e sua impresso
- Instrues claras e precisas
- Tempo de desempenho (tempo limite)
iii. Condies dos sujeitos
- Esclarecimento e consentimento informado
- Ansiedade bloqueante versus desafiante
- Relao com demais sujeitos e avaliador
- Bem-estar fsico e psicolgico
- Cansao e fadiga fisiolgica
- Expectativas face aos objetivos e resultados esperados.