Академический Документы
Профессиональный Документы
Культура Документы
https://doi.org/10.1590/1982-3703000208890
Resumo: O presente artigo objetiva apresentar diretrizes para a construção de testes psicológicos
considerando as recomendações do Sistema de Avaliação de Testes Psicológicos – Satepsi, a
partir da Resolução do CFP nº 009, de 25 de abril de 2018. São discutidos os principais aspectos
psicométricos considerados indispensáveis para a construção de testes psicológicos, a saber:
evidências de precisão/fidedignidade, evidências de validade, e, por fim, sistema de correção
e interpretação dos escores. Em cada uma das subseções são apresentadas brevemente as
definições e formas de obtenção dos respectivos parâmetros. Além disso, destaque foi dado às
modificações apresentadas pela Resolução nº 009/2018. Para além dos conceitos psicométricos,
a referida Resolução também destaca a justiça e proteção dos direitos humanos no processo de
avaliação psicológica. Argumenta-se que a justiça é uma questão fundamental de validade da
interpretação dos escores individuais para os usos pretendidos e requer atenção em todos os
estágios de desenvolvimento e uso de testes. Conclui-se que a nova Resolução apresenta avanços
em relação as Resoluções e notas técnicas anteriores. A partir de um contínuo aprimoramento,
o Satepsi buscou critérios psicométricos alinhados aos avanços técnicos e científicos da área.
Com isso, esperamos que a Resolução impulsione os desenvolvedores de testes a buscarem o
aprimoramento dos testes e, consequentemente, do processo de avaliação psicológica.
Palavras-chave: Testes Psicológicos, Psicometria, Validade, Fidedignidade, Normas.
Abstract: This paper is dedicated to present the guidelines on constructing psychological tests
based on the Satepsi (a Brazilian evaluation system for psychological tests), from CFP’s (Brazilian
National Council for Psychologists) Resolution No: 009/2018. We present the main psychometric
features as references for constructing tests, as follow: evidence of reliability, and validity, as well
as score standardization. In each section, we briefly describe the definition and the ways to assess
these features. Furthermore, we highlighted the modifications yielded by the new legislation No:
009/2018. Beyond the psychometrics, the CFP’s legislation also emphasizes the fairness and the
human rights on assessment. We consider the fairness as one of the main aspects for scores
interpretation, and it requires attention on all steps in using a test. We conclude the new CFP’s
legislation is more updated than the previous one. Based on a permanent attempt to enrich
the standards for testing, the Satepsi seeks for psychometric criteria aligned with the technical
and scientific improvements. We expect the CFP’s legislation propels the test developers to
constantly pursue improvements on the test and psychological assessment.
Keywords: Psychological Tests, Psychometric, Validity, Reliability, Standards.
28
Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos.
Resumen: El presente artículo tiene como objetivo presentar directrices para la construcción de
pruebas psicológicas considerando las recomendaciones del Sistema de Evaluación de Pruebas
Psicológicas - Satepsi, a partir de la Resolución del CFP nº 009, del 25 de abril de 2018. Se discuten
los principales aspectos psicométricos considerados indispensables para la construcción de
pruebas psicológicas, a saber: evidencias de precisión/fiabilidad, evidencias de validez, y, por
último, sistema de corrección e interpretación de los escores. En cada una de las subsecciones
se presentan brevemente las definiciones y formas de obtención de sus parámetros. Además,
se destacó la modificación presentada por la Resolución 009/2018. Además de los conceptos
psicométricos, la referida Resolución también destaca la justicia y protección de los derechos
humanos en el proceso de evaluación psicológica. Se argumenta que la justicia es una cuestión
fundamental de validez de la interpretación de los escores individuales para los usos pretendidos
y requiere atención en todas las etapas de desarrollo y uso de pruebas. Se concluye que la nueva
Resolución presenta avances en relación a las Resoluciones y notas técnicas anteriores. A partir
de un continuo perfeccionamiento, el Satepsi buscó criterios psicométricos alineados a los
avances técnicos y científicos del área. Con eso, esperamos que la Resolución impulse a los
desarrolladores de pruebas a buscar el perfeccionamiento de las pruebas y, consecuentemente,
del proceso de evaluación psicológica.
Palabras clave: Pruebas Psicológicas, Psicometría, Validez, Fiabilidad, Normas.
29
Psicologia: Ciência e Profissão 2018 v. 38 (núm. esp.), 28-39.
Conselho Federal de Psicologia (CFP) nº 009, de 25 de especifica mais detalhadamente os critérios mínimos
abril de 2018. São discutidos os principais parâmetros considerados adequados na elaboração e obtenção
psicométricos considerados indispensáveis para a de evidências de validade e fidedignidade de um teste
construção de testes psicológicos, a saber: evidências psicológico. A partir de uma constante consulta às
de precisão/fidedignidade, evidências de validade, diretrizes (Guidelines) do International Test Comis-
e, por fim, sistema de correção e interpretação dos sion, bem como aos Standards for Educational and
escores. O artigo tem a intenção de apresentar os con- Psychological Testing (AERA et al., 2014), buscou-se
ceitos psicométricos de forma clara e simples, a fim critérios psicométricos alinhados aos avanços técni-
de favorecer a compreensão dos leitores menos expe- cos científicos da área, considerando, no entanto, que
rientes na área, no entanto, sem perder a tecnicidade. a área possui muitas especificidades. Algumas áreas
Entendemos que o conhecimento em psico- de aplicação da avaliação psicológica estão em amplo
metria é de suma importância não apenas para o(a) desenvolvimento, enquanto outras áreas como, por
profissional que elabora os testes psicológicos, mas, exemplo, avaliação psicológica de pessoas com neces-
sobretudo, para o(a) psicológico(a) que atua na prá- sidades especiais e pessoas com baixo nível educacio-
tica da área da avaliação psicológica. A psicometria nal, ainda são incipientes. Destaca-se também que
trata basicamente da teoria e técnica de medida dos a Resolução CFP nº 009/2018 é fruto de uma ampla
processos mentais, especialmente aplicada nas áreas discussão com as entidades brasileiras da área da ava-
da Psicologia e Educação (Pasquali, 2013). A partir do liação psicológica, bem como resultante do constante
conhecimento em psicometria, o psicológico avalia- trabalho do CFP de aprimoramento e incorporação de
dor poderá escolher o(s) teste(s) psicológico(s) que melhorias do Satepsi sugeridas e debatidas em dife-
fará(ão) parte do processo de avaliação psicológica rentes fóruns científicos.
de forma mais consciente e integrada com as demais A Resolução nº CFP 009/2018 também destaca
técnicas utilizadas. Tal afirmativa encontra sustenta- a submissão ao Satepsi de versões equivalentes de
ção no Art. 2 da Resolução nº 009/2018 no qual des- testes psicológicos aprovados (informatizados e não
taca que na realização da avaliação psicológica, o informatizados), bem como a atualização das normas
psicólogo deve basear sua decisão, obrigatoriamente, e dos estudos de evidências de validade dos testes psi-
em métodos e/ou técnicas e/ou instrumentos psi- cológicos. Em relação ao primeiro aspecto, de acordo
cológicos reconhecidos cientificamente para uso na com o Art. 18, é considerada versão equivalente de
prática profissional, ou seja, as fontes fundamentais um teste psicológico aquela com formato diferente de
de informação. A depender do contexto, o psicólogo aplicação descrita na versão inicial do teste aprovado
também poderá recorrer a procedimentos e recursos pelo Satepsi. Em relação ao segundo aspecto – atuali-
auxiliares, identificados como fontes complementa- zação de normas e estudos de validade –, no Art. 14 é
res de informação. A propósito, a diferenciação entre assinalado que os estudos de evidências de validade,
técnicas fundamentais e técnicas complementares precisão e normas dos testes psicológicos terão prazo
de informação é uma novidade na referida Resolução máximo de 15 anos, a contar da data da aprovação do
(009/2018). teste psicológico pela Plenária do CFP. Anteriormente,
A Resolução CFP nº 009/2018 estabelece (I) na Resolução no 002/2003, alterada pelas Resolução
diretrizes para a realização de Avaliação Psicológica n° 006/2004 e Resolução CFP nº 005/2012, os dados
no exercício profissional dos(as) psicólogos(as), (II) empíricos das propriedades dos testes deveriam ser
regulamenta o Satepsi e (III) revoga as Resoluções revisados periodicamente, não podendo o intervalo
n° 002/2003, nº 006/2004 e n° 005/2012, bem como entre um estudo e outro ultrapassar 15 anos para os
as Notas Técnicas n° 01/2017 e 02/2017. O Satepsi, dados referentes à padronização, e 20 anos para os
por sua vez, é um sistema informatizado que tem dados referentes a validade e precisão.
por objetivo avaliar a qualidade técnico-científica de Para além dos conceitos psicométricos, a refe-
instrumentos submetidos à apreciação da Comissão rida Resolução também destaca a justiça e proteção
Consultiva em Avaliação Psicológica do CFP. É impor- dos direitos humanos no processo de avaliação psi-
tante assinalar que a Resolução CFP nº 009/2018 cológica. Por exemplo, no Art. nº 31 é assinalado que
apresenta avanços em relação as respectivas Resolu- é vedado a(o) psicólogo(a): a) realizar atividades que
ções e Notas Técnicas anteriores na medida em que caracterizem negligência, preconceito, exploração,
30
Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos.
violência, crueldade ou opressão; b) induzir a con- tos sistemáticos de observação e descrição do com-
vicções políticas, filosóficas, morais, ideológicas, reli- portamento humano, nas suas diversas formas de
giosas, raciais, de orientação sexual e identidade de expressão. Destacamos que na Resolução foi adotada
gênero; e c) favorecer o uso de conhecimento da ciên- a nomenclatura de teste para abarcar também esca-
cia psicológica e normatizar a utilização de práticas las, inventários, questionários e métodos projetivos/
psicológicas como instrumentos de castigo, tortura expressivos. Importante destacar que existem diver-
ou qualquer forma de violência. sas classificações dos testes psicológicos. Por exem-
O Art. 31 da Resolução nº 009/2018 apresenta- plo, de acordo com os Standards for Educational and
-se alinhado ao capítulo intitulado de “Fairness in Psychological Testing (AERA et al., 2014), existem seis
Testing” (tradução livre de “Justiça na Testagem”) do tipos de categorias de testes, a saber: (I) cognitivos e
Standards for Educational and Psychological Testing neuropsicológicos; (II) Família e casal; (III) proble-
(AERA et al., 2014). Tal capítulo destaca a importância mas comportamentais; (IV) comportamento social e
da justiça como uma questão fundamental na prote- adaptativo; (V) personalidade; e (VI) vocacional.
ção dos direitos dos testandos em todos os aspectos Considerando todas as possibilidades de cons-
e momentos da testagem. Ressalta-se que o termo trutos avaliados, no Art. 6 da Resolução nº 009/2018
justiça não tem um significado técnico único e pode é assinalado que os testes psicológicos, para serem
ser utilizado de diferentes maneiras. A justiça é uma reconhecidos como técnica fundamental de infor-
questão fundamental de validade da interpretação mação para o uso profissional, devem possuir consis-
dos escores individuais para os usos pretendidos e tência técnico-científica. Os requisitos mínimos obri-
requer atenção em todos os estágios de desenvolvi- gatórios que os construtores de testes psicológicos
mento e uso de testes. devem atender são: I - apresentação de fundamen-
Diante do exposto e considerando o objetivo tação teórica, com especial ênfase na definição do(s)
de apresentar diretrizes para a construção de testes construto(s), descrevendo seus aspectos constitutivo
psicológicos a partir da Resolução nº 009/2018, os e operacional; II - definição dos objetivos do teste e
seguintes parâmetros psicométricos são discutidos contexto de aplicação, detalhando a população-alvo;
na próxima seção: (I) Evidências de precisão/fide- III - pertinência teórica e qualidade técnica dos estí-
dignidade, (II) Evidências de validade; e, por fim, (III) mulos utilizados nos testes; IV - apresentação de evi-
Sistema de correção e interpretação dos escores. Em dências empíricas sobre as características técnicas
cada uma das subseções são apresentadas breve- dos itens do teste, exceto para os métodos projetivos/
mente as definições e formas de obtenção dos res- expressivos; V - apresentação de evidências empíricas
pectivos parâmetros. Além disso, amplo destaque foi de validade e estimativas de precisão das interpreta-
dado as modificações que a Resolução nº 009/2018 ções para os resultados do teste, caracterizando os
apresentou em relação às Resoluções anteriores nº procedimentos e os critérios adotados na investiga-
002/2003, nº 006/2004 e nº 005/2012. ção; VI - apresentação do sistema de correção e inter-
pretação dos escores, explicitando a lógica que fun-
Parâmetros psicométricos damenta o procedimento, em função do sistema de
De acordo com o Art. 1 da Resolução nº 009/2018, interpretação adotado; VII - apresentação explícita da
a avaliação psicológica pode ser definida como um aplicação e correção para que haja a garantia da uni-
processo estruturado de investigação de fenômenos formidade dos procedimentos.
psicológicos, composto de métodos, técnicas e ins- Ressaltamos que todos os requisitos mínimos cita-
trumentos, com o objetivo de fornecer informações dos no Art. 6 são de extrema importância para a ela-
para a tomada de decisão, no âmbito individual, gru- boração e comprovação da adequação de um teste. A
pal ou institucional. Assim, o teste psicológico é um propósito consideramos que essas etapas são inter-re-
dos recursos que pode ser utilizado no processo mais lacionadas. Por exemplo, Pasquali (2013) assinala que a
amplo de avaliação psicológica (Andrade, & Sales, delimitação teórica dos construtos continua sendo um
2017). No Art. 4 da Resolução (009/2018), encontra- ponto muito deficiente na Psicologia. A elaboração das
mos que um teste psicológico, por sua vez, tem por definições constitutivas e operacionais, a partir de um
objetivo identificar, descrever, qualificar e mensurar marco teórico específico, terá um impacto direto na
características psicológicas, por meio de procedimen- qualidade do teste que se quer construir.
31
Psicologia: Ciência e Profissão 2018 v. 38 (núm. esp.), 28-39.
32
Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos.
sobre examinandos com altas habilidades cogniti- ção do instrumento em uma amostra de examinan-
vas, por exemplo. O contrário também é verdadeiro. dos. Contudo, existem outras possibilidades como o
Assim, a inespecificidade dos itens para o nível do Kuder-Richardson, mais apropriado a itens dicotô-
traço psicológico do sujeito também pode ser fonte micos. Ressalta-se que esses métodos mais tradicio-
de erro de medida. nais assumem que os itens são igualmente difíceis e
Obviamente, não é possível controlar todas as fon- com mesmo nível de discriminação (Fornell, & Larker,
tes de erro de medida, mas é possível estimar, em certo 1981; Valentini, & Damásio, 2016). Esses pressupostos
grau, a sua influência nos escores. Tais estimativas são (muito restritivos) não são assumidos por modelagens
obtidas por meio dos coeficientes de precisão (ou de latentes, nas quais os parâmetros de dificuldade e dis-
informação na TRI). Quanto maior for o valor desse criminação podem ser estimados simultaneamente
coeficiente, menor é o erro de medida (ou seja, as flutu- ao erro de medida. No contexto da modelagem por
ações aleatórias nos escores são menores, e a precisão é equações estruturais, é possível estimar a confiabili-
maior). Cada coeficiente é obtido por um método espe- dade composta, a variância média extraída (Fornell, &
cífico e controla um tipo de erro (AERA et al., 2014). Larker,1981; Valentini, & Damásio, 2016) e ômega hie-
As flutuações relacionadas as condições inter- rárquico (Rios, & Wells, 2014).
nas do examinando podem ser estimadas por tes- Contudo, mesmo os métodos de estimação da
te-reteste. Seleciona-se uma amostra e se aplica o consistência interna em equações estruturais estimam
mesmo instrumento (ou versões equivalentes) em apenas um coeficiente, de maneira independente ao
dois ou mais momentos distintos, com um intervalo nível do construto psicológico do examinando (ressal-
de tempo suficiente para minimizar efeitos de memó- ta-se que isso não se aplica a todos os métodos de esti-
ria (Nunnally, 1994). Neste caso, assume-se que a pri- mação dos parâmetros, pois algumas configurações
meira aplicação não tem influência na segunda. Esse em equações estruturais são equivalentes à TRI, veja,
método é mais apropriado para construtos que sabi- por exemplo, Kamata, & Bauer, 2008). Assim, uma das
damente não sofrem alterações substanciais em curso vantagens principais da TRI é oferecer uma estimativa
espaço de tempo (uma ou duas semanas), como por de erro do escore de cada indivíduo, que pondera a
exemplo, personalidade e inteligência. Por outro lado, distância entre o nível do construto psicológico e a
se houver variações sistemáticas do construto psico- dificuldade do item. Neste caso, a precisão será maior
lógico em curso espaço de tempo, como ansiedade para os escores dos examinandos próximos do nível
de estado, por exemplo, não será possível separar de dificuldade dos itens; e, por outro lado, os escores
as flutuações genéricas aleatórias (que são erros de serão muito imprecisos caso o nível de exigência dos
medida) das flutuações reais do construto, e o método itens seja muito superior ou muito inferior ao nível
de teste-reteste se torna ineficiente. de construto psicológico do examinando (Andrade,
As flutuações relacionadas às condições externas Laros, & Gouveia, 2010; Hambleton, & Swaminathan,
ao examinando podem ser avaliadas por diferentes 1991; Valentini, & Laros, 2011).
métodos. Caso a fonte de erro seja ambiental (por Os aspectos de precisão abarcados na Resolução
exemplo, condições de luminosidade ou tempera- nº 009/2018 do CFP diferem da nº 002/2003 principal-
tura), as flutuações podem ser estimadas por meio de mente sobre o espaço para esses indicadores de pre-
teste-reteste variando as condições do ambiente. Se a cisão no contexto de modelagens latentes (equações
pontuação das respostas dos indivíduos depender do estruturais e TRI). O uso desse tipo de modelagem se
juízo do profissional de Psicologia, é possível estimar popularizou consideravelmente nos últimos 15 anos,
a consistência (ou concordância) entre avaliadores. e diversos instrumentos novos já apresentam indica-
Neste caso, são comparadas as avaliações do mesmo dores de precisão com base em TRI. Nesse sentido, é
sujeito realizadas por diferentes profissionais. Quanto justificável e importante o espaço adicional da nova
maior for a concordância entre os avaliadores, menor resolução dado à avaliação da precisão dos escores
é a influência de variáveis subjetivas do avaliador. latentes, seja por TRI ou qualquer outra modelagem.
Finalmente, flutuações devido ao conteúdo espe- No entanto, o conteúdo técnico desse tipo de indica-
cífico dos itens podem ser estimadas por meio de con- dor ainda não é dominado por todos os usuários pro-
sistência interna. Para tanto o método mais utilizado fissionais de testes psicológicos. Para minimizar esse
é calcular o coeficiente Alfa dos itens, após a aplica- problema, sugerimos que os autores dediquem espaço
33
Psicologia: Ciência e Profissão 2018 v. 38 (núm. esp.), 28-39.
no manual dos testes para explicar de maneira simples des em leitura ou um processo seletivo para vaga em
o funcionamento desses indicadores e como utilizá-los uma organização de trabalho. Quando os escores são
na prática profissional de avaliação psicológica. interpretados em mais de um contexto, cada interpre-
Destaca-se que a nova Resolução do CFP tação pretendida deve ser validada. Ainda, é impor-
(009/2018) mantém a avaliação dos indicadores de tante destacar que quando um usuário/avaliador pro-
precisão descritos no manual entre os níveis C (insufi- põe uma interpretação ou uso dos escores diferentes
ciente) e A+ (Excelente). Para alcançar o nível de exce- daqueles propostos pelo desenvolvedor do teste, a
lência exige-se dois ou mais estudos satisfatórios, com responsabilidade por apresentar novas evidências de
indicadores superiores a 0,80. No entanto, para ser validade é do usuário/avaliador (AERA et al., 2014).
aprovado, os escores devem apresentar indicadores O entendimento de validade tem passado por
de precisão acima de 0,60. Justifica-se essa diferença modificações desde a primeira versão do Standards
entre o mínimo exigido e o de excelência em função em 1986. Nos últimos anos, a importância de obten-
da variabilidade da importância da precisão. Quanto ção de evidências de validade tem sido cada vez mais
mais importante for a avaliação na vida do exami- reconhecida. No entanto, tal processo não tem sido
nando e mais central for o construto investigado pelo consensual. Por exemplo, Newton (2016) assinala que
teste, maior será a necessidade de precisão (AERA et o modelo atual de cinco tipos de fontes de evidências
al., 2014). Por exemplo, situações nas quais a decisão é incapaz de acomodar todos os tipos de evidências
avaliativa impacta significativamente a vida do sujeito de validade. O autor propõe a distinção entre dois
e sejam mais difíceis de serem revertidas, como sele- tipos de evidências de validade, a saber: a macrovali-
ções de emprego, demandam o uso de testes cujos dação e a microvalidação.
escores sejam bastante precisos. Contudo, para ava- Apesar das controvérsias, pode-se afirmar que,
liações nas quais o teste específico desempenha um atualmente, a perspectiva mais aceita na comunidade
papel não central na avaliação como um todo, a pre- científica e considerada na Resolução nº 009/2018 é a
cisão dos escores é menos relevante. Desta maneira, apresentada na última versão dos Standards de 2014
não há justificativas técnicas para coibir o uso, em que identifica cinco fontes de evidências, a saber: (1)
todas as circunstâncias, de instrumentos cujos escores evidências baseadas no conteúdo do teste; (2) evidên-
tenham precisão menor do que 0,80 ou 0,70. Assim, cias baseadas no processo de resposta; (3) evidências
em algumas circunstâncias específicas, nas quais os baseadas na estrutura interna; (4) evidências basea-
escores dos testes possam ser complementados com das na relação com outras variáveis; e (5) evidências
outras informações do examinando, é possível utilizar baseadas nas consequências da testagem.
instrumentos mais modestos em termos de precisão. O primeiro tipo de validade – evidências baseadas
Nesse sentido, a responsabilidade técnica é do pro- no conteúdo do teste – refere-se à análise do relaciona-
fissional de Psicologia, que deve avaliar qual é o ins- mento entre o conteúdo abordado pelos itens do teste
trumento mais adequado para a demanda específica, e o construto que se pretende medir; questiona-se o
ponderando os indicadores de precisão dos escores e quanto os itens constituem amostras do domínio que
o grau de importância desses escores na avaliação psi- se pretende avaliar. O segundo tipo – evidências base-
cológica como um todo. adas no processo de resposta – refere-se ao estudo de
como os examinandos respondem a um item de um
II – Evidências de validade teste; em outras palavras, quais os processos cogniti-
Segundo o Standards for Educational and Psy- vos necessários e envolvidos para que o examinando
chological Testing, a obtenção de evidências de vali- responda um determinado item. Esse tipo de análise
dade dos testes é o parâmetro mais importante e fun- pode proporcionar evidências em relação a adequação
damental no desenvolvimento e avaliação do teste entre o construto e a natureza detalhada do desempe-
(AERA et al., 2014; Cohen, Swerdlik, & Sturman, 2014). nho ou resposta realmente utilizada pelo avaliando.
A validade refere-se ao grau em que as evidências Em relação ao terceiro tipo, a análise da estrutura
empíricas e a teoria suportam as interpretações dos interna de um teste pode indicar o grau de adequação
escores do teste para um propósito específico de uso. da relação entre itens do teste e o seu fator (variável-la-
Este propósito ou contexto específico pode ser, por tente). A teoria que embasou a construção de um teste
exemplo, a avaliação de uma criança com dificulda- pode sugerir uma única dimensão ou várias dimen-
34
Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos.
35
Psicologia: Ciência e Profissão 2018 v. 38 (núm. esp.), 28-39.
ricos do desenvolvimento psicológico, os condiciona- desse tipo de teste contenha uma descrição bas-
mentos sociais e ambientais, entre outros (AERA et al., tante detalhada dos aspectos teóricos, que sus-
2014). Assim, busca-se que os examinandos tenham tentam a interpretação dos escores. Além disso, é
seus escores interpretados e comparados com popu- necessário apresentar evidências empíricas de que
lações adequadas às suas caraterísticas (e não com os escores do instrumento, de fato, estão associados
qualquer grupo), maximizando a justiça na avaliação aos critérios teóricos (por exemplo, pontos de corte
psicológica. diferenciam adequadamente crianças entre os está-
Destaca-se que a simples análise da diferença de gios operatório concreto e formal).
média entre os subgrupos pode não ser suficiente para O sistema referenciado a critério também é útil
garantir interpretações justas dos escores. As médias para o estabelecimento de mapas do construto psico-
são sensíveis a muitos vieses! Nesse sentido, sugere-se lógico avaliado. Com base nos parâmetros dos itens e
aos autores de testes avaliar, por exemplo, o quanto das pessoas, é possível inferir para quais tipos de itens
eventuais diferenças entre grupos normativos são o acerto (ou endosso) é mais provável, dado o nível do
atribuídas, de fato, a diferenças de médias ou estão construto psicológico (Wilson, 2005). Nesse sentido,
associadas a vieses dos parâmetros dos itens. Vieses associa-se o construto psicológico dos examinandos
na parametrização dos itens comprometem seria- (estimado a partir de uma amostra) com o conteúdo
mente a interpretabilidade dos escores, mesmo nor- dos itens. Por exemplo, considere os seguintes itens
matizados (Millsap, & Meredith, 2007; Wu, & Zumbo, de autorrelato, de resposta “sim ou não”, destinados
2007). Novamente, os grupos de referência devem ser a avaliar Extroversão: 1. gosto de sair com os amigos;
cuidadosamente analisados. 2. tenho facilidade para me relacionar com pessoas
Além disso, o sistema de interpretação referen- novas; 3. gosto de ser o centro das atenções. A partir
ciado à norma se apoia em amostras minimamente de um estudo empírico, é possível estabelecer o nível
representativas, de tamanho adequado e atualiza- de Extroversão de pessoas que tipicamente endos-
das. Poucos participantes, de uma região específica sam (ou respondem sim) cada um dos itens. Nesse
do país, podem não representar adequadamente a exemplo, supondo que pessoas com nível mediano
população brasileira, no entanto, podem ser ade- de Extroversão tenham maior probabilidade de res-
quados para essa região específica. Ademais, nor- ponder afirmativamente os itens 1 e 2, mas não o 3; é
mas estabelecidas em estudos realizados há décadas possível interpretar que examinandos medianamente
podem incorrer em injustiças na interpretação dos Extrovertidos gostam e tem facilidade para se relacio-
escores, principalmente se tais escores se referem nar com outras pessoas, mas não se sentem à vontade
a construtos que sofrem variação com o tempo ou quando os “holofotes estão sobre eles”. O leitor deve
diferentes gerações. ter percebido que esse tipo de estudo auxilia bastante
Além do sistema referenciado à norma, os esco- a interpretação dos escores!
res dos examinandos podem ser comparados com Finalmente, o sistema interpretação pode estar
algum critério teórico (AERA et al., 2014). Essa forma embasado em pontos de corte (AERA et al., 2014).
de interpretação é bastante útil para testes de avalia- Na realidade, esse tipo de correção dos escores tam-
ção do desenvolvimento. Para um instrumento que bém é referenciado ao critério, pois os escores brutos
se destina a avaliar os estágios do desenvolvimento são comparados com alguma referência (ou critério)
segundo Piaget, por exemplo, os escores brutos do capaz de classificar os examinandos em grupos teo-
indivíduo podem ser comparados com os critérios ricamente definidos (por exemplo, com transtorno
teóricos de cada estágio, oferecendo suporte para a de personalidade e sem o transtorno). A Resolução
classificação do examinando. Neste caso, os escores nº 009/2018 dedica um ponto específico para essa
do examinando não necessariamente devem ser com- discussão (B8.3 do Anexo da Resolução), dada a sua
parados com a média da população brasileira (aliás, relevância para o diagnóstico clínico. Nesse sistema,
a média, neste exemplo, ofereceria pouca informação busca-se estabelecer o ponto de corte ideal dos esco-
realmente relevante). res para classificar os examinandos em grupos, teori-
O estabelecimento de normas com referên- camente definidos, da maneira mais precisa possível.
cia a critérios deve estar embasado em uma teoria No entanto, classificações diagnósticas sempre
robusta. Nesse sentido, sugere-se que o manual são suscetíveis a falsos positivos (quando o resultado
36
Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos.
Referências
American Educational Research Association – AERA, American Psychological Association – APA, and National Cou-
ncil on Measurement in Education – NCME. (2014). Standards for educational and psychological testing. Washin-
gton, DC: o autor.
Andrade, J. M., Laros, J. A., & Gouveia, V. V. (2010). O uso da teoria de resposta ao item em avaliações educacionais:
diretrizes para pesquisadores. Avaliação Psicológica, 9(3), 421-435.
Andrade, J. M. de, & Sales, H. F. S. (2017). A diferenciação entre avaliação psicológica e testagem psicológica: ques-
tões emergentes. In M. R. C. Lins, & J. C. Borsa (Orgs.), Avaliação Psicológica: Aspectos Teóricos e Práticos (pp. 9-22).
Petrópolis: Editora Vozes.
37
Psicologia: Ciência e Profissão 2018 v. 38 (núm. esp.), 28-39.
Bardagi, M. P., Teixeira, M. A. P., Segabinazi, J. D., Schelini, P. W., & Nascimento, E. (2015). Ensino da avaliação psico-
lógica no Brasil: levantamento com docentes de diferentes regiões. Avaliação Psicológica, 14(2), 253-260.
Bauer, A., Alavarse, O., & Oliveira, R. (2015). Avaliações em larga escala: uma sistematização do debate. Educação e
Pesquisa, 41(especial), 1367-1384. https://doi.org/10.1590/S1517-9702201508144607
Cohen, R. J., Swerdlik, M. E., & Sturman, E. D. (2014). Testagem e avaliação psicológica: introdução a testes e medidas
(8a ed). Porto Alegre, RS: AMGH.
Fornell, C., & Larcker, D. F. (1981). Evaluating structural equations models with unobservable variables and measu-
rement error. Journal of Marketing, 18(1), 39-50. https://doi.org/10.2307/3151312
Hambleton, R. K., & Swaminathan, H. (1991). Fundamentals of Item Response Theory. London, UK: Sage.
Kamata, A., & Bauer, D. J. (2008). A Note on the Relation Between Factor Analytic and Item Response Theory Models.
Structural Equation Modeling, 15(1), 136–153. https://doi.org/10.1080/10705510701758406
Millsap, R. E., & Meredith, W. (2007). Factorial invariance: Historical perspectives and new problems. Em R. Cudeck
& R. C. MacCallum (Eds.). Factor analysis at 100: Historical development and future directions (pp. 131-152).
Mahwah, NJ: Lawrence Erlbaum.
Newton, P. E. (2016). Macro- and micro-validation: Beyond the ‘five sources’ framework for classifying validation
evidence and analysis. Practical Assessment, Research & Evaluation, 21, 1–13. Available online: http://pareonline.
net/getvn.asp?v=21&n=12 .
Noronha, A. P. P., & Reppold, C. T. (2010). Considerações sobre a avaliação Psicológica no Brasil. Psicologia: Ciência
e Profissão, 30(n especial), 192-201. https://dx.doi.org/10.1590/S1414-98932010000500009
Nunes, M. F. O., Muniz, M., Reppold, C. T., Faiad, C., Bueno, J. M. H., & Noronha, A. P. P. (2012). Diretrizes para o
ensino de avaliação psicológica. Avaliação Psicológica, 11(2), 309-316.
Nunnally, J. C. (1994). Psychometric Theory (3a ed.). New York, NY: McGraw-Hill.
Pasquali, L. (2013). Psicometria:. Teoria dos testes na psicologia e na educação (5a ed). Petrópolis, RJ: Vozes.
Reppold, C. T. (2011). Qualificação da avaliação psicológica: critérios de reconhecimento e validação a partir dos
direitos humanos. In Conselho Federal de Psicologia (Org.), Ano da avaliação psicológica: textos geradores (1a Ed.,
pp. 21-28). Brasília, DF: Conselho Federal de Psicologia.
Resolução Nº 002, de 23 de março de 2003. Define e regulamenta o uso, a elaboração e a comercialização de testes
psicológicos e revoga a Resolução CFP n° 025/2001. Brasília, DF: Conselho Federal de Psicologia.
Resolução Nº 009, de 25 de abril de 2018. Estabelece diretrizes para a realização de Avaliação Psicológica no exercí-
cio profissional da psicóloga e do psicólogo, regulamenta o Sistema de Avaliação de Testes Psicológicos - SATEPSI
e revoga as Resoluções n° 002/2003, nº 006/2004 e n° 005/2012 e Notas Técnicas n° 01/2017 e 02/2017. Brasília,
DF: Conselho Federal de Psicologia.
Rios, J., & Wells, C. (2014). Validity evidence based on internal structure. Psicothema, 26(1), 108-116. https://doi.
org/doi:10.7334/ psicothema2013.260
Thompson, B. (2002). Score reliability: Contemporary thinking on reliability issues. Thousand Oaks, CA: Sage
publications.
Valentini, F., & Damásio, B. F. (2016). Variância Média Extraída e Confiabilidade Composta: Indicadores de Precisão.
Psicologia: Teoria e Pesquisa, 32(2), 1-7. http://dx.doi.org/10.1590/0102-3772e322225
Valentini, F., & Laros, J. A. (2011). Teoria de Resposta ao Item na Avaliação Psicológica. In R. A. M. Ambiel, I. S.
Rabelo, S. V. Pacanaro, G. A. S. Alves, & I. F. A. S. Leme (Eds.), Avaliação psicológica: guia de consulta para estudan-
tes e profissionais de psicologia (pp. 81-108). São Paulo, SP: Casa do Psicólogo.
Wilson, M. (2005). Constructing measures: An Item Response Modeling approach. Mahwah, NJ: L. Erlbaum
Associates.
Wu, A. D., Li, Z., & Zumbo, B. D. (2007). Decoding the meaning of factorial invariance and updating the practice of
multi-group confirmatory factor analysis: A demonstration with TIMSS data. Practical Assessment, Research &
Evaluation, 12(3), 1-26.
38
Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos.
Zaia, P., Oliveira, K. da S., & Nakano, T. de C. (2018). Análise dos Processos Éticos Publicados no Jornal do Conselho
Federal de Psicologia. Psicologia: Ciência e Profissão, 38(1), 8-21. https://dx.doi.org/10.1590/1982-3703003532016
Felipe Valentini
Universidade São Francisco, SP, Brasil. Bolsista de Pesquisa CEBRASPE/UnB.
E-mail: valentini.felipe@gmail.com
Recebido 21/07/2018
Aprovado 09/08/2018
Received 07/21/2018
Approved 08/09/2018
Recibido 21/07/2018
Aceptado 09/08/2018
Como citar: Andrade, J. M., & Valentini, F. (2018). Diretrizes para a Construção de Testes Psicológicos:
a Resolução CFP nº 009/2018 em Destaque. Psicologia: Ciência e Profissão, 38(n.spe), 28-39.
https://doi.org/10.1590/1982-3703000208890
How to cite: Andrade, J. M., & Valentini, F. (2018). Guidelines for the Construction of Psychological
Tests: Regulation CFP No: 009/2018 in Highlight. Psicologia: Ciência e Profissão, 38(n.spe), 28-39.
https://doi.org/10.1590/1982-3703000208890
Cómo citar: Andrade, J. M., & Valentini, F. (2018). Directrices para la Construcción de Pruebas
Psicológicas: la Resolución CFP nº 009/2018 en Destaque. Psicologia: Ciência e Profissão, 38(n.spe), 28-39.
https://doi.org/10.1590/1982-3703000208890
39