A Fsica no ENEM: Primeiras Anlises

Wanderley Paulo Gonalves Junior

Universidade Federal do Rio de Janeiro
Colgio de Aplicao
wpgjunior@gmail.com

OBSERVATRIO DA EDUCAO

Rio de Janeiro
04/2012

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO

Instituto de Fsica
Programa de Ps-Graduao em Ensino de Fsica
Mestrado Profissional em Ensino de Fsica

Tese de Mestrado:
AVALIAES EM LARGA ESCALA E O
PROFESSOR DE FSICA
Wanderley Paulo Gonalves Junior
Orientadora: Marta Feij Barroso

Rio de Janeiro
Defesa: 29/02/2012

Estrutura da Dissertao
motivao do trabalho;
avaliaes;
medidas;
Teoria da Resposta ao Item;
curvas caractersticas de itens de fsica trmica;
as questes de fsica do ENEM;
consideraes finais.
Explorando o mundo das Avaliaes (verso preliminar)

As questes de Fsica do ENEM

O ENEM, Exame Nacional do Ensino Mdio, foi criado em 1998,
com o objetivo de avaliar o desempenho do indivduo ao trmino
da escolaridade bsica, para aferir o desenvolvimento de
competncias fundamentais ao exerccio pleno da cidadania.

O ENEM sofreu reformulaes em 2009. De uma prova nica,

com avaliao de competncias e habilidades de carter pouco
disciplinar e especfico, utilizando a Teoria Clssica de Testes
para a atribuio de escores, passou a um exame avaliando
competncias e habilidades associadas aos objetos de
conhecimento, dentro de domnios cognitivos, com uma Matriz
de Referncia mais complexa e com a utilizao da Teoria da
Resposta ao Item.

Certificao de
Concluso do
Ensino Mdio

Critrio de seleo para os

estudantes que pretendem
concorrer a uma bolsa no
Programa Universidade
para Todos (ProUni)

Novo
ENEM

Forma de seleo unificada nos processos seletivos das

universidades pblicas federais.

O Exame constitudo de 4 (quatro) provas objetivas,

contendo cada uma 45 (quarenta e cinco) questes de
mltipla escolha, e uma redao.

Metodologia de Anlise

Foram selecionadas as provas de Cincias da Natureza e

suas Tecnologias do Exame Nacional do Ensino Mdio a
partir de 2009:

2009, primeira verso (no aplicada devido ao vazamento
dentro da grfica);

2009, segunda verso (aplicada aos estudantes);

2010, primeira verso (aplicada aos estudantes);

2010, segunda verso (aplicada ao pequeno grupo que
recebera provas com defeito de impresso);

2011.

Fez-se a restrio de anlise s questes de Fsica.

Foram escolhidas as variveis qualitativas.

O nmero de questes de fsica nas provas do ENEM

Para fazer a seleo das questes,

identificou-se como questes de fsica
as que abordam diretamente o
contedo especfico disciplinar de
Fsica. No caso das questes que
apresentaram traos interdisciplinares,
multidisciplinares ou transdisciplinares,
essa identificao foi feita de acordo
com o conhecimento exigido para
identificar a alternativa correta do item.

Na leitura das cinco provas mencionadas, observa-se uma

regularidade do nmero de questes de fsica nas provas do ENEM
analisadas.

Distribuio das competncias nos itens

Na Matriz de Referncia do ENEM, a rea das Cincias da Natureza
composta 8 competncias distribudas em 30 habilidades; As competncias
identificadas como da rea curricular de Fsica so:
Competncia de rea 1 - Compreender as cincias naturais e as tecnologias a elas
associadas como construes humanas, percebendo seus papis nos processos de
produo e no desenvolvimento econmico e social da humanidade.
Competncia de rea 2 Identificar a presena e aplicar as tecnologias associadas
s cincias naturais em diferentes contextos.
Competncia de rea 3 Associar intervenes que resultam em degradao ou
conservao ambiental a processos produtivos e sociais e a instrumentos ou aes
cientfico-tecnolgicos.
Competncia de rea 5 Entender mtodos e procedimentos prprios das cincias
naturais e aplic-los em diferentes contextos.
Competncia de rea 6 Apropriar-se de conhecimentos da fsica para, em
situaes problema, interpretar, avaliar ou planejar intervenes cientficotecnolgicas.

Distribuio das Competncias nos Itens do ENEM por Ano/Aplicao

Buscou-se primeiramente a
identificao da habilidade
representativa desses itens.
Em caso de dvida entre duas
ou mais habilidades para o
mesmo item, identificou-se
dentre essas habilidades qual
estava apresentada, na Matriz
de Referncia, associada
competncia mais adequada.
Ainda restando dvida entre
duas habilidades dentro da
mesma competncia,
procurou-se no repetir a
habilidade, distribuindo os itens
nas habilidades que compem
a referida competncia.

Observa-se que, excetuando-se a competncia 3 que contempla mais as

reas de biologia e de qumica, as outras competncias referentes rea
curricular de fsica foram solicitadas em todas as provas do perodo
analisado, havendo uma maior incidncia em relao competncia 6.

Distribuio das Habilidades no ENEM

A rea de conhecimento de Fsica no contempla,

necessariamente, todas as16 habilidades possveis para esta
rea num nico exame.

Existe uma repetio das habilidades pertencentes
competncia de rea 6 (habilidades 20, 21, 22 e 23), que
corresponde a Apropriar-se de conhecimentos da fsica para,
em situaes problema, interpretar, avaliar ou planejar
intervenes cientfico-tecnolgicas.

ao se fazer as classificaes dos itens das provas, em suas
respectivas habilidades, existem vrios itens que se encaixam
em mais de uma habilidade.

2009/2
(Prova Aplicada)

Item
14
17
18
19
24
31
32
35

Habilidade
5, 19 ou 23
18 ou 20
5 ou 6
5 ou 17
17 ou 21
1 ou 2
1 ou 22
17, 21 ou 22

Questo 63 - Exame 2010/1

Habilidades contempladas:
H8 (C3) Identificar etapas em processos de
obteno, transformao, utilizao ou reciclagem
de recursos naturais, energticos ou matriasprimas,
considerando
processos
biolgicos,
qumicos ou fsicos neles envolvidos.
H19 (C5) Avaliar mtodos, processos ou
procedimentos das cincias naturais que contribuam
para diagnosticar ou solucionar problemas de ordem
social, econmica ou ambiental.
H23 (C6) Avaliar possibilidades de gerao,
uso ou transformao de energia em ambientes
especficos, considerando implicaes ticas,
ambientais, sociais e/ou econmicas.
H26 (C7) Avaliar implicaes sociais,
ambientais e/ou econmicas na produo ou no
consumo de recursos energticos ou minerais,
identificando transformaes qumicas ou de energia
envolvidas nesses processos.

Problema gerado  a TRI postula que o item

deve contemplar uma nica habilidade para
poder ser analisado.

Objetos de conhecimento associados Matriz

Objetos de conhecimento associados Matriz de Referncia de Cincias da Natureza e suas
Tecnologias
1. Conhecimentos bsicos e fundamentais;
2. O movimento, o equilbrio e a descoberta de
leis fsicas;
3. Energia, trabalho e potncia;
4. A mecnica e o funcionamento do universo;
5. Fenmenos eltricos e magnticos;
6. Oscilaes, ondas, ptica e radiao;
7. O calor e fenmenos trmicos.

Objetos de conhecimento associados Matriz

Os contedos de Eletromagnetismo e Termodinmica so privilegiados

(mais de 50%).

Os contedos de mecnica (reas 2, 3 e 4) so pouco abordados (cerca
de 30%).

A rea 2 (cinemtica, dinmica, esttica da partcula e do corpo rgido,
conservao da quantidade de movimento e colises, mecnica dos
fluidos) corresponde a 1/3 do contedo de mecnica

Os objetos de conhecimento de rea 3, quando analisados com maior
detalhe, revelam questes gerais de transformao de energia, no
tratando do conhecimento de energia e trabalho mecnicos.

Praticamente no existem itens de ptica Geomtria.

Extenso dos Itens

O tamanho das questes foi

avaliado usando como varivel
o nmero de linhas do textobase e dos enunciados das
questes. Esse nmero foi
obtido considerando-se a
formatao original da prova
do ENEM, onde o caderno de
questo possui pginas
divididas em duas colunas.

Ano/Aplicao
2009/1
2009/2
2010/1
2010/2
2011/1

Extenso do
Texto-Base
(mdia)
11
10
9
9
11

Desvio Padro
5
3
3
5
4

Tabela 5.9. Mdia do nmero de linhas do texto-base dos

itens do ENEM por ano/aplicao

O nmero de linhas do texto-base consideravelmente elevado para um

tempo de 3 minutos destinados resoluo do item, sem contar que
alguns dos itens ainda exigem a leitura, interpretao ou anlise de
grficos, imagens ou tabelas, alm do enunciado e alternativas.

Utilizao de Imagens, Grficos e Tabelas no Texto-Base

No existe uma regularidade no nmero de imagens, tabelas ou
grficos utilizados nos itens. O uso desses elementos de forma meramente
ilustrativa ainda aparece em alguns itens, como no item 27 ilustrado abaixo
(prova azul aplicada no ano 2009).

Nvel de Contextualizao dos Itens

Nvel de contextualizao
do texto-base [Nentwig
2009]:
o texto um pr-texto
[Machado 2010]
(completamente
desnecessrio);
baixa, mdia e alta
contextualizao: as
informaes necessrias
para a soluo dos itens
encontram-se num
percentual (baixo, mdio e
alto) do nmero total de
linhas do texto.

O nvel de contextualizao dos itens melhorou significativamente ao longo

dos ltimos trs anos, de forma que, no ano de 2011, tem-se 80% dos itens
de fsica com um bom nvel de contextualizao.

Exigncia de Conhecimento Especfico

Quando a nica exigncia do
item a interpretao de
informaes contidas no texto,
ou seja, a resposta est no
item, no remetendo o
candidato a conhecimentos
especficos de fsica externos
ao item para sua resoluo,
necessidade de conhecimento
de contedo foi atribuda a
expresso no. Sendo
exigida qualquer informao
especfica extra interpretao
de texto, considerou-se que a
questo exigia algum nvel de
conhecimento fsico e foi ento
atribudo a expresso sim.
Figura 5.13. Exigncia de cobrana de conhecimento
especfico de fsica na prova do ENEM.

Levando-se em considerao que o ENEM, hoje, o nico meio de

ingresso em muitas universidades pblicas e privadas, faz-se importante
que ele avalie, em algum nvel, o conhecimento dos alunos em reas
especficas. No entanto, ainda existem itens que no exigem conhecimento
especfico de fsica, solicitando somente interpretao de texto e, algumas
vezes, da noo de proporo (regra de trs) para sua soluo.

Exigncia de Conhecimento Especfico Questo 54 ENEM 2010/1 - Erro!

Questo 46 - ENEM 2011
Causas desconhecidas
Jpiter perdeu uma das suas
listras mais proeminentes,
deixando o seu hemisfrio
sul estranhamente vazio.
Os cientistas ainda no
sabem o que provocou o
desaparecimento da
gigantesca faixa escura. A
aparncia de Jpiter
tipicamente marcada por
duas faixas escuras em sua
atmosfera - uma no
hemisfrio norte e outra no
hemisfrio sul.
Disponvel em:
http://www.inovacaotecnologica.com.
br/noticias/noticia.php?artigo=jupiterperdeu-faixa&id=030130100512

Natureza dos Itens

Ainda dentro dessa linha,
classificou-se os itens como:
quantitativos (qt) - itens que
necessitam
obrigatoriamente de clculo.
semi quantitativos (sq) itens que podem ser
resolvidos pela anlise de
proporcionalidade,
envolvendo
obrigatoriamente o
conhecimento do conceito
fsico e cuja anlise se
restrinja no a se encontrar
um valor mas sim relaes
como maior que, menor
que, igual, etc.
qualitativos (ql) itens cuja
soluo exige somente de
conhecimento,
compreenso ou anlise do
conceito fsico, sem
necessidade de utilizao
de raciocnio ou relao
matemticos.

Como se pode constatar, a

prova predominantemente
qualitativa, no privilegiando
problemas matemticos.

Neste tpico, levou-se em

considerao a necessidade ou
no da memorizao de leis ou
relaes fsicas expressas por
equaes matemticas
(conhecimento de frmulas) para
a soluo do item, atribuindo-se a
expresso no quando no era
necessria e sim quando do
oposto. Observa-se que a
exigncia de conhecimento de
relaes de proporcionalidade
(como no caso da determinao
da resistncia eltrica em funo
do material, seo transversal e
comprimento do fio) foi
considerada como exigncias de
frmula, pois mesmo sem
substituir valores e encontrar
resultados numricos, entende-se
aqui a frmula como a
representao na linguagem
matemtica das
proporcionalidades diretas e
inversas existentes na descrio
dos fenmenos fsicos inquiridos.

Exigncia de Relaes Matemticas

Dentro das questes que exigem algum

conhecimento especfico de fsica, existe
uma pequena parte (25% 5%) que exige do
candidato a utilizao de relaes
matemticas na soluo do problema fsico
apresentado.

Concluses (1 Parte)

Os resultados indicam algumas caractersticas: em relao ao nmero
de questes de fsica, se mantm aproximadamente constante;

difcil fazer uma correspondncia unvoca entre a questo e a
habilidade da Matriz de Referncia (o que exigido pela TRI);

a distribuio dos objetos de conhecimento no atende a uma

distribuio dos contedos ensinados no nvel mdio;

os itens praticamente no envolvem a avaliao da capacidade de

resolver problemas, entre outras observaes apresentadas.

A Matriz de Referncia de Cincias da Natureza apresenta srios
problemas em sua construo. O exame do ENEM, baseado nesta
matriz, por se constituir em uma avaliao de larga escala que utilizada
para o ingresso na maior parte das universades pblicas do Brasil, tende
a mdio e longo prazo, se no modificada, a promover graves distores
no currculo de Ensino de Fsica Brasileiro. Faz-se ento necessrio um
estudo minucioso e detalhado que leve a construo de uma matriz que
dialogue os currculos e com os professores.

ENEM 2009
Incio de anlise

Tese: Wanderley P. Gonalves Junior;

Disponibilizao dos microdados do ENEM: INEP.
Microdados do ENEM
Liberados pelo INEP em Janeiro de 2012:

ENEM 2009;

ENEM 2010.
Fase 1

Preparao do banco de dados (M.F. Barroso, M. Shoey e G.
Rubini);

Anlise exploratria preliminar (para validao do banco de
dados).

O nmero de questes de fsica nas provas do ENEM

Tema de
Fsica
Abordado
(Especfico)

Extenso
Extenso
Texto Base
Enunciado
(linhas em 1/2 (linhas em 1/2
pgina)
pgina)

Item

Gabarito

Competncia

Habilidade

Habilidades
Possveis

Tema de
Fsica
Abordado
(Geral)

5
14

E
E

1
2

3
5

5, 19 ou 23

2
5

2.2
5.9

16
8

2
3

17

18

18 ou 20

2.4

10

18
19

E
D

2
5

6
17

5 ou 6
5 ou 17

5
5

5.9
5.9

3
15

11
2

20

23

3.1

24

21

17 ou 21

7.11

10

27
30

D
D

6
6

20
20

2
5e7

2.13
5.9 e 7.4

8
8

2
5

31

1 ou 2

6.5

32
35

B
A

6
6

22
21

1 ou 22
17, 21 ou 22

6
7

6.5
7.4

9
15

3
8

37

22

6.4

14

38
39

D
B

6
6

21
21

7
7

7.6
7.9

9
11

6
2

45

5.10

Item

Nvel de
Linguagem no interpretao de Contextualiza
textual
imagens / texto
o

H cobrana
explcita
de Contedo

Necessita de
memorizao de Laboratrio
frmula
diferencial

quanti / quali/
semi

conexo
cognitiva
(contedos)

conexo
cognitiva (reas)

no

no

no

no

no

ql

no

sim

14

sim

sim

no

sim

qt

no

no

17

no

no

sim

sim

no

qt

no

no

18

sim

sim

no

no

ql

no

no

19

T+T+I

sim

no

no

no

qt

no

no

20

sim

no

no

no

ql

no

no

24

sim

sim

no

no

ql

no

no

27

no

sim

no

no

ql

no

no

30

no

no

sim

sim

no

qt

sim

no

31

no

no

sim

no

no

ql

no

no

32

sim

sim

no

no

ql

no

sim

35

sim

sim

sim

no

qt

no

sim

37

no

no

sim

no

sim

ql

no

sim

38

no

no

sim

sim

no

qt

no

no

39

no

sim

no

no

ql

no

no

45

sim

sim

no

sim

sq

no

no

ENEM 2009
Cincias da Natureza
Concluintes em 2009
(944.162 concluintes)

80

Prova Azul
Fsica

60

40

20

0
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45

Percentua
al de acerto na questo

100

Questo

Mdia de acertos dos concluintes (todos os itens): 34%

Mdia de acertos das questes de fsica: 29%

Mdia das Notas da Prova de Cincias da Natureza

Nota da prova de Cincias da Natureza

100000

80000

60000

Frequncia

40000

20000

Std. Dev = 99.22

Mean = 497.7
N = 944161.00

0
5.
87
0
5.
82
0
5.
77 0
5.
72
0
5.
67
0
5.
62
0
5.
57 0
5.
52
0
5.
47
0
5.
42
0
5.
37 0
5.
32
0
5.
27

Nota da prova de Cincias da Natureza

qualitativos
Item
5
14
18
20
24
27
31
32
37
39
45
mdia
item

Concluintes
55,9
63,6
38,5
64,6
19,7
14,0
15,8
35,5
29,5
24,7
17,2
34,5

Natureza dos Itens

Todos
57,5
68,0
39,5
65,5
19,4
14,1
15,4
35,5
30,7
22,5
17,1
35,0

Contedo

24

Interpretao de Grfico

27

Fenmenos Ondulatrios

31

2 Lei da Termodinmica

45

Circuito Eltrico

quantitativos
Item Concluintes
17
5,7
19
32,6
30
15,2
35
12,4
38
20,3
mdia
17,2

Todos
6,4
34,4
15,4
12,8
20,8
18,0

no h exigncia
Item Concluintes
Todos
5
55,9
57,5
19
32,6
34,4
20
64,6
65,5
mdia 
51,0
52,5
h exigncia
Item
Concluintes
14
63,6
17
5,7
18
38,5
19
32,6
24
19,7
27
14,0
30
15,2
31
15,8
32
35,5
35
12,4
37
29,5
38
20,3
39
24,7
45
17,2
mdia
24,6

Todos
68,0
6,4
39,5
34,4
19,4
14,1
15,4
15,4
35,5
12,8
30,7
20,8
22,5
17,1
25,1

Exigncia de Conhecimento Especfico

Figura 5.13. Exigncia de cobrana de conhecimento

especfico de fsica na prova do ENEM.

item

Contedo

24

Interpretao de Grfico

27

Fenmenos Ondulatrios

31

2 Lei da Termodinmica

45

Circuito Eltrico

itens quantitativos

Objetos de conhecimento associados Matriz

Objetos de conhecimento associados Matriz de Referncia de Cincias da Natureza e suas
Tecnologias
1. Conhecimentos bsicos e fundamentais;
2. O movimento, o equilbrio e a descoberta de
leis fsicas;
3. Energia, trabalho e potncia;
4. A mecnica e o funcionamento do universo;
5. Fenmenos eltricos e magnticos;
6. Oscilaes, ondas, ptica e radiao;
7. O calor e fenmenos trmicos.

Objeto de Conhecimento
2
3

Item
5
17
27
20
14
18
19
30
45
31
32
37
24
35
38
39

Concluintes
55,9
5,7
14,0
64,6
63,6
38,5
32,6
15,2
17,2
15,8
35,5
29,5
19,7
12,4
20,3
24,7

Todos
57,5
6,4
14,1
34,4
68,0
39,5
34,4
15,4
17,1
15,4
35,5
30,7
19,4
12,8
20,8
22,5

Natureza
ql
qt
ql
ql
ql
ql
qt
qt
ql
ql
ql
ql
ql
qt
qt
ql

Exigncia de
Conhecimento
especfico
no
sim
sim
no
sim
sim
sim
sim
sim
sim
sim
sim
sim
sim
sim
sim

Exigncia de Relaes Matemticas

Item
5
14
17
18
19
20
24
27
30
31
32
35
37
38
39
45

Necessita de
memorizao de Concluint
frmula
es
Todos
no
55,9
57,5
no
63,6
68,0
sim
5,7
6,4
no
38,5
39,5
no
32,6
34,4
no
64,6
34,4
no
19,7
19,4
no
14,0
14,1
sim
15,2
15,4
no
15,8
15,4
no
35,5
35,5
sim
12,4
12,8
no
29,5
30,7
sim
20,3
20,8
no
24,7
22,5
no
17,2
17,1


A defesa de minha dissertao  O Incio!

Anlise dos Microdados do ENEM :

o trabalho est s comeando!

Bibliografia

[Arons 1997] A. B. ARONS, The Concept of Heat, Teaching Introductory

Physics, Contents of Part III. Washington: Ed. John Wiley &Sons, Inc,
1997, p. 67-82.

[Babbie 2005] Earl Babbie, Mtodos de pesquisas de Survey, traduo de
Guilherme Cezarino, Belo Horizonte: Ed. UFMG, 1999, p. 57-75 e p.179-184.

[Britton e Schneider 2007] E.D. Britton e S.A. Schneider, Large-Scale
Assessments, in Science Education, In Handbook of Research on Science
Education. Edited by Sandra K. Abell and Norman G. Lederman, Mahwah:
Laurence Erlbaum Associates, 2007, p. 1007-1040.

[Hambleton 1991] R. HAMBLETON, H. SWAMINATHAN, H. J. ROGERS,
Fundamentals of Item Response Theory, Newbury Park: SAGE
Publications, 1991, p. 1-31.

[Machado 2010] Ledo V. Machado, Avaliao de Larga Escala e
Proficincia Matemtica, Dissertao de Mestrado, Programa de Ensino de
Matemtica Instituto de Matemtica UFRJ, 2010.

[Nentwig 2009] P. Nentwing, S. Roennebeck, K. Schoeps, S. Rumann, C.
Carstensen, Performance and Levels of Contextualization in a Selection of
OECD Countries in Pisa 2006, Journal of Research in Science Teaching,
vol. 46, n. 8, p. 897-908, 2009.