Avaliação Discente e Formação de Professores

POSSVEL RELACIONAR AVALIAO DISCENTE
E FORMAO DE PROFESSORES?
A EXPERINCIA DE SO PAULO
Adriana Bauer*
RESUMO: No contexto da poltica educacional paulista, busca-se relacionar os resultados
do Sistema de Avaliao do Rendimento Escolar do Estado de So Paulo (Saresp) ao
direcionamento de aes de formao de professores. Este trabalho amplia a anlise te-
rica do texto original, produzido durante o mestrado da autora, que focou a articulao
entre o Saresp e os programas de formao contnua da rede estadual. Partindo dos
anncios da relao presente nos documentos oficiais, questiona-se em que medida
pertinente elaborar programas e aes de formao e bonificao de professores, tendo
como pressuposto que os resultados dos alunos nas avaliaes ilustram as necessidades
de formao dos docentes e o trabalho realizado pelos professores. Conclui-se que essa
relao no direta, apesar de ser defendida no mbito de elaborao de polticas edu-
cacionais preocupadas com a gesto racionalizada do sistema educacional, e aponta-se a
necessidade de estudos e debates mais aprofundados sobre o binmio formao de pro-
fessores/resultados de desempenho de alunos.
Palavras-chave: Formao de Professores. Desempenho dos Alunos. Sistemas de
Avaliao.
61
Educao em Revista | Belo Horizonte | v.28 | n.02 | p.61-82 | jun. 2012
* Doutora em Educao pela Faculdade de Educao da Universidade de So Paulo (USP); Pesquisadora da Fundao Carlos
Chagas (FCC) e Professora da Faculdade de Educao da Universidade de So Paulo (USP). E-mail: dri_bauer@yahoo.com.br
IS IT POSSIBLE TO RELATE STUDENT ASSESSMENTS TO THE TRAINING AND EDUCATION OF
TEACHERS? THE SO PAULO EXPERIENCE
ABSTRACT: Taking the context of So Paulo's educational policy, an attempt is made to
relate teacher training programmes to the results of SARESP (So Paulo Evaluation
System of Educational Performance).This work is an extension of a theoretical analysis
carried out in the author's original text, produced for a Master's Thesis, focusing on the
relationship between SARESP and educational, training programmes of the state. Going
on statements made in official documents, concerning the current understanding of the
relationship between the two, one wonders to what extent it is relevant to design pro-
grams, and teachers training activities, using student performance during assessments,
as indicative of what teachers require.The conclusion is reached that this relationship is
not straightforward, despite being defended within educational policies concerned with
the streamlined management of the educational system. Furthermore, the need for furt-
her discussion and studies on this coupling: teacher education/ performance of students
results, is indicated.
Keywords: Further Educational Training of Teachers. Evaluation of Students. Students
Performance and Results. Large Scale Assessment Systems.
1. O estudo: origens e contribuies para a discusso
sobre os usos dos resultados das avaliaes educacionais
A avaliao de sistemas educacionais intensificou-se no incio da
dcada de 1990, tornando-se um ponto de destaque nas polticas pblicas
ligadas educao, no s no Brasil, mas em diversos pases.
Esse fenmeno, que muitos autores [AFONSO (1998), DIAS
SOBRINHO (em FREITAS, 2002), FREITAS (2007)] relacionam
mudana do papel do Estado na educao, necessidade de melhor
gerenciamento dos recursos disponveis e necessidade de diagnstico
para a melhoria do ensino pblico, tem feito com que os sistemas de ava-
liao, muitas vezes calcados em provas de rendimento dos alunos, ocu-
pem papel de destaque na agenda poltica educacional.
O Sistema de Avaliao do Rendimento Escolar de So Paulo
(Saresp) foi formulado, segundo os documentos oficiais, em resposta
necessidade da Secretaria da Educao do Estado (SEE) de definir uma
poltica clara de avaliao. Essa poltica estava inserida em um amplo
movimento de reforma do ensino em So Paulo, que se iniciou na gesto
do governador Mrio Covas, em 1995, com Teresa Roserley Neubauer da
Silva frente da Secretaria da Educao. A introduo da avaliao de sis-
62
tema foi parte de um repensar sobre a educao paulista, que inaugurou
uma reforma administrativa e pedaggica nas diversas instituies respon-
sveis pelo ensino em So Paulo.
Tendo em vista que um dos objetivos do Saresp referia-se indi-
cao de novos caminhos para as polticas de formao, a autora props,
em sua dissertao de mestrado, a anlise das potencialidades e dos limi-
tes da utilizao dos resultados da avaliao para a indicao de polticas
de formao. A partir das colocaes realizadas em documentos do pro-
grama de avaliao, foi possvel estabelecer alguns questionamentos que
permitiram investigar o problema proposto:
Como o Saresp contemplava, na sua formulao, a questo da
formao dos educadores? O que declarava era vivel?
Como profissionais da Secretaria da Educao do Estado de
So Paulo, responsveis pela formao, entendiam a relao entre a ava-
liao e a formao de professores?
1
Os resultados do Saresp estavam subsidiando a elaborao de
programas de formao de professores? Como estava se estabelecendo a
articulao entre essas duas iniciativas?
A magnitude poltica e pedaggica da rede estadual de So Paulo
imps alguns recortes para a viabilizao do estudo qualitativo, de carter
exploratrio, cujo foco recaiu sobre as propostas realizadas para os pro-
fessores de Lngua Portuguesa, do Ensino Fundamental, em especial das
sries iniciais.
At o momento de realizao daquela pesquisa (2004-2006),
as produes acadmicas que analisavam o Saresp ou os programas de
formao docente no focavam na relao especfica em tela (avalia-
o versus formao docente), justificando um estudo emprico que se
propusesse analisar se a relao vislumbrada estava se efetivando e
contribusse para o avano do debate sobre os usos dos resultados do
Saresp.
Naquele momento, buscou-se avaliar se aes de formao con-
tnua de professores estavam sendo propostas a partir dos resultados da
avaliao, delimitando o estudo a quatro Diretorias de Ensino da rede
estadual paulista. A escolha das diretorias regionais de ensino como foco
prioritrio do trabalho deveu-se sua posio na estrutura da Secretaria
da Educao de So Paulo, que ocupa um nvel intermedirio entre os
rgos centrais e as escolas.
63
Considerou-se, como hiptese, que os usos dos resultados das
avaliaes para a elaborao de estratgias e cursos de formao estariam
atrelados concepo de educao e qualidade da educao daqueles que
eram responsveis pela implementao das aes de formao nessas
Diretorias, o que justificava o estudo sobre suas opinies acerca da avali-
ao, de seus objetivos, e de seu entendimento sobre a relao entre avali-
ao de sistemas e qualidade da formao docente.
Neste artigo, no so apresentados resultados da pesquisa de
campo, mas sim da anlise documental realizada na construo do prob-
lema de pesquisa, ou seja, prope-se uma anlise das relaes entre a for-
mao dos professores e os resultados obtidos pelos alunos no teste
padronizado paulista, visto que a existncia dessa relao parece ter sido
um pressuposto para a elaborao de dois programas importantes naque-
la poltica educacional: o Sistema de avaliao do Rendimento Escolar de
So Paulo (Saresp) e o Programa de Educao Continuada (PEC).
A retomada dos resultados dessa pesquisa justifica-se na medida
em que permite a discusso sobre os usos dos resultados do Saresp sob a
tica da formao de professores, contribuindo para a compreenso do
que tem sido feito, por parte de rgos gestores, como a Secretaria da
Educao e as Diretorias de Ensino, para que essa formao seja aprimo-
rada de acordo com a demanda do sistema educacional.
Alm disso, acredita-se que a relevncia do tema reside no fato
de que, apesar de os documentos oficiais apontarem a relao entre os
resultados do Saresp e o planejamento de polticas voltadas para os pro-
fessores, inclusive j havendo iniciativas de atribuir bnus a professores a
partir daqueles resultados, controvrsias na literatura mostram que no h
consensos sobre a estreita relao entre o desempenho dos alunos em
testes e a formao e o trabalho dos docentes, sendo importante instau-
rar o debate em torno dessa questo.
2. O Saresp contemplava a formao dos educadores?
Em uma primeira anlise, pode-se dizer que o Documento de
Implantao do Saresp apresenta alguns argumentos para justificar a
introduo da avaliao de sistemas na rede paulista. Um deles seria a par-
ticipao da Secretaria Estadual de Educao (SEE) nas trs primeiras
64
aferies do Sistema de Avaliao da Educao Bsica (Saeb)
2
, momento
em que teria ficado evidente o papel da avaliao como instrumento de
gesto e melhoria da qualidade de ensino (SO PAULOb, 1996, p. 5).
Essa melhoria da qualidade de ensino aparecia atrelada busca
de mais eficincia na prestao de servios educacionais, que seria
alcanada pela racionalizao de recursos, pela descentralizao da admi-
nistrao e das decises pedaggicas e pela produo de informaes
sobre o sistema educacional (SO PAULOb, 1996, p. 5-6).
Um segundo argumento utilizado para justificar a implantao
do Saresp era o imperativo de cada escola se reconhecer nos resultados da
avaliao, caso que no ocorria com os resultados do Saeb, por seu car-
ter amostral.
Tendo em vista a inteno de implantar uma cultura avaliativa
e fornecer informaes sobre o desempenho dos alunos para as esco-
las, ter-se-ia optado por trabalhar com um sistema que abrangesse o
universo da rede, inicialmente em algumas sries pr-fixadas e, poste-
riormente, de forma censitria. Dois objetivos gerais foram declarados
para o Saresp:
Desenvolver um sistema de avaliao de desempenho dos alu-
nos dos ensinos Fundamental e Mdio do Estado de So Paulo, que sub-
sidie a Secretaria da Educao nas tomadas de deciso quanto Poltica
Educacional do Estado;
Verificar o desempenho dos alunos nas sries do Ensino
Fundamental e Mdio, bem como nos diferentes componentes curricula-
res, de modo a fornecer ao sistema de ensino, s equipes tcnico-pedag-
gicas das Delegacias de Ensino e s Unidades Escolares informaes que
subsidiem:
a capacitao dos recursos humanos do magistrio;
a reorientao da proposta pedaggica desses nveis de
ensino, de modo a aprimor-la;
a viabilizao da articulao dos resultados da avaliao com o
planejamento escolar, a capacitao e o estabelecimento de metas para o
projeto de cada escola, em especial a correo do fluxo escolar (SO
PAULOb, 1996, p. 7-8, grifos meus).
3
No decorrer da histria do Saresp, tais objetivos foram desmem-
brados em outros mais especficos que, contudo, no romperam com os
objetivos iniciais, principalmente no que se refere utilizao dos resulta-
65
dos para a reelaborao curricular e para a reorganizao da trajetria
escolar, bem como para a formulao de aes de capacitao de pro-
fessores e tcnicos da Secretaria da Educao.
Enfatizando a qualificao docente como fator preponderante
da qualidade de ensino, e da decorrendo a necessidade de formao con-
tnua, a possvel influncia da avaliao de sistemas na formulao de pol-
ticas pblicas de formao docente tambm foi explicitada por Bittar
(1998), integrante da equipe de avaliao da Fundao para o Desenvolvimento
da Educao (FDE), instituio responsvel pelo gerenciamento das
aes do Saresp.
Os resultados da avaliao, devidamente levados em conta, podem indicar caminhos
para as atividades de capacitao propostas pelos rgos centrais ou pelas DE
para serem desenvolvidas junto s escolas ou, inversamente, para atividades
por elas sugeridas s instncias superiores [...]. As necessidades de capacitao
so mapeadas a partir da anlise dos dados do SARESP e outros indicadores
de rendimento e procuram fortalecer o ensino justamente nos pontos do cur-
rculo em que o rendimento escolar se mostrou mais frgil. (BITTAR et al.,
1998, p. 5, grifos meus)
As diretrizes para a formao de professores aparecem mais
explcitas no documento denominado Programa de Educao Continuada
(1996-1998), no qual se retomavam as diretrizes para a poltica educa-
cional definidas em 1995. Antecipando algumas das aes que seriam
desenvolvidas, o documento assegura a pretenso de romper com os cur-
sos de aperfeioamento desvinculados das reais necessidades dos partici-
pantes. O novo modelo pensado pela SEE previa articular teoria e prti-
ca, num movimento de ao-reflexo-ao, a partir do desenvolvimento
de atividades interdependentes, que se alternavam contnua e sistematica-
mente (SO PAULOc, 1996).
As aes de educao continuada foram organizadas em dois
nveis: o centralizado e o descentralizado. As aes do nvel central teriam
como prioridade as atividades voltadas para as lideranas educacionais, ou
seja, para os Dirigentes de Ensino, os Supervisores de Ensino, os
Assistentes Tcnicos da rea Pedaggica das Oficinas Pedaggicas, os
Diretores de Escola e os Professores Coordenadores. Essas atividades
seriam desenvolvidas pelas universidades e outras instituies que atu-
assem na rea de formao e aperfeioamento profissional.
66
J os professores seriam contemplados com aes planejadas e
executadas pelas Diretorias de Ensino e suas Oficinas Pedaggicas, em
parcerias com universidades e outras instituies atuantes na rea de for-
mao e aperfeioamento docente, tendo como objetivo suprir as neces-
sidades formativas definidas no mbito das diretorias.
No eram mencionados, entretanto, em que tipo de dados a
Diretoria de Ensino (D. E.) se apoiaria para fazer essa definio. Ao tratar
da forma de diagnosticar os problemas enfrentados pela escola, observa-
se uma rpida referncia avaliao como possvel meio para obteno de
subsdios para definio do trabalho a ser realizado, sem mencionar dire-
tamente o Saresp, talvez por este ainda no ser to conhecido e comenta-
do na rede, na poca da formulao do documento.
Entretanto, Vera Lucia Wey, coordenadora da Cenp poca de
implantao do programa, em material publicado posteriormente, destaca-
va a importncia das avaliaes educacionais como balizadoras da deman-
da da SEE/SP pelos cursos (WEY, 1999, p. 230-231). Para ela, o Programa
de Educao Continuada (PEC) foi um projeto inovador na medida em que
buscou o redirecionamento das aes de capacitao, explicando que,
normalmente, a oferta de cursos no se preocupava com as demandas dos
educadores. Segundo ela, o PEC rompia com essa lgica, ao partir da
demanda dos educadores e dos rgos intermedirios (as delegacias de ensi-
no), possibilitando que a capacitao apoiasse os professores na busca de
solues para os problemas encontrados, o que permitiria a potencializao
dos resultados da ao formativa. Nesse sentido, Wey chamava ateno para
o papel do Saresp no redirecionamento das prticas escolares:
O acompanhamento, a avaliao das aes e a utilizao dos dados que expres-
sam o desempenho de cada regio e de cada escola vm propiciando maior
clareza do significado do percurso educacional dos alunos, e a descoberta, o
fortalecimento e a ampliao de procedimento que levam a um trabalho de
sucesso. Isso vem ocorrendo com a utilizao dos indicadores organizados
pela escola e dos dados do SARESP, para melhor direcionamento da prtica
da sala de aula e aprimoramento do trabalho da escola.
As prprias aes de capacitao, sejam elas com a escola como um todo ou
dirigidas s diferentes reas do conhecimento (Portugus, Matemtica,
Geografia, etc.), por apresentarem como caractersticas esse movimento de ir
e vir, promovem o redirecionamento da formao permanente para o apri-
moramento da equipe de profissionais responsveis por atender a demanda e
a expectativa da comunidade escolar (WEY, 1999, p. 232).
67
Contudo, nos documentos analisados, no eram explicitados os
motivos ou pressupostos tericos que reforavam a ideia de que haveria
uma inter-relao entre os saberes dos alunos, expressados nos resultados
do Saresp, e a formao dos professores, deixando a impresso de que tal
relao, inquestionvel, estava dada, ou seja, que havia uma relao entre
a formao docente e os resultados obtidos nos testes.
Essa relao continuou sendo a tnica de polticas mais recentes,
com foco maior na gesto dos recursos pblicos. Em 2007, por exemplo,
a Secretaria de Educao de So Paulo anunciou a formulao de um sis-
tema de avaliao que visava a avaliar o trabalho de cada equipe escolar
(diretor, professores, coordenadores e funcionrios). A avaliao levaria
em conta taxas aprovao/reprovao de estudantes de cada escola, os
dados das avaliaes (como Saresp, Saeb e Prova Brasil) e tambm indica-
dores conhecidos por afetar a qualidade da aprendizagem, tais como a
presena de professores e a estabilidade da equipe escolar (SO PAULO,
2007).
Em 2008, a bonificao foi sistematizada na forma de Lei
Complementar, na qual fica claro o pressuposto de que os resultados obti-
dos pela escola, visando melhoria e ao aprimoramento da qualidade do
ensino pblico, devem ser valorizados por meio do pagamento de adi-
cional pecunirio aos professores:
Artigo 1 - Fica instituda, nos termos desta lei complementar, Bonificao
por Resultados - BR, a ser paga aos servidores em efetivo exerccio na
Secretaria da Educao, decorrente do cumprimento de metas previamente
estabelecidas, visando melhoria e ao aprimoramento da qualidade do ensi-
no pblico (SO PAULO, 2008).
No h, contudo, consenso na literatura sobre as relaes que
parecem estar na base dessa poltica de bonificao, a saber, a relao
entre atuao e formao docente e desempenho dos alunos em avalia-
es. Assim, o exame mais detalhado da posio de alguns autores, reali-
zado na prxima seo, torna-se imprescindvel para fomentar o debate.
68
3. Atuao e formao docente e desempenho dos alunos em avaliaes:
o debate
Nos ltimos 20 anos, tm proliferado estudos sobre a formao
continuada ou em servio dos professores como estratgia para desenvol-
vimento profissional, sua necessidade para a reforma educacional e seu
papel na melhoria dos resultados escolares. Diversos autores apontam que
essas aes de formao e desenvolvimento profissional tm sido coloca-
das no cerne das reformas educacionais (DESIMONE, 2009; GATTI,
2008; BORKO, 2004; AGUERRONDO, 2002; GARET; PORTER;
GUSKEY, 2001; WILSON; BERNE, 1999; GUSKEY; SPARKS, 1991;
1996; 2002).
No Brasil, observa-se um impulso educao continuada a par-
tir da Lei de Diretrizes e Bases da Educao Nacional (Lei Federal n.
9.394/96), cujo Artigo 80 estipula que o poder pblico deve estimular o
desenvolvimento e a veiculao de programas de educao continuada.
Alm disso, a partir da instituio do Fundef e do Fundeb, verificou-se a
operacionalizao do marco legal presente na lei da educao nacional no
que tange ao desenvolvimento profissional e educao continuada (em
servio) dos professores pela vinculao de verbas pblicas destinadas a
sua concretizao.
Gatti (2008) ressaltou que o tema da educao continuada adqui-
riu relevo no mbito das polticas pblicas em nvel mundial na dcada de
1990, destacando documentos do Banco Mundial, do Programa de
Promoo das Reformas Educativas na Amrica Latina (Preal), da Unesco
e do Frum Mundial da Educao como importantes veiculadores da
ideia de preparar melhor os professores.
De todo modo, a tendncia a direcionar polticas pblicas para a
formao de professores aparece relacionada possibilidade de melhoria
da qualidade
4
de ensino. Inclusive, trabalhos como os de Franco (2005) e
Fuller e Clarke
5
(1994, apud BRUNNER, 2003) exploram a formao do
professor como definidora da qualidade do ensino oferecido. Como mos-
tra Prada (2001):
As polticas de qualificao da educao e os programas, projetos, campanhas
que as concretizam, esto orientadas, ao menos intencionalmente, ao atendi-
mento da qualificao dos professores, a qual para a maioria de polticos esper-
tos, e pessoas em geral, considerada o n gordo da qualidade da educao. Esta
69
qualificao entendida mais no sentido da eficcia e eficincia do traba-
lhador da educao do que do ponto de vista do desenvolvimento do ser
humano profissional e docente inserido na cultura local (escola), da regio e
do pas onde trabalha. (PRADA, 2001, p. 98-99, grifos meus)
Esse discurso da formao docente como propulsora da qua-
lidade de ensino, que encontra ressonncia e parece embasar a prtica
de alguns gestores da educao, tem crescido em importncia nos deba-
tes sobre fatores que influenciam a qualidade escolar, normalmente tra-
duzida para o pblico na forma de resultados dos alunos em avaliaes
padronizadas.
Contudo, importante destacar a necessidade de refletir aten-
tamente sobre os discursos que indicam quase exclusivamente as ativi-
dades de formao contnua e de valorizao do magistrio como solu-
o para a melhoria da aprendizagem dos alunos, como se o problema
da qualidade do ensino se resumisse formao docente e ao desem-
penho docente.
No se pretende negar o papel dos professores (e, consequente-
mente, de sua formao) para a melhoria da qualidade de ensino. Todavia,
a compreenso de que o conhecimento dos alunos depende, principal-
mente, do conhecimento e do desempenho do professor ignora outros
fatores que influenciam o processo de aprendizagem, tais como status
socioeconmico do estudante, background do aluno, caractersticas das
escolas, tamanho de turma, qualidade dos materiais didticos utilizados, as
prprias polticas educacionais implementadas, entre outros fatores
(SOARES, 2008). preocupante perceber que a questo da melhoria da
qualidade de ensino aparece, pelo menos nos documentos dos programas,
relacionada principalmente formao docente, sendo pouco citados
outros fatores que influenciam nessa qualidade.
Corroborando essa preocupao, Torres (1998) chama a ateno
para a necessidade de analisar criticamente os discursos de formao e
valorizao docente que tm sido produzidos nos ltimos anos e que
embasam algumas polticas educacionais.
A autora traz uma contribuio preciosa ao alertar que pre-
ciso refletir sobre o uso poltico que feito de algumas relaes que
ainda no so consensuais entre a comunidade cientfica. Para ela, isso
demonstra a existncia de problemas com a investigao cientfica e
com seu uso, j que certas concluses, realizadas a partir de estudos
70
pontuais, podem ser erroneamente generalizadas, a depender da posi-
o e da inteno poltica dos envolvidos no debate. Segundo ela,
recorrente legitimar posies e at decises de poltica educativa a par-
tir de (uma seleo parcial e interessada de) resultados de investigao
(TORRES, 1998, p. 175).
Torres considera questionvel a relao direta entre os conheci-
mentos dos alunos, concretizados nos resultados das avaliaes, e o
desempenho e formao docente, mostrando que essa relao tem sido
objeto de controvrsia entre estudiosos. Nas palavras da autora:
No existe uma relao mecnica entre conhecimento do professor e aprendizagem
do aluno ou entre capacitao do professor e rendimento escolar: no se pode esper-
ar que cada ano de estudos, cada curso ou oficina de capacitao resulte ime-
diata e necessariamente em quantidades mensurveis de aprendizagem (mel-
horada) por parte do alunado. Esta viso corresponde a uma percepo da
educao e da aprendizagem escolar que equipara escola e fbrica e v o ensi-
no e a aprendizagem luz do modelo fabril insumo-produto (inputs-outputs)
(TORRES, 1998, p. 175, grifos do autor).
Em sua reviso das pesquisas sobre os programas de formao
disponveis, Hilda Borko (2004) concluiu que, a despeito dos vultosos gas-
tos com formao continuada para professores, nas diversas instncias
administrativas, as aes resultam inadequadas, fragmentadas, intelectual-
mente superficiais e deixam de considerar o conhecimento j acumulado
sobre como os professores aprendem (BORKO, 2004, p. 4).
Adicionalmente, Souza (2006) acredita que a formao de pro-
fessores tem desconsiderado a escola e seus contextos sociais e institu-
cionais, tomando os professores como elementos isolados, razo pela
qual, potencialmente, essas atividades no incidem sobre a prtica docente
ou sobre a escola. Para a autora, necessrio tomar a escola como lcus
privilegiado da ao dos professores e as atividades propostas no podem
desconsiderar os saberes j construdos por eles, concluindo que, enquan-
to no se romperem antigas concepes de formao continuada, pouco
os resultados das escolas avanaro em funo dela. Apesar da postura
mais crtica de Torres (1998) e Souza (2006), a maioria das reformas
educativas tem partido da premissa de que a educao continuada em
servio boa por definio, pouco se questionando se as atividades de
formao realmente fazem diferena.
71
H ainda os que se dedicam problemtica da avaliao docente
baseada nos resultados dos alunos, tendncia que vem sendo enfatizada
juntamente com o desenvolvimento dos sistemas de avaliao (GUSKEY;
SPARKS, 1996; 2002). Conforme explicado por Gatti (2011), a utilizao
dos dados de rendimento dos alunos como evidncia da atuao do pro-
fessor tem se tornado comum nas propostas de avaliao dos professores.
Apesar de apontar a existncia de estudos crticos s avaliaes de docen-
tes realizadas nessas bases, a autora frisa que preciso ponderar as crti-
cas e procurar delinear formas avaliativas que possam ser vistas como
mais consistentes (GATTI, 2011, p. 80)
Outros autores, como Darling-Hammond (1999) e Brunner
(2003), apontam a existncia de relao entre rendimento do aluno e for-
mao do professor. Brunner, por exemplo, se apoia em estudo realizado
por Fuller e Clarke para concluir que a qualidade da docncia um aspec-
to central para a melhoria dos resultados escolares dos alunos. Segundo o
autor, a qualidade do ensino seria determinada:
[...] pelas prticas de ensino do docente na sala de aula, pelo desenvolvimen-
to profissional docente (conhecimento da matria que ensina e capacidade de
ensinar a alunos de diversas origens scio-familiares) e os insumos (tamanho
do curso, formao inicial e experincia do professor) (BRUNNER, 2003, p.
77-78).
Ante as controvrsias, aqui apenas ilustradas pelo posicionamen-
to de dois, entre outros autores que se dedicam a esses estudos, fica a
dvida sobre qual seria a exata correspondncia entre formao e traba-
lho do professor e aprendizagem do estudante. As aes que foram defi-
nidas no Programa de Educao Continuada parecem supor que essa cor-
relao existe e alta. No entanto, elas ignoram que essas correlaes no
so comprovadas facilmente, como j explicava Scriven, desde a dcada de
1980:
Uma varivel que positivamente correlacionada outra pode ser usada pra
inferir a presena da outra, mas no pode em geral ser usada para explic-la
ou avali-la. O uso incorreto de um correlato (ou um fator, na anlise fatori-
al) como se ele fosse uma explicao de, um substitutivo para, ou um critrio
de avaliao vlido de, outra varivel so exemplos do que aqui chamado de
falcia da sub-rogao estatstica (SCRIVEN, 1987, p. 11)
6
.
72
O argumento de Scriven aponta que mesmo que houvesse cor-
relao estatstica entre formao continuada, desempenho do professor
e desempenho dos alunos, no seria possvel afirmar que formao ou
desempenho docentes so explicao para o desempenho dos alunos,
visto que a correlao no serve para provar relaes de causa.
Nesse sentido, ainda que houvesse acordo na literatura sobre que
a formao e o desempenho do professor fazem diferena em termos do
aumento da aprendizagem dos estudantes, o grau em que essa relao
ocorre precisaria ser melhor investigado. Alm disso, como salientado por
Scriven, a utilizao de testes psicolgicos ou cognitivos pode ser vlida
ou invlida; ento importante analisar que tipo de informao pode ser
obtida por meio da prova e discutir quo adequada esta informao:
Procedimentos de avaliao, como usos de testes psicolgicos, so vlidos ou
invlidos. Eles so vlidos na extenso em que identificam corretamente o
mrito do que ou de quem est sendo avaliado. (O tipo de validade envolvi-
da em ambos os casos a mesma, chamada validade de constructo, para a
qual todos os outros tipos se reduzem) (SCRIVEN, 1987, p. 9)
7
.
Complementarmente, Haertel lembra outra importante questo
com implicao para essa discusso: possvel reduzir as necessidades de
formao dos professores a apenas alguns domnios de conhecimento dos
alunos privilegiados no instrumento de avaliao?
() testes podem medir somente um subconjunto de importantes objetivos
de aprendizagem, e se os professores so classificados de acordo com a
aquisio dos seus alunos naqueles objetivos, o ensino em objetivos no-men-
surados deveria ser desprezado (Elliott; Hall, 1985). Por todas essas razes,
tem se tornado um lugar comum que conhecimentos dos alunos em testes
estandartizados so inadequados para avaliao de professores (HAERTEL,
1986, p. 46).
8
Ora, se as avaliaes de rendimento dos alunos so pautadas em
Matrizes de Contedos, que j constituem uma reduo do currculo, seri-
am os resultados dos alunos nessas avaliaes um bom espelho das neces-
sidades formativas dos professores e de seu desempenho em sala de aula?
Na mesma linha, em mbito nacional, Gatti (2011) assinala a necessidade
de refletir sobre as medidas provenientes do rendimento dos alunos, ao
relacion-las ao desempenho dos professores, destacando que so
73
necessrios cuidados para que sejam assumidas como vlida e confivel
pelos avaliados (GATTI, 2011, p. 80).
Deve-se considerar, ainda, que esses testes no levam em consi-
derao as diferenas entre os alunos quando comearam a escolarizao.
Se programas de desenvolvimento profissional de professores baseiam-se
nos resultados de avaliao em larga escala, seria necessrio avaliar nveis
anteriores de conhecimento dos alunos para poder isolar os efeitos do
ensino e, assim, tentar compreender a influncia da formao do profes-
sor sobre o conhecimento adquirido durante o ano letivo. No entanto,
avaliaes em larga escala raramente consideram habilidades preexistentes
que os alunos trazem. Seria necessrio realizar uma ampla discusso sobre
como avaliar essas habilidades e o que deveria ser avaliado, a fim de deter-
minar o efeito da escola e do professor sobre o aluno.
Uma ltima questo a ser considerada refere-se gesto das dife-
renas de aprendizagem entre os alunos. Se a aprendizagem do estudante
est diretamente relacionada qualidade e formao do professor, como
seria possvel explicar as diferenas entre os estudantes que tiveram o
mesmo professor? E como essas diferenas seriam contabilizadas no
momento de propor um curso de formao docente a partir dos resulta-
dos dos alunos? Qual a necessidade de formao de um professor que
eficaz para alguns alunos, mas no para outros? Essas questes esto sendo
levadas em conta por aqueles que propem os cursos para os professores?
Em sntese, mesmo que se comprovasse a causalidade da relao
entre a formao docente e o rendimento dos alunos, no seria possvel
deixar de apontar alguns problemas a serem considerados ao utilizar os
resultados dos testes para a elaborao de programas educacionais: a natu-
reza, a confiabilidade e a validade das informaes produzidas pelo teste.
No se pretende defender que os resultados dos testes no pos-
sam ser utilizados para a tomada de decises, mas sim chamar a ateno
para o fato de que esse uso no pode ser realizado de forma simplista, sem
que a natureza da informao por eles produzida seja considerada. A vali-
dade das informaes obtidas e dos instrumentos utilizados nas avaliaes
parece ter sido pouco questionada por aqueles que so responsveis pela
anlise e pela elaborao das polticas, e por aqueles que recebem e inte-
ragem, em nvel local, com esses resultados.
Nesse sentido, considera-se que a falta de debate e reflexo
sobre a validade desses resultados, por si s, seria uma limitao para o
74
seu uso que deveria ser considerada no momento da elaborao de aes
a serem realizadas a partir deles. Tais questes no parecem estar sendo
consideradas pelos gestores educacionais e por aqueles que elaboram as
avaliaes, j que a inteno de usar os resultados para o planejamento de
aes de formao docente, ou mesmo para a oferta de informaes edu-
cacionais para que o professor gerencie seu trabalho, tem sido apontada
como objetivo em vrios sistemas de avaliao do Brasil
9
, inclusive no
Saresp.
Ante as controvrsias citadas e os problemas destacados, faz-se
necessrio o desenvolvimento de estudos empricos que possam iluminar
a relao entre formao e desempenho docente e rendimento dos alunos,
ou seja, sobre como os resultados de rendimento podem auxiliar na orien-
tao de atividades de formao contnua de professores e em que medida
esses resultados refletem o desempenho do professor e se so boas medi-
das para serem usadas em polticas de bonificao. necessrio aprofun-
dar a anlise das relaes entre rendimento dos alunos e formao e
desempenho docente.
Esse aprofundamento parece ganhar em relevncia ante a afir-
mao de Navarro (2003). Em material produzido para o Seminrio
Internacional A dimenso poltica da avaliao da qualidade educativa na
Amrica Latina, o autor argumentou que as reformas educativas que
ocorreram na maioria dos pases latino-americanos a partir da dcada de
1980, no geral, no esto produzindo mudanas significativas no fazer do
professor na sala de aula e nos resultados das avaliaes. Tal constatao
parece um contrassenso e merece ateno por parte daqueles que se
debruam sobre essa problemtica.
Com o objetivo de compreender melhor as relaes entre as ava-
liaes de sistemas e os programas de formao docente a partir delas rea-
lizados, busca-se, em Wills (1992), citado por Franco (2005), informaes
que auxiliem no entendimento do problema. Segundo Franco, Wills um
pouco ctico no que se refere ao uso dos resultados de rendimento esco-
lar como subsdio para solues positivistas de polticas pblicas, j que
considera difcil identificar e medir muitos dos fatores que so associados
aos processos escolares, devido sua complexidade e ao seu carter mul-
tifacetado.
Franco frisa que o desempenho educacional dos alunos depen-
de de diversos fatores, muitos dos quais esto alm do controle dos pro-
75
fessores (FRANCO, 2005, p. 24). Da mesma forma, h que se supor que
muito do desempenho do professor em sala de aula depende de outros
fatores, alm de sua formao ou do treinamento que ele recebe para atuar
de acordo com os parmetros curriculares e metodolgicos determinados
pelos gestores.
Em seu estudo, o autor faz uma reflexo sobre as possibilidades
e os limites de vrios tipos de avaliao para a obteno de informaes
sobre a profisso docente. A partir de sua reflexo, exposta no Quadro 1,
possvel inferir que seria importante procurar agregar s avaliaes de
desempenho do aluno outros instrumentos capazes de diagnosticar a
influncia do trabalho docente nos resultados obtidos, assim como detec-
tar com mais preciso outros fatores que podem ser associados melho-
ria desses resultados.
Alm disso, parece importante desenvolver mecanismos de ava-
liao dos programas de formao oferecidos aos professores, a fim de
verificar sua efetividade no desenvolvimento profissional docente.
QUADRO 1. Avaliaes e Carreira do Magistrio: potencialidades, limitaes e alternativas
FONTE: FRANCO, 2005.
76
AVALIAO (TIPO)
Desempenho
de alunos
Institucional
Conhecimentos e
competncias
de professores
Desempenho de
professores
POTENCIALIDADES
Sintonizada com o propsito da
educao: aprendizagem dos
alunos.
Assume a escola como unidade
de anlise.
Produz indicador para cada
docente.
Produz indicador para cada
docente. Similar avaliao de
outros servidores, feita por
meio de preenchimento de
questionrios e fichas.
LIMITAES
Muitos fatores esto fora do
controle das escolas e dos
professores. Mesmo no que
depende da escola, o desempen-
ho dos alunos influenciado por
vrios professores.
Risco de burocratizao
No produz informao sobre
cada docente.
Conhecimentos e competncias
podem no garantir boas prticas.
Risco de burocratizao e
irrelevncia.
ALTERNATIVAS
Focalizar a melhoria da escola
ao longo do tempo, em vez do
desempenho em determinado
momento. Conjugar aspectos
coletivos, dependentes da
equipe da escola, com individuais,
dependentes de cada professor.
Articul-la com indicadores
objetivos apurados por
avaliao externa. Conjug-las
com outros critrios.
Articul-la com outros critrios.
Articul-la com indicadores
objetivos apurados por avali-
ao externa sobre a escola,
em especial com os fatores
que promovem bom
desempenho discente.
Tambm seria fundamental compreender que efeitos as avali-
aes tm tido no trabalho realizado pelos professores e pelas escolas,
assim como nas instituies que so responsveis pela formao do pro-
fessor. Conforme demonstrado por Bauer (2011), poucas so as pesquisas
que se dedicam ao estudo dos efeitos das avaliaes (a exemplo das de
CARVALHO; MACEDO, 2010; PIATTI, 2006; BARREIROS, 2003),
quer por sua complexidade metodolgica, quer por dificuldades oriundas
da prpria alterao que ocorre nos programas, que inviabiliza o planeja-
mento de pesquisas de longo prazo.
De qualquer forma, necessrio criar mecanismos para superar
os limites e dificuldades impostos por avaliaes de impacto, a fim de
enfrentar o debate que apenas se inicia. A simples apreenso do uso dos
resultados da avaliao nos rgos intermedirios e nas escolas para a
reflexo sobre os fazeres e saberes da docncia j poderia contribuir para
iluminar a discusso, que, segundo Franco, deve se acirrar nos prximos
anos, com a necessidade imposta pela Lei de Diretrizes e Bases da
Educao Brasileira de se equacionar a avaliao da educao com a avali-
ao docente e a valorizao do magistrio.
77
Referncias
AFONSO, A. Polticas educativas e avaliao educacional. Portugal: Universidade de Minho,
1998.
AGUERRONDO, I. Los desafios de la poltica educativa relativos a las reformas de la
formacin docente. In: CONFERNCIA REGIONAL EL DESEMPEO DE LOS
MAESTROS EM AMERICA LATINA Y EL CARIBE: Nuevas Prioridades. Anais
Braslia, DF: Unesco/MEC/BID, jul. 2002.
BARREIROS, D. R. A. O Sistema Nacional de Avaliao da Educao Bsica: vnculos entre
avaliao e currculo. Rio de Janeiro: Universidade Estadual do Rio de Janeiro, 2003.
BAUER, A. Avaliao de impacto de formao docente em servio: o Programa Letra e Vida. Tese
(Doutorado em Educao), 250p. So Paulo: Universidade de So Paulo/ Faculdade de
Educao, 2011.
BITTAR, H. A. F. et al. O Sistema de Avaliao de Rendimento Escolar do Estado de
So Paulo: Implantao e Continuidade. Idias, So Paulo: FDE, n. 30, p. 9-20, 1998.
BORKO, H. Professional Development and Teacher Learning: Mapping the Terrain.
Educational Researcher, v. 33, n. 8, 2004. Disponvel em: <http://www.aera.net/
uploadedFiles/Journals_and_Publications/Journals/Educational_Researcher/Volume_
33_No_8/02_ERv33n8_Borko.pdf>. Acesso em: 17 set. 2010.
BRUNNER, J. J. Limites de la lectura periodstica de resultados educacionales. UNES-
CO. Evaluar las evaluaciones: una mirada poltica acerca de las evaluaciones de la calidad
educativa. Buenos Aires: IIPE/UNESCO, 2003, p. 67-84.
CARVALHO, G. F. da S.; MACEDO, M. do S. A. N. Avaliao oficial: o que dizem os
mediadores da poltica pblica sobre o impacto na prtica docente. Estudos em Avaliao
Educacional, So Paulo: Fundao Carlos Chagas, v. 21, n. 46, p. 243-270, maio/ago. 2010.
DARLING-HAMMOND, L. Teacher quality and student achievement: a review of state poli-
cy evidence. Seattle-WA: Center for the Study of Teaching and Policy; University of
Washington, 1999.
DESIMONE, L. M. Improving impact studies of teachers professional development:
toward better conceptualizations and measures. Educational Researcher, Thousand Oaks,
CA: Aera/Sage Publications, v. 38, n. 3, p. 181-199, 2009.
DIAS SOBRINHO, J. Campo e caminhos da avaliao: a avaliao da educao superi-
or no Brasil. In: FREITAS, L. C. (Org.). Avaliao: construindo o campo e a crtica.
Florianpolis: Insular, 2002.
FRANCO, C. Estudo sobre Avaliao da Educao e Valorizao do Magistrio.
CONSED RH- GT Valorizao do Magistrio. Maro de 2005. Disponvel em:
http://www.consed.org.br/gcs/file.asp?id=6418. Acesso em 5 ago. 2006.
FREITAS, D. N. T. de. A avaliao da educao bsica no Brasil: dimenso normativa,
pedaggica e educativa. Campinas: Autores Associados, 2007. (Coleo Educao
Contempornea.)
GARET, M. et al. (Ed.). What makes Professional development effective? Results from
a national sample of teachers. American Educational Research Journal. Thousand Oaks: Sage
Publications, v, 38, n. 4, p. 915-945, Win. 2001.
GATTI, B. A. Avaliao de professores: um campo complexo. Estudos em Avaliao
Educacional, So Paulo: Fundao Carlos Chagas, v. 22, n. 48, p. 77-88, jan./abr. 2011.
78
GATTI, B. A. Anlise das polticas pblicas para formao continuada no Brasil na lti-
ma dcada. Revista Brasileira de Educao, Rio de Janeiro: Anped/Autores Associados, v.
13, n. 37, p. 57-70, jan./abr. 2008.
GUSKEY, T.; SPARKS, D. Linking professional development to improvements in stu-
dent learning. REUNIO ANUAL DA ASSOCIAO AMERICANA DE
PESQUISA EDUCACIONAL, abr. 2002, Nova Orleans. Disponvel em:
<http://www.eric.ed.gov:80/ERICWebPortal/search/detailmini.jsp?_nfpb=true&_&E
RICExtSearch_SearchValue_0=ED464112&ERICExtSearch_SearchType_0=no&accn
o=ED464112>. Acesso em: 19 jan. 2011.
GUSKEY, T.; SPARKS, D. Exploring the relationship between staff development and
improvements in student learning. Journal of Staff Development, Oxford: National Staff
Development Council, v. 17, n. 4, 1996. Disponvel em:
<http://www.learningforward.org/news/ jsd/f_gusky.cfm>. Acesso em: 23 fev. 2011.
GUSKEY, T.; SPARKS, D. Complexities in evaluating the effects of staff development
programs. REUNIO ANUAL DA ASSOCIAO AMERICANA DE PESQUISA
EDUCACIONAL, abr. 1991, Chicago. Disponvel em: <http://www.eric.ed.gov/
PDFS/ED331795.pdf>. Acesso em: 19 jan. 2011.
HAERTEL, E. The Valid Use of Student Performance Measures for Teacher
Evaluation. Educational Evaluation and Policy Analysis, 8, 1986, p. 45-60. Disponvel em:
<http://www.jstor.org/stable/1163819>. Acesso em 6 nov. 2009.
NAVARRO, J. C. La evaluacin y las actitudes de los docentes frente a ella: dificultades
y alternativas de poltica. UNESCO. Evaluar las evaluaciones: una mirada poltica acerca de
las evaluaciones de la calidad educativa. Buenos Aires: IIPE/UNESCO, 2003, p. 147-
164.
PIATTI, C. B. Formao continuada: reflexos na prtica dos professores participantes do
Programa de Formao de Professores Alfabetizadores Profa. 2006. Dissertao
(Mestrado em Educao) Universidade Catlica Dom Bosco, Campo Grande, MS,
2006.
PRADA, L. E. A. Formao Continuada de Professores: experincias em alguns pases.
Revista Online da Biblioteca. Prof. Joel Martins. Campinas, v. 2, n. 3, p. 97-116, jun. 2001.
SO PAULO (a), Secretaria da Educao do Estado. Comunicado SE/95.
SO PAULO (b), Secretaria da Educao do Estado. Documento de Implantao do SARE-
SP. 1996.
SO PAULO (c), Secretaria da Educao do Estado. Programa de Educao Continuada
(1996-1998). Julho de 1996.
SO PAULO. Secretaria da Educao do Estado. SARESP 98, Manual de orientao. So
Paulo: FDE, 1998, p. 01.
SO PAULO. Secretaria da Educao do Estado. SARESP - Sistema de Avaliao do
Rendimento Escolar do Estado de So Paulo: Os avanos na construo de uma cultura avalia-
tiva na Rede de Ensino Paulista. N 02, Agosto de 1999. So Paulo. Articulando a avali-
ao, gesto e formao no SARESP, FDE, 1998.
SO PAULO. Lei Complementar n 1078, de 17 de dezembro de 2008.
SCRIVEN, M. Validity in Personnel Evaluation. Journal of Personnel Evaluation in
Education, 1,Hingham: mKlumer Academic Publishers, p. 9-23, 1987.
SOARES, J. F. Melhoria do desempenho cognitivo dos alunos do ensino fundamental.
79
Cadernos de Pesquisa, So Paulo, v. 37, n. 130, p. 135-160, 2007. Disponvel em:
<http://www.scielo.br/scielo.php. ISSN 0100-1574>. Acesso em: 22 nov. 2008.
SOUZA, D. T. R. Formao continuada de professores e fracasso escolar: problemati-
zando o argumento da incompetncia. Educao e Pesquisa, So Paulo: FEUSP, v. 32, n. 3,
p. 477-492, set./dez. 2006.
TORRES, R. M. Tendncias da formao docente nos anos 90. WARDE, M. (org.).
Novas polticas educacionais: crticas e perspectivas. So Paulo: PUC, 1998, p. 173-191.
WEINBERG, M. Premiar o mrito. Revista Veja, n. 2047. 13/2/2008. Disponvel em:
<http://veja.abril.com.br/130208/entrevista.shtml>. Acesso em: 20 nov. 2009.
WEY, V. L. A capacitao de educadores no contexto da poltica educacional da SEE/SP.
BICUDO, M. A. V.; SILVA JNIOR, C. A. Formao do educador e avaliao educacional: for-
mao inicial e contnua. So Paulo: Editora UNESP, 1999, p. 227-247.
WILSON, S. M.; BERNE, J. Teacher Learning and the Acquisition of Professional
Knowledge: An Examination of Research on Contemporary Professional Development.
Review of Research in Education, v. 24, p. 173-209, 1999. Disponvel em:
<http://www.jstor.org/stable/1167270>. Acesso em: 29 jan. 2010.
80
Notas
1
Apesar de ter constitudo aspecto central na pesquisa original, os depoimentos obtidos
junto aos tcnicos das diretorias de ensino, FDE e CENP no sero utilizados no pre-
sente artigo, por limitaes de espao. Assim, objetiva-se aqui uma anlise crtica das
declaraes dos documentos oficiais e o questionamento da lgica utilizada para a justi-
ficativa da poltica, suprimindo-se a anlise daqueles depoimentos.
2
O Saeb Sistema de Avaliao da Educao Bsica a avaliao proposta em
nvel nacional, de carter amostral, proposta pelo MEC. Essa avaliao realizada a
cada dois anos, utilizando testes padronizados e questionrios, e abrange amostras de
todas as unidades da federao. A partir de 2005, o Saeb composto pela Avaliao
Nacional da Educao Bsica (Aneb) que mantm as caractersticas do Saeb, com
carter sistmico geral e sendo aplicada a uma amostra aleatria de estudantes e
pela Avaliao Nacional do Rendimento Escolar (Anresc). De maior extenso, com
foco em cada unidade escolar, pretende coletar informaes sobre o desempenho em
leitura e matemtica dos alunos das escolas urbanas de 4 e 8 sries da rede pblica
brasileira.
3
De maneira geral, tais objetivos permanecem em todas as aferies do Saresp, com
exceo do ano de 2001, quando a avaliao assumiu carter bastante especfico: emba-
sar as decises quanto ao encaminhamento de cada aluno para a continuidade de estu-
dos ou para a recuperao de ciclos (SO PAULO, Saresp 2002. Disponvel em:
http://saresp.edunet.sp.gov.br/2002/subpages/desenh_metd.htm. Acesso em 24 mar.
2010).
4
Qualidade essa cuja definio e cujos parmetros variam muito, tanto nas discusses
acadmicas quanto entre gestores e tcnicos de educao.
5
FULLER, B.; CLARKE, P. Raising school effects while ignoring culture? Local condi-
tions and the influence of classroom tools, rules, and pedagogy. Review of Educational
Research, v. 64, n. 1, 1994.
6
A variable that is positively correlated with another can always be used to infer the pre-
sence of the other, but cannot in general be used to explain it or evaluate it. Incorrect
use of a correlate (or a factor in a factor analysis) as if it were an explanation of, a subs-
titute for, or a valid evaluative criterion of, another variable are examples of what is here
called the fallacy of statistical subrogation (SCRIVEN, 1987, p. 11).
7
Evaluation procedures, like uses of psychological tests, are valid or invalid. They are
valid to the extent that they correctly identify the merit of whatever or whomever is
being evaluated. (The kind of validity involved in both cases is the same, namely cons-
truct validity4, to which all other types reduce) (SCRIVEN, 1987, p. 9).
8
() tests can measure only a subset of important learning objectives, and if teachers
are rated on their students' attainment of just those outcomes, instruction of unmeasu-
red objectives may be slighted (Elliott & Hall, 1985). For all these reasons, it has beco-
me a common place that standardized student achievement tests are ill-suited for teacher
evaluation (HAERTEL, 1986, p. 46).
81
9
No caso do Brasil, para se ter uma ideia da dimenso da influncia da formao docen-
te na qualidade da educao, vale mencionar que, segundo Creso Franco, muitos estados
brasileiros que tm sistemas prprios de avaliao de rendimento dos alunos atestam que
um de seus objetivos principais obter informaes que subsidiem programas de for-
mao ou capacitao docente. (FRANCO, 2005, p. 7)
Recebido: 13/04/2011
Aprovado: 29/09/2011
Contato:
Fundao Carlos Chagas
Rua Quitanduba, 363
Butant
CEP 05516-030
So Paulo, SP
Brasil
82

Avaliação Discente e Formação de Professores

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Avaliação Discente e Formação de Professores

Загружено:

Авторское право:

Доступные форматы

POSSVEL RELACIONAR AVALIAO DISCENTE

Вам также может понравиться