Práticas e Modelos de Avaliação em Bibliotecas Escolares

Síntese da Sessão 5

Foram objectivos desta sessão:

• Compreender como é que a auto‐avaliação pode ser concretizada para demonstrar a

contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola.

• Ganhar familiaridade com o processo de auto‐avaliação adoptado pelo Modelo de

Auto‐avaliação RBE e capacitar para a sua aplicação.

• Conhecer as técnicas e instrumentos propostos, o modo como se organizam e podem ser

usados.

A tarefa proposta consistia em:

a) Escolher, em alternativa, um dos seguintes Domínios/Subdomínios:

• A.2. (Promoção das Literacias da Informação, Tecnológica e Digital)

• B. (Leitura e Literacia)

• C.1. (Apoio a Actividades Livres, Extra‐Curriculares e de Enriquecimento Curricular)

b) Escolher no Domínio/Subdomínio seleccionado dois Indicadores, um que considere de

Processo e outro que considere de Impacto/Outcome, e analise‐os detalhadamente.

c) Estabelecer um Plano de Avaliação em profundidade daqueles dois Indicadores,

recorrendo ao Texto da sessão, às Orientações para a aplicação do Modelo incluídas na
versão actualizada do mesmo, disponível no sítio RBE, e ao texto de leitura
complementar: Basic Guide To Program Evaluation.

d) O Plano deve incorporar informação e aspectos retirados dos vários documentos de

consulta e reflectir a natureza e conteúdo do Domínio/Sub‐domínio escolhido.

Atenção: em cada Domínio/Sub‐domínio não serão admitidos mais de 12 formandos, por isso
se um deles já tiver esse número de inscritos, terá de escolher outro.

Realização da tarefa:
Em relação à realização da tarefa, 31 formandos participaram na unidade e elaboraram
a tarefa desta acção. Houve um formando que inadvertidamente escolheu o domínio D, não
cumprindo o estabelecido nas orientações da sessão.
 Na realização do seu trabalho, os formandos continuam a reflectir um crescente
domínio do “Modelo de Auto‐avaliação da BE”, embora poucos evidenciassem outras leituras,
nomeadamente o texto de leitura complementar sugerido: Basic Guide To Program Evaluation.
Este documento parece‐nos muito importante para apoiar uma selecção mais adequada
dos instrumentos de recolha de informação, de acordo com as evidências que se pretendem
recolher.

Síntese do Fórum para Realização das Tarefas

Os formandos revelaram familiaridade com o processo de auto‐avaliação adoptado pelo

Modelo de Auto‐avaliação RBE o que, desejavelmente, os capacitará para a sua aplicação. As
técnicas e instrumentos propostos, o modo como se organizam e podem ser usados poderão
ser analisados de melhor forma, verificando‐se em muitos casos ainda uma intenção/tentação
de utilizar o máximo número de evidências possível, em vez de seleccionar cuidadosamente
qual é o conjunto de instrumentos que EFECTIVAMENTE irá revelar as evidências que são
precisas para demonstrar a verificação (ou não) de determinado indicador.

Em alguns casos, os formandos limitaram‐se a reproduzir as sugestões do Modelo (por

exemplo, dos questionários ou das estatísticas dificilmente retiraremos evidências de impacto
‐ traduzido numa mudança de conhecimento, competências, atitudes, valores, níveis de sucesso,
bem‐estar, inclusão, etc.‐ se não cruzarmos a informação fornecida por esses instrumentos
com outra que a complemente como grelhas de observação ou análise dos trabalhos dos
alunos ou até mesmo a análise diacrónica das suas avaliações escolares), não explicitando a
articulação entre a avaliação quantitativa e qualitativa.
Assim, verificámos que o PLANO DE AVALIAÇÃO, tal como consignado no texto da
sessão,
Elaboração do Plano de Avaliação: Problema/Diagnóstico; Identificação do objecto da
avaliação; Tipo de avaliação de medida a empreender; Métodos e instrumentos a utilizar;
Intervenientes; Calendarização; Planificação da recolha e tratamento de dados; Análise e
comunicação da informação; Limitações, Levantamento de necessidades (recursos humanos,
financeiros, materiais, …), etc. não foi efectivamente realizado por alguns formandos.
Os contributos que mais se aproximaram dos objectivos da sessão foram os da
Rosalinda, da Etelvina, da Isabel e da Teresa Patita.
Apesar de tudo, sendo esta uma situação de aprendizagem, pensamos que os objectivos
fundamentais desta tarefa ficaram concretizados com sucesso.
 Neste novo processo para o qual fomos todos convidados a participar, é importante
compreender como é que a auto‐avaliação pode ser concretizada para demonstrar a
contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola. Esta tarefa
tinha, precisamente, com o objectivo obrigar a reflectir sobre o que é processo ou impacto na
BE, fundamental para a sua afirmação na Escola, e sobre este aspecto alguns formandos
revelaram alguma dificuldade, que certamente verão ultrapassada no final da sessão.

A título de conclusão gostaríamos de reforçar as seguintes ideias:

PARA QUÊ? PORQUÊ?

• Para identificar pontos fortes e pontos fracos do A • O propósito da auto‐avaliação é apoiar o

Programa da BE, priorizando necessidades.
• Para identificar necessidades de investimento a
ter em conta no plano orçamental, justificando o
pedido de reforço de verbas ou de apoios
suplementares.
• Para equacionar novas práticas de trabalho e de
funcionamento em termos da eficácia de serviços;
• Para priorizar novas áreas de formação para a
equipa da BE, tendo em vista melhorar o apoio aos
utilizadores da BE.
O QUÊ?
ABORDAGEM TRADICIONAL
desenvolvimento das bibliotecas escolares e demonstrar a
V sua contribuição e impacto no ensino e aprendizagem.
A • Para melhorar os serviços da Biblioteca Escolar de
forma a que a mesma responda cada vez mais às
L necessidades da escola no atingir da sua missão e
objectivos.
I
• A avaliação deve ser encarada como uma
A componente natural da actividade de gestão da
biblioteca, usando os seus resultados para a melhoria
R contínua.
• Para integrar a avaliação da BE no processo da
avaliação interna da escola.
MODELO DE AUTO-AVALIAÇÃO

• Avaliação das bibliotecas em termos • Medir os outcomes (Impactos) significa,

de inputs (instalações, equipamentos,
financiamentos, staff, colecções, etc.),
processos (actividades e serviços) e
outputs (visitas à biblioteca,
empréstimos, consultas do catálogo,
pesquisas bibliográficas; respostas do
serviço de referência, materiais
produzidos, etc. …), desenvolvendo
formas de avaliação da qualidade dos
serviços e da sua performance de
carácter eminentemente quantitativo
e as mais das vezes traduzidas em
termos de custos e eficiência. (texto
da sessão).
no entanto, ir mais além, no sentido de
conhecer o benefício para os utilizadores
da sua interacção com a biblioteca. A
qualidade da biblioteca deriva do valor
atribuído pelos utilizadores a esse
benefício, traduzido numa mudança de
conhecimento, competências, atitudes,
valores, níveis de sucesso, bem‐estar,
inclusão, etc. (texto da sessão)
 Avaliação quantitativa e qualitativa
Idealmente, o avaliador utilizará uma combinação de métodos, por exemplo, um
questionário para recolher rapidamente uma grande quantidade de informações de um
número elevado de pessoas, e em seguida, as observações ou mesmo entrevistas para obter
mais informações detalhadas de algumas reacções aos questionários. Também alguns estudos
de caso podem ser utilizados para uma análise mais aprofundada dos casos únicos e notáveis,
por exemplo, aqueles que beneficiaram do programa da BE, aqueles que não usufruem dos
serviços da BE, etc.

Níveis de avaliação:
Existem quatro níveis de informação de avaliação que pode ser obtida através dos
utilizadores, percepcionando os seus:
1. reacções e sentimentos (sentimentos muitas vezes são pobres indicadores de que o
serviço produza impacto duradouro)
2. atitudes de aprendizagem (avançado, percepções ou conhecimentos)
3. mudanças nas habilidades (aplicado para melhorar a aprendizagem)
4. desempenho (eficácia melhorada por causa do reforço de comportamentos)
Normalmente, quanto mais informações consegue reunir para a sua avaliação, mais útil
ela se revela. Sabemos o quanto é difícil obter informação fiável sobre a eficácia, pelo que toda
a informação sobre a aprendizagem e a aquisição de habilidades se revela bastante útil.

Resumo dos Métodos de Recolha de Informação

A tabela a seguir fornece uma visão geral dos principais métodos utilizados para a
recolha de dados durante as avaliações.

Método global Finalidade Vantagens Desafios

‐pode realizar
anonimamente
‐ pode não obter
‐baixo custo
quando precisa feedback cuidadoso
‐fácil de comparar e
rapidamente e / ou ‐redacção pode
questionários, analisar
facilmente obter muitas comprometer a intenção
pesquisas, listas ‐ fácil de administrar a
informações de pessoas do inquirido
de verificação muitas pessoas
de uma maneira não ‐ é impessoal
‐ pode combinar lotes de
ameaçadora ‐ não se percebe toda a
dados
história
‐ questionários existem
muitos
Método global Finalidade Vantagens Desafios
quando quiser ‐ alarga a escala e
‐pode demorar muito
compreender profundidade de
tempo
plenamente as informações
‐pode ser difícil de
impressões de alguém ‐desenvolve
entrevistas analisar e comparar
ou experiências, ou relacionamento com os
‐ pode ser onerosa ‐ o
saber mais sobre as suas utilizadores
entrevistador pode
respostas aos ‐permite alguma
condicionar as respostas
questionários flexibilidade
quando querem obter
‐permite obter ‐muitas vezes leva muito
uma impressão de como
informações completas e tempo
o programa opera sem o
com o histórico ‐informação pode estar
interromper
revisão da ‐não envolve interromper incompleta
análise dos
documentação programa ou rotina do ‐precisa ter muito claro
memorandos, actas,
utilizador no programa sobre o que procura
planificações,
‐ baseia‐se em informação ‐ os dados restringem‐se
documentos
já existente ao que já existe
reguladores, etc
‐pode ser difícil de
interpretar
para recolher
comportamentos
informações precisas ‐ operações de vista de
‐pode ser complexo
sobre como um como um programa está
categorizar observações
observação programa realmente realmente a decorrer
‐podem influenciar o
funciona, ‐pode adaptar‐se aos
comportamento dos
particularmente sobre eventos que ocorrem
participantes do
os processos
programa
‐pode ser caro
‐ rápida e confiável obter
explorar um tema em impressões comum
profundidade através de ‐ pode ser uma maneira ‐pode ser difícil de
discussão em grupo, por eficiente de obter analisar as respostas
exemplo, sobre as variedade e profundidade ‐ cuidado para preservar
grupos de foco reacções a uma de informações em curto a privacidade
experiência ou espaço de tempo ‐ pode ser difícil agendar
sugestões, reclamações ‐ pode transmitir as um momento comum a
entendimento comum, informações 6‐8 pessoas
etc fundamentais sobre o
programa
‐geralmente consomem
para compreender ou ‐ retrata em pleno a
muito tempo para
descrever as experiência do utilizador
recolher, organizar e
experiências do na entrada do programa,
descrever
estudos de caso utilizador e realizar processo e resultados
‐representa a
análise global através da ‐poderoso meio para
profundidade da
comparação cruzada retratar programa para
informação, ao invés da
dos casos pessoas de fora
sua amplitude
 Outros aspectos a ter em conta:
1. Não negligenciar o plano de avaliação, porque parece muito trabalhoso e demasiado
científico. Não é. Normalmente, 20% do esforço vão gerar os primeiros 80% do plano, e
depois os procedimentos assumem‐se como “rotina”.
2. Não há nenhum projecto de avaliação perfeito. Não se preocupe com o plano de ser
perfeito. É muito mais importante fazer alguma coisa, do que esperar até que todos os
detalhes sejam testados.
3. Considere a inclusão de algumas entrevistas nos seus instrumentos de avaliação.
Questionários não captam a história e a história é normalmente a representação mais
poderosa dos benefícios de seus serviços.
4. Não recolha informação apenas relativa aos sucessos. Vai aprender muito sobre o
desempenho e impacto da BE se entender suas falhas, desistências, etc .
5. Não jogue fora os resultados da avaliação uma vez que um relatório foi gerado.
Resultados não ocupam muito espaço, e podem fornecer informações preciosas mais quando
se tenta compreender as mudanças no desempenho e impacto da BE.

Felicitamos o conjunto da turma pelo trabalho desenvolvido e desejamos a todos a

continuação de um bom trabalho!

As formadoras
Júlia e Margarida