QUALITY IN ONLINE DELIVERY:

WHAT DOES IT MEAN FOR ASSESSMENT

IN E-LEARNING ENVIRONMENTS?
Catherine McLoughlin & Joe Luca
(2001)

Trabalho realizado no âmbito da Unidade Curricular:

Concepção e Avaliação em e-Learning
do Mestrado em Pedagogia do e-Learning

Universidade Aberta
Janeiro de 2011

Docente: Discentes:
Profª Drª Alda Pereira Fernando Faria, Marina Moleirinho, Marco Freitas e Telma Jesus
RESUMO

Este artigo de Catherine McLoughlin e Joe Luca aborda as

definições actuais da qualidade na avaliação online e examina as
expectativas emergentes do que constitui uma avaliação online
adequada.
O DEBATE SOBRE A QUALIDADE (1)

De acordo com o Institute for Higher Education Policy (National

Education Association, 2000), os resultados de aprendizagem devem
ser revistos regularmente para assegurar a coerência, a clareza e a
adequação dos resultados da aprendizagem.

Recomendações sobre os processos de avaliação:

Possibilitar aos alunos a monitorização do seu progresso;

Proporcionar feedback regular aos alunos;

Suportar práticas de co-aprendizagem e avaliação;

Utilizar práticas de auto-avaliação.

O DEBATE SOBRE A QUALIDADE (2)

Diferentes formas de realizar a avaliação.

Avaliação Avaliação
realizada no realizada fora
"campus" do "campus"

Contacto dos alunos

com pessoal docente

Quality Assurance Agency for Higher Education (1999)

O DEBATE SOBRE A QUALIDADE (3)

A aprendizagem online, a sabedoria pode ser fornecida por meio de

formas alternativas de avaliação da compreensão do aluno.

(Berge, Collins e Dougherty, 2000)

Comunicação mediada por computador(CMC), interfere na qualidade da

aprendizagem, promovendo o pensamento ao nível da síntese e
avaliação de conceitos indo muito além da aquisição do conhecimento
(cognitivo).

(Warren e Rada, 1999)

A carência de orientação pedagógica para os profissionais de ensino

online é muitas vezes referenciada.
O DEBATE SOBRE A QUALIDADE (4)

Nenhum projecto único ou perspectiva é adequado para o design de

um projecto de ambientes de aprendizagem de tecnologia avançada.

(Sfaard, 1998)

“Technology has yet to make significant improvements in the quality

of education by any reasonable measure”.

Spector continua a argumentar que a maioria das falhas é atribuída à

crença de que existe uma melhor abordagem, uma teoria perfeita ou
uma solução final.

(Spector, 2000)
SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (1)

O referencial de satisfação do estudante, supervisiona as suas

avaliações, a sua aprendizagem e a sua satisfação geral com a
avaliação, através da aplicação de questionários após a conclusão do
curso.

Estes dados apenas fornecem informações relativos à satisfação dos

alunos e não indicadores de qualidade.

(McKinnon, Walker & Davis, 2000)

SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (2)

Os professores e os designers precisam de uma base de princípios

para a concepção de novas formas de avaliação, alinhados com os
objectivos instrucionais e utilizando os recursos interativos da
tecnologia online.
(American Psychological Association, 1993)

Reconhecer que a avaliação do aluno influencia a sua aprendizagem,

faz com que ela permaneça no centro do processo de concepção
(design) do currículo e seja um elemento central na experiência de
aprendizagem do aluno.

(Ramsden, 1992; Biggs, 1999)

SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (3)

NOÇÃO DE QUALIDADE

Orientações sobre
Satisfação dos alunos práticas a adoptar na
com os processos de concepção (design) da
avaliação avaliação educativa

Processos autênticos e
válidos, adequados a
ambientes de educação a
distância e online
SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (4)

Os problemas relacionados com a qualidade estão ligados à

infra-estrutura, execução e prestação de serviços aos alunos,
demonstrando o panorama dos sistemas que precisam de
estar no local para permitir a avaliação que deve ser gerida a
nível institucional.
SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (5)

Pedagogia Tecnologia

Modelo de 4 dimensões

Planeamento
Implementação institucional

Este modelo influência a qualidade do ensino e da aprendizagem.

Collis e Moonen (2001)

SERÁ A QUALIDADE UMA QUESTÃO DE DESIGN? (6)

A concepção (design) é um factor de

qualidade porque...
o A multiplicidade de abordagens torna
o ensino mais eficiente (Sfaard,
1998; Spector, 2000). Mas...
o A satisfação do aluno não pode ser a
Os modelos de ensino
única referência para avaliar a qualidade. online não apresentam
o É preciso fornecer uma base aos
directrizes sobre as práticas
professores e designers curriculares para e processos curriculares
conceberem novas formas de avaliação que podem ser
articuladas com os objectivos instrucionais desenvolvidos.
e a potencialidade interactiva das
tecnologias online.
o A avaliação que promove a aprendizagem
deve fazer parte do processo de design
curricular.
HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS
DE AVALIAÇÃO NA WEB? (1)

As Tecnologias de Informação e Comunicação (TIC) estão cada vez

mais integradas no ensino superior.

Laurillard (1993) afirma que a aprendizagem suportada pelas novas

tecnologias promove:

a auto-aprendizagem e autonomia;

a flexibilidade e diversidade na avaliação;

o desenvolvimento de competências sociais através do aumento da

literacia;

uma maior produtividade e eficiência no ensino superior.

HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS
DE AVALIAÇÃO NA WEB? (2)

As oportunidades de aprendizagem nem sempre se traduzem em

resultados de aprendizagem.

Quais as percepções dos alunos sobre as novas tecnologias e o seu

valor na aprendizagem? Alexander e Mckenzie (1998) concluem que:

a tecnologia influencia o comportamento dos alunos e o modo como

aprendem;
a tecnologia facilita a comunicação e as relações entre os alunos;
anteriores experiências de aprendizagem e ensino influenciam a
aceitação de novas abordagens pelos alunos (aplicando-se ou não a
tecnologia);
ganhos consideráveis de aprendizagem não são sentidos pelos
alunos como consequência da utilização da tecnologia.
HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS
DE AVALIAÇÃO NA WEB? (3)

A adopção das TIC não implica a mudança pedagógica, embora os

ganhos de aprendizagem não possam ser provados, os alunos
permanecem optimistas sobre a integração da tecnologia e referem
que vivenciam novas formas de aprendizagem e novos tipos de
contactos por parte dos professores, e que ocorrem novos recursos e
actividades de aprendizagem.

Estas novas actividades de aprendizagem e abordagens ao currículo,

levam à adopção de práticas de avaliação inovadoras e é uma questão de
grande importância para os educadores online e designers instrucionais.
HAVERÁ OPORTUNIDADE DE MELHORAR AS PRÁTICAS
DE AVALIAÇÃO NA WEB? (4)

Alexandre e McKenzie (1998) consideram que a adoção de tecnologia

inovadora levam à melhoria de atitudes de aprendizagem por parte dos
estudantes, do acesso ao ensino, de oportunidades de interacção e
desenvolvimento da literacia da informação.

O modo como as novas tecnologias são integradas no ensino determina

o seu valor. Ainda não é possível comprovar com estudos as sua
vantagens, mas já se pode verificar que:

• "Students experience new forms of learning, that instructors are

making new types of contacts with their students and that new
resources and types of learning activities are occurring.“

(Collis e Moonen, 2001)

ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA
OU “REEMBALAGEM”? (1)

Um aluno auto-direccionado e autónomo significa que o aluno assume

mais responsabilidade pela sua própria aprendizagem.

Aplicado à avaliação, o pluralismo da tecnologia proporciona aos

estudantes a possibilidade de demonstrarem compreensão
e competências associadas à vida real.

As tecnologias da informação contribuem para a qualidade da

aprendizagem e para a criação de ambientes autênticos de avaliação.

(Gardner, 1993; Greeno & Hall, 1997)

ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA
OU “REEMBALAGEM”? (2)

Shaffer e Resnick (1999) afirmam que a tecnologia pode ser usada

para criar contextos autênticos de aprendizagem e oferecer
recursos que dão aos alunos oportunidades em várias áreas:

Conectividade: para se ligar o mundo exterior à sala de aula,

com temas de investigação que outra forma seriam
inacessíveis, para contacto a especialistas e participar de
conversas com os colegas;

Autenticidade: para demonstrar o desempenho em tarefas

autênticas e eventos comunicar,

Pluralismo epistemológico: para expressar e representar

ideias de formas variadas.
ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA
OU “REEMBALAGEM”? (3)

O impacto das TIC no ensino provocou o aparecimento de novos

termos para a aprendizagem.

Apesar de todas estas inovações, não há diferenças significativas

nos resultados de aprendizagem em tecnologia de ambientes
suportados.

Se a Internet é um ambiente propício para adopção de práticas de

avaliação reformuladas e repensadas como parte de uma
abordagem holística para a concepção do currículo e da
pedagogia.

(Russel, 1999)
ARENDIZAGEM BASEADA NA WEB: NOVA PEDAGOGIA
OU “REEMBALAGEM”? (4)

A "reengenharia pedagógica" é um pensamento que surgiu para

descrever a mudança das práticas do ensino online, concentrando-
se nas actividades do aluno e na aplicação dos media a
cenários de ensino e aprendizagem.

Os cursos são construídos com componentes ou unidades de

ensino unidos em sequências ou combinações.

Estes elementos são alterados pela tecnologia aplicada ao ensino

e à aprendizagem baseada na Internet. Tornam-se mais flexíveis,
concentrando-se no aluno, e levam a novas formas de avaliação.

(Collis e Moonen, 2001)

APRENDIZAGEM BASEADA NA WEB: NOVAS
CONCEPÇÕES DE "CURRICULUM"? (1)

O contexto de aprendizagem online promove, através dos média,

alunos participativos e produtores de conhecimento.

Há uma contribuição activa dos alunos nos recursos de

aprendizagem.

A avaliação por pares (peer assessment) através da Internet é um

indicador da extensão pedagógica.

Ferramentas de comunicação online, espaços de trabalho

partilhados e interacção assíncrona tornam viável a aprendizagem e
avaliação baseada na Rede.
APRENDIZAGEM BASEADA NA WEB: NOVAS
CONCEPÇÕES DE "CURRICULUM"? (2)

Características da avaliação orientada para a aprendizagem

participativa:

reconhece as contribuições/colaboração dos alunos;

contempla oportunidades para os alunos comunicarem, contribuirem

e participarem na comunidade online;

reconhece os alunos como colaboradores na criação de conteúdos

dos cursos e produtores de conhecimento.
APRENDIZAGEM BASEADA NA WEB: NOVAS
CONCEPÇÕES DE "CURRICULUM"? (3)

As tecnologias online e aprendizagem baseada na Web têm levado

a uma reconceptualização da aprendizagem, pedagogia e da
avaliação.

Collis e Moonen (2001) propõem um modelo de contribuições

orientadas do aluno, enfatizam a atividade de aprendizagem
e participação em comunidades de aprendizagem. O aluno é activo
e participativo.

This is reflected in the various theories of learning, which emphasise

learning activity, participation in communities of learning,
engagement theory and the contributions-oriented. (Modelo
proposto por Collis & Moonen, 2001)
APRENDIZAGEM BASEADA NA WEB: NOVAS
CONCEPÇÕES DE "CURRICULUM"? (4)

As novas teorias ("student as participant approach")reconhecem que

alunos participativos são produtores de recursos que partilham com
os outros, responsáveis e autónomos e juntam-se em comunidades de
aprendizagem.

Portanto, o ambiente online fomenta situações de aprendizagem em

que ocorre a inversão de papéis, contrariamente aos modelos
pedagógicos anteriores.
O aluno com uma abordagem participativa, está habilitado pela
tecnologia baseada na Web, a aceder aos recursos de aprendizagem,
ferramentas de comunicação, bancos de dados e redes assíncronas.
APRENDIZAGEM BASEADA NA WEB: NOVAS
CONCEPÇÕES DE "CURRICULUM"? (5)

Este modelo de aprendizagem afasta as abordagens orientadas para

a transmissão e incentiva a aprendizagem activa, onde o aluno cria
produtos e recursos que podem ser reutilizados e partilhados com
outras pessoas.

Esta abordagem pode ser aplicada à avaliação, por isso torna-se

menos centrada no professor (teacher dominated) e mais flexível,
dando maior autonomia e responsabilidade ao aluno.

As actividades de auto-avaliação entre colegas-pares, permite aos

alunos assumir um papel participativo, crítico e colaborador, criando
portefólios online, partilhando ideias e revendo trabalho pelos pares.
AVALIAÇÃO ALTERNATIVA USANDO A TECNOLOGIA
(baseada no construtivismo) (1)

A avaliação é integrada com os processos de aprendizagem e

performance em situações reais por oposição ao conhecimento inerte.

(Wiggins, 1998)

Avaliação autêntica ou de Performance em Ambientes de Aprendizagem

Construtivista:

Permite tanto avaliar a autenticidade como também a performance

em termos de produção de conhecimento;

É suportada através dos canais de comunicação tanto para trabalho

de grupo, reflexão, ordenação de ideias e aprendizagem auto-
direccionada.

(Scardamalia & Bereiter, 1992, Birenbaum, 1999, Reeves, 2000)

O CONSTRUTIVISMO (1)

Em Ambientes de Aprendizagem Construtivista há:

Interacção social;

Comunicação;

Troca de ideias;

Colaboração e participação no sentido de responsabilização no

processo de aprendizagem através de tarefas centradas no aluno.

Segundo esta teoria, o aluno domina a construção do seu

conhecimento.
O CONSTRUTIVISMO (2)

Em Ambientes de Aprendizagem Construtivista dá-se

enfâse a:

Autenticidade (a aprendizagem dá-se em contextos

actuais relacionados com tarefas reais);

Trabalho de Grupo (interacção social e feedback essenciais para a

comunicação orgânica de ideias);

Controlo do estudante (o estudante é activo na definição e

negociação das tarefas);

"Aprendizagem Acompanhada" (os estudantes são acompanhados e

auxiliados no processo de aprendizagem passando de inexperientes
para peritos).
O CONSTRUTIVISMO (3)

A Tecnologia e o uso da Web vieram...

... acelerar os paradigmas da avaliação, visto que permitem lidar

com várias ferramentas possibilitando um vasto número de
actividades, tarefas, participação em fóruns, partilha de ideias,
diálogo entre alunos;

"... a combination of qualitative and quantitative assessment tasks

that use multiple modes of showcasing student achievement through
portfolios, multimedia, projects, skills demonstrations and teamwork."
(Kendle & Northhcote, 2000);

... permitir o suporte de processos de aprendizagem tais como

comunicação, trabalho de grupo e trabalho colaborativo na
resolução de problemas.
APRESENTAÇÃO DE ESTUDO CASO

Aos alunos de final de ano do curso Interactive Multimedia, Edith Cowan

University, é solicitado que desenvolvam competências em:
Managing the Design and Development of Client Web Sites.

Quanto ao "Project Management Methodologies" (Unit IMM 3228/4228),

temos um universo de 82 alunos que têm de:

- formar equipas e construir um portfólio electrónico (as equipas serão

compostas por programadores, designers gráficos e gestores de
projecto);
- negociar com o tutor o seu tópico de projecto que irá visar uma
"necessidade real" de um cliente.
OBJECTIVO DO PROJECTO

Que os alunos experienciem temáticas de gestão de

projecto que ocorrem quando lidamos com "clientes reais"
em "projectos reais".
ELEMENTOS A INCLUIR NO PROJECTO

Contribuição e participação significativa no projecto multimédia

apresentado pela equipa;

Análise critica da gestão do projecto relativamente ao projecto

multimédia da equipa;

Avaliação formativa do produto multimédia;

Análise das metodologias de implementação intencionadas para o

produto e, onde seja relevante, uma previsão das alterações
organizacionais e culturais que o produto pode vir a gerar aquando da
sua implementação.
O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA
TAREFA (1)

O desenvolvimento de competências de gestão de projectos

transferíveis para contextos do mundo real significa que os alunos têm
de assumir mais responsabilidade pela sua aprendizagem, mas muitos
precisam de auxílio para alcançarem essas competências. O
desenvolvimento de competências profissionais está ligado à criação de
um ambiente de aprendizagem baseado em projectos.

As actividades dos alunos foram realizadas em grupos e equipas. Este

estilo de aprendizagem baseada em problemas envolve uma série de
actividades e tarefas que parecem oferecer um suporte robusto para o
desenvolvimento de uma série de competências-chave.
O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA
TAREFA (2)

De acordo com a Fig. 1, as actividades projectadas incluíam:

 O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA
TAREFA (3)

1. Para ajudar a obter um compromisso, foi pedido aos alunos que

firmassem um "contrato de estudante" online, no início do semestre,
assinado por eles, pelos membros da sua equipa e pelo tutor. O contrato
atribuía aos alunos as responsabilidades necessárias para o
desenvolvimento do website das equipas e das tarefas semanais.

2. Foi pedido às equipas que executassem tarefas de resolução de

problemas semanalmente, o que exigia aos alunos a pesquisa de
informação numa variedade de fontes que reflectem o estado-de-arte do
conhecimento sobre gestão de projectos.
O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA
TAREFA (4)

3. Tendo resolvido os problemas semanais, foi pedido às equipas que

procedessem à avaliação inter-equipas. Foi-lhes solicitado que
avaliassem as soluções das outras equipas e que defendessem as
classificações atribuídas com comentários baseados em critérios
válidos.

4. Semanalmente os alunos tinham que elaborar uma avaliação intra-

equipa (Fig. 2). Os alunos avaliaram o seu próprio progresso, bem como
o dos seus pares, fornecendo informação confidencial aos tutores
através do sistema online.
 O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA
TAREFA (5)

5. Reflexão pessoal sobre a tarefa e o processo - cada aluno manteve um

diário reflexivo em que os pontos de vista pessoais do progresso dos
conhecimentos e competências foram registados.
O AMBIENTE DE APRENDIZAGEM E DO DESIGN DA
TAREFA (6)

6. A fim de construir o website (e criar soluções para os problemas

semanais), foi exigido um alto nível de colaboração. As equipas
tiveram que partilhar a carga de trabalho, a execução de tarefas
separadas e manter prazos apertados e os horários de uma semana
para a seguinte.
IMPLEMENTAÇÃO DE AVALIAÇÃO
INTERACTIVA/ORIENTADA PARA O PRODUTO (1)

Neste artigo, retratámos os principais elementos de uma abordagem à

avaliação que oferece oportunidades para o envolvimento dos alunos, a
participação e a contribuição para o conteúdo do curso.

As características desta forma de avaliação incluem a avaliação de

desempenho, que exige que os estudantes criem um produto, o
envolvimento no trabalho em equipa e os elementos de auto-avaliação e
avaliação entre pares.

Laurillard (1996) combina a noção de affordances dos media e de re-

engenharia pedagógica e aplicou-as aos cursos da Universidade Aberta.
A noção de affordance examina cada um dos media e como estes
podem fornecer uma forma diferente de interacção.
IMPLEMENTAÇÃO DE AVALIAÇÃO
INTERACTIVA/ORIENTADA PARA O PRODUTO (2)

Quatro modos são identificados: atendimento, prática, discussão

e articulação. Na concepção da tarefa de avaliação, o nosso
objectivo era diminuir o atendimento e aumentar cada uma das
outras formas de interacção. Isto significou aplicar a noção de aluno
como participante e como contribuinte activo para os processos de
aprendizagem e avaliação da unidade.
IMPLEMENTAÇÃO DE AVALIAÇÃO
INTERACTIVA/ORIENTADA PARA O PRODUTO (3)

A Tabela 3 mostra como a actividade do aluno e os processos de

avaliação foram integrados em formas participativas de avaliação:
IMPLEMENTAÇÃO DE AVALIAÇÃO
INTERACTIVA/ORIENTADA PARA O PRODUTO (4)

No final do semestre, a unidade foi avaliada com um questionário Course

Experience Questionnaire (CEQ), bem como com uma sessão de
entrevista grupo. Os resultados foram muito positivos.

Os comentários dos estudantes favoreceram fortemente a natureza

autêntica da unidade e foram altamente motivados pela "relevância" que
podiam encontrar no desenvolvimento dessas competências para a
indústria.
DIRECÇÕES FUTURAS PARA A QUALIDADE NA
AVALIAÇÃO ONLINE(1)

A julgar pela tendência actual, a aprendizagem e a formação

baseadas na web continuarão a expandir-se com o crescimento
dos mercados. Neste cenário, é provável que a garantia da
qualidade de processos de avaliação online se irá intensificar,
com procedimentos de benchmarking desenvolvidos para
comparar o desempenho do aluno para os padrões da indústria.
 DIRECÇÕES FUTURAS PARA A QUALIDADE NA
AVALIAÇÃO ONLINE(2)

Os benchmarks devem ser transparentes para os alunos e devem

representar expectativas e comportamentos autênticos, ao invés do
conhecimento abstracto descontextualizado. Estas tendências imediatas
estão a surgir no ensino superior e terão impacto sobre a concepção da
avaliação.

Outras inovações mencionadas neste artigo dizem respeito a uma

reconceptualização do currículo como participativo, com os alunos
contribuindo com recursos em vez do conteúdo ser indicado.

Essa ênfase na construção do conhecimento e na participação já motivou

um maior foco na avaliação autêntica, que reflecte melhor o desempenho
no mundo real.
 AS NOSSAS CONSIDERAÇÕES FINAIS...

Ainda não é possível dar todas as respostas às questões relacionadas

com os procedimentos de avaliação em contexto online, mas as formas
de aprendizagem convencionais precisam de ser redefinidas, sobretudo
numa época em que o desenvolvimento de novas tecnologias e técnicas
online atinge uma velocidade que pode não estar a acompanhar a
qualidade da aprendizagem.

As oportunidades de aprendizagem (inovação, experimentação e estudo

reflexivo) que estas tecnologias criam evidenciam a urgência em
existirem modelos educativos mais complexos que representem as
necessidades dos alunos integrados em diferentes contextos, em
particular o e-learning.

Portanto, a revisão dos elementos da avaliação e a reflexão sobre as

suas consequências ajudam a criar uma consciência para o
aperfeiçoamento de práticas, princípios e medidas de qualidade para uma
avaliação online adequada.
 BIBLIOGRAFIA

CATHERINE, McLoughlin; LUCA, Joe (2001): "Quality in online

delivery: What does it Mean for assessment in E-learning
Environments?" ASCILITE 2001 Conference proceedings. Disponível
em
http://ascilite.org.au/conferences/melbourne01/pdf/papers/mcloughlinc2.
pdf
(acedido em 2010-01-02)