Desenvolvimento, testagem e proposta de um

Roteiro para Avaliação de Software para Educação Musical

Susana Ester Krüger

RESUMO
Nesta pesquisa foi desenvolvido, testado e proposto um Roteiro para Avaliação de
Software para Educação Musical. Este foi formado por três categorias de avaliação: A)
Parâmetros Pedagógicos; B) Interações Sociais; e C) Informática & Educação Musical,
fundamentadas nas áreas de Educação, Educação Musical, Informática Educacional,
entre outras. Nas três fases da pesquisa, foi empregada a metodologia de Pesquisa de
Desenvolvimento: Fase I: programadores de software para música/educação musical e
educadores musicais analizaram as categorias e sugeriram questões; Fase II: elaboração
do Roteiro Preliminar; Fase III: testagem do Roteiro Preliminar por uma amostra reduzida
de indivíduos da Fase I. A partir destes resultados, foi proposto um novo Roteiro. Obteve-
se alto grau de aprovação dos parâmetros propostos, sugerindo-se a adoção do Roteiro
por educadores musicais e programadores, em avaliações formativas e somativas de
protótipos e produtos. Destaca-se a necessidade de testagem em pesquisas
subseqüentes de avaliação de software para educação musical.

Introdução
A avaliação de software educacional é considerada contemporânea e relevante
no ensino básico, sendo necessário que venha a ter a mesma importância na
educação musical brasileira. Isto porque é premente que sejam criados
programas fundamentados em pesquisas e práticas correntes na educação
musical, contemplando necessidades pedagógico/sociais atuais. Igualmente, a
avaliação anterior ao uso dos programas possibilita a otimização das atividades
educativo-musicais.
No início desta pesquisa, efetuou-se uma análise comparativa de roteiros para
avaliação de software do ensino básico e dos roteiros propostos por educadores
musicais. Constatou-se que roteiros de ambas as áreas seriam insuficientes a um
processo avaliativo abrangente, contextualizado e atualizado: (a) os roteiros do
ensino básico são extensos e detalhados; normalmente focalizam a avaliação de
atributos computacionais; não possuem critérios específicos à área de música; e,
os atributos pedagógicos não são totalmente pertinentes às tendências atuais da
educação musical; (b) os roteiros da educação musical são concisos, focalizam
atributos técnicos e não contemplam todos os tópicos ou recursos considerados
atuais e pertinentes à avaliação de software deste domínio. Destacou-se assim a
necessidade de pesquisas mais abrangentes sobre a criação de um roteiro,
fundamentado em parâmetros de avaliação de software do ensino básico, em
educação musical, informática educativa e áreas afins.
Com o intuito de contribuir com os estudos sobre parâmetros para avaliação de
software para educação musical, esta pesquisa teve como objetivo desenvolver,
testar e propor um Roteiro para Avaliação de Software para Educação Musical.
Os objetivos específicos foram: (a) estabelecer parâmetros amplos para avaliação
de software de educação musical; (b) coletar e analisar as questões de avaliação
que educadores musicais e programadores de software para música/educação
musical consideram adequados ao processo de avaliação de software para
educação musical, a partir dos parâmetros estabelecidos; (c) elaborar um Roteiro
Preliminar para avaliação de software para educação musical; (d) testar o Roteiro
Preliminar por meio de análises críticas e da atribuição de graus de pertinência e
importância a cada questão; e (e) sugerir um Roteiro para testagem em pesquisas
subseqüentes.

1. Parâmetros para Avaliação de Software para Educação Musical

Nesta pesquisa, são definidos como software para educação musical aqueles
especificamente projetados e desenvolvidos para uso em processos de
ensino/aprendizagem musical. A avaliação de software educacional caracteriza-se
como: formativa: de software em desenvolvimento (protótipo), focaliza
modificações; e somativa: de software finalizado (produto); avalia a qualidade e
variedade de experiências educacionais que o mesmo pode fomentar; visa
decisões sobre aquisição ou adoção (SQUIRES & McDOUGALL, 1994;
HANNAFIN & PECK, 1988).
Nestas avaliações, são usados Roteiros, definidos como um conjunto de
parâmetros (categorias e questões de avaliação) para avaliação dos software
educativos. Podem ser elaborados para professores, alunos e entidades de
pesquisa ou comerciais. Um formato comum, também adotado na criação deste
Roteiro, é o método baseado em categorias (BARKER & KING, 1993, p.309): o
agrupamento de questões em categorias que representam os parâmetros amplos
de avaliação. Pode ser sugerida a criação de sub-categorias e questões de
avaliação.
Para este Roteiro, foram criadas as categorias: A) Educação/Educação Musical,
B) Interações Sociais possíveis durante o uso do Software, e C) Informática &
Educação Musical. A primeira avalia as demandas da educação musical quanto
aos software educacionais, e compreende as sub-categorias: a.1. Teorias de
Aprendizagem (behaviorismo e construtivismo); a.2. Concepções de Educação
Musical (tradicional e progressista); a.3. Parâmetros de Atividades Musicais
(Modelo (T)EC(L)A – Swanwick, 1979); a.4. Objetivos Pedagógicos (conteúdos e
processos pedagógicos; objetivos extrínsecos e intrínsecos); a.5. Avaliação do
Aprendizado (diagnóstica, formativa e somativa); e a.6. Adequação Sócio-cultural
e Musical (aspectos sócio-culturais e musicais em geral). A segunda subdivide-se
em: b.1. Entre Professor e Aluno (papéis do professor) e b.2. Entre Alunos
(formas de relacionamento entre os alunos). A terceira avalia a interface,
usabilidade e interatividade do software com relação à educação musical. Estas
categorias foram pesquisadas em diferentes áreas (Tabela 1).

2. Desenvolvimento do Roteiro Preliminar

Optou-se pela Pesquisa de Desenvolvimento, que visa aperfeiçoar processos de

projetos de software educacional, de desenvolvimento, e de avaliação destes
software, podendo ser conduzida em fases distintas (RICHEY & NELSON, 1996,
p.1213;1218). Neste campo, foi encontrada a pesquisa de BARKER & KING
(1993), a qual apresentou características pertinentes à esta pesquisa, como os
procedimentos de validação de uma versão preliminar de roteiro.

2.1. Metodologia das Fases I e II

Na Fase I, os indivíduos sugeriram questões e realizaram uma análise crítica das
categorias e sub-categorias. RICHEY & NELSON (1996) apontam a Survey
(Estudo de Levantamento) como um método freqüentemente empregado na
Pesquisa de Desenvolvimento (p.1229). Assim, foi empregada a Survey de Corte
Transversal - uma única coleta de dados dos indivíduos da amostra (CASEY,
1992, p.116). Foi utilizado um Questionário Aberto solicitando a elaboração de, no
mínimo, três questões para cada sub-categoria, e a análise das categorias. O
questionário foi aplicado via e-mail (RICHEY & NELSON, 1996). Na Fase II foi
criado o Roteiro Preliminar.
 2.1.1. Amostra
Foram buscados dados de programadores e professores que trabalhassem com
software para música/educação musical. Como no Brasil existe um número
reduzido destes indivíduos, a escolha foi realizada por amostragem não
probabilística, que permite a delimitação da população pesquisada. Foi adotada a
amostragem por objetivo, na procura de indivíduos com características
pertinentes à pesquisa (CASEY, 1992, p.117).
2.1.2. Procedimentos
Fase I: criação das categorias e sub-categorias; contatos com dez indivíduos via
e-mail, solicitando a participação na pesquisa; envio de e-mail a oito indivíduos,
contendo o Questionário Aberto e um arquivo com as categorias e sub-categorias;
correspondência pessoal com os indivíduos.
Fase II: análise comparativa qualitativa das questões para verificação de
recorrência temática; formação do Roteiro Preliminar com questões sugeridas
pelos indivíduos (selecionadas e adaptadas), e questões criadas a partir da
fundamentação teórica.

2.2. Resultados
Foram obtidas 185 sugestões de questões e 55 textos de análise. As sub-
categorias foram reavaliadas, visando sua inclusão, exclusão ou reformulação
teórica e de layout para o Roteiro Preliminar. Foram criadas 73 questões. O
Roteiro enfatizou questionamentos relacionados à educação musical; em segundo
lugar, as questões da informática aplicada à música/educação musical; e em
terceiro lugar, os questionamentos sobre as interações sociais. Como outros
roteiros, as questões apresentaram diferentes formatos de respostas: alternativas
“cafeteira” (opções de resposta) (MUCCHIELLI, 1975, p.37); respostas sim/não; e
escala de graduação unipolar de cinco graus (OSTROM & GANNON, 1996,
p.304-5). Após cada uma foi incluída a pergunta “Comentários Sobre o Software”,
para descrição de aspectos emergentes. Não foi sugerida a quantificação dos
resultados.
3. Testagem do Roteiro Preliminar
O Roteiro Preliminar foi testado quanto à pertinência e importância dos seus
parâmetros e redação das questões. A metodologia também foi caracterizada
como uma Survey.

3.1. Metodologia da Fase III

Foram utilizados, simultaneamente, dois instrumentos de coleta de dados:
questionário fechado (avaliação quantitativa); e entrevista semi-estruturada
(Técnicas de Entrevista Cognitiva; avaliação qualitativa). O Questionário Fechado
foi formado por duas questões com opções de respostas, em forma de “ficha de
avaliação”, para atribuição de graus de pertinência e importância às questões do
Roteiro Preliminar (Figura 2). Estas opções foram compostas por escalas de
graduação unipolares de três graus (OSTROM & GANNON, 1996), sendo três o
mais elevado. Na entrevista semi-estruturada foram empregadas todas as
Técnicas de Entrevista Cognitiva: “pensar em voz alta”, questões de sondagem,
paráfrases e avaliação da segurança (DeMAIO & ROTHGEB (1996, p.179). As
entrevistas foram transcritas, categorizadas e analisadas. Os dados quantitativos
obtidos por meio do questionário fechado também foram comparados entre si e
categorizados.
3.1.1. Amostras
Foram utilizados dois grupos de amostras, demandando em duas técnicas de
amostragem: amostragem por estágios (uso de uma porcentagem da amostra
inicial em fases posteriores) (COHEN & MANION, 1987; MUCCHIELLI, 1979) e
amostragem por objetivo (CASEY, 1992, p.117). Amostra 1: dos oito indivíduos
que participaram da Fase II, foram selecionados seis (amostragem por estágios).
Amostra 2: dois software para educação musical (amostragem por objetivo): STR
(Sistema de Treinamento Rítmico) e SETMUS (Sistema Especialista de Teoria
Musical) (Laboratório de Computação & Música da UFRGS). Os mesmos não
foram avaliados, servindo como simulação ou background para a testagem do
Roteiro Preliminar.
3.1.2. Procedimentos
Fase III: esclarecimento do objetivo da entrevista; explicação dos procedimentos
gerais; leitura da página de abertura do questionário fechado, visando a
compreensão do uso do questionário fechado e sua diferenciação do Roteiro
Preliminar; aplicação do questionário fechado durante a entrevista cognitiva.
Todas entrevistas foram gravadas em fita cassete e transcritas. Os dados obtidos
foram analisados qualitativa e quantitativamente.

3.2. Resultados
A análise das entrevistas e da atribuição dos graus de pertinência e importância
demonstra que os parâmetros do Roteiro Preliminar foram tidos como pertinentes
e importantes à avaliação de software para educação musical, apresentando alto
grau de aprovação (Gráfico 3). Foi comprovada a necessidade de elaboração de
uma nova proposta de Roteiro, pois foram sugeridas modificações como:
diminuição do número de questões, agrupamento de sub-categorias (a.1. e a.2.);
e fundamentação teórica adicional. Desta forma, foram inseridas uma teoria de
aprendizagem (cognitivismo), duas concepções de educação musical (social ou
multicultural e psicológica-social), e um texto para verificação do feedback
proporcionado pelo software. Foram mantidas as descrições das sub-categorias,
e inseridas uma nova folha de rosto para explicação de uso do Roteiro e
referências bibliográficas. A Tabela 4 apresenta as modificações estruturais deste
Roteiro (ressaltam-se as mudanças de nomenclatura, e agrupamento e exclusão
de sub-categorias).
As questões foram analisadas, reescritas e reordenadas a fim de absorver as
modificações. As formas de resposta foram mantidas com poucas alterações. A
questão “Comentários Sobre o Software” foi disposta após a última questão de
cada sub-categoria. Como no Roteiro Preliminar, a nova proposta não sugere
quantificação dos resultados, embora tenha sido acrescentado um quadro para
uma “Conclusão Geral Sobre o Software” (qualitativa). A proposta final de Roteiro
é mais concisa, pois as 73 questões do Roteiro Preliminar foram reduzidas para
50. Foi obtido também um maior equilíbrio quanto ao número de questões entre
as sub-categorias.

4. Conclusão
A pesquisa revelou que os parâmetros do Roteiro foram tidos como
contemporâneos e amplamente utilizados na educação, educação musical e
informática educacional. Ao mesmo tempo, muitos ainda carecem de estudos e
podem ser considerados inovadores, sendo fontes de pesquisa para futuras
investigações. O Roteiro pode ser utilizado na avaliação de software protótipo e
produto, em avaliações formativas e somativas. Tal possibilidade é relevante para
a educação musical, por serem poucas as pesquisas nesta área. Pode ser
utilizado por educadores musicais para conhecer as possibilidades e limites do
software e verificar sua adequação aos alunos e contexto em geral; e, como uma
lista de sugestões para programadores. Todos os parâmetros foram propostos
como referência para avaliação de possibilidades e limites do software, não sendo
critérios de valor. O Roteiro é uma proposta flexível de avaliação, sugerindo-se o
acréscimo ou exclusão de questões que não se aplicariam ao software avaliado
ou às suas necessidades educacionais. As questões também podem fomentar a
investigação mais aprofundada de determinado atributo do software.
Constata-se que o presente Roteiro é um dos poucos que são fundamentados em
necessidades e interesses dos profissionais da própria área, sendo criado em
conjunto com e direcionado à estes profissionais. Em educação musical, tal fator
é ainda mais relevante por não ter sido encontrado um instrumento para avaliação
de software com parâmetros ao mesmo tempo abrangentes (fundamentação
teórica diversificada e interdisciplinar) e específicos (direcionados à área).
Sugere-se que Roteiro seja testado em situações reais de uso e avaliação de
software, por uma amostra maior de educadores musicais e programadores de
software para educação musical, utilizando vários programas e em diferentes
contextos pedagógicos e sócio-culturais. Em termos gerais, cada parâmetro e
questão pode ser um ponto de partida para futuras investigações, uma vez que a
área ainda carece de muitos estudos.
 Referências Bibliográficas
BARKER, Philip; KING, Terry. Evaluating interactive multimedia courseware – a methodology.
Computers & Education, Vol. 21, N. 4, pp. 307-319, 1993.
BEHAR, Patricia Alejandra. Avaliação de softwares educacionais no processo de ensino
aprendizagem computadorizado: estudo de caso. Porto Alegre, 1993. Dissertação. Curso
de Pós-Graduação em Ciência da Computação, UFRGS.
CASEY, Donald E. Descriptive research: techniques and procedures. In: COLWELL, Richard (ed.).
Handbook of Research on Music Teaching. New York, Schirmer Books, pp.115-123, 1992.
COHEN, Louis & MANION, Lawrence. Research methodos in education. 2ª. ed., London, Croom
Helm, 1985.
DeMAIO, Theresa J.; ROTHBEG, Jennifer M. Cognitive interviewing techniques: in the lab and in
the field. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.). Answering Questions:
Methodology for Determining Cognitive and Communicative Processes in Survey
Research. San Francisco, Jossey-Bass Publishers, pp.177-196. 1996.
HANNAFIN, Michael J.; PECK, Kyle L. The design, development, and evaluation of instructional
software. New York, Macmillan, 1988.
MUCCHIELLI, Roger. O questionário na pesquisa psicossocial. Trad. RIVERA, Luiz Lorenzo e
MAGALDI, Silvia; rev. SILVA, Mônica S. M. São Paulo, Martins Fontes, 1979.
OSTROM, Thomas M.; GANNON, Katherine M. Exemplar generation: assessing how respondents
give meaning to rating scales. In: SCHWARZ, Norbert; SUDAN, Seymour (eds.).
Answering Questions: Methodology for Determining Cognitive and Communicative
Processes in Survey Research. San Francisco, Jossey-Bass Publishers, pp.293-318,
1996.
RICHEY, Rita C.; NELSON, Wayne A. Developmental research. In: JONASSEN, David H. (ed.).
Handbook of Research for Educational Communications and Technology. New York,
Macmilan, pp.1213-1246, 1996.
SQUIRES, David; McDOUGALL, Anne. Choosing and using educational software: a teachers’
guide. London, Falmer Press, 1994.
SWANWICK, Keith. A basis for music education. London, Routledge, 1979.
 Roteiro Preliminar - Classificações no Grau 3 (máximo)
100

78 80 79
80 73
70
66
63
70
61
58 75 Anexo: Tabelas,
60
61 63 P ertinência 3
% 58 59
56
59
Importância 3
Gráficos e Figuras
50
40 (numerados
seqüencialmente)

20

Tabela 1: Fundamentação Teórica

0
CATEGORIAS DO ROTEIRO
a.1 a.2 a.3 a.4 a.5
a.6 b.1 b.2 c
Parâmetros Pedagógicos Interações Sociais Informática
ÁREAS Categorias e Sub-categorias &
PESQUI- Educação
SADAS Musical
Teorias Concep- Parâme- Objetivos Avaliação Adequa- Entre Entre
de ções de tros da Pedagó- do Apren- ção Professor Alunos
Aprendi- Educação Experiênc gicos dizado Sócio- e Alunos
zagem Musical ia Musical cultural e
Musical
Educação
Informática
Educacional
Educação
Musical
Informática
(HCI)
Computação
& Música

Figura 2: Questionário Fechado para Avaliação do Roteiro Preliminar

Grau de Grau de
Pertinência Importância
1 2 3 1 2 3
( ) ( ) ( ) ( ) ( ) ( ) 2) Há algum tipo de limitação no design do software que
dificulte seu uso de acordo com a teoria de aprendizagem do
professor?
1 2 3 4 5
( ) ( ) ( ) ( ) ( )
Comentários sobre o software: ____________________

Gráfico 3: Roteiro Preliminar - Classificações no Grau 3

Roteiro Preliminar - Classificações no Grau 3 (máximo)

100

78 80 79
80 73
70
66
63
61
70 58 75
60
61 63 P ertinência 3
% 58 59 59
56 Importância 3
50
40

20

a.1 a.2 a.3 a.4 a.5 a.6 b.1 b.2 c

Categorias e Sub-categorias
 0

Tabela 4: Estrutura do Roteiro: Modificações Durante a Pesquisa

Fase I: Categorias e Fase II: Roteiro Preliminar Nova Proposta

Sub-categorias de Roteiro

Categoria A – Categoria A – Categoria A –

Educação / Educação Musical
a.1) Teorias de Aprendizagem
a.2) Concepções de Educação
Musical
a.3) Atividades Musicais –
Modelo (T)EC(L)A
a.4) Adequação Social e Cultural
a.5) Significados da Música
a.6) Objetivos Curriculares
a.6.1) Relação dos objetivos ao
conteúdo e processo do
software
a.6.2) Forma de apresentação
dos objetivos curriculares
a.6.3) Amplitude dos conteúdos
curriculares
a.7) Formas de Avaliação do
Aprendizado
Educação / Educação Musical
a.1) Teorias de Aprendizagem
a.2) Concepções de Educação
Musical
a.3) Parâmetros da Experiência
Musical – Modelo (T)EC(L)A
a.4) Objetivos Pedagógicos
a.5) Formas de Avaliação do
Aprendizado
a.6) Adequação Sócio-cultural e
Musical ao contexto
educacional pretendido
Parâmetros Pedagógicos
a.1) Teorias de Aprendizagem &
Concepções de Educação
Musical
a.2) Parâmetros da Experiência
Musical
a.3) Objetivos Pedagógicos
a.4) Avaliação do Aprendizado
a.6) Adequação Sócio-cultural e
Musical

Categoria B – Categoria B – Categoria B –

Interações Sociais Possíveis Interações Sociais Interações Sociais
Durante o Uso do Software
b.1) Entre Professor e Alunos
b.1) Entre Professor e Alunos b.2) Entre Alunos
b.2) Entre Alunos

Categoria C – Categoria C – Categoria C –

Informática & Educação Musical Informática & Educação Musical Informática & Educação Musical