El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. The use of e-rubrics for competence assessment in university students. Study on reliability of the instrument.

49
Vol. 12 (1), Abril 2014, 49-79

ISSN: 1887-4592
Fecha de recepcin: 17-12-2013
Fecha de aceptacin: 13-04-2014
El uso de e-rbricas para la
evaluacin de competencias
en estudiantes universitarios.
Estudio sobre fabilidad del ins-
trumento.
Jess Valverde Berrocoso
Adelaida Ciudad Gmez
Universidad de Extremadura, Espaa
Resumen
La evaluacin es un elemento curricular
que ha experimentado una importante
transformacin en la Educacin Superior
como consecuencia de diferentes proce-
sos de reforma educatva. La investga-
cin educatva ha sido muy fructfera en
este campo dando lugar a un cambio de
enfoque: evaluacin para el aprendiza-
je, sostenible, orientada a la valoracin
de las competencias y con un papel actvo
del estudiante. En un contexto tecnolgi-
co, la e-rbrica se ha establecido como
un instrumento tl para la realizacin de
un proceso de evaluacin adecuado a las
actuales necesidades y demandas educa-
tvas. Los resultados de investgacin
The use of e-rubrics for com-
petence assessment in univer-
sity students. Study on reliabi-
lity of the instrument.
Universidad de Extremadura, Spain
Abstract
Assessment is a curricular element that
has undergone a major transformaton in
higher educaton as a result of diferent
processes of educatonal reform. Edu-
catonal research has been very fruitul
in this feld resultng in a shif of focus:
assessment for learning, sustainable,
competency based assessment and an
actve role of the student. In a technolo-
gical context, the e-rubrics have been es-
tablished as a useful tool for conductng
a proper evaluaton process to current
educatonal needs. The research results
show its potental for self-regulaton and
self-efcacy of students, assessment qua-
lity and teaching improvement. But it is
50
muestran sus potencialidades para la
autorregulacin y autoefcacia del estu-
diante, la calidad de la evaluacin y la
mejora de la docencia. Pero es impres-
cindible elaborar e-rbricas que cumplan
con criterios de fabilidad y validez. Con
tal fn se disearon dos rbricas para su
aplicacin en una asignatura de Grado en
un grupo de estudiantes y se analiz la
fabilidad de los instrumentos. La fabili-
dad de la rbrica se ha evaluado a travs
de su consistencia interna para lo que
se ha recurrido al coefciente Alpha de
Cronbach. Se obtuvieron unos coefcien-
tes de fabilidad considerados acepta-
bles, aunque mejorables. Para la correc-
ta aplicacin de la e-rbrica se considera
fundamental la formacin de estudiantes
para el uso del instrumento en la auto-
evaluacin y la evaluacin entre pares. El
artculo incluye las dos rbricas utlizadas
en el estudio.
Palabras clave: Evaluacin de compe-
tencias, Rbricas de evaluacin, Mto-
dos de evaluacin, Fiabilidad, Educacin
Superior.
necessary to develop e-rubrics that meet
criteria of reliability and validity. To this
end two rubrics were designed for use in
a subjects degree in a group of students
and the reliability of the instruments was
analyzed. The reliability of the rubric has
been assessed through internal consis-
tency to what was used Cronbach Alpha.
Reliability coefcients were obtained
considered acceptable, but can be im-
proved. Specifc training in the use of the
instrument for self-assessment and peer
assessment, it is considered essental for
successful implementaton of e-rubrics.
The artcle includes two rubrics used in
the study.
Key words: Performance Based As-
sessment, Scoring Rubrics, Evaluaton
Methods, Reliability, Higher Educaton.
Uso de las rbricas para la evaluacin de competencias en estudiantes universitarios
Introduccin
El concepto de evaluacin en la Educacin Superior est cambiando desde un modelo
centrado en el profesor o de evaluacin del aprendizaje hacia otro modelo centrado
en el alumno o de evaluacin para el aprendizaje. Los procesos de reforma de las ins-
ttuciones universitarias en todo el mundo han estado vinculados a una refexin sobre
la naturaleza de la evaluacin y ha permitdo un fructfero desarrollo de la investga-
cin especializada en estos temas. Existe un acuerdo en la comunidad cientfca sobre
la necesidad de mejorar la calidad de los resultados de aprendizaje de los estudiantes
universitarios, para lo cual las innovaciones en la evaluacin son imprescindibles (Boud
& Falchikov, 2006). En un contexto de reforma universitaria en el que los estudiantes
han de desarrollar capacidades de pensamiento crtco en el estudio de las diferentes
disciplinas, es preciso introducir nuevos sistemas de evaluacin que mejoren la validez
y fabilidad de los mtodos tradicionales e introduzcan en el proceso de evaluacin la
partcipacin actva del propio estudiante.
El discurso dominante sobre la evaluacin en la universidad espaola posee
muchos elementos propios de una evaluacin tradicional que se caracteriza por los
REDU. Revista de Docencia Universitaria, abril 2014, 12 (1), 49-79
51 JESS VALVERDE y ADELAIDA CIUDAD
siguientes rasgos (Ibarra & Rodrguez, 2010): el profesorado es considerado como un
agente califcador; el alumnado es receptor de las consecuencias de la evaluacin
(califcacin, superacin de asignatura, obtencin de ttulo) y disfruta de derechos; la
evaluacin est orientada al rendimiento acadmico, referido fundamentalmente a co-
nocimientos y no a competencias; la principal tcnica evaluatva es el examen f-
nal escrito; la evaluacin es considerada como un elemento de la planifcacin docente
(presente en los programas de las asignaturas); est asociada al control (seleccin, asis-
tencia, etc.); incluye procedimientos preestablecidos de revisin de califcaciones y,
por ltmo, se muestra un mayor inters por los instrumentos que por los criterios o los
tpos de evaluacin. No obstante, en los ltmos aos se observan algunos indicadores
de cambio en la concepcin de la evaluacin en la insttucin universitaria: la evaluacin
comienza a ser una actvidad coordinada dentro de equipos docentes y la variedad de
modalidades de evaluacin se va ampliando hacia opciones ms formadoras, apoyadas
en el uso de las TIC a travs de los denominados campus virtuales y sus sistemas de
gestn de aprendizajes (LMS) como Moodle.
Por otra parte, la percepcin de la evaluacin por parte del estudiante universi-
tario tambin posee bastantes elementos que la relacionan con una evaluacin tradi-
cional (Porto, 2009): se identfca evaluar con examinar, poner una califcacin y decidir
si el alumno puede superar o no la materia; no se percibe como una oportunidad de
aprendizaje, una posibilidad de dilogo o una ayuda, sino como un mal necesario; no
se utliza para ninguna de las funciones especfcamente pedaggicas (desarrollo perso-
nal, superacin de difcultades, partcipacin, motvacin, coordinacin o refexin); est
centrada en los resultados, sin considerar los procesos; se utliza para la certfcacin de
resultados, no para ofrecer informacin sobre el proceso de aprendizaje; la evaluacin
se percibe como unidireccional, compettva y estereotpada y, para ellos, no hay cons-
tancia de rigor y no arbitrariedad.
Los expertos sostenen la necesidad de orientarse hacia una evaluacin sos-
tenible que sea capaz de satsfacer las necesidades de aprendizaje del presente sin
comprometer la habilidad de los estudiantes para satsfacer sus necesidades futuras de
aprendizaje (Rodrguez & Ibarra, 2012). La evaluacin sostenible abarca el conocimiento,
las habilidades y predisposiciones requeridas para apoyar el aprendizaje a lo largo de la
vida. As mismo, se defende una evaluacin orientada al aprendizaje que se compone
de los siguientes elementos bsicos: partcipacin actva del estudiante, pro-alimenta-
cin (retroalimentacin prospectva) y tareas autntcas Este modelo de evaluacin
es un constructo terico basado en la prctca universitaria, que hace uso de estrategias
que promueven y maximizan las oportunidades de aprendizaje de los estudiantes. Tie-
ne como fnalidad el fomento del desarrollo de competencias tles y valiosas para el
presente acadmico y el futuro laboral. Tambin ofrece informacin tl para el futuro
acadmico y laboral (Ibarra, Rodrguez & Gmez, 2012).
Gibbs (2006) describe diferentes factores que estn infuyendo en el cambio so-
bre la evaluacin en la Educacin Superior a nivel internacional: (a) la disminucin de
recursos econmicos, que tene como efecto inmediato un incremento del nmero de
alumnos por clase/grupo y una disminucin de profesorado, lo cual supone un menor
tempo acadmico de dedicacin a los estudiantes (actvidades de evaluacin, correc-
cin y feedback) unido a la presin por incrementar la produccin investgadora. (b) El
aumento de la presencia del estudiante en las aulas que le resta tempo al desarrollo de
actvidades de evaluacin o de estudio. (c) El nmero de crditos por asignatura ajus-
52 Uso de las rbricas para la evaluacin de competencias en estudiantes universitarios
tado a un semestre (150 horas/14 semanas) implica que las evaluaciones sumatvas se
llevan a cabo con mucha frecuencia a lo largo de un curso acadmico y se tende a utlizar
medios, tcnicas e instrumentos con menor coste, sin considerar su efcacia. Adems, los
estudiantes tenen menos tempo para desarrollar prctcas antes de ser evaluados y la
evaluacin contnua en estas condiciones es muy difcil de desarrollar. (d) Un aumento
del plagio acadmico por varias razones: asignacin de actvidades sencillas que son
fciles de plagiar; difcultad de producir tareas especfcas para cada alumno; uso de In-
ternet para seleccionar recursos de aprendizaje que fomenta el copia-pega; ausencia
de valores y reglas sobre el respeto a los derechos de autor; el aumento de estudiantes
que consideran que la reproduccin es el objetvo del aprendizaje o el incremento
de tareas acadmicas de elaboracin personal sin posibilidad de un control exhaustvo
por parte del docente. (e) El aumento en el uso de entornos virtuales de enseanza-
aprendizaje a travs de los campus virtuales que incorporan a la evaluacin nuevas he-
rramientas con diferente nivel de complejidad: desde cuestonarios de opcin mltple
a actvidades con auto-evaluacin, co-evaluacin y evaluacin contnua. (f) Mayor nece-
sidad de orientacin, gua y retroalimentacin en los nuevos estudiantes universitarios,
para lo cual se introducen cursos de nivelacin con el objeto de evitar un abandono
prematuro y alcanzar los resultados de aprendizaje previstos. (g) La evaluacin no slo
se limita a valorar la adquisicin de contenidos sino que debe juzgar el grado en que se
desarrollan las competencias transversales, generales y especfcas de un ttulo universi-
tario. La complejidad de esta evaluacin conduce a una mayor sofstcacin del proceso
evaluador y a la necesidad de proponer actvidades de mayor alcance y duracin que
permitan comprobar la adquisicin de competencias. Y, por ltmo (h) la innovacin edu-
catva es difcil de desarrollar y, cuando afecta a la evaluacin, se amplan las barreras al
cambio. No slo por la resistencia del profesorado, tambin de los estudiantes que no se
encuentran cmodos cuando se introducen nuevas formas de evaluacin con las que no
estn familiarizados. La excesiva burocratzacin de la planifcacin educatva conduce a
una excesiva homogeneizacin y al incremento de limitaciones vinculadas al proceso de
evaluacin.
En este contexto, y con la fnalidad de disponer de una herramienta que per-
mitera el trabajo autnomo y cooperatvo de los estudiantes, intentando fomentar el
aprendizaje signifcatvo y profundo, se dise y propuso, dentro de un modelo de for-
macin y evaluacin por competencias, una WebQuest caracterizada por ser de larga
duracin, grupal, rodeada por unos elementos motvacionales, y con una confguracin
claramente defnida y estructurada. Adems, para la evaluacin de la actvidad propues-
ta se plantearon dos rbricas de evaluacin.
Pero para la aplicacin defnitva de las rubricas debemos asegurarnos de su vali-
dez y fabilidad, por lo que realizamos una prueba piloto; aplicando las rubricas a 60 es-
tudiantes del Grado en Finanzas y Contabilidad de la Facultad de Estudios Empresariales
y Turismo de la Universidad de Extremadura, matriculados durante el curso 2012-2013
en la asignatura de Estados de Informacin Empresarial, y este estudio tene por objeto
analizar la fabilidad en el sentdo de consistencia interna de las dos rubricas propuestas.
La evaluacin de competencias en la Educacin Superior
La orientacin de la formacin universitaria centrada en el estudiante ha situado a la
competencia en el eje central del diseo curricular y, por consiguiente, de la evaluacin
para el aprendizaje. Puesto que la evaluacin de competencias implica la integracin
de conocimientos, habilidades y acttudes, es preciso que se utlicen diversos mtodos
y que se disee un programa que los integre a partr de las fnalidades de la evaluacin
(Baartman, Bastaens, Kirschner & Van der Vleuten, 2007a; Baartman, Bastaens, Kirsch-
ner & Van der Vleuten, 2007b; Ciudad & Valverde, 2012).
Los criterios de calidad para la evaluacin de competencias aparecen represen-
tados en la fgura 1 (Baartman, Bastaens, Kirschner & Van der Vleuten, 2006). El ncleo
central de la rueda de la evaluacin de competencias es la capacidad para adecuarse
a los objetvos del proceso aprendizaje (adquisicin de competencias) y enseanza (m-
todo). La siguiente capa incluye los criterios de calidad ms bsicos que son usados en
la prctca para la evaluacin de competencias (comparabilidad, reproducibilidad de las
decisiones, transparencia y aceptabilidad). Los criterios de la capa exterior (imparciali-
dad, autentcidad, complejidad cognitva, signifcatvidad y capacidad para la auto-eva-
luacin) son los ms novedosos y los de la capa interna son los prerrequisitos para los
criterios de la capa exterior. As, por ejemplo, un Programa de Evaluacin de Competen-
cias no puede ser imparcial sin ser comparable y reproducible, y debe ser transparente
antes de que pueda considerarse como signifcatvo. El cuadro exterior representa un
contexto educatvo ms amplio en el que la evaluacin tene lugar e incluye dos criterios:
costes/efcacia y consecuencias educatvas.
Fuente: trad. de Baartman et al. (2006:166)
Figura n.1. La rueda de la evaluacin de competencias
As pues, el diseo y aplicacin de un Plan de Evaluacin de Competencias ha
de ser coherente con estos criterios de calidad que se describen con mayor detalle en
la siguiente tabla.
Criterio Descripcin
Capacidad para la
finalidad
Las metas de la evaluacin y los mtodos utilizados para evaluar deben ser
compatibles con los objetivos educativos.
Autenticidad
Las actividades de evaluacin exigen que los estudiantes demuestren el
mismo tipo de competencias que necesitarn aplicar en su vida
profesional. Una evaluacin autntica requiere que los estudiantes
integren conocimientos, habilidades y actitudes del mismo modo que lo
hacen los profesionales de la educacin.
Aceptabilidad
Todos los implicados (profesores, estudiantes, empleadores) deberan
aprobar los criterios de evaluacin y la forma cmo se desarrolla el plan de
evaluacin. As mismo, confiar en la calidad del plan de evaluacin para
alcanzar los resultados esperados.
Complejidad
cognitiva
Los procesos de pensamiento y la accin que se evalan en las tareas
deberan reflejar la presencia y el grado de habilidades cognitivas exigidas.
La evaluacin debe considerar el grado en el que las actividades de
aprendizaje incorporan los procesos y estrategias que forman parte del
indicador que va a ser valorado. Se deben tener en cuenta los
conocimientos previos y las estrategias implicadas en la resolucin de la
tarea.
Imparcialidad
Todos los estudiantes han de tener la oportunidad de demostrar sus
competencias con todo su potencial. La evaluacin por competencias no
debe introducir tareas que no se ajusten al nivel educativo de los
estudiantes o incluir aspectos culturales que no sean familiares a todo el
alumnado. Las pruebas de evaluacin deben recoger evidencias de todos
los indicadores establecidos para medir el grado de adquisicin de las
competencias. La evaluacin debera reflejar los conocimientos,
habilidades y actitudes de las competencias, excluyendo elementos
irrelevantes
Comparabilidad
La evaluacin debe ser aplicada de forma responsable y consistente. Las
tareas, los criterios y las condiciones de trabajo deben ser coherentes con
relacin a las capacidades fundamentales que se han de evaluar.
Significatividad
La evaluacin debera permitir a los estudiantes implicarse en problemas
significativos que proporcionen experiencias educativas de inters
profesional. La significatividad en una actividad de evaluacin viene
determinada por la relacin percibida por el estudiante entre la tarea y sus
intereses personales.
Transparencia
La evaluacin por competencias debe ser clara y comprensible para
profesorado y estudiantes. El alumnado deben conocer los criterios de
calificacin, quines son sus evaluadores y qu propsito tiene la
evaluacin. Deben conocer lo que se espera de ellos (resultados de
aprendizaje), ser capaces de prepararse para las pruebas de evaluacin y
acomodar adecuadamente su proceso de aprendizaje a tal fin.
Consecuencias
educativas
Este criterio de calidad est relacionado con los efectos positivos y
negativos, esperados e inesperados, que la evaluacin por competencias
tiene sobre el aprendizaje y la enseanza. La evaluacin es una parte del
proceso de aprendizaje, no slo una medida tomada al final de dicho
proceso.
Reproducibilidad de
las decisiones
Las decisiones tomadas en base al plan de evaluacin deben ser vlidas y
fiables con independencia de los evaluadores y las situaciones especficas.
Esta reproducibilidad puede obtenerse combinando diferentes fuentes de
informacin (evaluadores, tareas y situaciones) para obtener un cuadro
ms completo y preciso de las competencias del estudiante. La idea es que
Criterio Descripcin
Reproducibilidad de
las decisiones
Las decisiones tomadas en base al plan de evaluacin deben ser vlidas y
fiables con independencia de los evaluadores y las situaciones especficas.
Esta reproducibilidad puede obtenerse combinando diferentes fuentes de
informacin (evaluadores, tareas y situaciones) para obtener un cuadro
ms completo y preciso de las competencias del estudiante. La idea es que
evaluando la misma competencia, por ejemplo con diferentes tareas, es
ms probable que la valoracin obtenida sea generalizable a otras futuras
actividades que desarrolle el evaluado.
Costes y eficacia
La evaluacin de competencias no slo est determinada por factores
educativos, tambin intervienen otros factores de carcter econmico,
administrativo e institucional. Las actividades de evaluacin han de ser
factibles y los esfuerzos invertidos (tiempo y recursos) deben estar
justificados por los beneficios positivos sobre la mejora de la calidad del
proceso enseanza-aprendizaje.
Capacidad para la
auto-evaluacin
La evaluacin debe incluir mtodos especficos para fomentar el
aprendizaje autorregulado de los estudiantes y el uso de la auto-
evaluacin.

Fuente: Basado en Baartman et al., 2006; Baartman et al., 2007a; Baartman et al., 2007b; Baartman, Bastiaens, Kirschner & Van
der Vleuten,, 2007c.
Tabla n.1. Criterios de calidad en la evaluacin de competencias
La e-rbrica como instrumento para la evaluacin de competencias
en la Educacin Superior
Las rbricas son guas de puntuacin usadas en la evaluacin del desempeo de
los estudiantes que describen las caractersticas especficas de un producto, proyecto o
tarea en varios niveles de rendimiento, con el fin de clarificar lo que se espera del
trabajo del alumno, de valorar su ejecucin y de facilitar la proporcin de feedback
(Fernndez March, 2010:24). Una rbrica tiene tres caractersticas fundamentales:
unos criterios de evaluacin, una escala de valoracin y una estrategia de calificacin.
Los criterios de evaluacin son el componente ms importante de la rbrica y tienen
como finalidad establecer cules son los elementos sobre los que se va a basar la
evaluacin del aprendizaje y, por consiguiente, ofrecer al estudiante los aspectos
esenciales de la tarea que sern objeto de valoracin por parte del profesorado. Estos
criterios pueden tener el mismo peso o un peso diferente, dentro de la rbrica, segn
la relevancia que, segn el docente, tiene cada uno de ellos para la evaluacin del
aprendizaje. La escala de valoracin describe diferentes caractersticas de la tarea de
evaluacin a realizar por el estudiante, de manera gradual. De este modo, se
especifican diferentes niveles de realizacin de las actividades para cada uno de los
criterios de evaluacin. La estrategia de calificacin puede ser holstica o analtica. En
la estrategia holstica el evaluador aplica todos los criterios de evaluacin y ofrece, al
final, un juicio global nico de carcter cualitativo. En la estrategia analtica se punta
cada uno de los criterios segn el peso y la escala de valoracin para obtener una
calificacin final de carcter cuantitativo (Popham, 1997).
Fuente: Basado en Baartman et al., 2006; Baartman et al., 2007a; Baartman et al., 2007b; Baartman, Bas-
taens, Kirschner & Van der Vleuten,, 2007c.
Tabla n.1. Criterios de calidad en la evaluacin de competencias
La e-rbrica como instrumento para la evaluacin de competencias en la
Educacin Superior
Las rbricas son guas de puntuacin usadas en la evaluacin del desempeo de los
estudiantes que describen las caracterstcas especfcas de un producto, proyecto o ta-
rea en varios niveles de rendimiento, con el fn de clarifcar lo que se espera del trabajo
del alumno, de valorar su ejecucin y de facilitar la proporcin de feedback (Fernndez
March, 2010:24). Una rbrica tene tres caracterstcas fundamentales: unos criterios de
evaluacin, una escala de valoracin y una estrategia de califcacin. Los criterios de eva-
luacin son el componente ms importante de la rbrica y tenen como fnalidad esta-
blecer cules son los elementos sobre los que se va a basar la evaluacin del aprendizaje
y, por consiguiente, ofrecer al estudiante los aspectos esenciales de la tarea que sern
objeto de valoracin por parte del profesorado. Estos criterios pueden tener el mismo
peso o un peso diferente, dentro de la rbrica, segn la relevancia que, segn el docen-
te, tene cada uno de ellos para la evaluacin del aprendizaje. La escala de valoracin
describe diferentes caracterstcas de la tarea de evaluacin a realizar por el estudiante,
de manera gradual. De este modo, se especifcan diferentes niveles de realizacin de
las actvidades para cada uno de los criterios de evaluacin. La estrategia de califcacin
puede ser holstca o analtca. En la estrategia holstca el evaluador aplica todos los
criterios de evaluacin y ofrece, al fnal, un juicio global nico de carcter cualitatvo.
En la estrategia analtca se punta cada uno de los criterios segn el peso y la escala de
valoracin para obtener una califcacin fnal de carcter cuanttatvo (Popham, 1997).
En la elaboracin de las rbricas se deben incluir criterios de evaluacin que re-
cojan los elementos esenciales de la competencia que se quiere evaluar, ni la forma
partcular en el que la competencia se aplica a una determinada tarea, ni tampoco unos
criterios tan generales que no ofrezcan al estudiante con claridad las caracterstcas de la
competencia a desarrollar. Una rbrica no debe ser muy extensa porque su uso se hace
muy difcil de aplicar en la prctca docente. Se recomiendan de tres a cinco criterios de
evaluacin por rbrica. Por otra parte, no ha de confundirse la competencia con la tarea
que se utliza para evaluarla. La rbrica debe admitr mltples formas de comprobacin
de la consecucin de la competencia y no restringirse a una actvidad determinada. En
cualquier caso, se trata de instrumentos que siempre pueden ser mejorados y adaptados
a diferentes contextos de enseanza-aprendizaje. Sin olvidar que pueden tener una rele-
vante contribucin a la mejora de la calidad docente (Popham, 1997). De hecho, cuando
las rbricas son utlizadas por los estudiantes como parte de una evaluacin formatva
del progreso de sus competencias, las rbricas no slo evalan, tambin ensean. Ut-
lizadas en una evaluacin centrada en el aprendizaje, las rbricas tenen el potencial de
ayudar a los estudiantes a comprender mejor las metas del aprendizaje y los criterios de
valoracin sobre el grado en que las competencias han sido adquiridas. De este modo,
disponen de elementos de juicio para evaluar su propio desempeo y poder establecer
las medidas de mejora que considere oportunas. Bresciani, Oakleaf, Kolkhorst, Nebeker,
Barlow, Duncan & Hickmot (2009) describen el proceso de elaboracin de una rbrica
por diferentes docentes con el objeto de valorar la calidad de la investgacin en estu-
diantes de posgrado de diferentes reas de conocimiento. La rbrica fnal mostr una
buena fabilidad y validez a pesar de las notables diferencias entre las disciplinas, lo que
avala la posibilidad de crear cooperatvamente rbricas genricas para evaluar compe-
tencias transversales.
Las rbricas tambin pueden ser diseadas e implementadas a travs de tecno-
logas digitales, surgiendo el trmino e-rbricas (Cebrin, 2008; Cebrin, Martnez,
Gallego & Raposo 2011; Ciudad, 2011).
Resultados de investigacin sobre rbricas en Educacin Superior
Las rbricas se utlizan en todas las reas de conocimiento y para todo tpo de actvida-
des de evaluacin. Algunos docentes las utlizan para profundizar en una evaluacin
para el aprendizaje, donde interesa la calidad del feedback que recibe el estudiante du-
rante el proceso de evaluacin y las repercusiones que tene en la mejora de los aprendi-
zajes, y otros docentes las usan como instrumento para evaluar el trabajo del estudiante
(Andrade, 2000).
Los estudios sobre el uso de las rbricas en la Educacin Superior concluyen que
pueden ser un instrumento vlido para el fomento del aprendizaje, al menos en com-
binacin con diferentes actvidades metacognitvas (tales como autorregulacin, eva-
luacin por pares o auto-evaluacin). Tambin muestran que los estudiantes realmente
interiorizan los criterios de evaluacin de una rbrica, asumindolas como propias, y
usndolas para su auto-evaluacin (Panadero & Jonsson, 2013). La literatura especiali-
zada describe diversos benefcios en el uso de las rbricas, siendo uno de los ms cita-
dos el incremento de la consistencia en los juicios cuando se evalan competencias, al
sostenerse que las rbricas mejoran la consistencia de las califcaciones (Andrade, 2005;
Reddy, 2007; Reddy & Andrade, 2010). Los resultados de investgacin muestran que
existe una relacin entre el uso de rbricas de evaluacin y un mejor rendimiento acad-
mico (Martnez & Raposo, 2011), as como un mayor desarrollo del aprendizaje profundo
en los estudiantes universitarios (Reddy & Andrade, 2010). A contnuacin se revisan los
resultados de investgacin sobre rbricas en Educacin Superior desde la percepcin de
su uso por parte estudiantes y docentes; con relacin a los efectos en el desarrollo de
competencias; respecto a la fabilidad y validez de los instrumentos de evaluacin y, por
ltmo, dado el objeto de nuestra investgacin, sobre la prctca educatva con rbricas
en el rea de Economa y Empresa.
Percepcin del uso de las rbricas por los estudiantes.
Los estudiantes valoran de las rbricas su funcin de clarifcacin de las metas u objet-
vos de aprendizaje, la posibilidad de auto-regulacin de su progreso en el desarrollo de
competencias y la transparencia que introduce en el proceso de evaluacin. Las rbricas
les permiten identfcar los elementos crtcos de una tarea y, por consiguiente, reducir la
incertdumbre y hacer ms signifcatvo su trabajo, determinando la cantdad de esfuer-
zo necesario para una actvidad, evaluando sus propios progresos, estmando las prio-
ridades en el desarrollo de las tareas y dirigiendo sus esfuerzos hacia la mejora de sus
competencias en posteriores actvidades. Por otra parte, los estudiantes perciben una
mayor calidad en sus producciones y una menor ansiedad en la realizacin de la tarea
puesto que el proceso de evaluacin se valora como justo y transparente. El uso de las
rbricas introduce una mayor satsfaccin en los estudiantes sobre la evaluacin recibi-
da. Sobre estos resultados es preciso constatar que cuando las rbricas son elaboradas
en colaboracin con los estudiantes o bien cuando stos disponen de las rbricas antes
del desarrollo de una tarea de evaluacin, entonces la percepcin hacia el instrumento
es ms positva. Por consiguiente, es fundamental hacer un uso de las rbricas no exclu-
sivamente califcador sino formador (Andrade, 2000; Robin & Marielle, 2004; Reddy &
Andrade, 2010; Reynolds-Keefer, 2010).
Percepcin del uso de las rbricas por los docentes.
El profesorado tende a enfocar el uso de las rbricas, exclusivamente, desde el punto
de vista de la califcacin y valora, en este sentdo, la rapidez, objetvidad y rigor que las
rbricas ofrecen al proceso de evaluacin (East, 2009). Por su propia naturaleza, las r-
bricas fomentan la prctca docente refexiva tanto por parte del profesorado como de
los estudiantes. El diseo de una rbrica, con independencia de que posteriormente sea
utlizada o no, explicita valores y expectatvas sobre el aprendizaje y cmo pueden im-
plementarse en el aula. Si se pide la partcipacin actva del alumnado en su elaboracin
entonces se fomenta el desarrollo de la auto-evaluacin (Allen & Tanner, 2006).
La rbrica es un instrumento tl para proporcionar feedback al estudiante en
sesiones de tutora, ya que el docente dispone de informacin precisa sobre el grado y
evolucin de las competencias evaluadas. Aporta al evaluador una mayor coherencia al
emitr sus juicios de valor y le asegura que los estudiantes sern evaluados con criterios
homogneos. Se muestra tambin efcaz cuando el docente debe hacer un seguimiento
de un nmero elevado de tareas de evaluacin puesto que genera un registro de evi-
dencias. La creacin de las rbricas exige una planifcacin y refexin exhaustva en la
defnicin de los criterios a considerar durante el proceso de evaluacin. Su aplicacin
permite mejorarlas en accesibilidad y comprensin gracias al intercambio entre alumnos
y profesores. En conclusin, el instrumento describe la tarea, contribuye a realizar un
buen seguimiento y genera un efcaz guin para el desarrollo de las tutoras (Raposo &
Martnez, 2011; Martnez & Raposo 2011).
Impacto del uso de las rbricas en la mejora de las competencias del estu-
diante.
La revisin de los resultados de investgacin nos permite determinar algunos efectos
del uso de las rbricas (Panadero & Jonsson, 2013):

Factores que moderan los efectos de las rbricas sobre el proceso ensean-
za-aprendizaje.
La investgacin educatva ha encontrado que el principal factor que infuye en los efec-
tos de las rbricas sobre el aprendizaje de los alumnos, es su combinacin con actvida-
des metacognitvas (Panadero & Jonsson, 2013). Existen tambin evidencias de efectos
positvos de las rbricas sobre el aprendizaje de los alumnos cuando se utlizan junto
con actvidades metacognitvas y de auto-evaluacin. En algunos casos se realizan ac-
tvidades para el aprendizaje de la auto-evaluacin (Andrade & Boulay, 2003), la auto-
evaluacin de una primera versin de un trabajo escrito (Andrade, Du & Wang, 2008)
Incremento de la transparencia. Las rbricas contribuyen a clarifcar los requeri-
mientos de una tarea de evaluacin e identfca sus componentes. Muestra con
mayor claridad los criterios de evaluacin y ayuda a comprender lo que se espera
del alumno, es decir, a interpretar con mayor exacttud las expectatvas del docente
(Andrade & Boulay, 2003; Reynolds-Keefer, 2010; Reddy & Andrade, 2010; Navarro
& Gonzlez, 2010)
Reduccin de la ansiedad. Los estudiantes aumentan su confanza sobre sus ca-
pacidades para desarrollar las tareas de evaluacin y consideran que es ms f-
cil gestonar las actvidades requeridas. Las rbricas contribuyen a evitar que los
alumnos no concluyan sus tareas por sentrse bloqueados, fundamentalmente,
porque conocen qu resultados se esperan de ellos y cmo estn relacionados con
sus califcaciones (Andrade & Du, 2005; Reddy & Andrade, 2010; Panadero, Tapia,
& Huertas, 2012)
Ayuda al proceso de retroalimentacin. Para los estudiantes la rbrica les aporta
un feedback muy tl sobre sus realizaciones y trabajos de evaluacin. Tambin les
permite refexionar sobre su propia actvidad a partr de los criterios y valoraciones
que encuentran en la rbrica (Andrade & Du, 2005).
Mejora de la autoefcacia del estudiante. Varios estudios encontraron que la auto-
efcacia se incrementa con el uso de las rbricas, siempre que los estudiantes reci-
ben feedback del docente sobre sus resultados, a travs del cual pueden obtener
una visin ms realista de sus avances o la ausencia de ellos. (Panadero, Tapia &
Huertas, 2012; Andrade, Wang, Du & Akawi, 2009)
Fomento de la autorregulacin del estudiante. Las rbricas facilitan tanto la pla-
nifcacin como la auto-evaluacin. Los estudiantes perciben la rbrica como una
herramienta tl y un punto de referencia para planifcar su accin (como una re-
ceta de cocina o un mapa geogrfco). Adems, las rbricas ayudan a controlar y
valorar el progreso de la tarea antes de realizarla, mientras se lleva a cabo y una
vez concluida. Disminuye el nivel de evitacin de la autorregulacin derivada de
emociones negatvas como la ansiedad, lo cual repercute en un mejor aprendizaje
gracias a una mayor atencin en la correccin de errores. (Panadero et al., 2012;
Reynolds-Keefer, 2010; Andrade & Du, 2005).
o formacin para la evaluacin entre pares y la auto-evaluacin (Andrade et al., 2009,
Panadero et al., 2012). Tambin se han utlizado rbricas junto con actvidades docentes
de demostracin, formacin en control metacognitvo y andamiaje en la elaboracin de
textos (Brown, Glasswell & Harland, 2004).
Elaborar una rbrica de calidad y usarla de manera efcaz no es tan sencillo como
inicialmente se asume por parte del profesorado, que tende a considerar que usar cual-
quier rbrica es mejor que llevar a cabo una evaluacin sin rbrica (Rezaei & Lovorn,
2010). La formacin especfca del profesorado en el uso de rbricas es un factor que
infuye en la fabilidad del instrumento y en la calidad del feedback ofrecido al alumno
(Lovorn & Rezaei, 2011). En principio, el feedback que ofrece el empleo de una rbrica
es mejor que una simple califcacin numrica, sin embargo, los usuarios de rbricas sin
formacin especfca pueden usarlas simplemente para justfcar su prejuicio a la hora de
evaluar. Estos evaluadores incorporan variables irrelevantes que afectan a la evaluacin
de una competencia a travs de una rbrica porque los juicios, fnalmente, se basan
en la seleccin de adjetvos valoratvos poco precisos que son interpretados discrecio-
nalmente por el docente. Algunos resultados de investgacin muestran que algunos
evaluadores puntan sobre impresiones generales acerca de la tarea sin considerar los
criterios de la rbrica (Rezaei & Lovorn, 2010).
Aunque se han encontrado otros factores con alguna infuencia en los efectos
de las rbricas, los resultados no son concluyentes (diferencias por gnero, contenido
de aprendizaje, tempo del estudiante para la correccin de sus tareas o la comprensin
del lenguaje de las rbricas) o sus efectos son limitados (tpologa/contenido de la tarea)
(Panadero & Jonsson, 2013).
Estudios sobre fabilidad de las rbricas.
La evaluacin tene consecuencias para los que son evaluados, de ah que todo proceso
de evaluacin deba ser ntegro, fable, basado en evidencias y sobre juicios indepen-
dientes, pero cuando lo que se evalan son competencias, las difcultades para alcan-
zar estos objetvos son mayores. La variabilidad en las califcaciones de una evaluacin
puede ser debida a las variaciones en los juicios de los docentes, al desempeo de los
estudiantes o a las caracterstcas de las tareas de evaluacin.
El tpo de estudio sobre la fabilidad que es ms frecuentemente utlizado en
la evaluacin con rbricas corresponde a la fabilidad del evaluador, que se refere a la
consistencia en las puntuaciones que son asignadas por dos evaluadores independien-
tes (inter-jueces) o por el mismo evaluador en diferentes momentos (intra-jueces). Para
la medida de la fabilidad inter-jueces se utliza el consenso (acuerdo) si los evaluadores
asignan la misma puntuacin y consistencia, mediante la medida de correlacin entre
puntuaciones de varios evaluadores. Se considera que una rbrica bien diseada debe-
ra mejorar las inconsistencias en la califcacin, minimizando los errores debidos a la
formacin del evaluador y la claridad en la descripcin de los criterios de evaluacin. La
mayora de las investgaciones no describen el proceso de desarrollo de las rbricas para
valorar su calidad. Los estudios sobre fabilidad inter-jueces muestran un aceptable nivel
de acuerdo del 70% o superior (Reddy & Andrade, 2010).
El mayor riesgo para la fabilidad en la falta de consistencia de un evaluador
individual (Brown, 1997:235). Jonsson & Svingby (2007) revisaron 7 estudios sobre fa-
bilidad intra-jueces. La mayora de estos estudios utlizan el alpha de Cronbach para
valorar la consistencia de las califcaciones y la mayora obtenen valores alpha en torno
a 0,70, que pueden ser considerado sufciente (Brown et al., 2004). Los resultados de los
estudios que investgan la fabilidad intra-jueces sealan que las rbricas contribuyen a
que se obtenga una consistencia interna alta. Jonsson & Svingby (2007) tambin revi-
saron 46 estudios que utlizaron la fabilidad interjueces. La mayora de los coefcientes
de fabilidad se encuentran entre 0,7 y 0,8, que son considerados por la mayora de los
investgadores como sufcientes, dadas las caracterstcas de los instrumentos sobre los
que se evala la fabilidad y que tenen relacin directa con la evaluacin de competen-
cias basadas en tareas acadmicas.
En cualquier caso, la fabilidad no es el nico concepto que ha de tomarse en cuenta
cuando se disea un plan de evaluacin de competencias. El concepto de validez debe
ser tambin utlizado.
Estudios sobre la validez de las rbricas.
Los escasos estudios sobre validez muestran la importancia del uso de un lenguaje claro
y preciso, pero no se disponen de resultados sobre las relaciones entre los criterios de
evaluacin de las rbricas y las competencias que estn siendo evaluadas (validez de
contenido) o las posibilidades de generalizacin a otras actvidades relacionadas (validez
de criterio). La validez responde a la cuestn: La evaluacin mide lo que intenta medir?
Existen dos formas de determinar la validez: (a) como propiedad de la prueba o instru-
mento o (b) como interpretacin de las puntuaciones de un test o prueba. La primera
es utlizada en los test psicolgicos y no se ha utlizado en los artculos sobre rbricas
revisados por Jonsson & Svingby (2007). En la investgacin educatva la validez se con-
cibe como juicio evaluatvo y, por consiguiente, no es visto como una propiedad de la
prueba como tal, sino ms bien como una interpretacin de resultados. Messick (1996)
distngue seis aspectos de la validez de constructo: contenido (relevancia del contenido
y representatvidad del conocimiento y las competencias evaluadas), generalibilidad (al-
cance que la interpretacin de las califcaciones pueden ser aplicadas a grupos, tareas,
momentos, etc.), externalidad (la relacin de la puntuacin con otras medidas relevan-
tes para el constructo que tambin han sido evaluadas: otras rbricas, evaluaciones f-
nales, pruebas estandarizadas o test de conocimientos previos; relevancia y utlidad de
la rbrica para su propsito), estructuralidad (los criterios de evaluacin y el sistema de
puntuacin de la rbrica poseen una lgica y racionalidad basada en lo que se quiere
evaluar; para lo cual algunos investgadores utlizan el anlisis factorial o la evaluacin
por expertos de las orientaciones y criterios de la rbrica), sustantvidad (fundamentos
tericos y empricos de la consistencia en las respuestas que refeja el proceso de pensa-
miento utlizado por expertos en el campo) y consecuencias (evidencias sobre los efectos
perseguidos y no perseguidos de la interpretacin de la evaluacin; valoracin de cual-
quier tpo de consecuencia negatva para individuos o grupos).
Se podra concluir que al califcar con una rbrica existen ms probabilidades de
aumentar la validez que si no la utlizamos? Para Jonsson & Svingby (2007) la respuesta
es no. No hay evidencias de que simplemente proporcionando una rbrica exista una
completa representacin del contenido, una estructura de puntuacin fel al constructo
que se quiere medir o la posibilidad de generalizacin. Existe, sin embargo, un aspecto
de la validez que podra benefciarse si se usan rbricas. Si las rbricas afectan en alguna
medida, a la enseanza, de modo que se obtenen consecuencias educatvas positvas
derivadas de su utlizacin, entonces podra tener efectos en la validez de las consecuen-
cias. El uso de las rbricas tene potencial para fomentar el aprendizaje y mejorar la en-
seanza, al menos as es percibido por los estudiantes y docentes que hacen uso de ellas
(Monreal & Terrn, 2010). Las rbricas hacen explcitas las expectatvas y los criterios de
evaluacin que, adems, facilita el feedback y la auto-evaluacin.
En defnitva es necesaria una mayor preocupacin por la calidad de las rbricas
para lo cual es tl compararlas con estndares, compartrlas con otros docentes para
valorar su validez y mejorar su fabilidad. Tambin utlizar los juicios y crtcas de los es-
tudiantes como una fuente de informacin muy valiosa (Andrade, 2005). Por otra parte,
Baryla, Shelley, & Trainor (2012) defenden el uso del anlisis factorial como medio para
elaborar rbricas que identfquen con mayor efciencia y efcacia los criterios para la
evaluacin de competencias y generen instrumentos de evaluacin ms precisos y sen-
cillos.
El uso de rbricas en formacin universitaria del mbito de la Economa y la
Empresa.
Walstad (2001) sostene la necesidad de introducir un nuevo enfoque de la evaluacin
en el mbito de la formacin universitaria en Economa y centra su atencin en el exce-
sivo uso de las pruebas de opcin mltple, la preponderancia de los ejercicios escritos
frente a los orales, defende el uso de portolio para fomentar la evaluacin contnua
as como la introduccin de la auto-evaluacin y considera que la evaluacin debera
favorecer el desarrollo del pensamiento ms que la simple retencin de informacin.
No obstante, existen muy pocas investgaciones sobre el uso de las rbricas para
disciplinas de esta rea. Santos & Lavin (2004) utlizaron una rbrica para la evaluacin
de competencias relacionadas con la solucin de problemas, a travs de una tareas au-
tntcas. Mora (2010) describe el uso de una rbrica en una asignatura denominada
Teora Macroeconmica para evaluar el desarrollo y evolucin de competencias en
grupos de alumnos universitarios, as como medio para introducir sistemtcamente el
feedback en el proceso de evaluacin. McGoldrick & Peterson (2013) utlizaron dos r-
bricas: una centrada en el alumno para la evaluacin de competencias (tambin utlizada
para evaluacin entre pares) y otra centrada en el docente y elaborada para facilitar el
desarrollo de materiales educatvos que mejorasen la comprensin de los conceptos
bsicos (factores econmicos de la oferta y la demanda) de la disciplina Principios de
Microeconoma. Sostenen que la utlidad de las rbricas analtcas no se circunscribe
slo a las ventajas en la asignacin de califcaciones, sino que, adems, ofrece al estu-
diante una gua para su aprendizaje, y al docente una ayuda para la mejora del proceso
de enseanza.
Metodologa
En este trabajo se presenta un estudio sobre la fabilidad de dos e-rubricas utlizadas con
estudiantes universitarios de Grado, para evaluar una actvidad englobada dentro de un
modelo de formacin y evaluacin por competencias, denominado Management of
Competence in the areas of Accountng (MANCOMA) (Ciudad & Valverde, 2012). En el
diseo de este modelo han sido normalizadas las competencias y elaborada la Ficha de
evaluacin, para lo que hemos desglosado cada una de las competencias seleccionadas
en sub-competencias, y stas, a su vez, en indicadores, establecindose las ponderacio-
nes correspondientes. Una vez realizado el desglose, se ha procedido a la elaboracin
de la Rbrica de la competencia, identfcando los indicadores observables y sus dife-
rentes niveles a conseguir, permitndonos evaluar el nivel alcanzado por el estudiante
en la adquisicin de cada competencia. Tras ser normalizadas las competencias dentro
de la etapa de diseo de la estrategia didctca, se han decidido los mtodos o tcnicas
de enseanza que se van a utlizar en el modelo, dando paso a la ejecucin o puesta en
prctca de la actvidad docente.
En este contexto docente, hemos combinado una serie de estrategias e instru-
mentos que nos permitan documentar las evidencias, tanto de conocimiento como de
desempeo, instrumentado a travs de actvidades presenciales y on-line orientadas a
la formacin y evaluacin de las competencias y que han sido incluidas de manera orga-
nizada en la plataforma Moodle (Ciudad, 2010). En la Ficha de la actvidad se han des-
crito las actvidades, delimitando las competencias asociadas a cada actvidad, dentro
de stas, qu indicadores se trabajarn; se defne la tarea, se seala el momento en que
se va a desarrollar y evaluar, qu recursos bsicos se van a utlizar, qu criterios de eva-
luacin se utlizarn (resultados de aprendizaje esperados en cada actvidad), y qu tpo
de instrumento se utlizar para la recogida de evidencias, que depender fundamen-
talmente de la naturaleza del resultado de aprendizaje que se pretende lograr. Adems,
para poder puntuar los indicadores asignados a cada actvidad, se han elaborado las
rbricas de las actvidades, para lo que se ha exportado la informacin de las rbricas
de las competencias en funcin de los indicadores asignados.
Una de estas actvidades es una tarea propuesta a los estudiantes a travs de
una webquest ttulada Proceso de cierre, confeccin de documentos contables y su an-
lisis. La actvidad se ha dividido en dos fases: la Fase A, donde el estudiante realizar,
dentro de una empresa, todas las operaciones de fn de ejercicio econmico con el ob-
jetvo de preparar la informacin para poder elaborar lo documentos que forman parte
de las cuentas anuales y se confeccionar un balance de comprobacin. Y la Fase B en la
que elabora el Balance de Situacin y la cuenta de Prdidas y Ganancias de la empresa,
mediante una hoja de clculo que posteriormente se incluye en una presentacin de
diapositvas, adems, realiza una breve interpretacin de la informacin contenida en
ellos, determinando aquellos hechos que son considerados signifcatvos.
Las dos rbricas desarrolladas para este estudio (ver Anexos) dirigidas a evaluar las fases
A y B de la webquest fueron insertadas en un aula virtual (Moodle) al inicio del curso,
aportando a travs del libro de califcaciones de la asignatura virtual un feedback dirigido
a los estudiantes, especifcndose los siguientes elementos:
a) Criterios de evaluacini: En la e-rbrica que evala la Fase A se han incorporado
nueve indicadores esenciales y en la Fase B cinco.
Tabla n.2. Indicadores de evaluacin para la e-rbrica en la Fase A.
Tabla n.3. Indicadores de evaluacin para la e-rbrica en la Fase B.
b) Niveles de rendimiento. En la e-rbrica se establecen cinco niveles de rendimiento:
Excelente (cumplimiento de cada indicador entre un 90-100%); Bueno/compe-
tente (75-89%); Regular/adecuado (50-74%); Malo/limitado (25-49%) y Nulo/in-
sufciente (24% o menos).
c) Estrategia de califcacin: La e-rbrica incorpora una valoracin cuanttatva para
cada criterio y nivel de rendimiento, permitendo realizar una valoracin analtca
(criterio a criterio, pudindole asignar a cada uno de ellos una valoracin entre 0 y
10) y holstca (sumatorio de las puntuaciones obtenidas en cada uno de los crite-
rios ponderadas, con un rango entre 0 y 2,5 puntos).
Tabla n.4. Ponderacin y puntuacin mxima de los indicadores de la actvidad
de evaluacin (Webquest).
La rbrica fue utlizada no slo por el profesor, sino tambin como herramienta
para la auto-evaluacin y evaluacin entre pares, implicando a los estudiantes en su
evaluacin con el objetvo de contribuir a un mayor entendimiento del propio proceso
de aprendizaje y, en defnitva, a una mayor autonoma y autorregulacin del estudiante
(Stevens & Levi, 2005), por lo que los trabajos fueros evaluados por los propios estudian-
tes annimamente a travs de las rubricas diseadas para la evaluacin de la WebQuest,
utlizando las e-rbricas federadas de GTEA (Accino & Lozano, 2011), herramienta para
la evaluacin de competencias que permite la auto-evaluacin, la evaluacin entre pa-
res, la evaluacin del docente por los estudiantes y la evaluacin de grupos.
Muestra
La muestra de este estudio est compuesta por estudiantes de la Facultad de Estudios
Empresariales y Turismo de la Universidad de Extremadura (N=60), matriculados du-
rante el curso 2012-2013 en la asignatura de Estados de Informacin Empresarial,
asignatura obligatoria del primer semestre del segundo curso del Grado en Finanzas y
Contabilidad.
Procedimiento
La fabilidad de la rbrica se ha evaluado a travs de su consistencia interna (CI) para lo
que se ha recurrido al coefciente Alpha de Cronbach, estadstco comnmente utlizado
para cuantfcar el grado en el que los elementos de un instrumento se correlacionan
unos con otros, y cuyos clculos se realizaron con el uso del paquete estadstco SPSS.
Para la elaboracin de la actvidad de carcter grupal, se le ha propuesto al es-
tudiante que se congregue en un total de seis grupos de trabajo, y hemos utlizado la
auto-evaluacin y evaluacin por pares, por lo que para el clculo de la fabilidad de
las rubricas se han tenido en cuenta las valoraciones otorgadas en la rbrica por los
grupos de estudiantes al fnalizar el proceso de evaluacin de la actvidad, as como las
correspondientes del profesor para cada uno de los grupos. Por tanto, contamos con
42 casos (6 autoevaluaciones y 30 evaluaciones por pares realizadas por los grupos de
estudiantes, mas 6 evaluaciones otorgadas por el profesor a los grupos) para un total de
14 variables analizadas.
Resultados
Al estudiar el grado de coherencia o consistencia interna de nuestras e-rbricas, hemos
calculado el alfa de Cronbach y se ha obtenido para la rbrica utlizada en la Fase A de la
actvidad, un coefciente de 0.877, con un nivel de confanza del 95% (p0.05).
Fuente: Elaboracin propia
Tabla n.5. Anlisis de fabilidad de la rbrica diseada para la Fase A (Alfa de Cronbach)
En cuanto a la rbrica utlizada en la Fase B, se ha obtenido un coefciente de alfa
de Cronbach de 0.847, con un nivel de confanza del 95% (p0.05). El mayor valor terico
de alfa es 1, y en general 0.80 se considera un valor aceptable, lo que indica que este
instrumento tene un grado de fabilidad aceptable, validando su uso para la recoleccin
de datos. Para justfcar la cantdad de tems incluidos en el cuestonario, se aplic el
mtodo de consistencia interna alfa de Cronbach si se eliminara el elemento.
Tabla n.6. Anlisis de fabilidad de la rbrica diseada para la Fase B (Alfa de Cronbach)
La Correlacin elemento-total corregida, es el coefciente de homogeneidad
corregido, y en el caso de que sea cero o negatvo se debera eliminar. En nuestro caso no
tenemos que eliminar ninguno. Adems, alfa de Cronbach si se elimina el elemento
equivale al valor de alfa si eliminamos cada uno de los tems. As, podemos comprobar
que eliminado cualquiera de los tems, salvo el tem 2.5 que mejorara muy ligeramente
a un 0,861, los dems no mejoran el valor de alfa, lo que demuestra la consistencia in-
terna de la rbrica y la fabilidad del conjunto.
Para dar mayor fabilidad al instrumento de recogida de datos, tambin fue cal-
culado el alfa de Cronbach de manera conjunta para la rbrica de la Fase A y la Fase B y el
instrumento demostr una confabilidad satsfactoria, con un alfa de Cronbach de 0,862
(n de elementos: 14), con un nivel de confanza del 95% (p0.05).
La consistencia interna de los tems mostr resultados de este coefciente supe-
riores a 0,8, si bien, la tabla 6 muestra que eliminando aquellos que exhiban las corre-
laciones elementototal ms dbiles (tem 1.3. y 2.5.), su eliminacin no conduce a la
obtencin de valores signifcatvamente ms elevados del valor de alfa para la rbrica en
su conjunto. En el supuesto de que eliminramos el indicador CED29.2.B Es capaz de
utlizar los conceptos de contabilidad de manera correcta, demostrando un dominio del
lenguaje tcnico propio de la materia (ITEM1.3), el valor de alfa aumentara tan solo a
0,864, y en el caso del indicador CEO72.2.C Es capaz de dar respuesta de manera argu-
mentada y bien sustentada a las preguntas que se les plantean (tem 2.5), alfa pasara
a 0,863.
Tabla n.7. Anlisis de fabilidad de la rbrica conjunta (Alfa de Cronbach)
Conclusiones
En el estudio de la fabilidad de un instrumento es frecuente que se estme la coherencia
o consistencia interna de la escala del instrumento, al entenderse que si varios tems mi-
den el mismo rasgo, estos deben estar inter-correlacionados. Este grado de inter-corre-
lacin se puede medir a travs de diferentes procedimientos, si bien nos hemos apoyado
en el coefciente de alfa de Cronbach, obteniendo un coefciente de fabilidad aceptable,
lo cual nos permite afrmar que nuestra rubrica dispone de una consistencia interna
adecuada, cumpliendo una de las condiciones para ser fable, lo que nos asegura que las
puntuaciones no van a variar en funcin del instrumento, es decir que las califcaciones
otorgadas por los jueces son consistentes y convergen en un constructo comn a evaluar.
Por otro lado, podemos observar que si eliminamos aquellos tems que exhiben las co-
rrelaciones elementototal ms dbil (tem 1.3. y 2.5.), estos indicadores son: CED29.2.B
Es capaz de utlizar los conceptos de contabilidad de manera correcta, demostrando
un dominio del lenguaje tcnico propio de la materia (ITEM1.3) y CEO72.2.C Es capaz
de dar respuesta de manera argumentada y bien sustentada a las preguntas que se les
plantean (ITEM2.5); se obtendran valores ms elevados del alfa para la rbrica en su
conjunto, si bien, no serian signifcatvamente ms elevado, adems, nos interesa que
estos indicadores estn presentes para la evaluacin de las competencias involucradas,
por lo que se va a proceder a un nuevo anlisis en cursos posteriores.
Cuando todos los estudiantes hacen la misma tarea o test y los procedimien-
tos de puntuacin estn bien defnidos, la fabilidad tende a ser alta. Pero cuando los
estudiantes hacen diferentes tareas, escogen sus propios temas o generan productos
especfcos, entonces la fabilidad tende a ser relatvamente baja. Tareas como ensayos
escritos, presentaciones orales producen valores relatvamente bajos, mientras que, por
ejemplo, evaluaciones sobre actvidad motrica en educacin fsica informan de fabi-
lidades ms altas (Jonsson & Svingby, 2007). Los resultados de este estudio son equi-
parables a los recogidos en la investgacin sobre fabilidad de las rbricas (Jonsson &
Svingby, 2007; Reddy & Andrade, 2010; Rezaei & Lovorn, 2010).
En cuanto a las limitaciones encontradas durante la investgacin destacamos la
circunstancia de que los estudiantes se enfrentaban por primera vez a una evaluacin
por rbricas y por tanto no estaban familiarizados con ellas, y esta falta de experiencia
ha generado cierto grado de difcultad en la evaluacin entre pares y en la auto-evalua-
cin. Tambin tenemos que sealar que nuestra investgacin se encuentra en fase de
desarrollo, y por tanto aqu ofreceremos una serie de resultados parciales, limitado a
una nica asignatura, Estados de Informacin Empresarial, de un nico ttulo, Grado
en Finanzas y Contabilidad, por lo que en futuras fases se deber realizar una ampliacin
de este estudio que abarque otras asignaturas y ttulaciones, lo que permitr determi-
nar con mayor confabilidad los resultados de esta investgacin. Tambin se propone,
de manera complementaria, la obtencin y anlisis de informacin sobre la percepcin
y acttud de los estudiantes ante la utlizacin de la rbrica como instrumento de evalua-
cin y su utlidad.
En conclusin, se puede afrmar que puntuar con una rbrica es probablemente
ms fable que puntuar sin ella. La rbrica puede contribuir a esta mejora en la consisten-
cia interna si es analtca, especfca y se complementa con ejemplifcaciones y formacin
para los evaluadores, tanto profesores como estudiantes (auto-evaluacin y evaluacin
entre pares).
Referencias bibliogrfcas
Accino Domnguez, J. A., & Lozano Rosch, E. (2011). Servicio federado de eRbrica para
evaluacin formatva. RedIRIS: boletn de la Red Nacional de I+D RedIRIS, (90),
46-54.
Allen, D., & Tanner, K. (2006). Rubrics: Tools for Making Learning Goals and Evaluaton
Criteria Explicit for Both Teachers and Learners. CBE Life Sciences Educaton,
5(3), 197-203. doi:10.1187/cbe.06-06-0168.
Andrade, H., & Du, Y. (2005). Student perspectves on rubric-referenced assessment.
Practcal Assessment, Research & Evaluaton, 10(3), 111.
Andrade, H. G. (2000). Using Rubrics To Promote Thinking and Learning. Educational
Leadership, 57(5), 13-18.
Andrade, H. G. (2005). Teaching with rubrics: the good, the bad and the ugly. College
Teaching, 53(1), 27-30.
Andrade, H. G., & Boulay, B. A. (2003). Role of Rubric-Referenced Self-Assessment in
Learning to Write. Journal of Educatonal Research, 97(1), 21-34.
Andrade, H. L., Du, Y., & Wang, X. (2008). Putting Rubrics to the Test: The Effect of a
Model, Criteria Generaton, and Rubric-Referenced Self-Assessment on Elemen-
tary School Students Writng. Educatonal Measurement: Issues and Practce,
27(2), 3-13. doi:10.1111/j.1745-3992.2008.00118.x
Andrade, H. L., Wang, X., Du, Y., & Akawi, R. L. (2009). Rubric-Referenced Self-Assessment
and Self-Efcacy for Writng. Journal of Educatonal Research, 102(4), 287-302.
Baartman, L. K. J., Bastiaens, T. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2006).
The wheel of competency assessment: Presentng quality criteria for competen-
cy assessment programs. Studies in Educational Evaluation, 32(2), 153-170.
doi:10.1016/j.stueduc.2006.04.006
Baartman, L. K. J., Bastaens, T. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2007a).
Evaluating assessment quality in competence-based education: A qualitative
comparison of two frameworks. Educational Research Review, 2(2), 114-129.
doi:10.1016/j.edurev.2007.06.001
Baartman, L. K. J., Bastiaens, T. J., Kirschner, P. A., & Van der Vleuten, C. P. M. (2007b).
Teachers opinions on quality criteria for Competency Assessment Programs.
Teaching and Teacher Educaton, 23(6), 857-867. doi:10.1016/j.tate.2006.04.043
Baartman, L. K. J., Prins, F. J., Kirschner, P. A., & van der Vleuten, C. P. M. (2007c). Deter-
mining the quality of competence assessment programs: a self-evaluation
procedure. Studies in Educational Evaluation, 33(34), 258-281. doi:10.1016/j.
stueduc.2007.07.004
Baryla, E., Shelley, G., & Trainor, W. (2012). Transforming Rubrics Using Factor Analysis.
Practcal Assessment, Research & Evaluaton, 17(4).
Bose, K. S., & Sarma, R. H. (1975). Delineaton of the intmate details of the backbone
conformaton of pyridine nucleotde coenzymes in aqueous soluton. Biochemi-
cal and Biophysical Research Communicatons, 66(4), 1173-1179.
Boud, D., & Falchikov, N. (2006). Aligning assessment with long-term learning. As
sessment & Evaluation in Higher Education, 31(4), 399-413. doi:10.1080/
02602930600679050
Bresciani, M. J., Oakleaf, M., Kolkhorst, F., Nebeker, C., Barlow, J., Duncan, K., & Hickmot,
J. (2009). Examining Design and Inter-Rater Reliability of a Rubric Measuring Re-
search Quality across Multple Disciplines. Practcal Assessment, Research & Eva
luaton, 14(12).
Brown, G. (1997). Assessing student learning in higher educaton. London; New York:
Routledge.
Brown, G. T. L., Glasswell, K., & Harland, D. (2004). Accuracy in the scoring of writng: Stu-
dies of reliability and validity using a New Zealand writng assessment system.
Assessing Writng, 9(2), 105-121. doi:10.1016/j.asw.2004.07.001
Cebrin de la Serna, M. (2008). La evaluacin formativa mediante e-rbicas. Indivisa:
Boletn de estudios e investgacin, (10), 197-208.
Cebrin De la Serna, M., Martnez Figueira, M. E., Gallego Arrufat, M. J., & Raposo Rivas,
M. (2011). La e-rbrica para la evaluacin: una experiencia de colaboracin inter-
universitaria en materia TIC. En II Conbreso Internacional Usos y Buenas
Prctcas TIC. Mlaga. Recuperado a partr de htp://erubrica.uma.es/wp-content
/uploads/2011/06/Comunicaci%C3%B3n.pdf
Chow, Y. W., Pietranico, R., & Mukerji, A. (1975a). Studies of oxygen binding energy to
hemoglobin molecule. Biochemical and Biophysical Research Communicatons,
66(4), 1424-1431.
Chow, Y. W., Pietranico, R., & Mukerji, A. (1975b). Studies of oxygen binding energy to
hemoglobin molecule. Biochemical and Biophysical Research Communicatons,
66(4), 1424-1431.
Ciudad Gmez, A. (2010). Teaching Innovaton and Use of the ICT in the Teaching-Lear-
ning Process within the New Framework of the EHEA, By Means Of Moodle Plat-
form. American Journal of Business Educaton, 3(13), 13-20. Recuperado a partr
de htp://journals.cluteonline.com/index.php/AJBE/artcle/view/972/956.
Ciudad Gmez, A. (2011). Design of the Accountng Course Focusing On the Development
of Competences, Journal of Internatonal Educaton Research, 7(5),15-22. Recupe-
rado a partr de htp://journals.cluteonline.com/index.php/JIER/artcle/view/6112
/6190
Ciudad Gmez, A. & Valverde Berrocoso, J. (2012). Design of a Competency-Based As-
sessment Model in the field of Accounting, Contemporary Issues In Education
Research, 5(5), 343-348. Recuperado a partr de htp://journals.cluteonline.com/
index.php/CIER/artcle/view/7466/7532
DAntoni, A., Zipp, G., & Olson, V. (2009). Interrater reliability of the mind map as
sessment rubric in a cohort of medical students. BMC Medical Educaton, 9(1),
1-8. doi:10.1186/1472-6920-9-19
East, M. (2009). Evaluatng the reliability of a detailed analytc scoring rubric for foreign
language writng. Assessing Writng, 14(2), 88-115. doi:10.1016/j.asw.2009.04.001
Fernndez March, A. (2010). La evaluacin orientada al aprendizaje en un modelo de
formacin por competencias en la educacin universitaria. REDU: Revista de
Docencia Universitaria, 8(1). Recuperado a partr de htp://dialnet.unirioja.es/
servlet/extart?codigo=3996629
Gibbs, G. (2006). Why assessment is changing. En C. Bryan & K. Clegg (Eds.), Innovatve
assessment in higher educaton (pp. 11-22). New York: Routledge.
Guzmn Cedillo, Y. I., Flores Macas, R. del C., & Tirado Segura, F. (2012). La evaluacin de
la competencia argumentatva en foros de discusin en lnea a travs de rbricas.
Revista Innovacin Educatva, 12(60), 17-40.
Halonen, J. S., Bosck, T., Clay, S., McCarthy, M., Dunn, D. S., Hill IV, G. W., Whitlock, K.
(2003). A Rubric for Learning, Teaching, and Assessing Scientfc Inquiry in Psy-
chology. Teaching of Psychology, 30(3), 196.
Huber, E., & Harvey, M. (2013). Time to partcipate: Lessons from the literature for lear-
ning and teaching project evaluaton in higher educaton. Studies in Educatonal
Evaluaton, 39(4), 240-249. doi:10.1016/j.stueduc.2013.10.004
Ibarra Siz, M., Rodrguez Gmez, G., & Gmez Ruiz, M. A. (2012). La evaluacin entre
iguales: beneficios y estrategias para su prctica en la universidad. Revista de
educacin, (359), 206-231.
Ibarra Saiz, M. S., & Rodrguez Gmez, G. (2010). Los procedimientos de evaluacin como
elementos de desarrollo de la funcin orientadora en la universidad. Revista Es-
paola de Orientacin y Psicopedagoga, 21(2), 443-461.
Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and edu-
catonal consequences. Educatonal Research Review, 2(2), 130-144. doi:10.1016/j.
edurev.2007.05.002
Lovorn, M. G., & Rezaei, A. R. (2011). Assessing the Assessment: Rubrics Training for
Pre-Service and New In-Service Teachers. Practcal Assessment, Research & Evalua-
ton, 16(16), 1-18. Recuperado a partr de htp://pareonline.net/getvn.
asp?v=16&n=16
Martnez Figueira, M. E., & Raposo Rivas, M. (2011). La evaluacin del estudiante a tra-
vs de la rbrica. En Xornada de Innovacin Educatva 2011. Vigo. Recuperado a
partr de htp://webs.uvigo.es/xie2011/Vigo/XIE2011-077.pdf
McGoldrick, K., & Peterson, B. (2013). Using rubrics in economics. Internatonal Review
of Economics Educaton, 12(0), 33-47. doi:10.1016/j.iree.2013.04.009
Messick, S. (1996). Validity of Performance Assessments. En Phillips, G.W. (Ed.), Tech-
nical Issues in Large-Scale Performance Assessment (pp. 11-28). Washington,
DC: NCES - National Center for Education Statistics. Recuperado a partir de
htps://nces.ed.gov/pubsearch/pubsinfo.asp?pubid=96802
Monreal Gimeno, M. del C., & Terrn Caro, M. T. (2010). Evaluacin de competencias en
la doble ttulacin de trabajo social y educacin social: una experiencia interdis-
ciplinar. REDU: Revista de Docencia Universitaria, 8(1). Recuperado a partr de
htp://dialnet.unirioja.es/servlet/extart?codigo=4015012
Mora, J. J. (2010). Rubrics as an Evaluaton Tool in Economics (SSRN Scholarly Paper No.
ID 1578439). Rochester, NY: Social Science Research Network. Recuperado a par-
tr de htp://papers.ssrn.com/abstract=1578439
Navarro Soria, I., & Gonzlez Gmez, C. (2010). La autoevaluacin y la evaluacin entre
iguales como estrategia para el desarrollo de competencias profesionales: una
experiencia docente en el grado de maestro. REDU: Revista de Docencia Universi-
taria, 8(1). Recuperado a partr de htp://dialnet.unirioja.es/servlet/extart? codi
go=4015026
Panadero, E., & Jonsson, A. (2013). The use of scoring rubrics for formatve assessment
purposes revisited: A review. Educational Research Review, 9(0), 129-144.
doi:10.1016/j.edurev.2013.01.002
Panadero, E., Romero, M., & Strijbos, J.-W. (s.f.). The impact of a rubric and friendship on
peer assessment: Effects on construct validity, performance, and perceptions
of fairness and comfort. Studies in Educational Evaluation, (0). doi:10.1016/j.
stueduc.2013.10.005
Panadero, E., Tapia, J. A., & Huertas, J. A. (2012). Rubrics and self-assessment scripts
efects on self-regulaton, learning and self-efcacy in secondary educaton. Lear-
ning and Individual Diferences, 22(6), 806-813. doi:10.1016/j.lindif.2012.04.007.
Penny, J., Johnson, R. L., & Gordon, B. (2000). The efect of ratng augmentaton on inter-
rater reliability: An empirical study of a holistc rubric. Assessing Writng, 7(2),
143-164. doi:10.1016/S1075-2935(00)00012-X.
Popham, W. J. (1997). Whats Wrong--and Whats Right--with Rubrics. Educatonal Lea-
dership, 55(2), 72-75.
Porto Currs, M. (2009). Evaluacin de estudiantes en la universidad de Santago de Com-
postela: percepciones de los propios alumnos. REDU: Revista de Docencia Univer-
sitaria, (3). Recuperado a partr de htp://dialnet.unirioja.es/servlet/extart? codi
go=3087590
Quesada Serra, V., Rodrguez Gmez, G., & Ibarra Siz, M. (2013). ActEval: un instrumen-
to para el anlisis y refexin sobre la actvidad evaluadora del profesorado uni-
versitario. Revista de educacin, (362), 69-104.
Raposo, M., & Martnez, E. (2011). La Rbrica en la Enseanza Universitaria: Un Recurso
Para la Tutora de Grupos de Estudiantes. Formacin universitaria, 4(4), 19-28.
doi:10.4067/S0718-50062011000400004
Reddy, M. Y. (2007). Rubrics and the enhancement of student learning. Educate~, 7(1),
3 - 17.
Reddy, Y. M., & Andrade, H. (2010). A review of rubric use in higher educaton. Assessment
& Evaluaton in Higher Educaton, 35(4), 435-448. doi:10.1080/02602930902862859
Reynolds-Keefer, L. (2010). Rubric-Referenced Assessment in Teacher Preparaton: An
Opportunity to Learn by Using. Practical Assessment, Research & Evaluation,
15(8), 1-9. Recuperado a partr de htp://pareonline.net/getvn.asp?v=15&n=8
Rezaei, A. R., & Lovorn, M. (2010). Reliability and validity of rubrics for assessment
through writng. Assessing Writng, 15(1), 18-39. doi:10.1016/j.asw.2010.01.003
Robin, T., & Marielle, S. (2004). Whats stll wrong with rubrics: Focusing on the consis-
tency of performance criteria across scale levels. Practcal Assessment, Research
and Evaluaton, 9(2). Recuperado a partr de htp://pareonline.net/getvn.asp?
v=9&n=2
Rodrguez Gmez, G., & Ibarra Saiz, M. S. (2012). Refexiones en torno a la competencia
evaluadora del profesorado en la Educacin Superior. REDU: Revista de Docencia
Universitaria, 10(2). Recuperado a partr de htp://dialnet.unirioja.es/servlet/ex-
tart?codigo=4021048
Sadler, P. M., & Good, E. (2006). The Impact of Self- and Peer-Grading on Student Lear-
ning. Educatonal Assessment, 11(1), 1-31.
Santos, J., & Lavin, A. M. (2004). Do as I Do, Not as I Say: Assessing Outcomes When
Students Think Like Economists. The Journal of Economic Educaton, 35(2), 148-
161. doi:10.2307/30042586
Schmoldt, A., Benthe, H. F., & Haberland, G. (1975). Digitoxin metabolism by rat liver
microsomes. Biochemical Pharmacology, 24(17), 1639-1641.
Vaccaro, A. M., Raschet, R., Ricciardi, G., & Morpurgo, G. (1975). Temperature adapta-
ton at the hemoglobin level in Carassius auratus. Comparatve Biochemistry and
Physiology. A, Comparatve Physiology, 52(4), 627-634.
Villalustre Martnez, L., & Moral Prez, M. E. del. (2010). E-portafolios y rbricas de eva-
luacin en ruralnet. Pixel-Bit: Revista de medios y educacin, (37), 93-105.
Walstad, W. B. (2001). Improving Assessment in University Economics. The Journal of
Economic Educaton, 32(3), 281-294. doi:10.2307/1183385

Artculo concluido el 16 de Diciembre de 2013
Valverde Berrocoso, J. & Ciudad Gmez, A. (2014). El uso de e-rbricas para la evaluacin
de competencias en estudiantes universitarios. Estudio sobre fabilidad del instrumento.
REDU: Revista de Docencia Universitaria, Nmero monogrfco dedicado a Evaluacin
formatva mediante Erbricas, 12 (1), pp. 49-79.
Publicado en htp://www.red-u.net
i El Cdigo del indicador identifica la competencia, subcompetencia e indicador concreto a desarro-
llar y est compuesto por: AAABB.C.D
Donde:
AAA: representa el tipo de competencia segn la Memoria verificada de la titulacin (CGI:
Competencias genricas instrumentales; CGS: Competencias genricas sistmicas; CED: Com-
petencias especficas disciplinares; y CEP: Competencias especficas profesionales).
BB: Representa el nmero de la competencia segn la Memoria verificada de la titulacin
(CGI05: Conocimientos de informtica relativos al mbito de estudio; CGS22: Motivacin por la
calidad; CED29: Conocer los sistemas contables, la normativa y el proceso de elaboracin y co-
municacin de informacin externa en la actividad empresarial; CED35: Conocer el proceso de
cierre del ciclo contable y la preparacin de la informacin necesaria para la confeccin de los
estados financieros, prestando especial atencin a los exigidos obligatoriamente por la legisla-
cin vigente; CEP69: Capacidad de aplicar los conocimientos en la prctica; y CEP72: Capacidad
para la divulgacin de las cuestiones econmicas.
C y D: C representa la sub-competencia dentro la competencia y D representa el indica-
dor dentro de la sub-competencia, desglose realizado dentro de la fase de normalizacin de las
competencias.
ii Grupo de Investigacin en Globalizacin, Tecnologa, Educacin y Aprendizaje de la Universidad de
Mlaga. http://gtea.uma.es
A
n
e
x
o

I
.

R
b
r
i
c
a

d
e

l
a

a
c
t
i
v
i
d
a
d

d
e

e
v
a
l
u
a
c
i
n

w
e
b
q
u
e
s
t
/
F
a
s
e

A

R
E
F
E
R
E
N
C
I
A

A
C
T

5
.
A

D
E
F
I
N
I
C
I
N

W
E
B
Q
U
E
S
T
:

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E
,

C
O
N
F
E
C
C
I
N

Y

A
N
L
I
S
I
S

D
E

L
O
S

D
O
C
U
M
E
N
T
O
S

C
O
N
T
A
B
L
E
S

A
.

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E

Y

P
R
E
P
A
R
A
C
I
N

D
E

L
A

I
N
F
O
R
M
A
C
I
N

C
R
I
T
E
R
I
O
S

O

I
N
D
I
C
A
D
O
R
E
S

N
I
V
E
L
E
S

D
E

R
E
N
D
I
M
I
E
N
T
O

V
A
L
O
R

I
n
s
u
f
i
c
i
e
n
t
e

0

L
i
m
i
t
a
d
o

2
,
5

A
d
e
c
u
a
d
o

5

C
o
m
p
e
t
e
n
t
e

7
,
5

E
x
c
e
l
e
n
t
e

1
0

U
S
O

D
E

U
N

P
R
O
C
E
S
A
D
O
R

D
E

T
E
X
T
O
:

F
O
R
M
A
T
O

Y

E
N
C
A
B
E
Z
A
D
O
S
/
P
I
E

(
C
G
I
0
5
.
2
.
B
)

N
o

h
a

u
t
i
l
i
z
a
d
o

u
n

p
r
o
c
e
s
a
d
o
r

d
e

t
e
x
t
o

o

e
l

t
r
a
b
a
j
o

o

t
a
r
e
a

n
o

t
i
e
n
e

f
o
r
m
a
t
o

n
i
n
g
u
n
o

y

p
r
e
s
e
n
t
a

u
n

a
s
p
e
c
t
o

m
u
y

d
e
s
c
u
i
d
a
d
o

q
u
e

d
i
f
i
c
u
l
t
a

s
u

l
e
c
t
u
r
a
.

N
o

s
e

h
a
n

n
u
m
e
r
a
d
o

l
a
s

p
g
i
n
a
s
.

H
a

u
t
i
l
i
z
a
d
o

u
n

p
r
o
c
e
s
a
d
o
r

d
e

t
e
x
t
o
,

p
e
r
o

n
o

s
e

h
a

d
a
d
o

f
o
r
m
a
t
o

a

l
a

p
g
i
n
a
,

p
r
r
a
f
o

y

c
a
r
a
c
t
e
r
e
s

c
o
r
r
e
c
t
o

y

h
o
m
o
g
n
e
o

(
d
i
f
e
r
e
n
t
e
s

m
r
g
e
n
e
s
,

t
i
p
o

d
e

l
e
t
r
a
,

i
n
t
e
r
l
i
n
e
a
d
o
,

e
t
c
.
)
.

N
o

s
e

h
a
n

n
u
m
e
r
a
d
o

l
a
s

p
g
i
n
a
s
.

H
a

u
t
i
l
i
z
a
d
o

u
n

p
r
o
c
e
s
a
d
o
r

d
e

t
e
x
t
o
,

e
l

f
o
r
m
a
t
o

d
a
d
o

a

l
a

p
g
i
n
a
,

p
r
r
a
f
o

y

c
a
r
a
c
t
e
r
e
s

h
a

s
i
d
o

h
o
m
o
g
n
e
o

(
m
i
s
m
o
s

m
r
g
e
n
e
s
,

m
i
s
m
o

t
i
p
o

d
e

l
e
t
r
a
,

m
i
s
m
o

i
n
t
e
r
l
i
n
e
a
d
o
,

e
t
c
.
)

p
e
r
o

f
l
o
j
o
,

f
a
l
t
n
d
o
l
e
s

b
a
s
t
a
n
t
e
s

d
e
t
a
l
l
e
s
.

S
e

h
a
n

n
u
m
e
r
a
d
o

l
a
s

p
g
i
n
a
s

H
a

u
t
i
l
i
z
a
d
o

u
n

p
r
o
c
e
s
a
d
o
r

d
e

t
e
x
t
o
,

e
l

f
o
r
m
a
t
o

d
a
d
o

a

l
a

p
g
i
n
a
,

p
r
r
a
f
o

y

c
a
r
a
c
t
e
r
e
s

h
a

s
i
d
o

a
c
e
p
t
a
b
l
e

y

h
o
m
o
g
n
e
o

a

l
o

l
a
r
g
o

d
e
l

d
o
c
u
m
e
n
t
o
,

c
o
n
c
e
d
i
n
d
o
l
e

u
n

b
u
e
n

a
s
p
e
c
t
o
,

s
i

b
i
e
n

l
e

f
a
l
t
a

a
l
g
n

d
e
t
a
l
l
e

(
I
n
s
e
r
t
a
r

e
n
c
a
b
e
z
a
d
o
/

U
s
a
r

s
e
p
a
r
a
d
o
r
e
s

d
e

m
i
l
e
s

e
n

l
a
s

c
a
n
t
i
d
a
d
e
s

/

C
o
r
t
e
s

d
e

t
a
b
l
a
s

l
g
i
c
o
s

e

i
m
p
r
e
s
c
i
n
d
i
b
l
e

/

R
e
p
e
t
i
r

e
l

e
n
c
a
b
e
z
a
d
o

d
e

l
a
s

t
a
b
l
a
s

e
n

c
a
d
a

p
g
i
n
a
.

S
e

h
a
n

n
u
m
e
r
a
d
o

l
a
s

p
g
i
n
a
s

H
a

u
t
i
l
i
z
a
d
o

u
n

p
r
o
c
e
s
a
d
o
r

d
e

t
e
x
t
o

y

d
e
s
t
a
c
a

l
a

e
s
t
t
i
c
a

d
e
l

f
o
r
m
a
t
o

d
a
d
o

a

p
g
i
n
a
,

p
r
r
a
f
o

y

c
a
r
a
c
t
e
r
e
s

(
m
r
g
e
n
e
s
,

t
t
u
l
o
s
,

n
o
t
a
s
.
.
.
)
,

m
o
s
t
r
a
n
d
o

u
n

a
s
p
e
c
t
o

e
n

e
l

q
u
e

s
e

v
e

q
u
e

s
e

h
a
n

c
u
i
d
a
d
o

t
o
d
o
s

l
o
s

d
e
t
a
l
l
e
s
.

S
e

h
a
n

n
u
m
e
r
a
d
o

l
a
s

p
g
i
n
a
s
,

i
n
c
l
u
y
e
n
d
o

e
n
c
a
b
e
z
a
d
o
s

y

p
i
e
s

d
e

p
g
i
n
a
s
.

L
a
s

c
a
n
t
i
d
a
d
e
s

n
u
m
r
i
c
a
s

s
e

i
n
c
l
u
y
e
n

c
o
n

s
e
p
a
r
a
d
o
r
e
s

d
e

m
i
l
e
s
.

E
n

l
a
s

t
a
b
l
a
s
,

l
o
s

c
o
r
t
e
s

s
o
n

e
s
t
t
i
c
a
m
e
n
t
e

c
o
r
r
e
c
t
o
s

y

s
e

r
e
p
i
t
e

e
l

e
n
c
a
b
e
z
a
d
o

e
n

c
a
d
a

p
g
i
n
a
.

O
R
D
E
N

Y

E
S
T
R
U
C
T
U
R
A

D
E

R
E
S
P
U
E
S
T
A
S

O

T
R
A
B
A
J
O
S
/
T
A
R
E
A
S

(
O
R
D
E
N
)

(
C
G
S
2
2
.
2
.
A
)

L
o
s

t
r
a
b
a
j
o
s

e
s
t
n

t
o
t
a
l
m
e
n
t
e

d
e
s
o
r
g
a
n
i
z
a
d
o
s
,

n
o

p
e
r
m
i
t
e

s
u

c
o
m
p
r
e
s
i
n
.

C
a
r
e
c
e

d
e

e
s
t
r
u
c
t
u
r
a
.

L
o
s

t
r
a
b
a
j
o
s

e
s
t
n

d
e
s
o
r
g
a
n
i
z
a
d
o
s

y

d
i
f
i
c
u
l
t
a

b
a
s
t
a
n
t
e

s
u

c
o
m
p
r
e
s
i
n
.

P
r
e
s
e
n
t
a

u
n
a

e
s
t
r
u
c
t
u
r
a

i
n
a
d
e
c
u
a
d
a
,

d
o
n
d
e

l
a
s

i
d
e
a
s

n
o

s
e

e
n
c
a
d
e
n
a
n

u
n
a
s

c
o
n

o
t
r
a
s
.

L
o
s

t
r
a
b
a
j
o
s

e
s
t
n

l
i
g
e
r
a
m
e
n
t
e

d
e
s
o
r
g
a
n
i
z
a
d
o
s

y

d
i
f
i
c
u
l
t
a

s
u

c
o
m
p
r
e
s
i
n
.

P
r
e
s
e
n
t
a

u
n
a

e
s
t
r
u
c
t
u
r
a

d
b
i
l
.

T
r
a
b
a
j
o
s

o
r
g
a
n
i
z
a
d
o
s

q
u
e

f
a
c
i
l
i
t
a
n

s
u

c
o
m
p
r
e
s
i
n
.

P
r
e
s
e
n
t
a

l
o
s

t
r
a
b
a
j
o
s

e
s
t
r
u
c
t
u
r
a
d
o
s
.

T
r
a
b
a
j
o
s

q
u
e

d
e
s
t
a
c
a
n

p
o
r

s
u

o
r
g
a
n
i
z
a
c
i
n

y

q
u
e

c
u
a
n
d
o

h
a
y

m
u
c
h
o
s

d
a
t
o
s
,

e
s
t
o
s

s
e

p
r
e
s
e
n
t
a
n

e
n

u
n
a

t
a
b
l
a

o
r
d
e
n
a
d
a
m
e
n
t
e
,

p
e
r
m
i
t
i
e
n
d
o

u
n
a

f
c
i
l

y

p
e
r
f
e
c
t
a

c
o
m
p
r
e
s
i
n
.

E
s
t
r
u
c
t
u
r
a

m
u
y

b
i
e
n

s
u
s

t
r
a
b
a
j
o
s
,

e
n
c
a
d
e
n
a
n
d
o

u
n
a
s

i
d
e
a
s

c
o
n

o
t
r
a
s

d
e

m
a
n
e
r
a

o
r
d
e
n
a
d
a
.

R
E
F
E
R
E
N
C
I
A

A
C
T

5
.
A

D
E
F
I
N
I
C
I
N

W
E
B
Q
U
E
S
T
:

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E
,

C
O
N
F
E
C
C
I
N

Y

A
N
L
I
S
I
S

D
E

L
O
S

D
O
C
U
M
E
N
T
O
S

C
O
N
T
A
B
L
E
S

A
.

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E

Y

P
R
E
P
A
R
A
C
I
N

D
E

L
A

I
N
F
O
R
M
A
C
I
N

C
R
I
T
E
R
I
O
S

O

I
N
D
I
C
A
D
O
R
E
S

N
I
V
E
L
E
S

D
E

R
E
N
D
I
M
I
E
N
T
O

V
A
L
O
R

I
n
s
u
f
i
c
i
e
n
t
e

0

L
i
m
i
t
a
d
o

2
,
5

A
d
e
c
u
a
d
o

5

C
o
m
p
e
t
e
n
t
e

7
,
5

E
x
c
e
l
e
n
t
e

1
0

L
E
N
G
U
A
J
E

T
C
N
I
C
O

C
O
N
T
A
B
L
E
S

(
C
E
D
2
9
.
2
.
B
)

E
l

v
o
c
a
b
u
l
a
r
i
o

u
t
i
l
i
z
a
d
o

e
s

t
o
t
a
l
m
e
n
t
e

i
n
a
p
r
o
p
i
a
d
o
,

d
e
m
o
s
t
r
a
n
d
o

n
o

t
e
n
e
r

n
i
n
g
n

d
o
m
i
n
i
o

d
e
l

l
e
n
g
u
a
j
e

t
c
n
i
c
o

p
r
o
p
i
o

d
e

l
a

m
a
t
e
r
i
a
.

U
t
i
l
i
z
a

a
l
g
u
n
o
s

c
o
n
c
e
p
t
o
s

b
s
i
c
o
s

d
e

c
o
n
t
a
b
i
l
i
d
a
d

d
e

m
a
n
e
r
a

i
n
c
o
r
r
e
c
t
a

y

n
o

d
e
m
u
e
s
t
r
a

d
o
m
i
n
i
o

d
e
l

l
e
n
g
u
a
j
e

t
c
n
i
c
o

p
r
o
p
i
o

d
e

l
a

m
a
t
e
r
i
a
.

U
t
i
l
i
z
a

l
o
s

c
o
n
c
e
p
t
o
s

b
s
i
c
o
s

d
e

c
o
n
t
a
b
i
l
i
d
a
d

d
e

m
a
n
e
r
a

c
o
r
r
e
c
t
a
.

(
C
a
r
g
a
r
,

a
b
o
n
a
r
,

d
e
u
d
o
r
,

a
c
r
e
e
d
o
r
,
.
.
.
)

y

d
e
m
u
e
s
t
r
a

c
i
e
r
t
o

d
o
m
i
n
i
o

d
e
l

l
e
n
g
u
a
j
e

t
c
n
i
c
o

p
r
o
p
i
o

d
e

l
a

m
a
t
e
r
i
a
.

U
t
i
l
i
z
a

b
a
s
t
a
n
t
e
s

c
o
n
c
e
p
t
o
s

d
e

c
o
n
t
a
b
i
l
i
d
a
d

d
e

m
a
n
e
r
a

c
o
r
r
e
c
t
a

y

d
e
m
u
e
s
t
r
a

d
o
m
i
n
i
o

d
e
l

l
e
n
g
u
a
j
e

t
c
n
i
c
o

p
r
o
p
i
o

d
e

l
a

m
a
t
e
r
i
a
.

U
t
i
l
i
z
a

m
u
c
h
o
s

c
o
n
c
e
p
t
o
s

d
e

c
o
n
t
a
b
i
l
i
d
a
d

d
e

m
a
n
e
r
a

c
o
r
r
e
c
t
a
,

d
e
m
o
s
t
r
a
n
d
o

u
n

e
x
c
e
l
e
n
t
e

d
o
m
i
n
i
o

d
e
l

l
e
n
g
u
a
j
e

t
c
n
i
c
o

c
o
n
t
a
b
l
e
.

O
P
E
R
A
C
I
O
N
E
S

D
E

C
I
E
R
R
E

(
O
p
e
r
a
c
i
o
n
e
s

d
e

c
i
e
r
r
e

y

a
s
i
e
n
t
o
s
)

(
C
E
D
3
5
.
1
.
A
)

N
o

h
a

i
d
e
n
t
i
f
i
c
a
d
o

n
i
n
g
u
n
a

d
e

l
a
s

o
p
e
r
a
c
i
o
n
e
s

d
e

c
i
e
r
r
e

c
o
n
t
a
b
l
e
,

t
a
m
p
o
c
o

h
a

r
e
a
l
i
z
a
d
o

c
o
r
r
e
c
t
a
m
e
n
t
e

l
o
s

a
s
i
e
n
t
o
s

d
e

c
i
e
r
r
e
.

H
a

i
d
e
n
t
i
f
i
c
a
d
o

l
a
s

o
p
e
r
a
c
i
o
n
e
s

d
e

c
i
e
r
r
e

c
o
n
t
a
b
l
e

p
e
r
o

n
o

s
u

o
b
j
e
t
i
v
o

y

h
a

c
o
m
e
t
i
d
o

e
r
r
o
r
e
s

e
n

l
o
s

a
s
i
e
n
t
o
s

d
e

c
i
e
r
r
e
.

H
a

i
d
e
n
t
i
f
i
c
a
d
o

c
a
d
a

u
n
a

d
e

l
a
s

o
p
e
r
a
c
i
o
n
e
s

d
e

c
i
e
r
r
e

c
o
n
t
a
b
l
e

p
e
r
o

h
a

c
o
m
e
t
i
d
o

e
r
r
o
r
e
s

e
n

l
o
s

a
s
i
e
n
t
o
s
.

H
a

i
d
e
n
t
i
f
i
c
a
d
o

c
a
d
a

u
n
a

d
e

l
a
s

o
p
e
r
a
c
i
o
n
e
s

d
e

c
i
e
r
r
e

c
o
n
t
a
b
l
e

p
e
r
o

h
a

c
o
m
e
t
i
d
o

e
r
r
o
r
e
s

e
n

l
o
s

a
s
i
e
n
t
o
s
.

H
a

i
d
e
n
t
i
f
i
c
a
d
o

c
a
d
a

u
n
a

d
e

l
a
s

o
p
e
r
a
c
i
o
n
e
s

d
e

c
i
e
r
r
e

c
o
n
t
a
b
l
e

y

h
a

r
e
a
l
i
z
a
d
o

c
o
r
r
e
c
t
a
m
e
n
t
e

t
o
d
o
s

l
o
s

a
s
i
e
n
t
o
s

d
e

c
i
e
r
r
e
.

B
A
L
A
N
C
E

D
E

C
O
M
P
R
O
B
A
C
I
N

(
E
s
t
r
u
c
t
u
r
a
,

o
r
d
e
n

d
e

l
a
s

c
u
e
n
t
a
s

y

v
e
r
i
f
i
c
a
c
i
n

d
e

l
o
s

c
l
c
u
l
o
s
)

(
C
E
D
3
5
.
1
.
B
)

N
o

h
a

p
r
e
p
a
r
a
d
o

e
l

b
a
l
a
n
c
e

d
e

c
o
m
p
r
o
b
a
c
i
n

o

s
e

h
a

r
e
a
l
i
z
a
d
o

c
o
n

u
n
a

e
s
t
r
u
c
t
u
r
a

t
o
t
a
l
m
e
n
t
e

i
n
c
o
r
r
e
c
t
a
,

l
a
s

c
u
e
n
t
a
s

e
s
t
n

d
e
s
o
r
d
e
n
a
d
a
s

y

n
o

s
e

h
a
n

v
e
r
i
f
i
c
a
d
o

l
o
s

c
l
c
u
l
o
s

a
r
i
t
m
t
i
c
o
s
.

P
r
e
p
a
r
a

e
l

B
a
l
a
n
c
e

d
e

c
o
m
p
r
o
b
a
c
i
n

c
o
n

u
n
a

c
o
r
r
e
c
t
a

e
s
t
r
u
c
t
u
r
a
,

c
o
l
o
c
a

l
a
s

c
u
e
n
t
a
s

e
n

e
l

o
r
d
e
n

c
o
r
r
e
c
t
o
,

p
e
r
o

n
o

s
e

h
a
n

v
e
r
i
f
i
c
a
d
o

t
o
d
o
s

l
o
s

c
l
c
u
l
o
s

a
r
i
t
m
t
i
c
o
s
.

P
r
e
p
a
r
a

e
l

B
a
l
a
n
c
e

d
e

c
o
m
p
r
o
b
a
c
i
n

c
o
n

u
n
a

i
n
c
o
m
p
l
e
t
a

e
s
t
r
u
c
t
u
r
a

u

o
r
d
e
n
,

p
e
r
o

s
i

s
e

h
a
n

v
e
r
i
f
i
c
a
n
d
o

t
o
d
o
s

l
o
s

c
l
c
u
l
o
s

a
r
i
t
m
t
i
c
o
s
.

P
r
e
p
a
r
a

e
l

B
a
l
a
n
c
e

d
e

c
o
m
p
r
o
b
a
c
i
n

c
o
n

p
e
q
u
e
o
s

e
r
r
o
r
e
s

e
n

c
u
a
n
t
o

a

s
u

e
s
t
r
u
c
t
u
r
a

u

o
r
d
e
n

d
e

l
a
s

c
u
e
n
t
a
s
,

p
e
r
o

s
i

s
e

h
a
n

v
e
r
i
f
i
c
a
n
d
o

t
o
d
o
s

l
o
s

c
l
c
u
l
o
s

a
r
i
t
m
t
i
c
o
s
.

P
r
e
p
a
r
a

e
l

B
a
l
a
n
c
e

d
e

c
o
m
p
r
o
b
a
c
i
n

c
o
n

u
n
a

p
e
r
f
e
c
t
a

e
s
t
r
u
c
t
u
r
a
,

c
o
l
o
c
a

l
a
s

c
u
e
n
t
a
s

e
n

e
l

o
r
d
e
n

c
o
r
r
e
c
t
o
,

s
e

h
a
n

v
e
r
i
f
i
c
a
n
d
o

l
o
s

c
l
c
u
l
o
s

a
r
i
t
m
t
i
c
o
s
:

i
g
u
a
l
d
a
d

e
n

l
a

s
u
m
a

d
e

m
o
v
i
m
i
e
n
t
o
s

d
e
l

d
e
b
e

y

e
l

h
a
b
e
r

y

d
e

l
a

s
u
m
a

d
e

l
o
s

s
a
l
d
o
s

a
c
r
e
e
d
o
r
e
s

y

d
e
u
d
o
r
e
s
.

C
O
H
E
R
E
N
C
I
A

E
N

E
L

P
R
O
C
E
S
O

C
O
N
T
A
B
L
E

Y

D
E
T
E
C
C
I
N

D
E

E
R
R
O
R
E
S

(
a
s
i
e
n
t
o
s
)

(
C
E
D
3
5
.
3
.
A
)

S
e

p
r
o
d
u
c
e
n

m
u
c
h
a
s

i
n
c
o
h
e
r
e
n
c
i
a
s

e
n

e
l

p
r
o
c
e
s
o
.

S
e

p
r
o
d
u
c
e
n

i
n
c
o
h
e
r
e
n
c
i
a
s

e
n

e
l

p
r
o
c
e
s
o
.

S
e

p
r
o
d
u
c
e

a
l
g
u
n
a

i
n
c
o
h
e
r
e
n
c
i
a

e
n

e
l

p
r
o
c
e
s
o
.

E
l

p
r
o
c
e
s
o

e
s

t
o
t
a
l
m
e
n
t
e

c
o
h
e
r
e
n
t
e
.

E
l

p
r
o
c
e
s
o

e
s

t
o
t
a
l
m
e
n
t
e

c
o
h
e
r
e
n
t
e

y

u
t
i
l
i
z
a

p
r
u
e
b
a
s

p
a
r
a

l
a

d
e
t
e
c
c
i
n

d
e

p
o
s
i
b
l
e
s

e
r
r
o
r
e
s
.

I
D
E
N
T
I
F
I
C
A
C
I
N

Y

D
E
F
I
N
I
C
I
N

D
E

L
O
S

O
B
J
E
T
I
V
O
S
.

(
C
E
P
6
9
.
1
.
A
)

N
o

e
s

c
a
p
a
z

d
e

d
e
t
e
r
m
i
n
a
r

l
a

c
u
e
s
t
i
n

o

p
r
o
b
l
e
m
a

a

r
e
s
o
l
v
e
r
.

D
e
t
e
r
m
i
n
a

l
a

c
u
e
s
t
i
n

a

r
e
s
o
l
v
e
r

d
e

f
o
r
m
a

m
u
y

c
o
n
f
u
s
a
.

D
e
t
e
r
m
i
n
a

l
a

c
u
e
s
t
i
n

a

r
e
s
o
l
v
e
r

d
e

f
o
r
m
a

c
o
n
f
u
s
a
.

D
e
t
e
r
m
i
n
a

l
a

c
u
e
s
t
i
n

a

r
e
s
o
l
v
e
r

d
e

f
o
r
m
a

c
l
a
r
a

y

c
o
n
c
i
s
a
,

i
d
e
n
t
i
f
i
c
a
n
d
o

y

d
e
f
i
n
i
e
n
d
o

l
o
s

o
b
j
e
t
i
v
o
s

q
u
e

s
e

p
e
r
s
i
g
u
e
n
.

D
e
s
t
a
c
a

a

l
a

h
o
r
a

d
e

d
e
t
e
r
m
i
n
a
r

l
a

c
u
e
s
t
i
n

a

r
e
s
o
l
v
e
r
,

i
d
e
n
t
i
f
i
c
a
n
d
o

y

d
e
f
i
n
i
e
n
d
o

l
o
s

o
b
j
e
t
i
v
o
s

q
u
e

s
e

p
e
r
s
i
g
u
e
n
.

R
E
F
E
R
E
N
C
I
A

A
C
T

5
.
A

D
E
F
I
N
I
C
I
N

W
E
B
Q
U
E
S
T
:

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E
,

C
O
N
F
E
C
C
I
N

Y

A
N
L
I
S
I
S

D
E

L
O
S

D
O
C
U
M
E
N
T
O
S

C
O
N
T
A
B
L
E
S

A
.

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E

Y

P
R
E
P
A
R
A
C
I
N

D
E

L
A

I
N
F
O
R
M
A
C
I
N

C
R
I
T
E
R
I
O
S

O

I
N
D
I
C
A
D
O
R
E
S

N
I
V
E
L
E
S

D
E

R
E
N
D
I
M
I
E
N
T
O

V
A
L
O
R

I
n
s
u
f
i
c
i
e
n
t
e

0

L
i
m
i
t
a
d
o

2
,
5

A
d
e
c
u
a
d
o

5

C
o
m
p
e
t
e
n
t
e

7
,
5

E
x
c
e
l
e
n
t
e

1
0

P
L
A
N
I
F
I
C
A
C
I
N

D
E

L
A
S

T
A
R
E
A
S
.

(
C
E
P
6
9
.
1
.
B
)

N
o

e
s

c
a
p
a
z

d
e

p
l
a
n
i
f
i
c
a
r

l
a
s

t
a
r
e
a
s
.

P
l
a
n
i
f
i
c
a

l
a
s

t
a
r
e
a
s

i
n
c
o
r
r
e
c
t
a
m
e
n
t
e
.

P
l
a
n
i
f
i
c
a

l
a
s

t
a
r
e
a
s
,

p
e
r
o

d
e

f
o
r
m
a

t
o
t
a
l
m
e
n
t
e

a
i
s
l
a
d
a

e
n
t
r
e

e
l
l
a
s
.

P
l
a
n
i
f
i
c
a

l
a
s

t
a
r
e
a
s
,

p
e
r
o

e
x
i
s
t
e
n

c
i
e
r
t
a
s

i
n
c
o
n
e
x
i
o
n
e
s

e
n
t
r
e

e
l
l
a
s
.

P
l
a
n
i
f
i
c
a

l
a
s

t
a
r
e
a
s

e
f
i
c
a
z
m
e
n
t
e
,

e
n
c
a
d
e
n
a
d
a
s

e
n
t
r
e

s

y

d
e

f
o
r
m
a

l
g
i
c
a
.

A
P
L
I
C
A
C
I
N

D
E

L
O
S

C
O
N
O
C
I
M
I
E
N
T
O
S

A
D
Q
U
I
R
I
D
O
S

Y

U
T
I
L
I
Z
A
C
I
N

D
E

L
O
S

R
E
C
U
R
S
O
S

N
E
C
E
S
A
R
I
O
S
.

(
C
E
P
6
9
.
2
.
A
)

N
o

a
p
l
i
c
a

l
o
s

c
o
n
o
c
i
m
i
e
n
t
o
s

a
d
q
u
i
r
i
d
o
s
.

A
p
l
i
c
a

c
o
n
o
c
i
m
i
e
n
t
o
s

y

r
e
c
u
r
s
o
s

d
e

m
a
n
e
r
a

i
n
c
o
n
e
x
a

y

e
r
r
n
e
a
.

A
p
l
i
c
a

l
o
s

c
o
n
o
c
i
m
i
e
n
t
o
s

y

r
e
c
u
r
s
o
s

y

l
o
g
r
a

a
l
c
a
n
z
a
r

l
o
s

o
b
j
e
t
i
v
o
s

p
e
r
o

d
e

f
o
r
m
a

p
a
r
c
i
a
l

y

s
o
l
o

e
n

s
i
t
u
a
c
i
o
n
e
s

c
o
n
o
c
i
d
a
s
.

A
p
l
i
c
a

l
o
s

c
o
n
o
c
i
m
i
e
n
t
o
s

y

l
o
s

r
e
c
u
r
s
o
s

p
a
r
a

l
a

c
o
r
r
e
c
t
a

c
o
n
s
e
c
u
c
i
n

d
e

l
o
s

o
b
j
e
t
i
v
o
s
,

p
e
r
o

s
o
l
o

e
n

s
i
t
u
a
c
i
o
n
e
s

c
o
n
o
c
i
d
a
s
.

A
p
l
i
c
a

e
f
i
c
a
z
m
e
n
t
e

y

d
e

f
o
r
m
a

i
n
t
e
g
r
a
l

c
o
n
o
c
i
m
i
e
n
t
o
s

y

r
e
c
u
r
s
o
s
,

h
a
c
i
e
n
d
o

f
r
e
n
t
e

t
a
n
t
o

a

s
i
t
u
a
c
i
o
n
e
s

c
o
n
o
c
i
d
a
s

c
o
m
o

a

n
u
e
v
a
s

s
i
t
u
a
c
i
o
n
e
s
,

a
f
r
o
n
t
a
n
d
o

l
a

c
o
m
p
l
e
j
i
d
a
d
.

T
O
T
A
L

V
A
L
O
R

A
n
e
x
o

I
I
.

R
b
r
i
c
a

d
e

l
a

a
c
t
i
v
i
d
a
d

d
e

e
v
a
l
u
a
c
i
n

w
e
b
q
u
e
s
t
/
F
a
s
e

B

R
E
F
E
R
E
N
C
I
A

A
C
T

5
.
B

D
E
F
I
N
I
C
I
N

W
E
B
Q
U
E
S
T
:

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E
,

C
O
N
F
E
C
C
I
N

Y

A
N
L
I
S
I
S

D
E

L
O
S

D
O
C
U
M
E
N
T
O
S

C
O
N
T
A
B
L
E
S

B
.

C
O
N
F
E
C
C
I
N

B
A
L
A
N
C
E

Y

C
U
E
N
T
A

D
E

P
R
D
I
D
A
S

Y

G
A
N
A
N
C
I
A
S
/

A
N
L
I
S
I
S

E

I
N
T
E
R
P
R
E
T
A
C
I
N

D
E

L
A

I
N
F
O
R
M
A
C
I
N

C
R
I
T
E
R
I
O
S

O

I
N
D
I
C
A
D
O
R
E
S

N
I
V
E
L
E
S

D
E

R
E
N
D
I
M
I
E
N
T
O

V
A
L
O
R

I
n
s
u
f
i
c
i
e
n
t
e

0

L
i
m
i
t
a
d
o

2
,
5

A
d
e
c
u
a
d
o

5

C
o
m
p
e
t
e
n
t
e

7
,
5

E
x
c
e
l
e
n
t
e

1
0

U
S
O

D
E

U
N

P
R
O
G
R
A
M
A

D
E

P
R
E
S
E
N
T
A
C
I
N

(
P
O
W
E
R
P
O
I
N
T
)
:

F
O
R
M
A
T
O

Y

E
L
E
M
E
N
T
O
S

D
I
N
M
I
C
O
S

(
C
G
I
0
5
.
2
.
C
)

N
o

e
s

c
a
p
a
z

d
e

c
r
e
a
r

d
i
a
p
o
s
i
t
i
v
a
s

u
t
i
l
i
z
a
n
d
o

u
n

p
r
o
g
r
a
m
a

d
e

p
r
e
s
e
n
t
a
c
i
o
n
e
s
.

C
r
e
a

d
i
a
p
o
s
i
t
i
v
a
s

c
o
n

e
r
r
o
r
e
s

e
n

s
u

f
o
r
m
a
t
o

(
t
e
x
t
o

e
x
c
e
s
i
v
o
,

c
o
l
o
r
e
s

i
n
a
d
e
c
u
a
d
o
s
,

t
a
m
a
o

d
e

l
e
t
r
a

p
e
q
u
e
o
,
.
.
.
)

C
r
e
a

d
i
a
p
o
s
i
t
i
v
a
s

s
i
n

e
r
r
o
r
e
s

e
v
i
d
e
n
t
e
s

d
e

f
o
r
m
a
t
o
.

C
r
e
a

d
i
a
p
o
s
i
t
i
v
a
s

c
o
n

u
n

f
o
r
m
a
t
o

c
o
r
r
e
c
t
o

e

i
n
c
l
u
y
e

e
l
e
m
e
n
t
o
s

d
i
n
m
i
c
o
s
.

C
r
e
a

d
i
a
p
o
s
i
t
i
v
a
s

s
e
n
c
i
l
l
a
s
,

c
o
m
p
l
e
t
a
s
,

b
u
e
n

f
o
r
m
a
t
o
,

c
o
l
o
r
e
s

y

t
a
m
a
o

d
e

l
e
t
r
a

a
p
r
o
p
i
a
d
o

y

u
n

b
u
e
n

u
s
o

d
e

e
l
e
m
e
n
t
o
s

d
i
n
m
i
c
o
s
.

T
a
m
b
i
n

h
a

u
s
a
d
o

l
a

v
i
n
c
u
l
a
c
i
n

d
e

l
o
s

d
a
t
o
s
.

I
N
T
E
R
P
R
E
T
A
C
I
N

D
E

L
A
S

C
U
E
N
T
A
S

A
N
U
A
L
E
S

(
C
E
D
3
5
.
2
.
E
)

M
u
e
s
t
r
a

p
o
c
a

o

n
i
n
g
u
n
a

c
o
m
p
r
e
s
i
n

d
e

l
o
s

e
l
e
m
e
n
t
o
s

d
e

l
o
s

e
s
t
a
d
o
s

c
o
n
t
a
b
l
e
s

y

c
m
o

i
n
t
e
r
p
r
e
t
a
r

l
a

i
n
f
o
r
m
a
c
i
n

c
o
n
t
e
n
i
d
a

e
n

e
l
l
o
s
.

M
u
e
s
t
r
a

a
l
g
u
n
a

c
o
m
p
r
e
s
i
n

d
e

l
o
s

e
l
e
m
e
n
t
o
s

d
e

l
o
s

e
s
t
a
d
o
s

c
o
n
t
a
b
l
e
s

y

c
m
o

i
n
t
e
r
p
r
e
t
a
r

l
a

i
n
f
o
r
m
a
c
i
n

c
o
n
t
e
n
i
d
a

e
n

e
l
l
o
s
.

M
u
e
s
t
r
a

u
n
a

c
o
m
p
r
e
s
i
n

b
s
i
c
a

d
e

l
o
s

e
l
e
m
e
n
t
o
s

d
e

l
o
s

e
s
t
a
d
o
s

c
o
n
t
a
b
l
e
s

y

c
m
o

i
n
t
e
r
p
r
e
t
a
r

l
a

i
n
f
o
r
m
a
c
i
n

c
o
n
t
e
n
i
d
a

e
n

e
l
l
o
s
.

M
u
e
s
t
r
a

u
n
a

b
u
e
n
a

c
o
m
p
r
e
s
i
n

d
e

l
o
s

e
l
e
m
e
n
t
o
s

d
e

l
o
s

e
s
t
a
d
o
s

c
o
n
t
a
b
l
e
s

y

c
m
o

i
n
t
e
r
p
r
e
t
a
r

l
a

i
n
f
o
r
m
a
c
i
n

c
o
n
t
e
n
i
d
a

e
n

e
l
l
o
s
.

M
u
e
s
t
r
a

u
n
a

b
i
e
n

d
e
s
a
r
r
o
l
l
a
d
a

c
o
m
p
r
e
s
i
n

d
e

l
o
s

e
l
e
m
e
n
t
o
s

d
e

l
o
s

e
s
t
a
d
o
s

c
o
n
t
a
b
l
e
s

y

c
m
o

i
n
t
e
r
p
r
e
t
a
r

l
a

i
n
f
o
r
m
a
c
i
n

c
o
n
t
e
n
i
d
a

e
n

e
l
l
o
s
,

d
e
t
e
r
m
i
n
a
n
d
o

a
q
u
e
l
l
o
s

h
e
c
h
o
s

q
u
e

s
o
n

s
i
g
n
i
f
i
c
a
t
i
v
o
s
.

T
R
A
N
S
M
I
T
I
R

I
N
F
O
R
M
A
C
I
N

C
O
N

P
R
E
S
E
N
T
A
C
I
O
N
E
S

(
C
E
O
7
2
.
2
.
A
)

U
t
i
l
i
z
a

l
a
s

d
i
a
p
o
s
i
t
i
v
a
s

p
a
r
a

s
u

l
e
c
t
u
r
a

t
o
t
a
l

o

n
o

s
e

a
d
e
c
u
a

a
l

t
i
e
m
p
o

d
i
s
p
o
n
i
b
l
e

(
v
a
r
i
a
c
i
o
n
e
s

s
u
p
e
r
i
o
r
e
s

a

1
0

m
i
n
u
t
o
s
)

U
t
i
l
i
z
a

l
a
s

d
i
a
p
o
s
i
t
i
v
a
s

p
a
r
a

s
u

l
e
c
t
u
r
a

p
a
r
c
i
a
l

o

n
o

s
e

a
d
e
c
u
a

a
l

t
i
e
m
p
o

d
i
s
p
o
n
i
b
l
e
.

(
v
a
r
i
a
c
i
o
n
e
s

e
n
t
r
e

6

y

1
0

m
i
n
u
t
o
s
)

N
o

u
t
i
l
i
z
a

l
a
s

d
i
a
p
o
s
i
t
i
v
a
s

p
a
r
a

s
u

l
e
c
t
u
r
a

s
i
n
o

c
o
m
o

a
p
o
y
o

p
a
r
a

t
r
a
n
s
m
i
t
i
r

i
n
f
o
r
m
a
c
i
n
.

N
o

c
o
n
t
r
o
l
a

l
o
s

t
i
e
m
p
o
s

n
i

e
l

r
i
t
m
o
.

N
o

s
e

a
j
u
s
t
a

l
o

s
u
f
i
c
i
e
n
t
e

a
l

t
i
e
m
p
o

d
i
s
p
o
n
i
b
l
e
.

(
V
a
r
i
a
c
i
n

e
n
t
r
e

3

y

5

m
i
n
u
t
o
s
)

U
t
i
l
i
z
a

l
a
s

d
i
a
p
o
s
i
t
i
v
a
s

c
o
m
o

a
p
o
y
o
,

n
o

p
a
r
a

s
u

l
e
c
t
u
r
a
.

T
i
e
n
e

u
n

a
c
e
p
t
a
b
l
e

c
o
n
t
r
o
l

d
e

l
o
s

t
i
e
m
p
o
s

y

d
e
l

r
i
t
m
o
.

S
e

a
j
u
s
t
a

b
a
s
t
a
n
t
e

a
l

t
i
e
m
p
o

d
i
s
p
o
n
i
b
l
e
.

(
V
a
r
i
a
c
i
n

d
e

1

o

2

m
i
n
u
t
o
s
)

U
t
i
l
i
z
a

l
a
s

d
i
a
p
o
s
i
t
i
v
a
s

c
o
m
o

a
p
o
y
o
,

n
o

p
a
r
a

s
u

l
e
c
t
u
r
a
.

C
o
n
t
r
o
l
a

t
o
t
a
l
m
e
n
t
e

l
o
s

t
i
e
m
p
o
s

y

e
l

r
i
t
m
o
.

S
e

a
d
e
c
u
a

p
e
r
f
e
c
t
a
m
e
n
t
e

a
l

t
i
e
m
p
o

d
i
s
p
o
n
i
b
l
e
.

R
E
F
E
R
E
N
C
I
A

A
C
T

5
.
B

D
E
F
I
N
I
C
I
N

W
E
B
Q
U
E
S
T
:

P
R
O
C
E
S
O

D
E

C
I
E
R
R
E
,

C
O
N
F
E
C
C
I
N

Y

A
N
L
I
S
I
S

D
E

L
O
S

D
O
C
U
M
E
N
T
O
S

C
O
N
T
A
B
L
E
S

B
.

C
O
N
F
E
C
C
I
N

B
A
L
A
N
C
E

Y

C
U
E
N
T
A

D
E

P
R
D
I
D
A
S

Y

G
A
N
A
N
C
I
A
S
/

A
N
L
I
S
I
S

E

I
N
T
E
R
P
R
E
T
A
C
I
N

D
E

L
A

I
N
F
O
R
M
A
C
I
N

C
R
I
T
E
R
I
O
S

O

I
N
D
I
C
A
D
O
R
E
S

N
I
V
E
L
E
S

D
E

R
E
N
D
I
M
I
E
N
T
O

V
A
L
O
R

I
n
s
u
f
i
c
i
e
n
t
e

0

L
i
m
i
t
a
d
o

2
,
5

A
d
e
c
u
a
d
o

5

C
o
m
p
e
t
e
n
t
e

7
,
5

E
x
c
e
l
e
n
t
e

1
0

E
X
P
O
S
I
C
I
N

C
L
A
R
A

E
N

L
A

T
R
A
N
S
M
I
S
I
N

D
E

L
A

I
N
F
O
R
M
A
C
I
N

V
E
R
B
A
L

(
C
E
O
7
2
.
2
.
B
)

S
e

e
x
p
r
e
s
a

d
e

m
a
n
e
r
a

p
o
b
r
e

y

c
o
n
f
u
s
a
,

m
a
n
t
e
n
i
e
n
d
o

u
n
a

p
o
s
t
u
r
a

y

v
o
l
u
m
e
n

i
n
c
o
r
r
e
c
t
o
.

N
o

s
e

e
n
t
i
e
n
d
e

n
a
d
a

d
e

l
o

q
u
e

s
e

p
r
e
t
e
n
d
e

e
x
p
l
i
c
a
r
.

F
o
r
m
u
l
a

o
r
a
l
m
e
n
t
e

s
u
s

i
d
e
a
s

c
o
n

e
s
c
a
s
a

c
l
a
r
i
d
a
d

y

f
l
u
i
d
e
z
,

n
o

m
a
n
t
i
e
n
e

u
n
a

p
o
s
t
u
r
a

y

v
o
l
u
m
e
n

a
c
e
p
t
a
b
l
e
.

E
x
p
o
n
e

m
u
y

m
a
l

y

n
o

s
e

e
n
t
i
e
n
d
e

c
a
s
i

n
a
d
a

d
e

l
o

q
u
e

s
e

p
r
e
t
e
n
d
e

e
x
p
l
i
c
a
.

F
o
r
m
u
l
a

o
r
a
l
m
e
n
t
e

s
u
s

i
d
e
a
s

c
o
n

c
i
e
r
t
a

d
i
f
i
c
u
l
t
a
d
e
s

e
n

c
u
e
n
t
o

a

l
a

c
l
a
r
i
d
a
d

y

f
l
u
i
d
e
z
,

M
a
n
t
e
n
i
e
n
d
o

u
n
a

p
o
s
t
u
r
a

y

v
o
l
u
m
e
n

a
c
e
p
t
a
b
l
e
.

E
n

l
a

e
x
p
o
s
i
c
i
n

h
a
y

a
s
p
e
c
t
o
s

q
u
e

n
o

s
e

e
n
t
i
e
n
d
e
n

b
i
e
n
.

P
r
e
s
e
n
t
a

c
o
n

c
l
a
r
i
d
a
d

y

f
l
u
i
d
e
z

v
e
r
b
a
l
,

m
a
n
t
e
n
i
e
n
d
o

u
n
a

p
o
s
t
u
r
a

y

v
o
l
u
m
e
n

c
o
r
r
e
c
t
o
.

L
a

e
x
p
o
s
i
c
i
n

e
s

b
a
s
t
a
n
t
e

c
l
a
r
a
,

a
u
n
q
u
e

h
a
y

a
l
g
n

a
s
p
e
c
t
o

q
u
e

n
o

s
e

h
a

e
n
t
e
n
d
i
d
o

b
i
e
n
.

D
e
s
t
a
c
a

p
o
r

l
a

c
l
a
r
i
d
a
d

e
n

e
l

l
e
n
g
u
a
j
e

y

f
l
u
i
d
e
z

v
e
r
b
a
l

a
l

f
o
r
m
u
l
a
r

o
r
a
l
m
e
n
t
e

s
u
s

i
d
e
a
s

y

o
p
i
n
i
o
n
e
s
,

m
a
n
t
e
n
i
e
n
d
o

u
n
a

p
o
s
t
u
r
a

y

v
o
l
u
m
e
n

c
o
r
r
e
c
t
o
.

E
x
p
o
n
e

c
o
n

g
r
a
n

c
l
a
r
i
d
a
d
,

p
e
r
m
i
t
i
e
n
d
o

e
n
t
e
n
d
e
r

t
o
d
o

l
o

e
x
p
l
i
c
a
d
o
.

R
E
S
P
U
E
S
T
A
S

A
R
G
U
M
E
N
T
A
D
A
S

(
C
E
O
7
2
.
2
.
C
)

N
o

e
s

c
a
p
a
z

d
e

r
e
s
p
o
n
d
e
r

a

l
a
s

p
r
e
g
u
n
t
a
s

q
u
e

s
e

l
e

p
l
a
n
t
e
a
n
.

T
i
e
n
e

p
r
o
b
l
e
m
a
s

p
a
r
a

r
e
s
p
o
n
d
e
r

a

b
a
s
t
a
n
t
e
s

p
r
e
g
u
n
t
a
s

q
u
e

s
e

l
e

p
l
a
n
t
e
a
n
.

R
e
s
p
o
n
d
e

a

t
o
d
a
s

l
a
s

p
r
e
g
u
n
t
a
s

q
u
e

s
e

l
e

p
l
a
n
t
e
a
n

p
e
r
o

l
a

m
a
y
o
r
a

d
e

l
a
s

r
e
s
p
u
e
s
t
a
s

n
o

s
e

p
r
e
s
e
n
t
a
n

a
r
g
u
m
e
n
t
a
d
a
s

o

b
i
e
n

s
u
s
t
e
n
t
a
d
a
s
.

R
e
s
p
o
n
d
e

a

t
o
d
a
s

l
a
s

p
r
e
g
u
n
t
a
s

q
u
e

s
e

l
e

p
l
a
n
t
e
a
n

p
e
r
o

a
l
g
u
n
a
s

r
e
s
p
u
e
s
t
a
s

n
o

s
e

p
r
e
s
e
n
t
a
n

a
r
g
u
m
e
n
t
a
d
a
s

o

b
i
e
n

s
u
s
t
e
n
t
a
d
a
s
.

R
e
s
p
o
n
d
e

a

t
o
d
a
s

l
a
s

p
r
e
g
u
n
t
a
s

q
u
e

s
e

l
e

p
l
a
n
t
e
a
n
.

L
a
s

r
e
s
p
u
e
s
t
a
s

s
e

p
r
e
s
e
n
t
e
n

s
i
e
m
p
r
e

a
r
g
u
m
e
n
t
a
d
a
s

y

b
i
e
n

s
u
s
t
e
n
t
a
d
a
s
.

T
O
T
A
L

V
A
L
O
R

Doctor en Pedagoga por la Universidad de Salamanca y profesor ttular de Universidad
en el Departamento de Ciencias de la Educacin de la Facultad de Formacin del Profe-
sorado de la Universidad de Extremadura (Cceres - Espaa). Director del Campus Virtual
de la Universidad de Extremadura (CVUEX) y Director del Campus Virtual Compartdo
del Grupo G9 de Universidades (CVC-G9). Miembro de la Red Universitaria de Tecnolo-
ga Educatva (RUTE) y de la Red Universitaria de Investgacin e Innovacin Educatva
(REUNI+D). Coordinador del grupo de investgacin Nodo Educatvo especializado en
Tecnologa Educatva.
Universidad de Extremadura
Departamento de Ciencias de la Educacin
Mail:jevabe@unex.es
Licenciada en Ciencias Econmicas y Empresariales. Profesora Titular de Escuela Uni-
versitaria en el Departamento de Economa Financiera y Contabilidad. Responsable del
Sistema de Gestn de la Calidad de la Facultad de Estudios Empresariales y Turismo.
Autora de publicaciones de carcter nacional e internacional relacionadas con los siste-
mas de informacin para la gestn empresarial, y las tecnologas de la Informacin y la
comunicacin aplicadas a la enseanza-aprendizaje de competencias en Contabilidad.
Actualmente realiza la tesis doctoral sobre esta ltma lnea de investgacin.
Universidad de Extremadura
Departamento de Economa Financiera y Contabilidad
Mail: adelaida@unex.es

El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. The use of e-rubrics for competence assessment in university students. Study on reliability of the instrument.

Загружено:

Сведения о документе

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. The use of e-rubrics for competence assessment in university students. Study on reliability of the instrument.

Загружено:

Авторское право:

Доступные форматы

49

Vol. 12 (1), Abril 2014, 49-79

Вам также может понравиться