VIII FORO SOBRE LA EVALUACIN DE LA CALIDAD DE

LA INVESTIGACIN Y DE LA EDUCACIN SUPERIOR

Santander, 31 de mayo de 2011

LA EVALUACIN EX-POST
DE LOS PROYECTOS DE INVESTIGACIN
Carlos Guerra Rodrguez,
Sonia Martn Cerro,
Elena Tejedor Viuela
carlos@acsucyl.es

sonia@acsucyl.es

http://www.acsucyl.es

GUA DE LA PRESENTACIN
Presentacin de ACSUCyL
Poltica de calidad de ACSUCyL
Evaluacin
de
la
investigacin
en
ACSUCyL
rganos de evaluacin de ACSUCyL
Por qu la evaluacin EX-POST de los PI?
Evaluacin
EX-POST:
criterios
y
procedimientos
Descripcin
e
indicadores
de
la
evaluacin EXPOST 2007
Resultados de la evaluacin EXPOST 2007
Discriminacin de los criterios utilizados
Correlacin de los criterios a partir de los
resultados

ACSUCyL
rgano de evaluacin externa del sistema
universitario de Castilla y Len.
Agencia creada en 2001, en la actualidad es
ente pblico de derecho privado de la
Administracin de Castilla y Len.
Las actividades de evaluacin, acreditacin y certificacin que
desarrolla la Agencia persiguen la realizacin de los
siguientes fines de inters general:
Potenciar la mejora de la actividad docente, investigadora y de
gestin de las Universidades y de los centros de
investigacin y de educacin superior, favoreciendo la
mejora de la competitividad y el desarrollo econmico de
Castilla y Len
Artculo 35.
Ley 3/2003 de Universidades de Castilla y Len

POLTICA DE CALIDAD DE ACSUCyL

Respetar y hacer cumplir los principios establecidos en
el Cdigo tico que determinan la conducta de las
personas que trabajan o que actan en nombre de
ACSUCYL
Garantizar la autonoma e independencia de los
rganos de evaluacin en el ejercicio de sus
funciones.
Garantizar la transparencia en todas las actividades
desarrolladas.
Establecer mecanismos de responsabilidad para la
propia rendicin de cuentas con fines de mejora.

ACTUACIONES DE ACSUCyL
EN EL MBITO DE LA

EVALUACIN DE LA INVESTIGACIN
Institutos Universitarios de Investigacin (creacin o
adscripcin, y evaluaciones peridicas cada cinco aos).
Grupos de Investigacin de Excelencia (GIE).
Proyectos de Investigacin.
Evaluacin Ex Post de los proyectos de investigacin.
Ayudas para la contratacin de Personal Investigador de
Reciente Titulacin.
Evaluacin de los resultados de investigacin de los
investigadores.
Evaluacin
Cientficas.

de

Congresos,

Simposios

Reuniones

RGANOS DE EVALUACIN DE ACSUCyL

Comisin de Evaluacin de la Investigacin (CEI)

Coordinadores de rea
Paneles Cientficos
La Direccin de la Agencia nombra a los Paneles Cientficos,
a los Coordinadores y a la CEI, entre especialistas externos
al Sistema Universitario de Castilla y Len.

COMISIN DE EVALUACIN DE LA INVESTIGACIN (CEI)

Es la Comisin de ACSUCYL competente en los procesos
relacionados con la evaluacin de la calidad de las actividades
de investigacin
Nombramiento: la Direccin de la Agencia
Nmero de miembros: diez
Perfil: preferentemente, acadmicos y profesionales de reconocido
prestigio, con una significativa trayectoria docente e investigadora, y
experiencia en gestin y en procesos de evaluacin de la calidad en
el mbito universitario. (Tres sexenios)
Composicin: en su designacin, se procura el equilibrio entre los
diferentes mbitos de conocimiento.
Procedencia: externa al Sistema Universitario de Castilla y Len.
Periodo de nombramiento: un plazo mximo de 4 aos.

MIEMBROS DE LA CEI

Valcrcel Cases, Miguel (presidente)

Qumica Analtica

Universidad de Crdoba

Badiola Diez, Juan Jos

Sanidad Animal

Universidad de Zaragoza

Brillas Coso, Enric

Qumica Fsica

Universidad de Barcelona

Jos Vilches Troya

Histologa

Universidad de Cdiz

Chacn Fuertes, Pedro

Filosofa

Universidad Complutense Madrid

Echenique Elizondo, M Teresa

Lengua Espaola

Universidad de Valencia

Feliu Batlle, Vicente

Ingeniera de Sistemas y Automtica

Universidad Castilla la Mancha

Franch Benavent, Ricardo

Historia Moderna

Universidad de Valencia

Moreno Rodrguez, Mara del Carmen

Psicologa

Universidad de Sevilla

Ruiz-Huerta Carbonell, Jess

Economa Aplicada

Universidad Rey Juan Carlos

POR QU LA EVALUACIN EX-POST

DE LOS PROYECTOS DE INVESTIGACIN?
Prctica consustancial a la actividad investigadora de
calidad.
La Junta de Castilla y Len en las convocatorias de ayudas
destinadas a financiar Programas de Apoyo a Proyectos de
Investigacin, establece que se evaluarn los resultados de
las actividades de investigacin mediante una memoria final.
En la convocatoria de estas ayudas, publicada en 2009,
establece tambin que para valorar uno de los criterios de
seleccin de los proyectos y para determinar las
subvenciones, se tenga en cuenta la consecucin de
objetivos,
relevancia
cientfica
o
impacto
socioeconmico de los proyectos previamente financiados.
La Consejera de Educacin de la Junta de Castilla y Len ha
solicitado la colaboracin ACSUCYL para la valoracin de los
aspectos relativos a la consecucin de objetivos y la
relevancia cientfica de los proyectos.

LA EVALUACIN EX-POST EN ACSUCYL

La CEI ha elaborado un Manual de procedimiento de
evaluacin EX-POST de proyectos de investigacin.
La CEI define los criterios y protocolos de evaluacin
que se aplicarn para la evaluacin de los proyectos
financiados en cada convocatoria.
En ellos se especifican los distintos elementos y aspectos
que tendrn que tomar en consideracin los rganos de
evaluacin para la emisin de sus informes.
ACSUCYL publica en su pgina web estos protocolos de
evaluacin.
ACSUCYL remite sus informes a la Junta de Castilla y
Len, quien a su vez se los remite a los IP de los
proyectos.

INDICADORES
PROCESO DE EVALUACIN EX-POST DE
PROYECTOS DE INVESTIGACIN 2007
Nmero de proyectos: 212.
Duracin del proceso de evaluacin: 105.
Nmero de evaluadores: 403.
Nmero de coordinadores: 25.
% Mujeres (evaluadores/coordinadores): 24%
% Mximo de concentracin (eval./coord): 13%
Desviacin tpica > 1 entre el informe de la CEI y los
informes externos : 12%
N de recursos presentados: <5%

RESULTADO DE LA EVALUACIN EX-POST 2007

RESULTADO DE LA EVALUACIN EX-POST 2007

DISCRIMINACIN DE LOS CRITERIOS

UTILIZADOS EN LA EVALUACIN EX-POST 2007

CRITERIOS
a.1. Cumplimiento del plan de
trabajo
b.1. Consecucin de los objetivos
previstos
b.2. Eficiencia y eficacia del gasto
c.1. Significacin de los
resultados alcanzado
c.2. Calidad e impacto cientficotecnolgico
c.3. Capacidad formativa y
consolidacin

Puntuacin
mxima del
criterio

% Proyectos con
puntuacin 80% del
valor mximo del
criterio

% Proyectos con
puntuacin < 50% del
valor mximo del
criterio

20

42,5

17,5

20 o 30

44,3

16,5

10 o 0

78,5

6,5

20

36,8

22,6

20

28,3

37,7

10

29,3

38,2

CORRELACIN DE LOS CRITERIOS UTILIZADOS, A PARTIR DE

LOS RESULTADOS OBTENIDOS EN LA EVALUACIN EX-POST 2007

CRITERIOS

% Proyectos con puntuacin

Correlacin de los
80% del valor mximo del
criterios con los
criterio que han obtenido una
resultados
valoracin global 80%
50

0,82

b.1. Consecucin de los objetivos previstos

84,4

0,84

b.2. Eficiencia y eficacia del gasto

33,6

c.1. Significacin de los resultados

alcanzado

59

0,88

c.2. Calidad e impacto cientfico-tecnolgico

65

0,77

a.1. Cumplimiento del plan de trabajo

c.3. Capacidad formativa y consolidacin

38,7

GRADO DE DISCREPANCIA ENTRE LOS

EVALUADORES EXTERNOS

QUE PIENSAN LOS INVESTIGADORES

PRINCIPALES DE LA EVALUACIN
EXPOST DE SUS PROYECTOS?
(sobre una muestra de 54 IP)

CONCLUSIONES
No hay suficiente cultura entre los IP de esforzarse en
la realizacin de las memorias finales de los
proyectos.
Los criterios de la evaluacin EXPOST deben ser
conocidos por los IP.
Es necesario utilizar referentes claros en las
evaluaciones que eviten que el grado de discrepancia
entre los evaluadores sea elevado.
Incrementar el impacto de la evaluacin EXPOST en
las nuevas convocatorias.

VIII FORO SOBRE LA EVALUACIN DE LA CALIDAD DE

LA INVESTIGACIN Y DE LA EDUCACIN SUPERIOR
Santander, 31 de mayo de 2011

LA EVALUACIN EX-POST
DE LOS PROYECTOS DE INVESTIGACIN
Carlos Guerra Rodrguez,
Sonia Martn Cerro,
Elena Tejedor Viuela
carlos@acsucyl.es

sonia@acsucyl.es

http://www.acsucyl.es