LOS RESULTADOS DE

APRENDIZAJES
ESCOLARES:

UNA DISCUSIÓN
METAEVALUATIVA DESDE
LAS SOCIEDADES QUE LOS
PRODUCEN

Prof. Dr. Luis Sime Poma. Nov.

2008
 Justificación:
2

Los resultados de las pruebas estandarizadas en el

ámbito escolar tanto a escala nacional como
internacional han abierto una etapa distinta en las
políticas educativas que permiten tipos de medición y
comparación al interior de los países como a nivel
internacional.

No obstante dicho avance, el riesgo es a una lectura

descontextualizada de los resultados sin considerar a
la sociedad que los produce y que nos permita
elaborar imágenes más complejas de dónde
provienen los resultados obtenidos, cuál es esa
sociedad realmente existente detrás de los datos.

Luis Sime http://blog.pucp.edu.pe/luissime

3

Estas correlaciones contextuales y

referenciales con otros aspectos de la
sociedad contribuyen a una visión más
amplia y crítica de los resultados de
aprendizajes y una prudencia mayor para
establecer comparaciones e intereses de
transferibilidad de ciertos modelos
educativos que responden también a
modelos de desarrollo.

Luis Sime http://blog.pucp.edu.pe/luissime

 2. Objetivos o propósitos de la
investigación
4

 Contribuir a un debate más crítico sobre el análisis

de los resultados de aprendizaje basados en
pruebas estandarizadas desde una perspectiva
metaevaluativa contextualista y de paradigmas de
desarrollo.

 Relacionar los resultados de los aprendizajes de

pruebas internacionales PISA (2006) con otros
datos relevantes de la misma sociedad.

Luis Sime http://blog.pucp.edu.pe/luissime

 3. Perspectivas o aproximación
conceptual.
5
 
 3.1. Desde un enfoque
metaevaluativo contextualista

 3.2. Desde un enfoque sobre

educación y desarrollo

Luis Sime http://blog.pucp.edu.pe/luissime

 3.1. Desde un enfoque metaevaluativo
contextualista
6

 En este camino de reconceptualización, retomando un trabajo previo

(Sime 2005), proponemos entender la metaevaluación contextualista
como la reflexión crítica y pluridisciplanria de los procesos,
instrumentos y resultados de evaluaciones a la luz de los contextos
sociales en las cuales se insertan.

 Las pruebas estandarizadas que se han aplicado a nivel nacional,

latinoamericano e internacional en las últimas décadas constituyen un
discurso, una práctica y una política evaluativa que exige de
planteamientos metaevaluativos críticos, contextualistas y
pluridisciplinarios como los que propone Bonnet (2006) al llamar la
atención en las singularidades lingüísticas y culturales en las
evaluaciones internacionales de PISA, haciendo suya la pregunta: “ ¿en
qué medida la evaluación de las competencias de los alumnos en este
estudios comporta sesgos culturales diversos que harían difícil o
errónea la comparación entre los países?” (p.92); o las reflexiones de
diversos autores incluidas en Iaies (2003) cuyo propio título nos da un
aliento metaevaluativo desde la política: “Evaluar las evaluaciones. Una
mirada política acerca de las evaluaciones de la calidad educativa”.

Luis Sime http://blog.pucp.edu.pe/luissime

7

 Una cuarta vertiente es la que se dirige a relacionar los resultados PISA

con variables macro sociales. Entre ellas se destaca aquella que
visualiza una relación entre dichos resultados con el PBI del país o nivel
de inversión en educación. Nuestro aporte se sitúa en esta vertiente.

 En efecto, nuestra perspectiva opta por situar los datos desde los
contextos sociales que los han generado. Detrás de dichos resultados
existen sociedades cuya complejidad en la producción de esos
resultados queda implícita y sin una interpretación más sistémica. En
ese sentido, se busca interrogar los datos desde la misma sociedad.

 A su vez, los análisis que han buscado relacionar los resultados de las
pruebas estandarizadas sobre ciertos tipos de aprendizajes como los
informes PISA con otros datos más allá del sistema educativo, han
estado mayormente correlacionados con el factor económico,
especialmente con el PBI de los países (Hanushek y Wößmann 2007)
siendo más escasos los análisis que hayan intentado análisis
estadísticos o reflexiones críticas con otros factores de las sociedades.

Luis Sime http://blog.pucp.edu.pe/luissime

 3.2. Desde un enfoque sobre educación
y desarrollo
 
8

 Desde este punto de vista, la interacción

entre educación y desarrollo requiere ser
pensada más allá del reduccionismo
economicista que privilegia las variables
vinculadas al crecimiento económico sin
integrar otras dimensiones que son
igualmente importantes en el desarrollo
de la sociedad.

Luis Sime http://blog.pucp.edu.pe/luissime

9

 El repensar el rol de la educación en función de la

construcción de un paradigma de desarrollo
alternativo, implica considerar más profundamente la
relación entre la educación con variables que
representen la situación de sustentabilidad ambiental
de una sociedad, así como la situación de salud y de
violencia. Este cuestionamiento desde esas variables
nos lleva inscribir los procesos educativos como parte
de las experiencias conflictivas que la sociedad hace
por un desarrollo sustentable, saludable y pacífico.

Luis Sime http://blog.pucp.edu.pe/luissime

 4. Métodos, técnicas o modos de
análisis y fuentes de información
10

 El estudio establece relaciones entre los

datos PISA 2006 basados en resultados
de ciencias, con las variables e
indicadores siguientes:
1. ambiental (emisión de gases
invernadero C02)
2. salud (obesidad, tabaquismo y cáncer)
3. violencia (suicidio)

Luis Sime http://blog.pucp.edu.pe/luissime

11

 Se seleccionaron 20 países (66.6%) de los 30

que conforman la OECD – entre los cuales 12
(44%) pertenecen a la Unión Europea- sobre los
cuales la información de PISA y otras requeridas
para el estudio, aportadas por fuentes confiables,
permitieran la comparación de la información
sobre datos que no más atrás del 2002 y sin
buscar una correlación estadística sino
referencial entre las variables estudiadas. Este
parámetro de selección (solo países OCDE, y
fuentes desde el 2002) fue estrechando el
número de países a los aquí seleccionados.

Luis Sime http://blog.pucp.edu.pe/luissime

 5. Resultados y /o conclusiones
preliminares
12

5.1. Resultados
a) Relaciones entre resultados PISA y la variable ambiental (emisión de
gases C02)
b) Relaciones entre resultados PISA y la variable salud (obesidad)
c) Relaciones entre resultados PISA y la variable salud (tabaquismo)
d) Relaciones entre resultados PISA y la variable salud (cáncer)
e) Relaciones entre resultados PISA y la variable violencia (suicidio)

Luis Sime http://blog.pucp.edu.pe/luissime

 Tabla 3 Comparación entre resultados PISA (2006/ ciencias) y emisión de
C02 (2004) en países de OECD

13

  Countries PISA   Countries C02-

OECD 2006 OECD 2004%
1 Finland 563   1 United States 22.2

2 Canadá 534   2 Japan 4.6

3 Japan 531   3 Germany 3.1
4 New Zealand 530   4 Canada 2.3

4 Switzerland 530   5 United 2.2

Kingdom
5 Australia 527   6 Korea 1.7
6 Netherlands 526   6 Italy 1.7
7 Korea 522   7 Mexico 1.6
8 Germany 516   8 France 1.4
9 United 515   9 Spain 1.2
Kingdom
10 Austria 505   9 Australia 1.2
11 Sweden 502   10 Polonia 1.1
12 Ireland 501   11 Netherlands 0.5
13 France 495   12 Austria 0.3
13 Polonia 495   13 Finland 0.2
14 Hungary 491   13 Hungary 0.2
15 United States 489   13 Luis Sime http://blog.pucp.edu.pe/luissime
Sweden 0.2
 Tabla 7 Comparación entre resultados PISA (2006/
ciencias) y número de muertes por cien mil habitantes
de suicidio en la población en países de OECD (2003-
2007)
14

  OECD PISA 2006     OECD Suicidio 2003-

07
1 Finland 563   1 Korea 21.5
2 Canada 534   2 Hungary 21
3 Japan 531   3 Japan 19.1
4 New 530   4 Finland 18
Zealand
4 Switzerland 530   5 France 14.6

5 Australia 527   6 Switzerland 14.1

6 Netherlands 526   7 Polonia 13.2

7 Korea 522   8 Austria 12.6

8 Germany 516   9 New 11.9
Zealand
9 United 515   10 Sweden 11.1
Kingdom
10 Austria 505   11 Australia 10.2
11 Sweden 502   11 Canada 10.2
12 Ireland 501   12 United 10.1
States
13 France 495   13 Germany 9.2
13 Polonia 495   Luis Sime http://blog.pucp.edu.pe/luissime
13 Ireland 9.2
 5.2. Conclusiones
preliminares.
15
 
a) Conclusiones del análisis horizontal sobre los países ubicados en la
mitad superior de PISA

Un análisis horizontal de las variables estudiadas nos permite señalar que

aquel grupo de países de la OECD que ocupan la mitad superior en
los resultados PISA a su vez ocupan en más de un 50% la mita
superior de tres variables (C02, Obesidad y Suicidio) y en las otras
variables (Tabaquismo y Cáncer) representan entre el 40 y 44% de las
respectivas mitades superiores.

Luis Sime http://blog.pucp.edu.pe/luissime

16

Tabla N 8 Ubicación de países en mitad

superior de PISA en cinco variables

OECD PISA C02 Obesida Suicidio Tabaqui Cancer

d smo
Finland 1 13 9 4 13 19
Canada 2 4 6 11 16 7
Japan 3 2 19 3 7 27
New 4 14 4 9 14 6
Zealand
Switzerland 4 13 18 6 4 18
Australia 5 9 7 11 15 12
Netherlands 6 11 14 14 1 3
Korea 7 6 20 1 8 13
Germany 8 3 10 13 10 11
United 9 5 3 15 12 5
Kingdom
             
% de mitad   71% 60% 55.50% 44% 40%
superior
Total 18 14 20 18 18 20
puestos puestos puestos puestos
Luispuestos puestos puestos
Sime http://blog.pucp.edu.pe/luissime
17

b) Conclusiones del análisis horizontal sobre los

países ubicados en la mitad inferior de PISA
 
Respecto al grupo de países de la OCDE de nuestra
muestra que ocupa en PISA la mitad inferior existe
un segmento de ellos que en cuatro de las cinco
variables estudiadas (Tabaquismo, cáncer y
suicidio), se encuentran en la mitad superior de
dichas variables, representado entre 55% y 66%
de dichas mitades, y en las otras dos variables
(C02 y obesidad ) menos del 40%.

Luis Sime http://blog.pucp.edu.pe/luissime

18

Tabla N 9 Ubicación de países en mitad inferior de PISA en

cinco variables

OECD PISA Tabaquis Cancer Suicidio Obesida C02

mo d
Austria 10 10 14 8 13 12
Sweden 11 18 16 10 15 13
Ireland 12 3 4 13 11 13
France 13 9 9 5 16 8
Polonia 13 6 2 7 12 10
Hungary 14 2 1 2 5 13
United 15 17 10 12 1 1
States
Spain 16 5 15 16 8 9
Italy 17 11 8 17 17 6
Mexico 18 5 20 18 2 7
             
% de   66% 60% 55.50% 40% 28.50%
mitad
superior
Puestos 18 18 puestos 20 18 20 14 puestos
totales puestos
Luis Sime puestos puestos
http://blog.pucp.edu.pe/luissime puestos
19

 c) Conclusiones específicas sobre ciertos países.

El caso de Finlandia podríamos configurarlo como un país

con muy alto nivel de resultados en PISA (1er puesto) pero
que a su vez es alta su tasa de suicidio (el 4to puesto pero
en realidad el 1ero de la Europa más occidental en nuestra
muestra si asumimos a Hungría con una tradición más de
Europa del este) y mediana su tasa de población con
obesidad (el puesto 9 de 20); siendo más bien bajo en su
nivel de emisión de gases C02, (13 de 14 puestos), cáncer
(19 de 20 puestos) y su tasa de tabaquismo (13 de 18
puestos). De no ser por el puesto que ocupa en suicidio
podríamos decir que es una sociedad que ha logrado
construir una coherencia significativa entre su nivel
educativo, y otras variables para un desarrollo sustentable,
saludable y pacífico.

Luis Sime http://blog.pucp.edu.pe/luissime

20

 El segundo caso muy singular es el de Estados Unidos cuyo

nivel de rendimiento es bajo en PISA tanto en nuestra
muestra donde ocupa la mitad inferior como si tomáramos
de referencia el promedio OCDE de 500 puntos, EEUU
también es inferior a dicho promedio (489) aunque superior
al Total Internacional (461). El contraste del caso
norteamericano es que estando con puntajes bajos en PISA,
ocupa a la vez puntajes muy altos en emisión de gases C02 y
en obesidad, el primer puesto en ambas variables, y una
posición intermedia en cáncer (puesto 10 de 20), quedando
más hacia abajo en la tabaquismo (17 de 18 puestos) y en
suicidio (12 de 18 puestos). Este es el único país de nuestra
muestra de 20 países de la OECD que ocupa los primeros
puestos en dos variables diferentes que son de alto
sensibilidad para el desarrollo sustentable y saludable.

Luis Sime http://blog.pucp.edu.pe/luissime

21

 El tercer caso es el de Hungría, un país cuyos resultados en PISA

pertenecen a la mitad inferior en nuestro análisis, aunque con
sus 491 puntos se acerca al promedio de la OCDE de 500
puntos y por supuesto superior al Total Internacional de PISA
2006 (461). Lo que llama la atención de este país es los puestos
que ocupa en las variables de salud vinculadas a los indicadores
de cáncer, donde ocupa el primer puesto, y a los de tabaquismo
y suicido, donde ocupa el segundo puesto para ambos casos, y el
quinto puesto en obesidad. Es decir, en cuatro de las cinco
variables estudiadas revelan problemas muy serios para
construir una sociedad basada en un desarrollo sustentable,
saludable y pacífico, aunque sus resultados en PISA se acerquen
al promedio de la OCDE.

Luis Sime http://blog.pucp.edu.pe/luissime

22

 d) Pistas para una mayor indagación

1era pista: las sociedades paradójicas

PISA 2006 nos ofrece una imagen de la situación educativa
de los países en función a su rendimiento respecto a ciencia
resultando paradójico que aquellos países que evidenciando
un alto resultado en esta área pertenezcan justamente a
países donde el desarrollo científico y tecnológico junto ha
un tipo de industrialización y estilos de vida han producido
graves problemas para la calidad de vida de su población y
más allá de ella. ¿Cómo es que se puede estar
aparentemente muy bien en educación escolar científica y
estar a la vez en niveles críticos en variables claves de la
sociedad? ¿Cómo hace dichas sociedades para construir esos
desdoblamientos?

Luis Sime http://blog.pucp.edu.pe/luissime

23

 2da pista: Evaluar la calidad: ¿y la pertinencia?

Las evaluaciones estandarizadas tanto internacionales y
nacionales se han legitimado sobre un discurso de la
calidad educativa centrada en medir competencias en
lecto escritura y matemática centralmente, aunque PISA
2006 incluyó por primera vez un conjunto de preguntas
explícitas sobre temas ambientales que debieran ser más
permanentes, al igual que otros temas más bien casi
ausentes referidos por ejemplo a las epidemias que
hemos analizado previamente. Es decir, los esfuerzos han
estado más dirigidos a evaluar competencias básicas que
a competencias en torno a temas cruciales que estarán
marcando negativamente el contexto mundial y nacional
de este siglo. Ello nos sugiere que se ha legitimado más
la necesidad de evaluar la calidad que la pertinencia
educativa.

Luis Sime http://blog.pucp.edu.pe/luissime