INDICADORES E INVESTIGACIN EDUCATIVA

Dr. Luis Campistrous Prez Dra. Celia Rizo Cabrera

INDICADORES E INVESTIGACIN EDUCATIVA

Autores: Dr. Luis Campistrous Prez Dra. Celia Rizo Cabrera Investigadores del Instituto Central de Ciencias Pedaggicas de Cuba. Agosto de 1998. 1. Introduccin En la investigacin educativa, como en otras muchas actividades, se utilizan las variables para representar atributos, conceptos, constructos, etc. En cada caso, la variable es el smbolo que se utiliza para representar cualquiera de los estados particulares del aspecto de la realidad representado, esos estados son los valores de la variable y en cada manifestacin particular, en cada caso concreto, la variable asume uno de esos valores. La determinacin del valor de la variable que corresponde al caso en estudio es la medicin. En este material estamos entendiendo medicin en un sentido muy general, en el cul no se presupone nada sobre la naturaleza de la variable utilizada; es decir, hablamos de medicin tanto si se trata de una variable numrica como si se trata de una variable categrica. Por ejemplo, si nos interesa el sexo de una criatura recin nacida, la variable es nominal y su valor ser uno de los dos sexos posibles: femenino o masculino. En este caso la determinacin del sexo correspondiente se realiza por observacin y lo que estamos llamando medicin se reduce a esa observacin. En cambio si nos interesa el peso, se trata de una variable cuantitativa y la determinacin del nmero que representa al peso se realiza mediante el pesaje por medio de una balanza; en este caso lo que llamamos medicin es un proceso real de comparacin con una unidad establecida de antemano. En ambos ejemplos, se trata de variables simples y la medicin se realiza de manera inmediata y mediante un proceso simple que consiste en una observacin o una comparacin. No siempre las variables que utilizamos en la investigacin educativa son de esta naturaleza, al contrario, en la mayor parte de los casos son variables ms complejas y para determinar su valor se requiere un proceso que consiste en operaciones ms complicadas y necesita de variables intermediarias ms evidentes que son las que llamamos indicadores.1 Es necesario observar que los indicadores pueden ser utilizados an con variables tan simples como las sealadas antes; en efecto, en el caso del sexo del recin nacido en realidad no se observa directamente el sexo sino que se determina mediante los rganos genitales y en el caso del peso se determina mediante la observacin de la escala de la balanza y no directamente mediante la estimacin del peso. En la investigacin educativa las variables que requieren indicadores son ms complejas que las sealadas y casi nunca basta con la utilizacin de un indicador sino que se necesita utilizar varios. Cuando se utilizan ms de un indicador, en la prctica se est trabajando con varias dimensiones y se hace necesario tomar en cuenta esta condicin para determinar los valores de la variable. Ilustremos esta situacin mediante un ejemplo: Si queremos evaluar el resultado acadmico de un alumno, utilizamos dos indicadores uno es la calificacin que obtiene el alumno en la asignatura y cuyos valores se reflejan en una escala ordinal (E; MB; B; R y M) y el otro la periodicidad de su estudio individual que podemos medir en una escala ordinal (S-sistemtico, Iintermitente y F-finalista). Para cada uno de los indicadores podemos, a partir de su medida, tener un criterio sobre su comportamiento que nos indica parcialmente el resultado acadmico del alumno. Sin embargo, ninguno de ellos aisladamente nos da una visin completa del resultado del alumno, para eso hay que atender a los dos en conjunto.

Indicador (Del latn indicio) es lo que sirve para indicar. En el contexto de la investigacin educativa se utiliza para referirse a una variable que indica el valor de otra. Se da por supuesto que los valores de la variable utilizada como indicador se determinan de una forma ms directa y evidente que los de la otra variable. 2

En efecto, un alumno puede tener una calificacin E y sin embargo ser un alumno finalista, cmo lo consideramos entonces? Por el contrario un alumno puede estudiar sistemticamente y tener una calificacin R, cmo lo consideramos entonces?. Por supuesto que los dos casos ejemplificados constituyen slo una muestra de todos los casos posibles y nos revelan que para concluir hay que tomar en cuenta lo que sealan ambos indicadores. En este caso tenemos las 15 posibilidades siguientes: E-S E-I E-F MB-S MB-I MB-F B-S B-I B-F R-S R-I R-F M-S M-I M-F

Cmo evaluamos a los alumnos que obtienen cada uno de estos alumnos? Resulta claro que si queremos evaluar el resultado, esperamos poder expresar la evaluacin en una escala, al menos, ordinal y esto significa que tenemos que saber a cul categora de esa escala corresponde cada uno de los quince casos sealados. Lo anterior significa que debemos establecer una correspondencia que nos permita conocer como pasar de los pares de valores de indicadores que tenemos a un nico valor en una escala ordinal; si no logramos establecer esta correspondencia, los pares de valores no nos dan una informacin que nos indique realmente lo que queremos saber: cmo es el rendimiento acadmico de los alumnos? Por esta razn consideraremos que un indicador no es slo una variable cuyos valores indican los valores de otra variable, sino que incluiremos en el concepto de indicador la forma en que podemos interpretar esa indicacin, es decir, la ley de correspondencia a la que hemos hecho referencia. En el ejemplo anterior una ley de correspondencia podra ser: Bueno- si es uno de los pares E-S, E-I, MB-S o B-S Malo- si es uno de los pares B-F, R-F, M-F o M-I Regular- En todos los dems casos. (Esto es slo un ejemplo ilustrativo, la ley de correspondencia se puede establecer de cualquier otra manera, eso depende del caso concreto y del marco referencial del investigador.) En este ejemplo hemos hablado de dos indicadores, algunas veces se refieren como un complejo de indicadores o un sistema de indicadores; nosotros preferimos decir que se trata de un indicador bidimensional, es decir que es una variable con dos dimensiones: la calificacin y la periodicidad del estudio individual, por tanto sus valores son pares ordenados (es decir, tomados en un cierto orden) de los valores de las dimensiones. En este artculo trataremos sobre los indicadores, dedicaremos atencin especial al uso de los indicadores, en particular los multidimensionales, y discutiremos algunos procedimientos sobre su determinacin. 2. Algo ms sobre variables Ya hemos dicho que estamos utilizando el trmino variable en el sentido de un smbolo que representa un elemento cualquiera de un grupo dado, ese grupo es lo que se llama el dominio de la variable; para mayor claridad en lo que sigue diremos algunas cosas ms sobre el concepto de variable y su utilizacin en la investigacin educativa Es un smbolo, en el sentido de que no est en la realidad, aunque representa o modela algo de la realidad. Queremos destacar que de acuerdo a esta caracterizacin, la variable no es parte de la realidad (que se asume que es objetiva y est fuera del investigador, pero que en cualquier caso es distinta de la representacin de esa realidad hecha por el investigador), sino que la variable es una representacin de la realidad creada por el investigador y que, por tanto, las variables no le vienen dadas ni impuestas desde fuera, sino que son aportadas por el investigador de acuerdo a sus necesidades (necesidades que incluyen no slo a la realidad objeto de investigacin sino tambin a la intencin que persigue el estudio reflejada en los objetivos de la investigacin). Esta interpretacin contrasta con una interpretacin usual en una parte de la literatura segn la cual las variables estn en la realidad y son descritas como una parte de

ella, as es corriente encontrar tareas como "piense en usted como persona y enumere la mayor cantidad posible de variables que posee"2. Aqu es necesario aclarar que no se trata de perseguir una total diferenciacin en el lenguaje entre las variables y las caractersticas de la realidad que representan, tal pretensin slo puede hacer demasiado compleja la comunicacin y oscurecer ms que clarificar el texto, es claro que en la prctica se acepta el abuso de lenguaje de referirse a la variable como si estuviera en la realidad y decir, por ejemplo, el sexo es una variable. Nuestra intencin es lograr que se tenga presente que las variables no son impuestas, no estn dadas en la realidad sino que son creaciones subjetivas del investigador y que, por tanto, es el investigador quin debe decidir que variables va a utilizar y para qu. Otra de las aclaraciones que es necesario hacer en relacin con la caracterizacin adoptada es la prctica usual de reducir las variables a un determinado tipo de objeto sean conceptos, atributos o factores. Es usual, por ejemplo, identificar las variables con conceptos3 de tal forma que se llega a crear la idea de que todo concepto que se trabaja se convierte en una variable y slo se pueden referir como variables a los conceptos. Frente a esta tendencia hay que destacar que las variables se usan para representar otras cosas que pueden no ser conceptos, como, por ejemplo, el tipo de mtodo que se emplea en un momento dado, la existencia o no de relaciones de determinado tipo, el tipo de clima que existe en un determinado colectivo laboral, la densidad de poblacin, entre otras cosas. No tiene un valor especfico, es decir, no representa a un elemento determinado de una cierta familia de elementos. Es por tanto, un elemento arbitrario de una determinada familia de elementos. Cuando decimos de una determinada familia queremos decir lo siguiente, por ejemplo si se trata del caso de las notas, el smbolo N no se sabe que nota es, pero s se sabe cul es el conjunto de valores que representan esas notas. Si es una nota en nuestra escala sabemos que es una nota entre 0 y 100. En este caso se conoce la familia de la que se extrae la nota, no se est representando a uno de ellos en particular, pero se trata de uno de los elementos de un conjunto que s se conoce. Esto es muy importante, pues eso permite realizar operaciones con las variables, precisamente las operaciones que se pueden realizar con el conjunto de objetos al cul pertenece el elemento arbitrario que representa la variable. Esto explica la importancia de las variables en la investigacin y, sobre todo, la importancia de considerar las variables como smbolos, eso nos permite operar al mismo tiempo con todos los elementos del conjunto utilizando una representacin simple. Un ejemplo sencillo puede ser el siguiente: consideremos una variable, C, que representa la calificacin de un alumno (ver el punto anterior); en todos los lugares en los que aparezca el smbolo C se puede saber que se trata de una calificacin y que, por tanto, existe una ordenacin, es decir, si C1 y C2 representan las calificaciones de dos alumnos, yo puedo escribir C1<C2 sin necesidad de saber cules son las calificaciones especficas representadas por C1 y C2, de esta manera se trasmite la informacin de que el alumno que obtuvo la calificacin C1 tiene un resultado peor que el otro sin necesidad de conocer exactamente el resultado de cada uno. Cuando el investigador no siente necesidad de realizar ninguna accin de este tipo debe revisar, puede ser que en su caso concreto no tenga necesidad de utilizar variables. No basta escoger el modelo de la realidad, o sea la variable, hay conocer tambin los valores que puede tomar esa variable. Lo antes planteado significa que se tiene que conocer de antemano los valores de la variable. Ese conjunto de valores puede estar previamente establecido, como es el caso del sexo, o de las notas en un determinado pas, pero puede no estarlo, y es una tarea importante del investigador esta determinacin, que puede hacerse tericamente o empricamente, y al variar el conocimiento que se tiene de la variable, pueden variar tambin sus valores. Si no se determina ese conjunto de valores al introducir las variable, es decir si no se precisa su dominio, no se logra trasmitir la informacin que el investigador quiere trasmitir y se viola un principio importante que es la objetividad y su relacin con la comunicacin en las investigaciones.
2 3

Ver por ejemplo "La investigacin social y educativa" de Guillermo Briones. SECAB Bogot 1992 pag.72. Ver por ejemplo Estrella Sierra 4

En conclusin para poder decir que estamos utilizando correctamente una determinada variable, tenemos que tener tambin muy bien determinado cules son los valores que puede tomar esa variable, o sea su dominio, en el contexto de la investigacin que se est realizando. Los valores no tienen que tener una estructura matemtica, pueden representar objetos cualesquiera, medibles en cualquier tipo de escala. No obstante, es importante aclarar que la utilizacin que puede hacerse de una variable est ligada a una determinada estructura de su dominio. Puede ser una familia de nmeros o simplemente de nombres, en ambos casos se trata de una variable, slo que son de diferente tipo y las operaciones que pueden realizarse con ellas son diferentes. Las variables pueden ser clasificadas de acuerdo a la estructura de su dominio en: De intervalo. Continuas De razn Ordinales. Nominales o Categricas. Llamamos Continuas (en este trabajo no nos ocuparemos de la diferencia entre variables de intervalo y de razn) a las variables cuyo dominio es isomorfo a un intervalo de los nmeros reales, esto significa que no slo sus elementos son nmeros reales sino que es lcito realizar con ellos todas las operaciones que se pueden realizar con dichos nmeros desde la comparacin hasta las de continuidad, pasando por las operaciones aritmticas usuales. Llamamos Ordinales a las variables en cuyo dominio se puede establecer una relacin de orden total, es decir, una ordenacin en la que dos elementos cualesquiera son comparables. Llamamos Nominales o Categricas a las variables en cuyo dominio no presuponemos ni siquiera una estructura de orden y, por tanto, en el que slo es lcito hablar de igualdad y diferencia. Si una variable es continua, entonces con esa variable puedo hacer las operaciones usuales con nmeros reales como ya dijimos, si no es continua pero es ordinal, digamos que son notas dadas en categoras de insuficiente, bien, muy bien y excelente, ya no son nmeros y no se puede calcular con esos valores, pero se puede compararla con otra variable tambin ordinal. Digamos que en una determinada escuela se da la condicin de que las notas de los varones son siempre menores que las de las hembras, entonces eso permite establecer determinadas relaciones, ahora de orden, pues no son nmeros y no puedo calcular con ellas, pero se puede representar la situacin as: X v < X h y esto representa la situacin descrita, describe la relacin que existe entre los objetos de la realidad mediante la relacin de orden entre las variables. Si las variables no son ni siquiera ordinales, no se pueden ni comparar pero an as se puede operar con ellas, slo que de un orden diferente. Por ejemplo, se puede contar la frecuencia de aparicin de cada valor, describir la distribucin de esos valores y, tambin, establecer relaciones entre variables. Digamos que se tiene para los alumnos al mismo tiempo una variable que representa las calificaciones, dadas en categoras y por otro lado tengo otra variable que representa el sexo de esos alumnos (varn y hembra que no se pueden ordenar), se puede construir una tabla tal que en una dimensin contenga las notas y en la otra el sexo: Femenino Masculino E MB B I A partir de una tabla como esta, no slo se puede describir la distribucin de los valores de cada variable por separado, sino que se puede analizar si existen relaciones entre ellas, por ejemplo, si los varones tienden a tener mejores calificaciones (o peores), si la calificacin es independiente del sexo etc. Con las variables se pueden representar situaciones que pueden ser muy variadas, y que pueden dar mucha informacin, pero por supuesto que para obtener toda esa informacin se necesita saber cules son las notas y cules son los sexos y adems poder determinar en la prctica que nota y que 5

sexo corresponde a cada uno de los objetos con los que se trabaja. Esto significa que cuando tenemos una variable, tenemos los valores de esa variable; esa variable puede representar, como antes dijimos, caractersticas, propiedades, atributos, fenmenos, conceptos, cualquier aspecto de la realidad. Hablemos de caractersticas, que es lo ms usual, entonces a cada manifestacin de esa caracterstica le corresponde un valor de la variable y el investigador tiene que poder asignarle el valor de la variable que le corresponde eso requiere un determinado proceso, que va de la caracterstica al valor de la variable. A ese proceso le vamos a llamar medicin, sea cual sea el tipo de valores. Quiere decir que al mirar a alguien y determinar que es masculino, se est midiendo el sexo, de esta forma medir se entiende en un sentido muy amplio que requiere una aclaracin adicional. En primer lugar desde la poca de los griegos el trmino medicin se utiliza en Matemtica y Fsica para referirse al caso de magnitudes continuas y esto exige que el dominio posea una estructura matemtica determinada. Para medir se necesita en el dominio una estructura aditiva y, adems, que al hacer corresponder nmeros reales a los objetos se conserven el orden y la aditividad (en trminos matemticos, disponer de una medida) si se quiere utilizar el proceso con el rigor adecuado; esto tiene una razn prctica para que las medidas me conduzcan a comparaciones vlidas se necesita la aditividad ya que se requiere disponer de recursos para afirmar que una cantidad es cuatro veces otra y para eso es imprescindible la aditividad. Si no se puede establecer ese tipo de relaciones no se puede hablar de medida en el sentido estricto del trmino. Lo dicho en el prrafo anterior es importante porque en el caso de las Ciencias Sociales, en particular en educacin, la mayor parte de las variables no representan magnitudes continuas y, por tanto, no se puede hablar de medicin en sentido estricto. Frente a esto es usual en la literatura restringir las exigencias y hablar de medida cuando es posible comparar, lo que ya hemos visto que es insuficiente, dejando fuera la asignacin de valores en los casos en los que no se puede comparar. En este trabajo hablaremos de medicin en el sentido ms amplio mencionado antes, como el proceso de asignacin de los valores a una variable cualquiera sin tener en cuenta la estructura de su dominio, esto nos permitir uniformar el lenguaje al tratar los indicadores. 3. Sobre el concepto de indicador. Es una variable que permite indicar a los valores de otra variable, o sea sus valores indican los valores de otra variable. Esto significa que vamos a considerar como indicador una variable y no algunos valores de esa variable. En la literatura es posible encontrar referencias en las que se considera como indicadores los valores de la variable, por ejemplo cuando se dice que un indicador de eficiencia escolar es una asistencia superior al 97%, en este caso se est diciendo que el indicador es un valor de una variable (la variable que representa la asistencia escolar) y que indica un tipo de eficiencia (queda sobreentendido que se habla de eficiencia en el sentido de eficiencia al menos aceptable). An en el caso mencionado en el prrafo anterior queda claro que es necesario referir la correspondencia, slo que al hablar de algunos valores la correspondencia no es completa y no se sabe qu se indica cuando resulta un valor de la variable que no est explcitamente referido. Otra de las observaciones que se impone en este contexto es el hecho de que al igual que con el concepto de variable en la literatura subsiste la confusin entre el indicador como una representacin de la realidad y la realidad misma, as se encuentran expresiones como los indicadores son un conjunto de rasgos perceptibles que harn posible una referencia emprica a la presencia del concepto.4 Observemos que el indicador se est considerando en la realidad, al igual que antes esto limita el uso ya que se reduce a un determinado aspecto de la realidad y no una forma de representacin que puede ser utilizada en diferentes contextos. Por otra parte, se est refiriendo a conceptos solamente, se est relacionando con la empria y se le est poniendo el trmino perceptible que puede dar lugar a una gran cantidad de confusiones pues, qu cosa es perceptible?, con qu grado de perceptibilidad se va a aceptar?

Ver por ejemplo Estrella Sierra Provenza

Otra concepcin comn consiste en decir que un indicador es una caracterstica observable de un fenmeno" y tambin la observacin singular de un hecho5. En este caso se habla de dos cosas distintas y aunque las dos se refieren a la observacin, la primera lo asimila a conceptos y la segunda a fenmenos. El contenido del concepto, en este caso, depende de lo que se est pensando en un momento dado. Por otra parte al referirlo a la realidad y no a la representacin de la realidad, se introducen categoras de la realidad que no estn suficientemente precisadas como observable. Por ltimo nos referiremos a otra situacin comn en la literatura que para nosotros limita el uso del concepto de indicador, se trata de considerar como indicador social a la medida estadstica de un concepto o de una dimensin de un concepto o de una parte de aquella, basada en un anlisis terico previo e integrador en un sistema coherente de medidas semejantes, que sirva para describir el estado de la sociedad y la eficacia de las polticas sociales6. En este caso se limita el trmino a los indicadores numricos y, ms propiamente, estadsticos, otra vez est muy ligado a la realidad, muy ligado al punto de vista, al enfoque de lo que se est haciendo. Esto llega a precisarse en la forma: los indicadores son definiciones operacionales o componentes de un modelo, medidas de fenmenos, expresiones numricas o datos informativos de hechos sociales, o bien concreciones estadsticas. La variable que se utiliza como indicador debe ser una variable directamente medible cuyos valores se determinan con relativa facilidad. Al mostrar la relacin que se establece entre los indicadores y la realidad, se observa adems una tendencia a la seleccin de ciertas caractersticas de la realidad (observables, evidentes, empricas, perceptibles), resulta claro que el origen de esta asociacin es esta caracterstica que deben poseer los indicadores; se est pensando que la variable que se utiliza como indicador debe ser directamente medible, si es posible por observacin. La caracterstica que estamos considerando no es absoluta, lo de ser directamente medible puede ser relativo, pero se trata de reconocer que en la bsqueda de indicadores se debe perseverar hasta encontrar aquellos que se pueden medir con ms facilidad en el contexto dado. La relacin que se establece entre el indicador y el indicado es de tipo indirecta, es decir implicativa o probable: si el indicado es tal entonces el indicador es mas cual, pero el indicador puede ser mas cual por otras razones. Como hemos dicho antes, los valores de la variable que estoy utilizando como indicador indican o refieren los valores de la variable que estoy midiendo, ahora bien esa referencia o indicacin no es directa sino indirecta; quiere esto decir que no se trata de una relacin en la que los valores del indicador determinen los valores de la variable que estoy midiendo, sino ms bien al contrario. Tratemos de aclarar lo antes planteado mediante un ejemplo: un buen trabajo escolar unido a condiciones adecuadas del entorno escolar facilita que los alumnos aprendan y, por tanto que la promocin sea alta; aqu tenemos una correspondencia que asocia a un buen trabajo escolar una buena promocin. Lo anterior justifica que se utilice la promocin como un indicador de eficiencia escolar y se establezca una correspondencia como la siguiente: Una alta promocin indica un trabajo escolar de calidad y una baja promocin indica un trabajo escolar deficiente. Sin embargo, puede verse que la promocin no determina la calidad del trabajo escolar y que los resultados de promocin pueden deberse a los otros factores asociados. Con mayor propiedad se trata de una relacin de tipo probable en la que el valor del indicador significa que es probable que se tenga un cierto valor de la variable que se mide, pero en la que no es necesario que sea de esta manera. Eso se presenta casi siempre con el uso de los indicadores en Ciencias Sociales y es exactamente uno de los peligros fundamentales de la dependencia extrema en los indicadores, es decir, los indicadores son representantes indirectos, son consecuencia no causa, por tanto yo puedo modificar los indicadores sin modificar el fenmeno al cual estoy haciendo referencia. Probablemente la razn de este fenmeno es que en los procesos sociales son mutivariados y las dependencias son multidimensio5 6

Ver, por ejemplo, Alfredo Tecla Jimnez, Teora, Mtodos y Tcnicas en la Investigacin Social. Mxico 1993. Ver, por ejemplo, Pedro Gonzlez Blanco, Medir en las Ciencias Sociales incluido en Metodologa de la Investigacin Social, Mxico. 7

nales, esto hace que cuando se trabajan slo algunas de esas dimensiones, no se puede determinar el efecto. Esto ltimo puede interpretarse tambin en el sentido de que los procesos sociales no son deterministas, ya que en las relaciones intervienen tantas variables que nunca se pueden llegar a conocer todas y en el proceso mismo de la medicin se modifican los valores de algunas de las variables intervinientes y, lo que es ms importante, que en las mismas condiciones causales se pueden obtener efectos diferentes. Es bueno sealar aqu que de los trminos tienen un carcter relativo, a veces le llamaremos variable, otras veces le llamaremos indicador, otras veces puede ser dimensin. Es decir, el trmino es relativo porque depende del contexto y de la forma en que se lo est utilizando, realmente todos son variables y lo que determina que se use uno u otro trmino es la intencin con la que se est utilizando. Es necesario indicar la correspondencia de valores, es decir, la relacin del indicador con lo indicado. Sobre este aspecto ya hemos hablado pero lo retomamos como una caracterstica independiente para referirnos, sobre todo, al caso de los indicadores multidimensionales, es decir lo que a veces se refiere como sistema de indicadores. En efecto, en el caso de los indicadores unidimensionales se establece la ley de correspondencia con bastante frecuencia, pero en el caso de los llamados sistema de indicadores casi nunca se hacen referencias completas y la consecuencia es que resultan muchos casos en los que no se puede llegar a conclusiones a partir de los datos recolectados. Estamos asumiendo que al utilizar indicadores interesa llegar a tener una valoracin en una escala, por lo menos, ordinal pero cuando se trata de indicadores multidimensionales, es decir de sistemas de indicadores, no es posible establecer un orden multidimensional; esto supone que se debe establecer una correspondencia que lleve la escala multidimensional a una escala ordinal unidimensional. Esto puede hacerse de diferentes formas, las ms usuales son: Decir explcitamente cual es el valor que corresponde a cada uno de los puntos de la escala multidimensional que resulta. Establecer reglas generales que permitan inferir la correspondencia. Utilizar un ndice. Tratemos de aclarar esto mediante un ejemplo. Consideremos un indicador multidimensional fcil de interpretar y representar. Sea, por ejemplo, la actitud de los alumnos, esta cualidad se puede valorar utilizando varios indicadores, escojamos los siguientes: Calificacin promedio Participacin en el trabajo Participacin en las actividades (de la defensa, polticas, sociales) Podran sealarse muchos otros indicadores pero para simplificar utilizaremos slo estos. Cada uno de ellos se medir en una escala ordinal, la primera de cinco valores (E, MB, B, R y M) y las otras dos de tres valores (B, R y M). De esta forma los valores del indicador tridimensional son ternas ordenadas, el primer componente se refiere a la calificacin, el segundo a la participacin en el trabajo y el tercero a la participacin en actividades: E, B, B E, B, R E, B, M E, R, B E, R, R E, R, M E, M, B E, M, R E, M, M MB, B, B MB, B, R MB, B, M MB, R, B MB, R, R MB, R, M MB, M, B MB, M, R MB, M, M B, B, B B, B, R B, B, M B, R, B B, R, R B, R, M B, M, B B, M, R B, M, M R, B, B R, B, R R, B, M R, R, B R, R, R R, R, M R, M, B R, M, R R, M, M M, B, B M, B, R M, B, M M, R, B M, R, R M, R, M M, M, B M, M, R M,M,M

Como se puede apreciar resultan 45 valores del indicador tridimensional y no existe un orden natural entre ellos. De esta forma, no es posible disponer de una escala ordinal que nos permita lograr lo que nos proponamos y para obtenerla necesitamos una regla que nos permita asociar a estos 45 valores los puntos de una escala ordinal 8

simple, por ejemplo de 5 valores, digamos 5,4,3,2,1 (podramos haber escogido de nuevo E, MB, B, R, M pero preferimos utilizar los nmeros con carcter ordinal para evitar confusiones). La correspondencia podemos establecerla utilizando una regla general: 5 - Si no alcanza ninguna valoracin de R o M. 4 - Si alcanza un R y ningn M. 3 - Si alcanza dos M y al menos una calificacin de B o superior. 2 - Si alcanza dos M y ninguna valoracin de B o superior. 1 - En todos los dems casos. Tambin se puede indicar la correspondencia de forma explcita, estableciendo que valor corresponde a cada terna: 5 - Las ternas E, B, B E, R, B B, B, B E, B, R MB, B, B 4 - Las ternas E, R, R; MB, B,R; MB, R, B; B, B, R; B, R, B; R, B, B; E, B, M; E, M, B 3 - Las ternas E, R, M; E, M, R; MB, R, R; MB, B, M; MB, M, B; B, R, R; B, B, M; B, M, B; M, B, B; B, M, B; R, B, R; R, R, B. 2 - Las ternas E, M, M; MB, R, M; MB, M, R; B, R, M; B, M, R; R, B, M; R, M, B; M, B, R; M, R, B; R, R, R; MB, M, M. 1 - En todos los dems casos. Una tercera forma de hacerlo es utilizar un ndice, es decir, una correspondencia que asigna un nmero a cada uno de los valores del indicador; a partir de estos nmeros se puede establecer un orden y asignar categoras. La correspondencia que define al ndice se puede establecer de muchas formas; es importante que se tenga en cuenta que en cada caso se debe hacer de acuerdo al contenido correspondiente, es decir, que la forma de hacerlo El lector puede comprobar que en ambos mtodos se han contemplado todos los casos, pero que representan criterios diferentes de valoracin de los resultados. Esto es importante tenerlo en cuenta, existen muchos procedimientos diferentes para realizar la asignacin; es el investigador quin selecciona uno a partir de los principios y criterios que sustentan su trabajo y el objetivo con el cul se realiza. Esta seleccin, por supuesto, debe ser satisfactoriamente argumentada, es decir, no se trata de una seleccin caprichosa, sino de una determinacin conscientemente asumida por el autor. En todos los casos se debe garantizar la completitud de la correspondencia. 4. Sobre la determinacin de los indicadores. Como hemos visto los indicadores son mediciones indirectas, es decir, dan una referencia sobre el objeto que nos interesa pero no garantizan de manera absoluta el resultado al que "indican"; esto significa, entre otras cosas, que no hay una relacin evidente entre el indicador y lo indicado, no hay garanta, a priori, de que el indicador sea adecuado en el contexto en el que se est utilizando. A pesar de la trascendencia de lo sealado en el prrafo anterior, en muchas investigaciones, artculos y otras producciones cientficas se utilizan indicadores sin una sola palabra de justificacin sobre su uso, sin discutir por qu sirven en el contexto utilizado o por qu los resultados obtenidos indican lo que se infiere. En lo que sigue discutiremos algunas ideas sobre la determinacin de indicadores con un fin determinado. En primer lugar debemos sealar que en la determinacin de indicadores, como en toda actividad cientfica, la primera referencia es al estudio y anlisis terico; a partir del profundo conocimiento terico del objeto o fenmeno que se quiere medir, es que se puede determinar cules son las caractersticas que mejor pueden dar una informacin sobre su estado. As, por ejemplo, la utilizacin del termmetro para la medicin de la temperatura tiene su fundamento en el conocimiento de las leyes que rigen la dilatacin de los cuerpos con el calor. Si bien el ejemplo del termmetro es muy claro para comprender la necesidad de un slido fundamento terico al seleccionar los indicadores, no es muy adecuado a nuestro caso porque en las ciencias sociales, en particular en la investigacin educativa, no existen leyes generales tan bien estudiadas que permitan utilizar indicadores slo a partir de la teora; a pesar de ello, si es necesario tener en cuenta la teora y comprender las relaciones que pueden existir entre el fenmeno a medir y las caractersticas que nos sirven para medirlo. Naturalmente, si bien la teora es imprescindible, no es suficiente, y se hace necesario utilizar procedimientos empricos para la determinacin de los indicadores. En este 9

caso los procedimientos empricos a utilizar estn relacionados en primer lugar con el procesamiento de la opinin de expertos sobre el tema de que se trate. Esto es as porque debido a la caracterstica de los indicadores de ser instrumentos de medicin indirecta, es muy difcil en la mayora de los casos, lograr mediciones objetivas que permitan precisar cules pueden ser los indicadores a utilizar, ni como valorar su eficiencia. La dificultad de la utilizacin de expertos radica en el hecho de que se trata de criterios subjetivos y, por tanto el procedimiento est preado de subjetividad, sometido a influencias externas como la posibilidad de una doble interpretacin, que sean criterios no bien pensados, que respondan a presiones de medios oficialistas o de intereses institucionales y, por tanto, pueden desvirtuar el resultado que se busca.7 Por todas las razones apuntadas antes, se trata de encontrar formas y mtodos que permitan aplicar el mtodo de expertos pero limitando al mximo la influencia de los factores subjetivos sealados, es decir tratando de garantizar la mayor objetividad posible. Una forma de hacer esto es, por una parte utilizar algunas de las caractersticas del mtodo Delphi8 y por otra parte tratar de dar objetividad a los criterios utilizando la introduccin de escalas. Del mtodo Delphi es conveniente utilizar la caracterstica de consultar ms de una vez a cada experto de modo que tenga la ocasin de ver como se distribuyen las opiniones de los restantes expertos, comparar esta distribucin con su propio criterio y decidir si lo reafirma o si realmente debe repensarlo ante las opiniones de otras personas que son tambin expertas en el tema. No recomendamos repetir estas consultas varias veces para buscar concordancia entre los expertos (como se hace en el mtodo Delphi) porque eso puede dar lugar a una influencia recproca demasiado fuerte que distorsione los criterios verdaderos y, adems, no se trata de que concuerden sino de utilizar sus criterios y tratar de darles objetividad mediante un proceso de escalamiento. Para lograr la objetividad a partir de los criterios subjetivos de los expertos nos apoyamos en dos leyes de la psicologa social: Ley de los juicios comparativos. Ley de los juicios categricos.9 La primera de estas leyes expresa que la frecuencia de las preferencias de un indicador ante otro es una funcin de la intensidad con que ambos poseen la caracterstica considerada. La segunda expresa que las frecuencias de preferencia de un indicador poseen una caracterstica a escalar, que refleja la intensidad con que posee la caracterstica considerada. De esta forma se expresa el hecho de que la coincidencia de criterios subjetivos permite la elaboracin de una escala que posee ciertas condiciones de objetividad. Ambas leyes poseen expresiones matemticas a las que no haremos referencia pues el trabajo se dedica a un crculo muy amplio de lectores y no son imprescindibles para lo que nos proponemos. De los diferentes modelos de escalas que se pueden utilizar sugerimos la utilizacin del modelo de Torgerson10 que es un desarrollo del modelo de Thurstone, la razn es que este modelo permite no slo asignar un valor de escala a cada objeto sino determinar lmites entre las categoras y, de esta forma, se puede llegar a una escala ordinal en la que cada indicador corresponda a una categora semejante a las que utilizamos para recoger la opinin de los expertos. Este modelo se basa en los presupuestos siguientes: Cada objeto (en nuestro caso indicador) se corresponde con la dimensin subjetiva de una variable aleatoria distribuida normalmente, cuya media, m, es el valor de escala de ese objeto. Todas las varianzas son iguales. Cada lmite de categora se corresponde con la dimensin subjetiva de una variable aleatoria distribuida normalmente cuya media, t, es el valor de escala de este lmite. Todas las varianzas son iguales. Las variables aleatorias que representan tanto a los objetos como a los lmites son independientes. Regla de decisin: un objeto a pertenece a la k-sima categora cuando su valor de escala xa est entre los valores de los lmites de orden k-1 y k.
Ver Oate y otros Utilizacin del mtodo Delphi para la pronosticacin. Una experiencia inicial. Ibidem 9 Ver, por ejemplo, Friedrich Walter y otros Mtodos de investigacin Social Marxista Leninista. Editorial de Ciencias Sociales, La Habana 1988. 10 Ver, por ejemplo, Sydow Hubert y otros Psicologa Matemtica Editora Alemana de Ciencias. Berln 1983 (en alemn). 10
8 7

Las hiptesis sobre la correspondencia entre los objetos y lmites con las variables aleatorias se basan en las leyes psicolgicas mencionadas anteriormente, la hiptesis suplementaria de normalidad parece natural a partir del hecho de que los criterios de los expertos dependen de muchas condiciones que son independientes entre s y, por ltimo, para lograr la hiptesis de independencia es necesario que no se trate de lograr concordancia entre los expertos, sino que realmente sus opiniones sean independientes unas de otras. Para ver como podemos hacer esto recordemos que las escalas se pueden considerar como: "instrumentos estandarizados que permiten expresar, en forma numrica, la posicin relativa de un objeto en un continuo"11, en nuestro caso estamos convirtiendo los juicios ordinales, emitidos por expertos independientes, acerca de los indicadores en un instrumento que nos permita expresar su posicin relativa en un continuo. Para hacer esto, se requiere en primer lugar enfrentar a los expertos con una escala ordinal en la que deben situar a cada indicador, al confeccionar esta escala es conveniente tener en cuenta la recomendacin de considerar un nmero impar de valores en la escala. Esto es natural, basta recordar nuestra propia experiencia: enfrentados ante un grupo de alumnos lo primero que distinguimos es cuales son los mejores y cules los menos capaces, el grupo restante constituye el punto medio de la escala. Con un poco de ms conocimiento subdividimos el grupo central en otros tres y as sucesivamente, si no disponemos del grupo central seremos menos precisos pues colocaremos en el grupo superior algunos del inferior y viceversa. En el proceso descrito en el prrafo anterior es claro que mientras menos categoras utilicemos ms precisas sern las ubicaciones pero la informacin ms pobre; al aumentar el nmero de categoras, aumenta la riqueza de la informacin pero se pierde precisin. Estudios realizados indican que el punto ptimo es la escala de 7 valores (Esser, RDA 1968), aunque por razones histricas en nuestro pas utilizamos mejor las escalas de 5 categoras. Para transformar la escala ordinal subjetiva en una escala continua objetiva, haremos uso de las leyes mencionadas anteriormente y de la frecuencia con la que se selecciona cada indicador en cada categora. En primer lugar, a partir de la definicin de la probabilidad en trminos de frecuencia, consideraremos que la frecuencia relativa con la que se selecciona un indicador en una categora es la probabilidad de que sea seleccionado. De aqu se sigue que la probabilidad de que un indicador sea seleccionado en una de las primeras k categoras, es decir, que su valor de escala este por debajo del lmite superior de la k-sima categora se corresponde con un valor del dominio de la distribucin normal, valor que debe ser proporcional a la diferencia entre el valor de escala del indicador y el valor de escala del lmite superior de la k-sima categora: Sea xik el valor mencionado, las hiptesis hechas significan que (1) xik = c(tk - mi) donde tk es el valor de escala del lmite superior de la k-sima categora. mi es el valor de escala del i-simo indicador. xik es el valor que corresponde a la probabilidad pik pik es la probabilidad de que el i-simo indicador est en la k-sima categora, esta probabilidad se mide por la frecuencia relativa con que es seleccionado el indicador en esa categora. c es una constante que depende nicamente de la unidad seleccionada en la escala. Al seleccionar la escala tenemos dos grados de libertad, uno est asociado a la unidad escogida y se determina por el valor de c y el otro est asociado al punto en el que site el cero de la escala. Para simplificar los clculos subsiguientes, hacemos uso de estos grados de libertad escogiendo la unidad de la escala de modo que c=1 y escogemos la posicin del cero de tal manera que la suma de los valores de escala de todos los indicadores sea 0, esto significa que estamos utilizando valores que poseen una "cierta simetra" respecto al cero. Con estas elecciones la ecuacin (1) se convierte en: xik = tk - mi (2) Aqu hay que tener en cuenta que al llegar a la ltima categora la probabilidad es 1 y, por tanto, el valor del dominio se indefine por lo que el mayor lmite superior que
11

Ver Scheuch E. K. Mtodos de escala en la investigacin social en Knig R. Manual de investigacin social emprica. Stuttgart. 1962 11

podemos calcular es el que corresponde a la categora m - 1, a partir de l se extiende la ltima categora para la que no hay lmite superior, como no hay lmite inferior para la primera categora. Si sumamos los valores correspondientes a los n indicadores obtenemos:
i =1

xik = n

tk

(3) ya que la suma de las mi es cero.

De aqu resulta que los valores de los lmites de las categoras pueden ser calculados: tk =

1 n xik n i =1

(4) para cada una de las m categoras (k de 1 a m -1)

Sustituyendo este valor en la ecuacin (2), obtenemos: xik =

1 n xik - mi n i =1

(5)

Sumando estas expresiones para los m -1 lmites superiores de las categoras se obtiene para cada indicador:
m 1 i =1

xik =

1 m 1 n xik - (m - 1) n k =1 i =1

mi

que se transforma en

(m -1)

mi =

m 1 1 m 1 n xik - xik n k =1 i =1 i =1

y, finalmente, despejando mi

mi =

m 1 n 1 1 m 1 xik - m xik n (m 1) k =1 i =1 i =1

(6)

Para aquellos a quines cuesta trabajo seguir una fundamentacin matemtica y que no gustan de las expresiones sintticas de la matemtica, parafraseamos las ecuaciones (4) y (6) que determinan los valores de escala de los lmites de las categoras y los indicadores, respectivamente. La ecuacin (4) significa que para calcular el valor de escala del lmite de una categora se suman los valores correspondientes a las probabilidades para los n indicadores en esa categora y se divide la suma por n (nmero de indicadores). La ecuacin (6) significa que para calcular el valor de escala que corresponde a un indicador, se suman los valores que corresponden a las probabilidades para todos los indicadores y los lmites superiores de las categoras, excepto la ltima, se divide ese resultado por el producto del nmero de indicadores por el nmero de categoras disminuido en 1 y de l se resta la suma de los valores correspondientes del dominio correspondientes a las probabilidades acumuladas del indicador, para todas las categoras menos la ltima, dividida por el nmero de categoras disminuido en 1. Ilustremos lo dicho mediante un ejemplo. Supongamos que se somete a un grupo de 50 expertos un conjunto de 6 indicadores, para medir determinada caracterstica, cada experto debe colocar cada indicador en una de 5 categoras: C1- Imprescindible para medir la variable. C2- Muy til para medir la variable. C3- til para medir la variable. C4- Quizs podra servir para medir la variable. C5- No aporta nada a la medicin de la variable. Una vez realizada la consulta con los expertos se obtiene la tabla de frecuencia representada en la siguiente matriz:

12

Indicadores I1 I2 I3 I4 I5 I6

C1 5 10 12 18 19 20

C2 6 10 17 10 10 5

MATRIZ DE FRECUENCIAS C3 C4 C5 9 15 11 7 6 10 10 10 5 10 9 5 20 5 5 5 6 10

TOTAL 50 50 50 50 50 50

En esta tabla aparecen reflejadas las frecuencias absolutas que corresponden a cada indicador en cada categora, como necesitamos pasar a probabilidades, es conveniente introducir frecuencias relativas y como queremos utilizar la distribucin normal es conveniente que esas frecuencias relativas se calculen sobre frecuencias acumuladas. Por esa razn, en primer lugar calculamos la tabla de frecuencias acumuladas: Indicadores I1 I2 I3 I4 I5 I6 C1 5 10 12 18 19 20 MATRIZ DE FRECUENCIAS ACUMULADAS C2 11 20 29 28 29 25 C3 20 35 40 35 35 35 C4 30 45 45 45 44 40 C5 50 50 50 50 50 50

A partir de esta matriz de frecuencias acumuladas ya podemos determinar las frecuencias acumuladas relativas que representan la medida emprica de la probabiliIndicadores MATRIZ DE FRECUENCIAS RELATIVAS (PROBABILIDADES) ACUMULADAS C1 C2 C3 C4 C5 I1 0.10 0.22 0.40 0.60 1.00 I2 0.20 0.40 0.70 0.90 1.00 I3 0.24 0.58 0.80 0.90 1.00 I4 0.36 0.56 0.70 0.90 1.00 I5 0.38 0.58 0.70 0.88 1.00 I6 0.40 0.50 0.70 0.80 1.00 dad de que cada indicador sea situado en esa categora u otra inferior: Como puede observarse, en esta tabla ya la categora C5 pierde inters puesto que es igual a 1 en todos los casos, es decir, el valor mximo de la probabilidad cumulativa. Aqu comprobamos que el ltimo lmite superior no es necesario, como habamos adelantado. Ahora aprovechando la hiptesis de normalidad, determinamos el valor de la distribucin normal inversa acumulada, para obtener los valores que corresponden a las probabilidades calculadas en esa distribucin. IndicadoMATRIZ DE VALORES DE ABSCISAS SUMA res I1 -1.28 -0.77 -0.25 0.25 -2.05 I2 -0.84 -0.25 0.52 1.28 0.71 I3 -0.71 0.20 0.84 1.28 1.62 I4 -0.36 0.15 0.52 1.28 1.60 I5 -0.31 0.20 0.52 1.17 1.60 I6 -0.25 0.00 0.52 0.84 1.11 SUMAS -3.75 -0.47 2.69 6.11 4.58 Aqu ya aparecen, adems las sumas que se necesitan para el clculo. Las sumas de fila representan las sumas de los valores para todas las categoras (menos la 13

ltima) correspondientes a cada indicador (fila); las sumas de columna representan las sumas de los valores para todos los indicadores correspondientes a cada lmite de categora. Los promedios de las columnas representan los valores de los lmites superiores de las categoras (obsrvese que hay solamente 4, pues se redujo una categora) y los promedios de las filas representan el valor que hay que restar del promedio general (promedio de los promedios de columnas) para obtener los valores de escala de los indicadores. El proceso aparece completado en la tabla siguiente: Indicadores I1 I2 I3 I4 I5 I6 SUMAS LIMITES MATRIZ DE VALORES ABSCISAS SUMA PROMEDIO ESCALA -1.28 -0.84 -0.71 -0.36 -0.31 -0.25 -3.75 -0.62 -0.77 -0.25 0.20 0.15 0.20 0.00 -0.47 -0.08 -0.25 0.52 0.84 0.52 0.52 0.52 2.69 0.45 0.25 1.28 1.28 1.28 1.17 0.84 6.11 1.02 -2.05 0.71 1.62 1.60 1.60 1.11 4.58 0.76 -0.513 0.178 0.405 0.400 0.399 0.278 0.19 0.70 0.01 -0.21 -0.21 -0.21 -0.09

Los valores de escala de los lmites de categoras aparecen representados en la siguiente grfica lineal, en la que puede apreciarse de forma ms grfica el resultado del proceso (obsrvese que la primera y la ltima categora quedan abiertas en uno de los extremos, no se necesita ni el lmite inferior de la primera ni el lmite superior de la ltima):

C1 -.62

C2 -.08

C3 .45

C4 1.02

C5

En este grfico se aprecia claramente que el indicador I6 est comprendido en la categora C2 "muy til para medir la variable", que los indicadores del I2 al I5 se encuentran comprendidos en la categora C3 "til para medir la variable", mientras que el indicador I1 se encuentra en la categora C4 "quizs podra servir para medir la variable"; todo esto nos dice que ninguno de los indicadores es realmente imprescindible y que podemos reducir al indicador I1 con lo cual limitamos el nmero de indicadores a cinco y hacemos ms simple la utilizacin de este sistema de indicadores sin una prdida sustancial de informacin. Las tablas anteriores representan un algoritmo simple para la realizacin de los clculos necesarios que puede ser automatizado con facilidad. En realidad estas tablas fueron tomadas de una hoja de clculo Excel en la que se program el algoritmo mencionado. En la grfica siguiente se muestra dicha hoja de clculo con las frmulas necesarias:

14

Indicadores I1 I2 I3 I4 I5 I6

C1 5 10 12 18 19 20

C2 6 10 17 10 10 5

MATRIZ DE C3 C4 9 10 15 10 11 5 7 10 6 9 10 5

C5 20 5 5 5 6 10

2 TOTAL =SUMA( =SUMA( =SUMA( =SUMA( =SUMA( =SUMA(

Indicadores I1 I2 I3 I4 I5 I6

=B3 =B4 =B5 =B6 =B7 =B8

MATRIZ DE =B14+C3 =C14+D3 =B15+C4 =C15+D4 =B16+C5 =C16+D5 =B17+C6 =C17+D6 =B18+C7 =C18+D7 =B19+C8 =C19+D8

=D14+E3 =D15+E4 =D16+E5 =D17+E6 =D18+E7 =D19+E8

=E14+F3 =E15+F4 =E16+F5 =E17+F6 =E18+F7 =E19+F8

Indicadores I1 I2 I3 I4 I5 I6

MATRIZ DE FRECUENCIAS REL =B14/$F14 =C14/$F14 =B15/$F15 =C15/$F15 =B16/$F16 =C16/$F16 =B17/$F17 =C17/$F17 =B18/$F18 =C18/$F18 =B19/$F19 =C19/$F19

=D14/$F14 =D15/$F15 =D16/$F16 =D17/$F17 =D18/$F18 =D19/$F19

=E14/$F14 =E15/$F15 =E16/$F16 =E17/$F17 =E18/$F18 =E19/$F19

=F14/$F14 =F15/$F15 =F16/$F16 =F17/$F17 =F18/$F18 =F19/$F19

Indicadores I1 I2 I3 I4 I5 I6 SUMAS

SUMA PROME ESCALA MATRIZ DE VALORES DE ABSCI =DISTR.NO=DISTR.NO=SUMA(B3 =PROME =$G$43-G36 =DISTR.NORM.ESTAND.INV(B25)=DISTR.NOR =DISTR.NO=DISTR.NO=SUMA(B3 =PROME =$G$43-G37 =DISTR.NORM.ESTAND.INV(B26)=DISTR.NOR =DISTR.NO=DISTR.NO=SUMA(B3 =PROME =$G$43-G38 =DISTR.NORM.ESTAND.INV(B27)=DISTR.NOR =DISTR.NORM.ESTAND.INV(B28)=DISTR.NOR =DISTR.NO=DISTR.NO=SUMA(B3 =PROME =$G$43-G39 =DISTR.NO=DISTR.NO=SUMA(B4 =PROME =$G$43-G40 =DISTR.NORM.ESTAND.INV(B29)=DISTR.NOR =DISTR.NO=DISTR.NO=SUMA(B4 =PROME =$G$43-G41 =DISTR.NORM.ESTAND.INV(B30)=DISTR.NOR =SUMA(B36:B41) =SUMA(C36=SUMA(D36=SUMA(E3 =SUMA(F3

En esta hoja de clculo basta insertar de manera conveniente filas y columnas para ampliar el nmero de indicadores y categoras que se pueden analizar; por supuesto un lector ms experimentado en el uso de las hojas de clculo puede programar la hoja para cualquier nmero de filas y columnas, de esa forma resultar ms elegante, pero no es imprescindible hacerlo para obtener el resultado deseado. De todo lo que llevamos dicho hasta ahora, se infiere un procedimiento que puede ser utilizado cuando se quiere determinar indicadores para medir una variable determinada en una investigacin: Revisin terica de aspectos relacionados con la variable o variables objeto de estudio para poder tener criterios propios acerca de cules podran ser, en principio, un grupo de indicadores a utilizar. Esta revisin incluye una bsqueda exhaustiva en la literatura publicada y en las investigaciones afines a las que el investigador tenga acceso. Consultas informales a expertos para ir ampliando los puntos de vista que se han asumido a partir del estudio terico, y de la propia experiencia del autor. En estas consultas el investigador debe tratar de confrontar sus puntos de vista y, al mismo tiempo, apropiarse de ideas nuevas que le permitan ver el problema desde un ngulo ms amplio y le acerquen a nuevas caractersticas en las que no haba pensado. Confeccin de una bolsa inicial de posibles indicadores como conclusin de los dos pasos anteriores. Seleccin de los expertos. Para ello hay procedimientos que permiten decidir si

15

realmente son expertos del problema que se est investigando y tienen posibilidades de aportar a la toma de decisiones al respecto. Estos expertos deben estar "contextualizados", es decir, deben no slo tener dominio del problema en estudio, sino estar inmersos en el contexto en el que se realiza el estudio. Un experto que tenga dominio terico del problema en general, pero que no conozca la situacin real del pas en el momento en que se realiza el estudio, no es recomendable para ser utilizado. Esto es an ms importante en Educacin. Realizacin de la consulta a expertos para recopilar el nivel de satisfaccin con la bolsa inicial. Para ello es recomendable utilizar algunas caractersticas del mtodo Delphi como sealamos antes, pero sin llegar a la concordancia absoluta de los expertos lo que hara a la consulta perder la naturaleza independiente de las variables aleatorias introducidas. Aplicacin de tcnicas estadsticas, esto significa en particular utilizar el mtodo de escalas para llegar a reducir el nmero de indicadores de la bolsa inicial sin perder informacin sustancial y si es necesario utilizar tcnicas factoriales, para determinar cules son los indicadores obtenidos permiten valorar mejor la variable que se quiere medir y, si llegara el caso realizar agrupaciones de indicadores en otros nuevos. Dar peso a los indicadores, o sea asignarle una escala que establezca la influencia que tiene, o sea la fuerza, en la variable que est siendo medida, esto debe facilitar la elaboracin de un ndice con el que puede resultar ms fcil la reduccin de la variable a una escala ordinal. Diseo de los instrumentos para medir. Esta es la parte de la confeccin de los instrumentos que permitan precisar cmo utilizar los indicadores para medir la variable original. Construccin de la escala, o sea, formular criterios para decidir qu valores dar a los indicadores y la ley de correspondencia que permitan asignarle un valor a la variable original a partir de los valores asignados a los indicadores utilizados para medirla. En este procedimiento, por supuesto, la calidad de los resultados depende de la pertinencia de los expertos y de su nmero. De la pertinencia de los expertos hablaremos en el apartado siguiente, ahora diremos algo sobre el nmero. No existen reglas para determinar el nmero ptimo de expertos a incluir en la consulta, en la determinacin de este nmero inciden dos factores que se oponen dialcticamente: por una parte mientras ms expertos se incluyan ms objetivo es el resultado obtenido (en virtud de las leyes psicolgicas mencionadas antes y de las leyes de la probabilidad), pero mientras ms expertos se incluyen, aumenta el riesgo de incluir personas que realmente no tienen las condiciones necesarias. Ilustremos lo dicho en el prrafo anterior mediante un ejemplo. Supongamos que disponemos de 30 expertos y que el coeficiente de confiabilidad de cada experto es slo 0.5 (es decir que acierta en sus criterios slo el 50% de las veces), entonces la probabilidad de que 20 ms de ellos acierten por azar (es decir, sin una razn que lo determine) es menor que el 5%, si consideramos que los expertos han sido seleccionados con ms acierto y su coeficiente de confiabilidad es de 0.8 (es decir, aciertan en sus criterios el 80% de las veces), la probabilidad de que 20 o ms de ellos acierte por casualidad es menor que el 3% y si el coeficiente llega a ser de 0.9, la probabilidad se hace menor que 0.01%. Estos porcentajes disminuyen rpidamente si el nmero de expertos crece; estas razones son las que fundamentan la afirmacin de que la coincidencia de un gran nmero de expertos transforma la subjetividad de cada experto en la objetividad del grupo de expertos. De esta forma es el investigador quin debe decidir cuntos expertos incluye en la consulta; debe tratar, segn hemos visto, que el nmero sea lo mayor posible, pero sin que pierdan su condicin de verdaderos expertos, de acuerdo a las necesidades del investigador; siempre debe tener en cuenta lo que hemos mostrado con los ejemplos del prrafo anterior, ellos muestran que es conveniente tratar de que sean por lo menos 30, aunque no es un nmero que deba tratar de conseguirse an a riesgo de perder la calificacin de los expertos. 5. Sobre la seleccin de los expertos.

16

Al utilizar el mtodo de expertos como procedimiento emprico para la seleccin de indicadores, estamos depositando gran parte de la confiabilidad del proceso en los hombros de los expertos que se seleccionen. Esto significa que la calidad de nuestro trabajo depende en gran medida de la calificacin de los expertos que seleccionemos. De aqu que la seleccin de los expertos sea un aspecto esencial del trabajo a realizar. A pesar de lo dicho en el prrafo anterior, es usual que en las investigaciones pedaggicas se seleccionen expertos a partir del criterio subjetivo del investigador o guindose por ttulos adquiridos o por la imagen social. Es claro que estos criterios preados de subjetividad no garantizan que los expertos renan las condiciones necesarias para contribuir a obtener la calidad requerida en la seleccin de los indicadores y es por eso que se necesita recurrir a procedimientos que permitan realizar la seleccin de una manera mas objetiva. Existen diferentes procedimientos para objetivar la seleccin de expertos. Estos procedimientos pueden ser de tres tipos: Los que descansan en la autovaloracin de los expertos. Los que descansan en la valoracin realizada por un grupo. Los que descansan en alguna evaluacin de las capacidades del experto. Un procedimiento completo y sencillo del primer tipo es el que consiste en la determinacin del llamado coeficiente k12. En este procedimiento se toma en cuenta la autovaloracin del experto acerca de su competencia y de las fuentes que le permiten argumentar sus criterios. De esta forma este coeficiente se conforma a partir de otros dos: kc Es el coeficiente de competencia del experto sobre el problema que se analiza, determinado a partir de su propia valoracin. Para determinarlo se le pide al experto que valore su competencia sobre el problema en una escala de 0 a 10. En esta escala el 0 representa que el experto no tiene competencia alguna sobre el problema y el 10 representa que posee una informacin completa sobre el tema. De acuerdo a su propia autovaloracin el experto sita su competencia en algn punto de esta escala y el resultado se multiplica por 0.1 para llevarlo a la escala de 0 a 1. ka Es el coeficiente de argumentacin que trata de estimar, a partir del anlisis del propio experto, el grado de fundamentacin de sus criterios. Para determinar este coeficiente se le pide al experto que indique el grado de influencia (alto, medio, bajo) que tiene en sus criterios cada una de las fuentes: Anlisis tericos realizados por l mismo, su experiencia, los trabajos de autores nacionales, los trabajos de autores extranjeros, su conocimiento del estado del problema en el extranjero, su intuicin. Las respuestas dadas por el experto se valoran de acuerdo a una tabla como la siguiente: Fuentes de argumentacin Grado de influencia de cada una de las fuentes sobre l A (alto) M (medio) B (bajo) realizados 0.3 0.2 0.1 0.5 0.05 0.05 0.05 0.05 0.4 0.05 0.05 0.05 0.05 0.2 0.05 0.05 0.05 0.05

Anlisis tericos por l Su propia experiencia Trabajos de autores nacionales Trabajos de autores extranjeros Su conocimiento del estado del problema en el extranjero Su intuicin

La suma de los puntos obtenidos, a partir de las selecciones realizadas por el experto, es el valor del coeficiente ka. Con estos datos se determina entonces el coeficiente k, como el promedio de los dos anteriores, es decir: k + ka k= c 2
12

Ver Oate Norma y otros, obra citada.

17

De esta forma resulta para el coeficiente de competencia un valor comprendido entre 0.25 (mnimo posible) y 1 (mximo posible). De acuerdo con los valores obtenidos se tendr un criterio para decidir si el experto debe ser incluido, si su criterio debe tener un peso alto o bajo, etc. Adems de la competencia, hay que tener en cuenta otras caractersticas del experto como son: creatividad, capacidad de anlisis, espritu autocrtico y su disposicin a participar en el trabajo, as como su posibilidad real de hacerlo, entre otras. Aunque no se disponga de un criterio confiable para objetivar la creatividad del experto, es claro que se debe de alguna manera realizar una valoracin que permita tener una apreciacin de su grado de creatividad dado que se le va a enfrentar a situaciones en las que no hay caminos trillados, en las que tiene importancia su capacidad para reaccionar frente a situaciones nuevas. De la misma forma, no se dispone de recursos objetivos para evaluar la capacidad de anlisis, pero es imprescindible tenerlo en cuenta ya que de ello depende la posibilidad de que el experto comprenda la situacin y pueda utilizar sus conocimientos para dar un juicio confiable. El espritu autocrtico, aunque tampoco puede ser valorado objetivamente, es imprescindible para que el coeficiente de competencia refleje de una manera fiable las capacidades del experto. Finalmente, por muy capaz que sea un experto si no est interesado en participar en el trabajo, o se ve comprometido a hacerlo pero su carga de trabajo no le permite dedicarle toda la atencin requerida, entonces no va a realizar los anlisis con toda la profundidad necesaria y puede comprometer el resultado del trabajo. Naturalmente todo lo que hemos dicho hasta aqu representa slo una opcin para la seleccin de los expertos a partir de su autovaloracin (de la misma forma en que sern slo opciones lo que digamos de los restantes tipos de criterios) y puede ser modificado a partir de la bibliografa consultada, de la experiencia del investigador o de sus propios criterios. Lo que realmente resulta imprescindible es que se disponga de un criterio sistemtico para la seleccin de los expertos. En particular, los criterios basados en la autovaloracin son preferidos en muchos casos a partir de la creencia de que nadie mejor que el propio experto puede valorar su competencia. Los procedimientos que descansan en la valoracin realizada por un grupo pueden ser aplicados de varias formas. Entre ellas vale la pena mencionar: Seleccionar un grupo de expertos mayor que el que se va utilizar a partir de criterios previos y consultas realizadas de manera informal. Realizar entonces una consulta por escrito en la que cada uno de los expertos d su valoracin sobre todos ellos, de manera annima y utilizando una escala de 0 a 10 para cada una de las caractersticas que se desea evaluar. Hacer el mismo tipo de consulta pero con un grupo de personas que conozcan a los expertos y tengan criterios sobre su competencia y dems caractersticas. Tanto en este caso como en el anterior se incluyen en cada consulta a todos los expertos que resulten conocidos para el grupo que evala. En ambas formas de proceder es imprescindible garantizar el anonimato de los criterios recogidos y explicar con detalle a las personas que van a dar opiniones que se trata de conocer sus criterios personales, que cada uno va a expresar el resultado de su valoracin subjetiva, pero que eso no ser lo que determine, sino la objetivacin de esos criterios al reunir todos los expresados por el grupo. En la consulta por escrito se reflejarn una serie de caractersticas de los expertos que se consideren fundamentales para la seleccin y sobre las cules puedan tener criterios los evaluadores que estamos utilizando, tales pueden ser: competencia referida al tema que nos interesa, contextualizacin, creatividad, capacidad de anlisis, espritu autocrtico y posibilidades reales de participar en el trabajo (no intencin, sino posibilidad real). Cada uno de estas caractersticas las evalan entonces en una escala de 1 a 5 (la prctica demuestra que en nuestro pas se valora mejor en una escala de este tipo) en la cul el 1 significa que no est apto y el 5 que es completamente apto y se realiza una valoracin ordinal. Las valoraciones recibidas por cada experto en cada caracterstica se promedian y el promedio de estos promedios permite dar una ubicacin a cada experto en la escala de 1 a 5 utilizada. La decisin final la toma el investigador seleccionando aquellos expertos que estn mejor situados en la escala, segn las posibilidades que tenga y el

18

nmero que vaya a utilizar. Este procedimiento le permite tambin tener una valoracin de la consideracin que se tiene de cada experto en el colectivo escogido y tenerlo en cuenta a la hora de tomar sus decisiones y argumentar sus resultados. Los mtodos que descansan en alguna valoracin de las capacidades del experto, parten de pedir al experto su valoracin sobre situaciones para las que es conocida o, al menos aceptada, una determinada solucin. A partir de los aciertos del experto se llega entonces a una decisin sobre si se usa o no, o se llega a la conclusin de que se requiere ms informacin.13 Una forma de lograr esto es mediante un grfico como el que se muestra en la figura siguiente:
Competencia de expertos

N aciertos

Regin de aceptacin

a1

Duda

Regin de rechazo N ensayos

a0

Aqu se ha trazado un sistema de coordenadas en el que las abscisas representan el nmero de pruebas a que se someti al experto y e las ordenadas el nmero de aciertos que tuvo. De esta forma cada experto estar representado por un punto, que puede resultar en cualquiera de las regiones que se refieren a continuacin En el sistema de coordenadas se han trazado dos rectas paralelas, una corta al eje de las ordenadas en a1 y la regin situada por encima de ella es la regin de aceptacin del experto. La otra corta al eje de las ordenadas en a0 y la regin situada por debajo de ella es la regin de rechazo del experto. Si los datos del experto se sitan entre ambas rectas es necesario realizar ms ensayos para llegar a una determinacin pues con los datos obtenidos y las determinaciones anteriores no es suficiente para llegar a una decisin. Para determinar las rectas que limitan las regiones, se necesita tomar primero algunas decisiones como: Proporcin lmite de decisiones correctas por debajo de la cul se debe rechazar al experto (p0) Proporcin lmite de decisiones correctas por encima de la cul se debe aceptar al experto (p1) Significacin de la prueba a realizar, es decir, probabilidad aceptada de cometer un error de tipo I (es decir, probabilidad de rechazar a un experto cuando se le deba aceptar, ) Potencia de la prueba a realizar, es decir, complemento de la probabilidad de cometer un error de tipo II (es decir, complemento de la probabilidad de aceptar a un experto cuando se le deba rechazar, 1-)
13

Ver por ejemplo, Amerina, Penborn y Reussler. Anlisis secuencial de Wald y Roo en Principles of sensory evaluation of Food A.P. London, New York .1965. 19

A partir de estas determinaciones se calculan entonces los parmetros necesarios para definir las rectas: K1 = log(p1) - log(p0) K2 = log(1-p1) - log(1-p0) e1 = log() - log(1-) e2 = log(1-) - log() Con estos parmetros los puntos de corte sobre el eje de las ordenadas resultan: e1 a0 = K1 K 2 e2 a1 = K1 K 2 y la pendiente comn para ambas rectas es: K2 b= K1 K 2 y las ecuaciones de las rectas limitantes son: L1 : C = a1 + b n L0 : C = a0 + b n en las que n representa el nmero de ensayos de cada experto evaluado y C el nmero de decisiones correctas en ese nmero de ensayos. Aqu tambin se trata de una forma de llevar a cabo la seleccin de los expertos a partir de un procedimiento que descansa en la evaluacin del experto; por supuesto, pueden disearse otros procedimientos, pueden cambiarse las expresiones y los parmetros utilizados lo que si no es recomendable es renunciar a la utilizacin de criterios que tomen en cuenta los errores de tipo I y II que pueden cometerse (no existe un procedimiento infalible) y la decisin consciente del investigador sobre el margen de error que puede admitir (precisin de la decisin). 6. Conclusiones A lo largo de este trabajo hemos querido resaltar el hecho bsico de que independientemente de la posicin personal del investigador en la pugna culitativo-cuantitativo, la utilizacin de indicadores (sean cualitativos o cuantitativos) debe hacerse de forma tal que se alcance objetividad reflejada en el hecho de que a partir del conocimiento de los criterios que utiliza el investigador, cualquier persona puede seguir su razonamientos y comprender sus conclusiones. Esta es la razn fundamental por la que se debe tomar en cuenta la naturaleza del indicador como variable y la precisin de su dominio y de la correspondencia entre este y la escala ordinal que interesa al investigador; naturalmente los criterios del investigador para determinar esta correspondencia, la escala ordinal y el dominio dependen de sus concepciones, y no necesariamente sern compartidas por todos, pero una vez precisadas estas, si debe ser claro para cualquier lector como se obtienen las conclusiones. Adems, hemos querido llamar la atencin sobre el hecho de que los indicadores deben corresponder a las caractersticas que pretenden medir, esto significa que el investigador tiene que dedicar atencin a la determinacin de los indicadores y ser capaz de defender su decisin, estar en posesin de argumentos que convenzan sobre la justeza de los indicadores utilizados. No se trata de que necesariamente se proceda como se sugiere en el trabajo, el procedimiento puede ser otro bien diferente, pero debe estar bien fundamentado y poder ser sostenido en una discusin abierta. Finalmente, aprovechando la utilizacin de expertos en la determinacin de indicadores, hemos querido traer a primer plano un aspecto esencial del mtodo de expertos, la determinacin misma de los expertos a la que se dedica muy poca atencin en la mayora de los casos y en otras se da por sentado que cualquiera que trabaja en el rea bajo anlisis es un experto. Este trabajo habr logrado su objetivo si los lectores se vuelven ms reflexivos en estos temas y antes de tomar decisiones que pueden ser trascendentes en una investigacin, analizan la situacin y escogen (o disean) los procedimientos que van a utilizar para dar mayor objetividad a sus resultados.

20