1.

- Evaluacin de Programas tanto en el mbito investigativo como en el acadmico

La evaluacin es una ciencia social de gran actualidad cuyo ingente potencial no se discute, pero que an no ha llegado a su rendimiento ptimo. Se vale de los mtodos y el instrumental de la investigacin social, pero no basta el conocimiento de estos para lograr el desempeo de las funciones que requiere el evaluador, pues su marco de accin es, sin duda, de una complejidad diferente. (Carol H. Weiss, 1985). Adentrarnos en el anlisis de la relacin evaluacin e investigacin nos obliga a examinar conceptualizaciones alternativas de evaluacin. Stufflebeam y Shinkfield (1995) establecen tres grupos amplios de tipos de evaluacin: Pseudoevaluaciones, Cuasievaluaciones y verdaderas evaluaciones. Las pseudoevaluaciones incluyen, en primer, lugar las evaluaciones polticamente orientadas (o encubiertas), que son dirigidas o utilizadas subrepticiamente para provocar un punto de vista determinado, positivo o negativo, sobre un objeto, independientemente de la valoracin objetiva de su valor o mrito. Los charlatanes y los manipuladores utilizan a menudo la evaluacin de una manera inadecuada para lograr sus objetivos. Puede que recopilen la informacin rigurosamente, pero no revelan las verdaderas conclusiones, o lo hacen demodo selectivo, o incluso las falsifican, engaando tanto a la gente como a s mismos. (Stufflebean y Shinkfield, 1995: 68). La intencin de este tipo de evaluacin es conseguir asistencia para obtener, mantener o incrementar una esfera de influencia, poder o dinero. Los problemas que plantea son los que interesan al cliente, quien quiere que la informacin sea tan slida tcnicamente como sea posible, pero tambin que se le garantice la posibilidad de controlar su divulgacin para crear una falsa imagen del valor de un objeto, programa o proyecto. Otro tipo de pseudoevaluaciones son los estudios basados en las relaciones pblicas, planificados, realizados y utilizados para satisfacer propsitos que tengan que ver con las relaciones pblicas. Buscan informacin que pueda ser de ayuda para asegurar el apoyo del pblico. Los mtodos que se usan ms frecuentemente en este tipo de estudios son las inspecciones, las pruebas y la utilizacin de asesores expertos. La principal caracterstica de la utilizacin de mtodos dudosos por parte de este tipo de evaluadores

es su propensin a crear una buena imagen del objeto de evaluacin. Por otro lado es ms probable que el evaluador externo se haya sometido a un entrenamiento especial en la evaluacin de programas y que tambin tenga experiencia en otras situaciones que pueda aplicar en esta oportunidad. Los evaluadores externos adquieren en el ejercicio de su profesin una gran habilidad para determinar los asuntos claves que deben ser evaluados, los indicadores ms adecuados y las mejores estrategias y diseos para la recoleccin, el procesamiento, el anlisis y la interpretacin de la informacin. Pero tambin se hacen algunos cuestionamientos a la evaluacin externa tales como: el evaluador externo no conoce el programa, por tanto invierte gran parte del contrato tratando de comprender sus aspectos formales, pero el ambiente informal y las intimidades propias de cada programa y cada institucin nunca se comprendern. No es fcil compatibilizar los puntos de vista del evaluador externo con los que tiene en los temas de evaluacin el personal del programa. El evaluador externo hace que los costos se incrementen y no propicia una cultura de la evaluacin y del empoderamiento y en algunos casos tiende a crear resistencias frente a los residentes del programa, quienes, a su vez, no consideran que tales evaluadores tengan autoridad suficiente para valorar lo que ellos estn realizando.

La evaluacin institucional se refiere a la evaluacin de una institucin en su nivel de organizacin, de tal modo que uno de sus focos principales de atencin est constituido por las funciones que ella debe cumplir. Entre tales funciones se pueden definir objetivos o metas, pero como momentos puntuales dentro de esas actividades permanentes de la institucin. (Briones, 1991). La evaluacin de programas se refiere a la evaluacin de actividades ms o menos coordinales en torno a objetivos de duracin variable. Estos ltimos son estados o situaciones deseables

y que pueden lograrse mediante la estrategia que el programa utiliza y respecto de los cuales se evalan los resultados alcanzados o no. (Briones, 1991).

2.- la evaluacin institucional y de programas en la actualidad en los sectores pblicos y privados Existen diferentes posiciones en torno a lo que se podra denominar ESCUELAS o ENFOQUES de evaluacin. As, Restrepo (1974) identifica dos grandes escuelas de evaluacin: la que tiene ms en cuenta los resultados y la congruencia de estos con los objetivos, que se denomina EVALUACIN DE PRODUCTO y aquella que presta atencin al contexto, a los insumos, a los procesos y a los productos, que se denomina EVALUACIN GLOBALIZADORA. Por su parte, BRIONES (1991) clasifica los enfoques de evaluacin de los programas sociales en dos grupos: analticos y globales. Los enfoques ANALTICOS se caracterizan por abordar con mayor o menor desagregacin los componentes estructurales del programa, los cuales a su vez estn conformados por caractersticas o variables con las cuales es posible determinar relaciones especficas. Hacia estos componentes, caractersticas o variables se orientan los procesos de recoleccin, seleccin y anlisis de la informacin. Los enfoques analticos tambin admiten evaluaciones parciales de slo algunos componentes atendiendo a las necesidades del programa. Desde la perspectiva epistemolgica, los enfoques analticos son de corte racionalista con posiciones realistas u objetivistas, aunque pueden presentar matices naturalistas y utilizan tanto mtodos cuantitativos como cualitativos de investigacin. Los enfoques GLOBALES pretenden hacer una evaluacin holstica y totalizadora de tal manera que se pueda establecer el significado de las acciones y actividades que se desarrollan dentro del programa. Este enfoque no hace referencia a factores causales ni a variables particulares que pudieran ser sometidos a tratamientos estadsticos. Desde la perspectiva epistemolgica, los enfoques globales son en su mayora de corte

naturalista, subjetivista e idealista y emplean preferentemente mtodos cualitativos de investigacin. En la prctica de evaluacin de programas, con frecuencia se combinan enfoques y procedimientos de uno o ms modelos y, con base en ellos, los investigadores definen su diseo especfico de evaluacin. Lo anterior, tal como lo plantea Briones (1985), no sugiere un eclecticismo arbitrario, sino un esfuerzo terico y metodolgico en la bsqueda de una propuesta que responda a necesidades y requerimientos del programa que se va a evaluar, as como a las caractersticas y limitaciones que existen en la realidad. La evaluacin, referida a objetivos tiene sus orgenes en educacin, donde Ralph W. Tyler desarroll el primer mtodo sistemtico de evaluacin en el cual procur hacer nfasis en una amplia gama de objetos por evaluar como los currculos y las ayudas didcticas, adems de la evaluacin centrada en el estudiante, para lo cual destac la necesidad de establecer, clasificar y definir los objetivos en trminos de rendimiento, como etapa inicial o punto de partida de todo estudio evaluativo. La evaluacin se convirti en un proceso para determinar la congruencia entre los objetivos y las operaciones. Desde luego no existe ninguna investigacin emprica, en la que no haya algn grado de participacin de sus actores: desde la voluntad de ser observados hasta responder cuestionarios o someter a entrevistas en profundidad. Sin embargo, en la evaluacin participativa, la idea es que las personas que pertenecen al programa tomen en sus manos las tareas que implican un estudio de este tipo, con claras ventajas para ellos en lo que toca a lograr los propsitos buscados: aprendizaje grupal e individual, autorealizacin, etc. y, para el programa, mejor determinacin de los problemas, propuesta de soluciones realistas, mayor compromiso de los usuarios, tanto con los objetivos de la evaluacin como con las soluciones (Briones, 1995: 59-60). De manera muy sinttica, la evaluacin participativa es una combinacin de

INVESTIGACON; EDUCACIN-APRENDIZAJE Y ACCIN. Ella tiene como objetivo conocer y analizar una realidad (programa o institucin) en sus momentos constitutivos 3.- el modelo Tyler El pensamiento de Tyler, intenta integrar las vertientes conceptuales y metodolgicas de su tiempo, si bien presenta una dimensin liberal, en tanto invita a los profesores a reflexionar, se centra en un enfoque tnico centrado en una elaboracin racional y deductiva. Bosqueja una forma de considerar un programa de enseanza como instrumento de educacin efectivo. As, fija cuatro cuestiones fundamentales a responder: 1. Objetivos Educativos de la Escuela: Deben definirse con claridad considerando a cada alumno; la vida fuera de la escuela; sugerencias de especialistas en Filosofa y en Psicologa. La formulacin debe realizarse en trminos de contenidos y de aspectos conductuales (que luego se perfeccionaria con la taxonoma de objetivos educacionales de Bloom). 2. Seleccin de experiencias de Aprendizaje: A fin de que el alumno sea capaz de practicar el tipo de conducta requerida y sentir satisfaccin al hacerlo, tener reacciones al nivel de sus posibilidades, realizar reiteradamente experiencias concretas para obtener el mismo objetivo educativo y obtener varios resultados. 3. Organizacin de las Experiencias Educativas: Esta organizacin supone: 1. Definir una organizacin acumulativa de experiencias tanto vertical (a travs de diferentes niveles) como horizontal ( a travs de cuestiones del mismo nivel). 2.Establecer criterios para optimizar la organizacin : Continuidad, secuencia e integracin. 3. Definir los elementos a organizar: Conceptos, valores, destrezas. 4. Discutir los posibles principios de organizacin: Secuencia cronolgica, amplitud creciente de aplicacin, variedad de las actividades. 5. Describir las estructuras organizativas: Lecciones, temas y unidades de trabajo (respetando los criterios de continuidad, secuencia e integracin ). 6. Descirbir las 5 etapas necesarias para planificar una unidad de organizacin: Aprobacin de un esquema general de organizacin, aprobacin de los principios generales de organizacin ; Aprobacin de la unidad de nivel ms bajo a utilizar, desarrollo de planes flexibles o " unidades bsicas", empleo de la planificacin alumno profesor en relacin con las actividades concretas a desarrollar. 4. Evaluacin de las experiencias de aprendizaje: Establece la necesidad de la evaluacin en tanto permiten constata hasta donde las experiencias producen los resultados esperados. Propone nociones bsicas de evaluacin y una descripcin de los procedimientos que supone la definicin de los objetivos a lograr. El modelo de Tyler, racional-cientfico-deductivo y fue retomado ms tarde por Hilda Taba, que ampliara el proceso: diseo-implementacin-evaluacin. Propone la necesidad de estudiar las fuentes de la decisiones curriculares, en cuanto

anlisis sociales, culturales y consecuencias educativas. Pese a las diferencias entre estos autores, coinciden en que para mejorar la educacin, los docentes necesitan aprender a tomar decisiones ms eficientes y cientficas (lo cientfico refiere al modelo definido por la autoridad). Proponen tambin una divisin del trabajo pedaggico: los expertos, se ocuparn de la concepcin y fundamentacin curricular, mientras que los docentes harn su parte a travs de la operativizacin. La pedagoga por objetivos supone finalmente una profundizacin de este modelo que lleva a una versin tecnicista de la enseanza, avalada por el marco terico que propone el conductismo. Y fue la dcada del 70 el perodo de mayor difusin de este modelo. 4.- evaluacin de programas institucionales del sector pblico y privado La evaluacin es una de las actividades fundamentales de los servicios profesionales ms solventes. Los clientes de estos profesionales merecen una asistencia que satisfaga sus necesidades, que sea de una alta calidad, moderna y eficiente. Para que los profesionales se responsabilicen de satisfacer estos niveles, la sociedad debe someter regularmente a evaluacin a los propios servicios profesionales. Una parte del trabajo evaluativo, la que consiste en la regulacin y proteccin del inters pblico, debe, obviamente, ser dirigida por organismos independientes, como agencias gubernamentales y juntas acreditadas. Pero, fundamentalmente, las evaluaciones ms importantes de los servicios profesionales estn realizadas (o encargadas) por los propios profesionales. Para mantener sus servicios al da y asegurarse de que, efectivamente, satisfacen las necesidades de sus clientes, los profesionales deben recabar continuamente informacin oportuna sobre el trabajo evaluativo. Este proceso incluye estudiar las necesidades de sus clientes, evaluar los mtodos que proponen o utilizan otros, seguir muy de cerca el desarrollo del servicio, valorar los resultados a corto y largo plazo y buscar modos de que los servicios sean cada vez ms eficientes y efectivos. La primera pregunta que todo grupo evaluativo exterior debe plantear es si el profesional realiza peridicamente un programa de autoevaluacin que responde oportunamente, con las correspondientes pruebas y evidencias, a estas cuestiones. Desafortunadamente, el alcance de las evaluaciones que realizan los servicios

profesionales por medio de los propios profesionales y sus agentes acreditados ha sido, tradicionalmente, y en el mejor de los casos, desigual y, en general, pobre. Algunos distritos escolares grandes y agencias gubernamentales mantienen sistemas de evaluacin competentes, realizados por un personal adecuado, y los evaluadores de agencia han sabido ayudar a las organizaciones centrales a ser responsables con todos los implicados y a obtener la capacidad de planificar y administrar sus servicios. Pero incluso el ms competente de estos sistemas evaluativos no puede asumir las responsabilidades evaluativas de todos los profesionales de la agencia. No debe olvidarse el hecho de que la evaluacin es una responsabilidad tanto personal como institucional. Las oficinas de evaluacin pueden cubrir las principales responsabilidades de una agencia y proporcionar preparacin para el servicio y ayuda tcnica al personal. Pero, a la larga, de todas maneras, cada profesional debe ser responsable de evaluar su propio trabajo. La evaluacin sistematiza este aprendizaje mediante la vinculacin de todos los interesados en los programas a los cuales se les da la oportunidad de observar cmo marchan estos, cmo se llevan a cabo y cmo responden a las necesidades de la comunidad. Muy ligado a lo anterior es el hecho de que en varios programas, a medida que se evala, se sealan necesidades y no solo se prospectan acciones mejoradoras, sino que se disea una actividad de gestin de las mismas, de modo que al terminar la evaluacin ya varias acciones se encuentran en curso para llenar vacos o corregir deficiencias o modernizar procesos. Teniendo presente lo anterior, no es apropiado hablar de un modelo o enfoque para orientar la evaluacin. Primero que todo porque hay dos momentos distintos en sta: la autoevaluacin y la evaluacin de pares. En efecto, cuando el informe final de la autoevaluacin llegue al CNA, este consejo enva un grupo de pares a contrastar el informe con la realidad de los programas y a contribuir con algunos juicios y sugerencias para la evaluacin final que hace el CNA y para la recomendacin que ste hace al Ministro de

Educacin. Quiere ello decir, entonces, que tenemos dos tipos de evaluacin, una interna y otra externa. La primera, de acuerdo con el esquema lgico planteado y los comentarios del prrafo anterior, seguir una adaptacin del modelo CIP (Stufflebeam, 1971: 1998) combinado con los recientes enfoques de evaluacin-accin (Rothman, 1998) y evaluacin de empoderamiento (Fetterman, 1996: 1998), mientras que la segunda es ms bien del tipo de evaluacin de expertos. La combinacin de los enfoques CIPP, evaluacin-accin y empoderamiento proviene del hecho, ya sealado, segn el cual se quiere que todas las audiencias y dentro de ellas el mayor nmero de personas participen en la autoevaluacin para ganar el mayor aprendizaje organizacional posible, lo cual plantea acciones relacionadas con evaluacin participativa y de empoderamiento, esto es, el uso de conceptos de evaluacin, tcnicas y hallazgos para fomentar la autodeterminacin, la autorregulacin y el mejoramiento de los programas (Fetterman, 1996: 1998), y ello no slo como resultado de todo el proceso, sino a medida que ste avance (Rothman, 1998). Estudiantes y profesores son parte especialmente interesada en el programa y sus contribuciones son muy importantes, tanto para generar nuevos factores y categoras de anlisis, como para identificar problemas y necesidades en el camino y contribuir a disear su solucin.