LA CALIDAD DE LA FORMACIN

21

LA CALIDAD DE LA FORMACIN

21

COLECCIN: CUADERNOS DE TRABAJO

-FORMACIN, EMPLEO, CUALIFICACIONES-

INICIATIVA PROMOVIDA POR EL DEPARTAMENTO DE JUSTICIA, ECONOMA, TRABAJO Y SEGURIDAD SOCIAL. GOBIERNO VASCO
NMEROS PUBLICADOS
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. EDUCACIN Y TRABAJO PRODUCTIVO CAMBIO TECNOLGICO Y REPERCUSIONES EN EL EMPLEO PREVER Y FORMAR ANLISIS PREVISIONAL DE LOS EMPLEOS DEL COMERCIO MINORISTA EN DONOSTIA EXPERIENCIAS DE FORMACIN CONTINUA PARA DIRIGENTES DE PYMES LAS CUALIFICACIONES PROFESIONALES ANTE EL MERCADO NICO LAS MUJERES Y EL MERCADO DE TRABAJO EUROPEO PARO DE LARGA DURACIN EN EUROPA: ESTRATEGIAS Y ACCIONES INVESTIGACIN Y DESARROLLO EN FORMACIN CONTINUA FORMACIN DE FORMADORES: RETOS Y AVANCES GUA 1 FORMACIN PARA LA PYME: COMPETENCIAS GENRICAS DE LOS FORMADORES Y ORGANIZADORES DE PROGRAMAS DE FORMACIN PARA PEQUEAS EMPRESAS 12. 13. NUEVO CONTEXTO SOCIOECONMICO Y ESTRATEGIAS DE DESARROLLO LOCAL CRECIMIENTO, COMPETITIVIDAD Y EMPLEO. ESTRATEGIAS EN LA UNIN EUROPEA. RETOS Y PERSPECTIVAS PARA EL PAS VASCO 14. 15. MANUAL PARA LA ELABORACIN DE PROYECTOS DE DESARROLLO ECONMICO LOCAL Y EMPLEO GUA 2 FORMACIN PARA LA CREACIN DE PYMES. COMPETENCIAS DE LOS FORMADORES PARA PROMOVER EL ESPRITU E INICIATIVA EMPRESARIAL Y LOS PROYECTOS DE CREACIN DE EMPRESA 16. 17. 18. 19. 20. ANLISIS Y EVOLUCIN DE LOS EMPLEOS DEL TERCIARIO DE OFICINA ANLISIS Y EVOLUCIN DE LOS EMPLEOS DE LA INDUSTRIA METALMECANICA FLEXIBILIDAD Y DISTRIBUCIN DEL TRABAJO NUEVOS YACIMIENTOS DE EMPLEO LA FORMACIN EN LOS CENTROS DE TRABAJO

NMERO 21 TITULO: LA CALIDAD DE LA FORMACIN

CIDEC. Centro de Investigacin y Documentacin sobre problemas de la Economa, el Empleo y las Cualificaciones Profesionales DONOSTIA-SAN SEBASTIN Avenida de la Libertad 17-19 Telf: (943) 42 52 57 Fax: (943) 42 93 31 D.P. 20004

Impresin: Michelena Artes Grficas S.L. D.L.: SS-104-91 I.S.S.N.: 1135-0989 P.V.P.: 1.750 ptas

LA CALIDAD DE LA FORMACIN

NDICE
HITZAURREA-PREFACIO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 PRESENTACIN ....................................................... 8

1. LA CALIDAD DE LA FORMACIN. UNA SERIE DE CONSIDERACIONES PREVIAS . 10 2. ADOPTAR UNA POSICIN SOBRE LA CALIDAD DE LA FORMACIN. . . . . . . . . . . . 15 2.1 Mtodo basado en un referencial de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 2.2 Descripcin del mtodo Referencial de variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.3 Forma de uso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3. EVALUAR LA CALIDAD DE LA FORMACIN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.1 Qu significa evaluar? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.2 Prcticas evaluatorias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 4. ESTRATEGIAS DINMICAS DE EVALUACIN EN LA EMPRESA. POSIBILIDADES DE TRANSFERENCIA AL SISTEMA DE FORMACIN PROFESIONAL . . . . . . . . . . . 52 4.1 Parmetros de referencia . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.2 Para llevar a cabo la evaluacin de la formacin en funcin de tres niveles de resultados esperados 4.2.1 Evaluacin de los objetivos de impacto . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 4.2.2 Evaluacin de los objetivos profesionales y de las competencias manifestadas en situacin de trabajo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 . . . 78 4.2.3 Evaluacin de los objetivos pedaggicos en situacin de formacin . . . . . . . 75 4.2.4 Dificultades que encierra la simulacin de situaciones profesionales reales

5. LA EVALUACIN DE LOS ORGANISMOS DE FORMACIN . . . . . . . . . . . . . . . . . . . . 81 5.1 Evaluacin externa e interna de los organismos de formacin . . . . . . . . . . . . . . . . . 82 5.2 El concepto de calidad aplicado a los organismos de formacin . . . . . . . . . . . . . . . 84 5.3 Modelizacin de las prcticas evaluatorias de los organismos de formacin . . . . . . 84 5.4 Orientaciones para su implementacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 5.4.1 Dispositivo Evaluatorio de la Formacin No Reglada en la Comunidad Autnoma del Pas Vasco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 5.4.2 El Modelo Projeval . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100 5.4.3 Evaluacin de la Calidad de los Organismos de Formacin en la Comunidad Autnoma del Pas Vasco. Mtodo CEDEO . . . . . . . . . . . . . . . .102

BIBLIOGRAFIA BSICA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

NDICE DE FIGURAS Y CUADROS

Figura 1 Cuadro de elementos en la evaluacin de acciones formativas . . . . . . . . . . . . . . . . . . . 43 Figura 2 Articular el proceso de evaluacin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 Figura 3 Desde la entrada en formacin hasta el impacto en el funcionamiento de la empresa . 61 Cuadro 1 Impacto en los parmetros de explotacin de la empresa . . . . . . . . . . . . . . . . . . . . . . 65 Cuadro 2 Impacto en la orgaizacin y funcionamiento de la empresa . . . . . . . . . . . . . . . . . . . . . 66 Cuadro 3 Impacto en la cultura de empresa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 Cuadro 4 Impacto en el entorno prximo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 Figura 4 Estructuracin del proceso evaluatorio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 Cuadro 5 Metodologa e indicadores . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103

HITZAURREA
Enpresaren munduan gaur egun ez dago inolako dudarik kalitateak duen garrantziaz. Inork ez du zalantzan jarriko enpresaren produkzio prozesuan, antolaketan, kudeaketan, jendeari eman behar zaion arretan, e.a. guztietan kalitateak izugarrizko garrantzia duela, mundu guztiak baitaki kalitatea dela enpresen lehiakortasuna hobetzeko baliabiderik nagusia. Alabaina, enpresetan edo prestakuntza zerbitzuetara dedikatzen diren erakundeetan kalitate kontrolerako prozesuak sartzeko ahaleginak egiten direnean, errealitateak beste itxura bat erakusten du, eta gaur egun errealitate horri aurre egitea zaila gertatzen da benetan. Zer-nolako laguntza eman digu prestakuntzak jada azaldu diren premiei erantzun bat emateko orduan? Zein puntutaraino esan dezakegu erabiltzaileak ikasi duena prestakuntza prozesuaren arabera dagoela eta ez barne baldintzen (motibazioa, jarrerak, gaitasunak) arabera? Nolako adostasuna lortu behar da erabiltzaile, bezero, hezitzaile eta prestakuntzaz arduratzen den erakundearen eta hori guztia finantzatzen duen HerriAdministrazioaren artean? Horra hor, bada, prestakuntza benetan enpresaren baliabide estrategikoa izatea nahi badugu edo langabezian dauden kolektiboentzat enplegua sortu nahi badugu, erantzun baten premian dauden zenbait galdera. Lan-Koaderno honetan prozedura eta metodologia batzuk eskaini nahi dira, bai

PREFACIO
En los tiempos que corren parece indiscutible, en el mbito empresarial, el papel que ha de otorgrsele a la calidad en los procesos productivos, en los niveles de organizacin y gestin, de atencin al pblico, etc., como herramienta que contribuye a la mejora competitiva de las empresas. Sin embargo, cuando se trata de incorporar procesos de control de calidad en empresas o entidades de servicios de formacin, la realidad adquiere una dimensin diferente, difcil de abordar en la actualidad. En qu medida satisfacemos con la formacin las necesidades que se han manifestado, en qu grado podemos decir que lo que el usuario ha aprendido depende del proceso formativo y no de condicionantes internos (motivacin, actitudes, aptitudes...), qu nivel de concordancia puede existir entre la satisfaccin del usuario, del cliente, de los formadores, del rgano responsable de la formacin y de la administracin pblica que lo cofinancia...son diferentes aspectos que tendremos que evaluar si queremos que la formacin sea realmente un instrumento estratgico para la empresa y un factor clave de ocupabilidad para los colectivos de desempleados. En este Cuaderno de Trabajo se recogen distintos procedimientos y metodo-

enpresa eta lantegietako prestakuntza arduradunentzat, bai tokian tokiko enplegu politiken antolatzaileentzat, hain zuzen ere, kalitatearen kontrolerako prozesuak prestakuntza praktiketara eta prestakuntza erakundeetara gehitzeko. Ekimen berritzaile batzuk ere aurkeztu nahi ditugu lan-koaderno honetan, prestakuntza erakundeen kalitatea ziurtatzeko, hau da, beren zerbitzuen kalitate integrala bermatzeko. Zailtasunak zailtasun, espero dugu koaderno honetan aurkezten zaizuen gai hau didaktiko eta baliagarri gertatuko zaizuela, kalitatearen erronkari aurre egiteko. Gasteiz, 1997ko Urtarrila.

logas que pretenden servir de ayuda tanto a responsables de formacin de empresas o de centros como a planificadores de polticas de empleo local, para incorporar procesos de control de calidad en prcticas formativas y en organismos de formacin. Tambin se presentan algunas iniciativas innovadoras tendentes a la certificacin de calidad de los organismos de formacin, que garanticen la calidad integral de sus servicios. Esperamos que, a pesar de la dificultad del tema, hayamos dado con la mejor forma de presentar un reto de semejante envergadura de forma didctica y til.

Vitoria - Gasteiz, Enero 1997

Desiderio VICENTE VICENTE Eusko Jaurlaritzako Justizi, Ekonomi, Lan eta Gizarte Segurantzako Sailaren Enplegu eta Prestakuntza Zuzendaria

Desiderio VICENTE VICENTE Director de Empleo y Formacin del Departamento de Justicia, Economa, Trabajo y Seguridad Social del Gobierno Vasco

PRESENTACIN
El estudio de la calidad de la formacin se viene realizando desde diferentes perspectivas que cambian y evolucionan con el paso del tiempo. De hecho, los puntos de vista sobre la calidad de la formacin y las variables en que debe centrarse, difieren cuando se trata de evaluarla a travs de la satisfaccin de los clientes-empresas, los usuarios-alumnado, formadores, organismos de formacin o responsables de la administracin. De todas las cuestiones relativas a la evaluacin de las acciones formativas, la especificacin de los criterios de calidad se puede considerar como la menos avanzada tanto en el terreno de la prctica como en el de la reflexin metodolgica. El primer y segundo captulo de este Cuaderno de Trabajo se dedican precisamente a esta cuestin, abordando diversas consideraciones metodolgicas de carcter global sobre la importancia de la seleccin de criterios que permitan implicar a cada actor de la formacin, invitndole a convertirse en coproductor de la calidad de las acciones formativas en las que participa. El tercer captulo analiza los diversos significados del trmino evaluar y el deslizamiento que en este campo se est produciendo: de un marco inicialmente centrado en los productores de formacin se ha ido pasando a otro en el que los consumidores constituyen el sujeto principal. Volviendo la vista atrs, y aunque pueda resultar paradjico, hay que sealar que no es en el mundo de las instituciones de formacin sino en el mbito industrial donde se plantean por primera vez los problemas de evaluacin de las acciones de formacin. Los primeros lugares donde se ejercieron las prcticas evaluatorias de los resultados de la formacin fueron las grandes empresas americanas. Su capacidad para recurrir a los servicios especializados de investigadores o de psiclogos fue un elemento decisivo en la institucin de dichas prcticas. Todos los sistemas de educacin y formacin disponan, naturalmente, de medios de valoracin del dispositivo pedaggico, pero es dentro de las empresas donde surgieron las demandas de elaboracin de medios nuevos y especficos para estimar los efectos de la formacin.

El cuarto captulo del Cuaderno se ha dedicado al anlisis evolutivo de los parmetros de referencia de la evaluacin de la formacin en la empresa. En la actualidad parece existir un cierto consenso sobre que esos parmetros deben referirse a tres niveles de resultados esperados. El primero se relaciona con la mejora de las condiciones de funcionamiento y explotacin de la empresa o de determinadas reas de la misma. El segundo, con la creacin o desarrollo de competencias individuales y colectivas necesarias en las situaciones de trabajo. El tercero, por ltimo, con la evaluacin de los objetivos pedaggicos en situacin de formacin. Al igual que en el captulo anterior se han elaborado diversas fichas y cuadros sinpticos a modo de ayuda tutorial. El ltimo captulo se ha reservado a la evaluacin de los centros de formacin. Como es sabido, el mercado de la formacin puede presentar sntomas de saturacin de determinadas ofertas formativas y ausencia de otras, o resultar poco transparente y fiable, cuestiones que afectan directamente a las entidades suministradoras de formacin. En este captulo se incluyen, adems de diversas notas metodolgicas, el anlisis del dispositivo empleado en la Comunidad Autnoma del Pas Vasco para la Formacin No Reglada y el Mtodo CEDEO . Hasta aqu el alcance de este Cuaderno dedicado a la calidad de la formacin entendida, tal y como lo apunta la Norma ISO 8402, como el conjunto de propiedades y caractersticas que le conf iere la aptitud para satisfacer necesidades manif iestas o implcitas

Donostia-San Sebastin, Enero de 1997

Juan Jos DE ANDRS GILS Presidente de CIDEC

1. La calidad de la formacin. Una serie de consideraciones previas

1. La calidad de la formacin. Una serie de consideraciones previas

l Comit Europeo de Normalizacin, en sus textos revisados sobre las normas internacionales de calidad, precisa ... todas las dems normas de la familia ISO 9000 son independientes de todo sector industrial o econmico particular. Con carcter general proporcionan lneas directrices para la gestin de la calidad y las exigencias generales relativas para asegurar la calidad . Por otro lado, en los textos relativos a las lneas directrices para los servicios se presenta la siguiente definicin de calidad: La calidad es el conjunto de propiedades y caractersticas de un producto o de un servicio que le confiere la aptitud para satisfacer necesidades manifiestas o implcitas (ISO 8402). En estos textos no se hace distincin entre el producto y el servicio, llegando a confundirlos, como si la fabricacin y la utilizacin de cada uno de ellos se realizara de forma comparable. Es cierto que, en estos momentos, domina la tendencia a la industrializacin y la racionalizacin de la formacin en una perspectiva de multiplicacin. Se trata de identificar productos eficaces, fcilmente reproducibles o adaptables a cada situacin particular. En el caso de la industria, los productores y los consumidores se comunican y negocian, en cierto modo, a travs del intermediario de los productos que transitan entre ambos el estudio y la conquista de mercados tiene lugar en feed back. En la industria, los deseos de los consumidores se materializan y concretan en un producto. Los bienes objetivizan una solucin, una forma de respuesta a los deseos de los consumidores. Ahora bien, los bienes inmateriales no se intercambian ni tampoco se transmiten como objetos concebidos y fabricados. El prestatario de un servicio, por contra, tiene la ocasin de encontrarse con su cliente y de intercambiar opiniones. Al aumentar las aportaciones de ayuda a la toma de decisiones, los servicios tienden a convertirse en el resultado de una coproduccin entre prestatarios y usuarios; hasta llegar a la concomitancia perfecta entre la realizacin del servicio y su uso. Lo sealado es eminentemente cierto en el caso de la formacin. Por analoga con la produccin industrial de bienes materiales, un esfuerzo considerable en trminos de calidad tiende a transformar la formacin en un producto estable, utilizable de diferentes maneras por cualquier cliente. Ahora bien, si un producto industrial exis-

En estos momentos domina la tendencia que trata de identificar productos eficaces, fcilmente reproducibles o adaptables a cada situacin particular

11

te antes de ser utilizado, la formacin slo se produce con la colaboracin activa de la persona que se est formando. La transmisin, los instrumentos, la programacin, los contenidos, las prcticas..., pueden ser los mismos sin que ello suponga resultados equiparables para todos los participantes. Se tratara, por tanto, de estudiar la calidad de las situaciones de formacin y de sus resultados. El trmino formacin puede revestir diferentes significados. Se puede entender como el acto del que aprende o se forma, o como el acto de quien proporciona situaciones favorables a los aprendizajes. En este contexto, las situaciones pedaggicas, los medios tcnicos, el lenguaje utilizado, la forma en que los saberes se presentan y se transmiten..., son elementos que influyen en los aprendizajes. Por tanto, la primera cuestin que se plantea es conocer al usuario de la formacin. Dicho de otra forma, conocer a la persona que utiliza un servicio en el que ella misma es coproductor puesto que el servicio no se materializa si no hay aprendizaje. En este contexto, los objetivos del usuario, su proyecto profesional, su motivacin para aprender, sus aptitudes y actitudes, van a condicionar su formacin. Adems, la autopercepcin de sus capacidades, sus competencias, su lugar en la sociedad o su papel social..., resultan igualmente determinantes. Cuando una persona elige libremente formarse, la calidad de la formacin recibida quedar condicionada por su satisfaccin y apreciacin personal. En el caso de una empresa, que como cliente dispone o demanda formacin, se apreciar si quienes la han seguido satisfacen las necesidades formuladas por el cliente. Estas normalmente se medirn en trminos de competencias, cualificacin, tareas a realizar, empleos a cubrir, resultados esperados en trminos de comportamientoscompetencias sociales, potencialidades y dinamismo personal, adhesin a un sistema de valores y/o cultura de empresa... En el caso de otros actores/intervinientes igualmente afectados por la calidad de la formacin: formadores/as, responsables de formacin, organismos de la administracin pblica, colectividades locales..., cada cual puede tener objetivos diferentes y previsiones distintas, en ocasiones complementarias y en ocasiones divergentes o contradictorias. Cada cual evala en funcin de su papel, de su lgica de actor, de su posicin institucional. Por tanto, no existe una sino mltiples formas de medir la calidad de la formacin, lo que a su vez plantea nuevas cuestiones se trata-

La formacin slo se produce con la colaboracin activa de la persona que se est formando

12

NORMAS ISO 9000

Se pueden definir las normas como documentos ordenadores de cierta actividad, elaboradas voluntariamente y con el consenso de las partes interesadas, que conteniendo especificaciones tcnicas extradas de la experiencia y los avances de la tecnologa, son de conocimiento pblico y que, en razn de su conveniencia o necesidad de aplicacin extensiva, pueden estar aprobadas, como tales, por un organismo acreditado a tal efecto. Las normas de la familia ISO (International Organization for Standardization) 9000 se refieren a la gestin de la calidad y al aseguramiento de la calidad. La norma ISO 9000 permite seleccionar un modelo de aseguramiento entre los que se describen en las ISO 9001/9002/9003. Los factores clave, segn la ISO 9000, que debern tenerse en cuenta en la seleccin de la norma a aplicar son: la dificultad presentada por el diseo del producto o los servicios la profundidad con la que la totalidad del diseo es conocido y aprobado la complejidad del proceso productivo las caractersticas del producto o los servicios en relacin a la complejidad del mismo la seguridad del producto o servicio y la probabilidad de que se presenten fallos, calibrando las consecuencias de los mismos el coste, tanto de los cinco factores anteriores como de la no calidad, que debe considerarse de forma sistemtica La ISO 9001 implica un modelo para el aseguramiento de la calidad en el diseo, desarrollo, produccin, instalacin y servicio postventa, siendo la utilizada habitualmente en los centros de formacin debido a la inclusin de las fases de diseo y desarrollo. La ISO 9002 presenta un modelo para el aseguramiento de la calidad en la produccin e instalacin. La ISO 9003 implica el aseguramiento de la calidad en la inspeccin y los ensayos finales, cuando stos son los nicos requisitos cuya conformidad debe asegurar el suministrador. Las ISO 9004 y 9004-2 recogen directrices para la gestin de la calidad, la ltima referida especialmente a los servicios. Cabe destacar que en esta ltima norma se seala que, para obtener los beneficios esperados de la calidad en el servicio, los sistemas deberan responder tambin a los aspectos humanos involucrados en la prestacin del servicio, en especial gestionar los procesos sociales del servicio, considerando las interacciones humanas como un elemento esencial de la calidad del servicio, desarrollando las competencias y aptitudes del personal, motivando al personal para la mejora de la calidad...

r de satisfacer las demandas de un usuario que se considera dominante? o se pretende combinar intereses eventualmente diferentes?. La respuesta a este tipo de cuestiones no resulta fcil porque cada actor/interviniente valoriza cuestiones diferentes y, la calidad pasar a ser objeto de negociacin formal o implcita. En el momento en el que se producen las negociaciones, se establecen los contratos, se efectan evaluaciones y controles..., se puede decir que surge el mercado de la formacin.

13

Evidentemente una definicin precisa de los objetivos en trminos de resultados esperados es indispensable para llevar a cabo cualquier procedimiento de evaluacin. La calidad se desprender del mayor o menor grado de coincidencia entre objetivos y resultados o efectos producidos. Esto lleva de nuevo a la necesidad de que las partes expliciten y confronten sus intenciones (es decir, definan qu esperan de la formacin), para lo cual tendrn que negociar y buscar compromisos. Garantizar la calidad requiere un compromiso de anlisis conjunto y continuado del desarrollo de los proyectos y acciones por parte de todos los intervenientes. El mtodo referencial de variables que se describe a continuacin, permite abordar todas las fases de un proceso formativo. Se concibe para ayudar a sus usuarios a decidir qu aspectos desean valorizar, a formular criterios y aplicarlos, con el fin de verificar el grado de cumplimiento de sus expectativas.

Garantizar la calidad requiere un compromiso de anlisis conjunto y continuado del desarrollo de los proyectos y acciones por parte de todos los intervenientes

14

2. Adoptar una posicin sobre la calidad de la formacin

2. Adoptar una posicin sobre la calidad de la formacin

uando se dice que una formacin es de calidad, seguramente se estar sealando que produce los efectos esperados, pero esperados por quin? Por las personas que se forman, por quienes la financian, por los que la produce, por las empresas que la demandan para sus empleos?

Para dar respuesta a estas cuestiones, adems de conocer la opinin de los diferentes actores implicados en la formacin, hay que hacer que se conviertan en coproductores de la calidad, para lo cual deber establecerse un consenso sobre el contenido que se asigna a la calidad de la formacin. Para llevar a cabo este ejercicio, se ha seleccionado un mtodo que se asienta en una serie de variables interdependientes que a modo de pretest permite conocer los posicionamientos propios y ajenos y, en ltima instancia, adoptar criterios y posiciones comunes sobre la calidad de la formacin.
La medida de la calidad de la formacin est asimilada a la produccin de indicadores que sean fcilmente manejables y rigurosos: coste/hora persona, superficie de los locales, tasa de colocacin, absentismo, etc.

2.1 MTODO BASADO EN UN REFERENCIAL DE VARIABLES

Este mtodo es el resultado de dos investigaciones realizadas en Francia. Una promovida por la Dlgation de la Formation Professionnelle y dirigida por el IFACE (Institut de Formation dAnimateurs Conseillers dEntreprises), con el fin de trasladar al terreno de la formacin la gestin de la calidad tal y como se lleva a cabo en la industria. La otra, promovida por la Dlgation de la Formation Continue de la CCIP (Chambre de Commerce et dIndustrie de Paris), tiene por objetivo la validacin experimental del mtodo elaborado en la investigacin precedentemente sealada y mejorar uno de los productos resultantes, el referencial de variables. Resultado de ambas investigaciones, y en relacin a la calidad, se constata que los problemas y las dificultades se refieren principalmente a los siguientes aspectos: estudio de necesidades, anlisis de la demanda, definicin de objetivos y evaluacin. La idea de calidad est asociada a la necesidad de criterios. Por su parte, la medida de la calidad de la formacin est asimilada a la produccin de indicadores que sean fcilmente manejables y rigurosos: coste/hora persona, superficie de los locales, tasa de colocacin, absentismo, etc. Ahora bien, independientemente del tipo de indicador que se establezca, es necesario que se interprete, es decir, que se de sentido a las

16

informaciones que el indicador traduce. De esta forma, la calidad requiere de juicios subjetivos pero establecidos a partir de informaciones que se trata de objetivizar al mximo. Los criterios de interpretacin variarn segn la posicin de los actores/intervinientes en la formacin y, por extensin, de sus objetivos y estrategias (cada uno tiene sus propias referencias). Por su parte, la apreciacin colectiva de la calidad se realizar sobra la base de ajustes pactados entre los actores afectados que darn lugar a negociaciones y acuerdos. Este mtodo no pretende producir indicadores estndar, es decir aplicables en cualquier situacin e independientemente de cuales sean los pblicos destinatarios. Sino que, por el contrario, propone un mtodo de cuestionamiento que ayude a los formadores/as, responsables, equipos..., a examinar la calidad de una accin, de un dispositivo, de una poltica..., antes, durante y despus de su ejecucin. Se trata de proporcionar criterios pertinentes y de identificar los indicadores que permiten cuantificar las desviaciones que se consideran significativas.

2.2 DESCRIPCIN DEL MTODO

Cada variable reagrupa un conjunto de cuestiones abiertas que se corresponden con una serie de elementos ordenables. Por su parte, la persona que las utiliza, adopta una posicin desde el momento en que selecciona las variables que considera ms representativas y vlidas respecto a sus objetivos; para de esta forma obtener respuestas valoradas. Con este mtodo se evidenciarn los criterios que permiten constatar si las condiciones que se valorizan estn correctamente previstas, o en su caso, si se han llevado a efecto. A cada criterio se le asignarn sus correspondientes indicadores que revelarn la existencia y el grado de presencia de factores de calidad y verificarn si las acciones realizadas resultan coherentes y se ajustan a los objetivos establecidos. Cada usuario/a puede crear un modelo propio. La finalidad que se persigue no es una definicin objetiva de la calidad, sino dar cabida a la apreciacin de los diferentes actores/intervinientes que se convertirn en coproductores de la calidad de las acciones formativas en las que participan. Este mtodo de trabajo: privilegia la investigacin de hecho, cuestionando las prcticas formativas;
Cada usuario puede crear un modelo propio. La finalidad que se persigue no es una definicin objetiva de la calidad, sino dar cabida a la apreciacin de los diferentes actores/ intervinientes

17

 posiciona a cada actor como poseedor y coproductor de saberes sobre la calidad de la formacin; propone producir la calidad mediante la concertacin y la implicacin del conjunto de actores/intervinientes. Y puede utilizarse para diferentes fines, entre los cuales se sitan: esclarecer a un organismo de formacin sobre sus prcticas; ayudar a definir exigencias mnimas para poner en marcha acciones formativas; cohesionar un equipo de formadores/as; dotarse de criterios para comprar formacin; preparar argumentos comerciales para vender formacin; ayudar a un cliente a clarificar un problema; elaborar propuestas de formacin; analizar necesidades; definir objetivos; evaluar las acciones realizadas. Utilizando este referencial los actores de la formacin pueden clarificar y explicitar sus criterios, sus valores o sus posicionamientos respecto a la calidad. Mediante la seleccin de variables se expresarn sus preferencias, sus concepciones u otro tipo de cuestiones. Y en ltima instancia, este mtodo les lleva a: explicitar el concepto de calidad; adquirir conciencia de la forma en la que se acta para obtener esta calidad; recabar informaciones de otros actores. El posicionamiento respecto a la pertinencia o no de las variables se ha efectuado: en algunos casos, en funcin de lo que el/la usuario/a desea conocer en lo que considera es su terreno de accin, su campo de competencia; en otros, en funcin de la voluntad de explorar los centros de inters del cliente y los parmetros a los que es sensible. El mtodo provoca una investigacin propia, que se traduce bien en el cuestionamiento y anlisis de las prcticas realizadas o bien en un reforzamiento y legitimacin de las mismas y, con frecuencia, suscita la necesidad de recoger informacin de otros actores/intervinientes.
El mtodo provoca una investigacin propia, que se traduce bien en el cuestionamiento y anlisis de las prcticas realizadas o bien en un reforzamiento y legitimacin de las mismas

18

Adems es un instrumento de mediacin para: conocer las exigencias y criterios del cliente; consultar los puntos de vista, las necesidades y las expectativas de los diferentes participantes: empresas, administracin, pblicos destinatarios; establecer intercambios en el seno de una comisin pedaggica o de un equipo de trabajo; negociar objetivos de formacin o contenidos de un pliego de condiciones; La validez de este acompaamiento neutro ha sido ya comprobada. Se trata de facilitar la adaptacin y uso de este instrumento, regular la confrontacin y la negociacin de los diferentes enfoques, garantizar un marco de gestin. En sntesis, se trata de favorecer la elaboracin de un diseo propio mediante un instrumento operativo que permita precisar qu se est privilegiando en el conjunto de variables que inciden sobre la calidad de la formacin.

2.3 FORMA DE USO

El referencial se presenta en forma de fichas utilizables por los diferentes actores de la formacin formadores, formandos, responsables de formacin, organismos financiadores... en funcin de los objetivos que se plantean. Las 17 variables del referencial se agrupan en 6 grandes bloques: Bloque 1. Cuestiones previas a la respuesta formativa Variable 1.1 Pertinencia de la respuesta formativa en funcin de los problemas a resolver Bloque 2. Resultados Variable 2.1 Objetivos de la formacin segn los diferentes actores Variable 2.2 Motivacin, implicacin y compromiso de las futuras personas en formacin Variable 2.3 Origen y modalidades de definicin de objetivos Variable 2.4 Empleabilidad o adaptabilidad Bloque 3. Negociacin y compromiso Variable 3.1 La negociacin de objetivos Variable 3.2 Los contratos Bloque 4. Condiciones materiales Variable 4.1 Evaluacin cuantificada de los elementos del dispositivo
Se trata de facilitar la adaptacin y uso de este instrumento, regular la confrontacin y la negociacin de los diferentes enfoques, garantizar un marco de gestin

19

Bloque 5. Dispositivo pedaggico y formas de aprendizaje Variable 5.1 Flexibilidad y adaptabilidad del dispositivo Variable 5.2 Obstculos al aprendizaje Variable 5.3 Prcticas pedaggicas Variable 5.4 Consideracin de los errores pedaggicos Variable 5.5 Tratamiento de los aprendizajes no previstos Variable 5.6 Influencia de los medios dispuestos en los aprendizajes y su aplicacin Variable 5.7 Eficacia simblica del dispositivo Bloque 6. Puesta en marcha, uso y efectos de la formacin Variable 6.1 Ejecucin de la formacin Variable 6.2 Objetivos y utilidad de los diferentes procedimientos evaluatorios Como ha quedado dicho, cada cual utilizar este instrumento a su manera. Se adopta un punto de vista global, en el que las variables no afectan nicamente a las actividades de aprendizaje sino a la situacin de conjunto; desde las condiciones existentes antes de decidir desarrollar una accin formativa hasta la aplicacin de las competencias adquiridas, pasando por la concepcin y construccin del dispositivo. El uso y las posibilidades de trabajo individual y en equipo que ofrece este mtodo son mltiples. Por ejemplo: Como instrumento contribuye a definir las elecciones previas a la construccin de un dispositivo, facilitando la construccin de medios de observacin total o parcial. Como apoyo para los debates y negociaciones entre las partes, los intercambios y la reflexin colectiva. Como memorndum para resolver cuestionamientos y clarificar las demandas. Como soporte para conocer la posicin de los diferentes intervinientes en el proceso de formacin. Se puede trabajar con una o varias fichas y en el orden que se quiera. En ocasiones, se sealan algunas de las variables que con ms frecuencia se relacionan entre s, aunque sin el nimo de constreir asociaciones que el usuario/a puede hacer libremente. Las preguntas que figuran en las fichas de trabajo constituyen una gua al planteamiento de cuestiones que sirven de soporte para: cuestionar y enunciar preferencias, expectativas, lo que deber cumplirse, es decir, establecer los criterios de calidad;

Se adopta un punto de vista global, en el que las variables no afectan nicamente a las actividades de aprendizaje sino a la situacin de conjunto

20

 determinar las informaciones que hay que recabar, es decir, los indicadores, con el fin de verificar que las acciones son coherentes y se adecan a las expectativas enunciadas y a las elecciones realizadas. El usuario/a dispone de algunos comentarios explicativos y ejemplos ilustrativos que le permitirn familiarizarse con este mtodo y que podr utilizar como gua de sus propias elaboraciones.

21

Referencial de variables

CUESTIONES PREVIAS A LA RESPUESTA FORMATIVA

Variable 1.1 PERTINENCIA DE LA RESPUESTA FORMATIVA EN FUNCIN DE LOS PROBLEMAS A RESOLVER
Cmo y quin ha planteado el problema? De dnde parte el conocimiento del problema: estudio de necesidades, demandas formuladas...? En qu medida la formacin es la respuesta adecuada? Se puede afirmar que la respuesta formativa es la nica respuesta posible o existen otro tipo de respuestas que son factibles de abordar? Cules son las posibles combinaciones que cabra plantear? Partiendo de que cualquier persona puede aprender por sus propios medios: estudio, lectura, observacin, discusin, experimentacin, imitacin, ensayo y error, medios audiovisuales... Cul o cules son las aportaciones que se asignan a la accin formativa? La formacin se combina con otro tipo de respuestas?. En caso afirmativo, cmo est organizada? Cmo se inscribe la formacin en el marco general de la gestin de los recursos humanos? Cul es la percepcin, imagen y papel de la formacin en la empresa? Qu tipo de prcticas formativas son las ms frecuentes? Para permitir la puesta en marcha de la accin formativa se ha previsto el entorno profesional, los medios materiales, la organizacin y la acogida de los participantes? ...?
Se puede constatar que, en determinadas situaciones, la respuesta-formacin a un problema viene planteada antes de que el propio problema est claramente definido. Por ejemplo. En un servicio de una empresa se constata la existencia de rechazos y defectos, y se llega a la conclusin de que esta situacin viene provocada por la falta de competencias del personal. El tema se deriva al servicio de formacin; sin embargo, no se ha probado si el problema est provocado por la necesidad de un cambio organizativo, es atribuible al material utilizado o requiere de nuevas contrataciones. A veces, la respuesta-formacin se combina con otras acciones complementarias que permiten resolver el problema o los problemas identificados. Antes de poner en marcha una accin formativa es importante situarla respecto a otro tipo de respuestas. Consultar variable 6.1 Ejecucin de la formacin

23

RESULTADOS
Variable 2.1 OBJETIVOS DE LA FORMACIN SEGN LOS DIFERENTES ACTORES
Cules son los resultados que se esperan obtener a travs de la formacin: resolver un problema tcnico, satisfacer un proyecto personal, contribuir al desarrollo profesional, incrementar la eficacia econmica, aumentar las posibilidades de obtener un empleo? Existen varios objetivos en funcin de los diferentes actores: promotores, productores, formadores, formandos...? Los objetivos estn explcitamente formulados? Son coherentes o contradictorios? Se privilegia alguno de los objetivos? Cmo se inscriben y tienen en cuenta los restantes objetivos? ?
Es importante situar el motivo o motivos que han dado origen a la accin formativa, tanto por parte de los organizadores como de los promotores. En efecto, la calidad de la formacin pasa por la satisfaccin de empleadores, participantes, formadores, responsables de formacin, administracin, colectividad local..., cada uno de los cuales puede tener metas diferentes e incluso contrapuestas. Cada parte evaluar los resultados en funcin de su posicin, su escala de valores, su percepcin subjetiva o sus principios ticos. Por ejemplo, una formacin de larga duracin viene precedida por un encuentro que dura cuatro das a lo largo de los cuales los futuros destinatarios de la formacin, 15 personas, se dedican a profundizar en el conocimiento de la accin formativa y a exponer sus expectativas. Al finalizar el encuentro, tres personas deciden no seguir la formacin. Para la parte financiadora de la accin, este ltimo dato, tiene un efecto econmico negativo, y debe corregir estas bajas buscando otras tres personas que las sustituyan. Para los formadores/as, el mismo indicador es interpretado de manera distinta: sus alumnos han tenido la ocasin de medir y valorar la adecuacin de la oferta formativa a sus previsiones y la renuncia de tres personas la valoran como positiva. Este es un ejemplo de dos lgicas diferentes y opuestas de valoracin ante un mismo indicador.

24

RESULTADOS
Variable 2.2 MOTIVACIN, IMPLICACIN Y COMPROMISO DE LAS FUTURAS PERSONAS EN FORMACIN
En qu medida los usuarios de la formacin han participado activamente en la decisin y en la elaboracin de la accin formativa? Cules son los intereses que mueven a las personas a aprender: curiosidad, certificacin, promocin profesional? Independientemente del tipo de formacin propuesto: Cules son los eventuales obstculos econmicos, culturales, sociales, sicolgicos que plantean las personas en formacin ante la obligacin de aprender? Cules son las formas y plazos establecidos para que la persona que se va a formar conozca el programa objetivos, mtodos... en el que se ha inscrito? Solamente puede aceptar o rechazar la oferta que se le ha hecho? Existe obligatoriedad-imposicin? La obligatoriedad es un indicador de desmotivacin? Quin elige? Quin inscribe a quin? Quin financia? ?
Si se ha privilegiado la implicacin y la motivacin de las personas en formacin, es importante que contribuyan a la definicin de objetivos, bien expresando sus propias expectativas o teniendo la posibilidad de aceptar o rechazar la accin formativa propuesta. Si est previsto recoger opiniones sobre los elementos que se debern tener en cuenta para, por ejemplo, adaptar el dispositivo al puesto de trabajo que ocupan, se les convocar a reuniones previas en las que se ofrecer informacin sobre los objetivos y los mtodos que se les van a proponer.

25

RESULTADOS
Variable 2.3 ORIGEN Y MODALIDADES DE DEFINICIN DE OBJETIVOS
La definicin de objetivos es el resultado de: Un trabajo metdico estudio de necesidades? De una consulta colectiva? De una demanda potencial que se intuye? Incide en la definicin de objetivos las relaciones privilegiadas que se mantienen con determinados organismos, instituciones o personas? Contribuyen a la definicin de objetivos las preferencias por determinados mtodos, instrumentos...? Una vez que se han fijado los objetivos se ajustan a las personas que seguirn la formacin? Qu grado de protagonismo e iniciativa ha tenido cada una de las partes en la definicin inicial de los objetivos? ...?
Paralela y simultneamente a la definicin racional, incluso metdica de los objetivos, las preferencias o las costumbres van a orientar las elecciones de los actores. Estas elecciones vendrn influidas por la confianza que les merecen determinados organismos, personas, mtodos o instrumentos. As, el prestigio, la imagen o la opinin transmitida influirn en las decisiones. Si alguien est satisfecho con una accin formativa, tender a demandar otra formacin al mismo organismo o al mismo formador/a, y esto se produce independientemente de que se establezca una nueva definicin de objetivos. Consultar variables 1.1 Pertinencia de la respuesta formativa en funcin de los problemas a resolver

26

RESULTADOS
Variable 2.4 EMPLEABILIDAD O ADAPTABILIDAD
La formacin privilegia el acceso a un empleo concreto o a un puesto de trabajo determinado? Pretende o se destina a incrementar las posibilidades de encontrar un empleo? Pretende o se destina a responder a los requerimientos de potenciales empleadores? Existen posibilidades de transferir las competencias adquiridas en formacin a otro tipo de empleos? La formacin trata de favorecer la movilidad profesional mediante el desarrollo de las capacidades de adaptacin a diversos empleos? Se trata de permitir que las personas que se forman efecten tareas estrictamente definidas y/o de ampliar sus competencias ante eventuales cambios en los procesos productivos? ...?

A travs de los objetivos fijados se puede tratar de privilegiar el acceso a un empleo concreto o incluso a un puesto de trabajo o favorecer la movilidad mediante el desarrollo de las capacidades de adaptacin. En su acepcin ms comn: - La empleabilidad es el conjunto de capacidades que permite efectuar una serie de tareas valorizadas en el mercado de trabajo - La adaptabilidad define la aptitud de la persona para ocupar puestos de trabajo diferentes Se trata de saber cul de estos objetivos privilegia la formacin Detrs de esta cuestin se sita la concepcin y organizacin del proceso formativo en funcin de la capacidad de los participantes para encontrar y ocupar un puesto de trabajo y en funcin de las necesidades que tratan de satisfacer los clientes.

27

NEGOCIACIN Y COMPROMISO
Variable 3.1 LA NEGOCIACIN DE OBJETIVOS
Quines negocian los objetivos? Cules son las posturas de cada una de las partes negociadoras? Cul es la relacin de fuerzas existente entre las partes? A quin vienen eventualmente impuestos los objetivos? Es posible negociar los objetivos con todos los actores participantes en la accin formativa? Si es posible negociar con todos, cmo se negocia: en conjunto, separadamente, sucesivamente? Qu tiempos se dedican a la negociacin? Independientemente de cmo han quedado definidos inicialmente los objetivos existe la posibilidad de volverlos a negociar o incluso de provocar la negociacin a travs del dispositivo pedaggico?
Normalmente se produce una confluencia de objetivos distintos que pivotan sobre aspectos relativos a la financiacin, el aprendizaje, las competencias profesionales, etc. La cuestin que se plantea es cmo ajustar las diferentes posturas antes y durante la formacin. Actores que se engloban en una misma categora pueden tener posturas diferentes y los deseos iniciales de los diferentes participantes pueden tener una incidencia considerable en la negociacin de los objetivos. Por ejemplo, los participantes en una accin formativa pueden confluir en ella por motivos muy distintos: adquisicin de nuevos conocimientos, promocin profesional, deseo de cambiar de empleo,... y con finalidades muy dispares, tales como acceder a un puesto de responsabilidad, aumentar su retribucin salarial, encontrar otro trabajo, etc. Hay que confrontar los puntos de vista de manera individual y en grupo. Por ejemplo, si son tres los principales participantes afectados promotores, formadores, participantes se pueden plantear negociaciones bilaterales o conjuntas. Por otro lado, se debern examinar las necesidades, la demanda, las formas de seguimiento y la implicacin de todos los actores, inclusive de los que no se van a formar pero que quedan afectados. Por ejemplo, el hecho de que en una empresa dos o tres personas de un mismo departamento sigan una formacin puede resultar ineficaz si no se ha cuestionado la estructura organizativa del departamento y las consecuencias o efectos derivados de la formacin de estas personas. Consultar: Variable 2.1 Objetivos de la formacin segn los diferentes actores Variable 2.3 Origen y modalidades de definicin de objetivos Variable 5.1 Flexibilidad y adaptabilidad del dispositivo

28

NEGOCIACIN Y COMPROMISO
Variable 3.2 LOS CONTRATOS
Entre qu partes se han formalizado relaciones mediante el establecimiento de contratos? Existen tipos de contrato diferentes: pedaggico, econmico, colocacin...? Los contratos tiene diferentes finalidades? Los contratos se centran en los medios de puesta en marcha? En los medios de financiacin? En los mtodos? En los procesos evaluatorios? Cules son los compromisos adquiridos por las diferentes categoras de actores? Los actores de la formacin han sido informados y pueden anticipar el desarrollo y, en ocasiones, ajustar su comportamiento? Qu tipologa de contratos se han establecido? - de adhesin - negociados - escritos ...?
Por ejemplo, la inscripcin a un curso por catlogo se considera como un contrato de adhesin, mientras que la definicin de una accin formativa entre un promotor y un organismo de formacin es un contrato comercial negociado; el contrato entre el formador/a y el formado/a es un contrato pedaggico y no escrito. La garanta de la calidad tiende a asegurar los resultados, mientras que un trabajo constante de mejora de la calidad examina el conjunto del sistema.

29

CONDICIONES MATERIALES
Variable 4.1 EVALUACIN CUANTIFICADA DE LOS ELEMENTOS DEL DISPOSITIVO
Qu tipo de infraestructuras y recursos pueden usar los participantes? Cules son las posibilidades de acceso y tipo de prestaciones que ofrece el organismo/lugar de formacin? El centro puede ser utilizado fuera de las horas de formacin? Qu tipo de materiales de formacin estn disponibles? Qu tipo de documentacin e informacin complementaria se encuentra disponible? Nmero de aulas de formacin disponibles? Nmero medio de personas que configuran un grupo? Nmero medio de formadores? Qu formacin poseen? Qu experiencia tienen? Qu titulaciones? Se ha propuesto una serie de fechas y horarios a los participantes para que los seleccionen? Existen zonas o lugares de esparcimiento y encuentro accesibles a los participantes: cafetera, salas...? Cul es el coste de la formacin? Cmo se financia? ...?
A continuacin se ofrece, a ttulo de ejemplo, algunas de las posibles referencias que inciden en los aprendizajes para llegar a fijar criterios de calidad, a partir de los cuales se establecern objetivos, indicadores y estndares. - La dimensin de los locales destinados a formacin (superficie total, superficie media por alumno, superficie destinada a formacin, superficie media en formacin por alumno). - La adecuacin de los locales a las modalidades formativas (aulas para clases tericas, talleres...). - La continuidad de la actividad formativa (nmero de horas semanales y anuales que el centro permanece abierto). - Ruptura con la organizacin de cursos tradicionales del centro (nmero de horas de formacin no reglada impartidas, porcentaje sobre el total de horas impartidas). - La mezcla de pblicos destinatarios (peso de las formaciones destinadas a personas en paro, ocupadas, con financiacin pblica o privada). - La idoneidad desde el punto de vista de las personas que siguen la formacin (datos cualitativos sobre las aulas, talleres, materiales didcticos).

30

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.1 FLEXIBILIDAD Y ADAPTABILIDAD DEL DISPOSITIVO
El dispositivo presenta una tendencia marcada a reproducir lo que ya se ha comprobado que funciona de forma satisfactoria? Los resultados que se deben obtener estn previamente fijados, se ajustan interactivamente durante la formacin o se validan a destiempo? Las observaciones y opiniones de las personas en formacin, formadores, administracin pblica, promotores..., se toman en consideracin y se comentan? El seguimiento de la accin y la valoracin de resultados dan lugar a negociaciones, acuerdos, ajustes? La tendencia es la de querer innovar de manera sistemtica? ...?
Con lo expuesto se trata de establecer cuestiones que dejen apreciar el inters que se otorga a la estabilidad de un dispositivo o de una accin formativa, a su capacidad de reproducir efectos conocidos y esperados. Por ejemplo, la tendencia a programar idnticamente las mismas acciones, mes tras mes y ao tras ao, independientemente de las caractersticas de los participantes. O por el contrario, privilegiar dispositivos menos precisos respecto a los resultados que debern producir, pero ms adaptables a las personas y a las circunstancias. Consultar: Variable 5.4 Consideracin de los errores pedaggicos Variable 5.5 Tratamiento de los aprendizajes no previstos Variable 5.6 Influencia de los medios dispuestos en los aprendizajes y su aplicacin

31

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.2 OBSTCULOS AL APRENDIZAJE
Cules son los pasos que se aplican para tratar de percibir los obstculos materiales, cognoscitivos, afectivos, sociales... susceptibles de obstaculizar el desarrollo de la accin formativa? Cmo se organizan y presentan los contenidos para que las personas que se estn formando puedan asimilarlos? Cmo se tienen en cuenta las dificultades personales expresin, comunicacin, relacin, etc.? Se han definido los conocimientos bsicos necesarios previos a la formacin? Se ha llevado a cabo una equiparacin de niveles eficaz, o una orientacin hacia preformaciones adaptadas? ...?
La variedad de obstculos que se le pueden presentar a una persona en formacin es muy amplia: - Los saberes se presentan bajo una forma o segn una secuencia progresiva que los hace inaccesibles - No estn disponibles en el momento o situacin apropiada - El lenguaje que se utiliza no es comprensible - La cultura o el grupo social al que pertenece crean distancias que habr que reducir - Los bloqueos personales, cognoscitivos o afectivos obstaculizan los aprendizajes - Es necesario reforzar la autoconfianza y cambiar las valorizaciones negativas personales. Consultar: Variable 2.1 Objetivos de la formacin segn los diferentes actores Variable 2.2. Motivacin, implicacin y compromiso de las futuras personas en formacin

32

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.3 PRCTICAS PEDAGGICAS
El dispositivo se ha diseado teniendo en cuenta los intereses y las formas de aprendizaje de las personas en formacin y/o organizado en funcin de un programa y de las competencias que detentan los formadores/as ? Cules son los mtodos y medios tcnicos aplicados? Se han establecido ejercicios, simulaciones, anlisis de casos, prcticas reales en situaciones de responsabilidad, pruebas de control (evaluacin formativa y sumativa)? Se apoya el trabajo en grupos o en subgrupos? Existe una diversidad de situaciones pedaggicas que se corresponden con las diferentes formas de aprendizaje de los participantes? Se han previsto, a lo largo de la formacin, prcticas en centros de trabajo? La combinacin entre aprendizaje terico y aplicacin prctica es coherente? Cal es el valor aadido que ofrecen las prcticas pedaggicas, partiendo de que cualquier persona puede aprender por s sola a travs de la lectura, observacin, discusin, experiencia, imitacin...? ?
El uso de esta variable permite explorar y adoptar una posicin respecto a las dos grandes tendencias pedaggicas: - Centrada en la persona que se forma, sus expectativas, motivacin y formas de aprendizaje - Centrada en la transmisin de saberes, saber-hacer y mtodos, y la manera en la que se combinan Se podr as llegar a precisar: - El lugar que ocupa la asimilacin, el descubrimiento, la elaboracin de conocimientos en las personas que aprenden. - El lugar que ocupa la memorizacin, la difusin de saberes, el control de su adquisicin. - La relacin entre teora y prctica y cul de ellas se prima. - Los procesos de individualizacin y seguimiento personalizado, tutoras ocasionales.

33

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.4 CONSIDERACIN DE LOS ERRORES PEDAGGICOS
Los errores se consideran como una fuente de informacin para construir nuevos aprendizajes? Los errores se consideran como intiles o perjudiciales? Se evitan o corrigen? Cometer errores est mal visto y se considera como una falta? Cmo se reparan los errores y quin los designa? ...?
La manera en que se tratan los errores es un buen indicador de las concepciones pedaggicas subyacentes. Esta variable refleja a los formadores/as, su relacin con el saber y sus ideas sobre el aprendizaje. La hiptesis de "cero errores" en formacin evidencia que los errores son prdidas sin utilidad. Ahora bien, se puede adoptar otra posicin; los errores son seales de las dificultades existentes, sobre las que se debe trabajar, investigar y explorar. Consultar: Variable 5.1 Flexibilidad y adaptabilidad del dispositivo Variable 5.5 Tratamiento de aprendizajes no previstos

34

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.5 TRATAMIENTO DE LOS APRENDIZAJES NO PREVISTOS
Los objetivos han previsto todo lo que las personas que participan en la formacin deben aprender y nicamente esto? Se promueven y admiten los aprendizajes no previstos? O se evitan, ignoran o suprimen? Se consideran los efectos indirectos que tienen, por ejemplo, sobre el clima de convivencia, sobre las motivaciones o las relaciones de trabajo, incluso cuando estos no pueden predecirse y orientarse? Los aprendizajes no previstos conllevan una redefinicin de objetivos? ...?
La referencia a los objetivos es siempre obligada, siendo un medio eficaz para ajustar una formacin a la medida de su desarrollo y, en ltimo trmino, para apreciar su eficacia, pero no el conjunto de sus efectos. El programa puede estar organizado de forma rigurosa, de manera que se esperan los resultados formalmente previstos. Las personas que se han formado, como "productos" de la formacin, se consideran esencialmente como receptores. Los intereses comunes, las cuestiones que se salen del tema, sus descubrimientos, sus asociaciones de ideas..., con frecuencia se tratan como distractores no favorables. Sin embargo, es cierto que se aprende desde fuera de lo que se est enseando, en detrimento o como complemento de esa enseanza. De cara a un curso predeterminado, se permitirn o incluso se propiciarn estas desviaciones y rodeos, y se tendrn en cuenta, dado que ningn formador/a sabe como aprende su alumnado. Consultar: Variable 5.1 Flexibilidad y adaptabilidad del dispositivo Variable 5.3 Prcticas pedaggicas Variable 5.4 Consideracin de los errores pedaggicos

35

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.6 INFLUENCIA DE LOS MEDIOS DISPUESTOS EN LOS APRENDIZAJES Y SU APLICACIN
Qu trabajo pedaggico se ha previsto para permitir la eficacia de los aprendizajes teniendo en cuenta los conflictos y las rupturas que la formacin entraa necesariamente en el sistema de valores, el sistema de representacin y en ocasiones en la afectividad de las personas en formacin? Cmo se ha previsto en la organizacin pedaggica el rechazo a la formacin como situacin ajena al medio profesional, familiar y de relaciones personales habitual? Se han previsto medios para expresar y tratar estos problemas de resistencia? Existen medidas de ajuste ante los rechazos a la formacin y una tipologa de posibles respuestas anticipadas? ...?
Es sabido que el entorno de procedencia (profesional y privado) condiciona la manera de aprender y lo que se puede aprender. Formarse es cambiar, enriquecerse, modificar en parte las propias referencias, los valores, el lenguaje, la propia autopercepcin... Determinadas personas pueden vivir mal estos cambios. La cuestin lleva a reflexionar sobre la forma en que estos aspectos pueden o deben tenerse en cuenta, incluso a anticiparlos, a lo largo de la formacin.

36

DISPOSITIVO PEDAGGICO Y FORMAS DE APRENDIZAJE

Variable 5.7 EFICACIA SIMBLICA DEL DISPOSITIVO
El dispositivo engloba pruebas que deben superarse pruebas de entrada, exmenes y una certificacin que confiere un valor a las formaciones? Se trata de un establecimiento con prestigio? La existencia de un ttulo o certificacin reconocida legitima la insercin en el mercado de trabajo? Lo anterior es un factor de motivacin que favorece el aprendizaje? La formacin conlleva y garantiza que los participantes se conviertan en actores dinmicos de su futuro profesional? ?
La eficacia simblica de un dispositivo de formacin consiste en la capacidad que tiene de inspirar confianza, movilizar esfuerzos, convencer de su valor, independientemente de su eficacia real. La eficacia simblica combina dos factores que confieren al dispositivo una parte esencial de su poder educativo-formativo: - Su prestigio, su imagen como garanta de xito, el valor reconocido de las personas que trabajan en el centro, el deseo manifiesto de recibir formacin en ese establecimiento. - Su posicin institucional, su poder social de legitimacin. Cuando una formacin est poco o mal reconocida, se desconfa de sus resultados y pierde toda su eficacia. Si se tienen en cuenta criterios de calidad tales como la obtencin de un empleo, la insercin o la promocin, sin lugar a dudas, hay que considerar los aspectos simblicos del dispositivo como factores de xito determinantes. El nmero de nuevos candidatos o la evolucin anual del nmero de alumnos son algunos indicadores apropiados para medirlos.

37

PUESTA EN MARCHA, USO Y EFECTOS DE LA FORMACIN

Variable 6.1 EJECUCIN DE LA FORMACIN
La formacin adquirida se utiliza, total o parcialmente, en la actividad profesional o en otro tipo de actividades? Cul ha sido el grado de insercin en el mercado de empleo de las personas que han seguido una formacin especializada? Se constata que se aplican los procedimientos, tcnicas y saberes que se imparten? Se renen la condiciones tcnicas que permiten aplicar los conocimientos de la formacin? Por ejemplo, los medios y equipos que se utilizan en formacin se corresponden con las situaciones reales de trabajo? La organizacin del entorno de trabajo es compatible con la aplicacin de las capacidades adquiridas en formacin? Las reacciones de rechazo y de resistencia al entorno formativo son susceptibles de hacer ineficaz la formacin? ...?
La calidad de un producto o de un servicio depende de su valor de uso. Una formacin que no puede utilizarse por razones diversas es como si no hubiera existido o permanece en un estado de potencialidad. Su utilizacin puede ser exclusivamente intelectual, pero, en cualquier caso, si no se aplica se pierde rpidamente salvo los aprendizajes gestuales o motrices. La calidad de una formacin se puede apreciar en el momento de su aplicacin, y no de otra forma. Por ejemplo, se constata que formaciones que resultan muy satisfactorias para los participantes no se utilizan porque no se adecan a las condiciones de trabajo condiciones tcnicas o sociales. Existen normalmente diferencias significativas entre las situaciones de trabajo y las que se construyen en formacin objetivos de produccin por un lado, objetivos de formacin e incluso de desarrollo cultural por otro. Aqu caben diversas opciones: elegir alguno de ellos, distinguirlos, aproximarlos, mezclarlos. Consultar: Variable 1.1 Pertinencia de la respuesta formativa en funcin de los problemas a resolver Variable 5.6 Influencia de los medios dispuestos en los aprendizajes y su aplicacin

38

PUESTA EN MARCHA, USO Y EFECTOS DE LA FORMACIN

Variable 6.2 OBJETIVOS Y UTILIDAD DE LOS DIFERENTES PROCEDIMIENTOS EVALUATORIOS
Se pretende verificar la aplicacin de las capacidades adquiridas? Quin efecta la verificacin, de qu manera y cundo? Se contempla la medicin de su impacto en el medio profesional? Se trata de recoger manifestaciones verbales de satisfaccin? De verbalizar los aprendizajes? De cumplimentar un listado de capacidades que se aplican? De una evaluacin del clima del grupo y/o la eficacia de los formadores/as? Se trata de evaluar al organismo de formacin? Los formadores/as pueden expresar libremente su apreciacin sobre la eficacia de su actividad? Muestran una percepcin de utilidad? Sealan las dificultades y los fracasos respecto al ideal nunca alcanzado? Quin es el destinatario de la evaluacin? Se confunden evaluacin y certificacin? La funcin de formar y evaluar las desempea la misma persona? Los formadores/as son, en principio, los aliados de las personas en formacin o ms bien sus jueces? ...?
Hay que preguntarse qu se espera de una evaluacin formal y los motivos por los cuales se evala. Esto, evidentemente, remite de nuevo a la forma en que se han definido los objetivos y a los medios establecidos o no establecidos para verificar si se han cumplido y en qu medida. Slo as se puede examinar el papel que desempean los procedimientos de evaluacin en el juego de actores de la formacin (posicin y estrategia aplicada). Con frecuencia se recoge la opinin de los diversos actores, sin duda importante como indicador de un juicio, pero sta debe someterse a contraste con datos objetivos que pueden ser recabados. Por ejemplo, la satisfaccin de las personas que han seguido una determinada accin formativa no indica gran cosa sobre su capacidad para poner en prctica las posibles capacidades adquiridas. Tambin es necesario tener en cuenta, la satisfaccin de los formadores/as, es decir, la opinin y percepcin de la utilidad de sus acciones.

39

3. Evaluar la calidad de la formacin

3. Evaluar la calidad de la formacin

a primera cuestin que se plantea al abordar esta cuestin es la de tratar de acotar, de una manera lo ms exacta y, al mismo tiempo, amplia y flexible, el campo que cubren las dinmicas evaluatorias.

3.1 QU SIGNIFICA EVALUAR?

El trmino evaluar puede tener muchos significados, tomados al azar entre otros, los siguientes: Verificar lo que se ha aprendido, comprendido, retenido. Verificar las adquisiciones en un contexto dinmico. Juzgar un trabajo en funcin de las consignas dadas; juzgar el nivel de un alumno respecto al resto del grupo; juzgar segn normas preestablecidas. Estimar el nivel de competencias de un alumno o de un trabajador. Situar al alumno/trabajador respecto a sus posibilidades; o en relacin a los restantes alumnos/trabajadores; situar la produccin de un alumno/trabajador respecto al nivel general. Representar mediante un cifra el grado de cumplimiento de una tarea en funcin de criterios previamente establecidos. Dar una opinin sobre los saberes que domina una persona; dar una opinin sobre el valor de un trabajo. En este abanico de definiciones se puede ver que la pluralidad de verbos que designan el acto de evaluar se acompaa de una multiplicidad de trminos que designan el objeto de este acto, que pueden focalizarse sobre los conocimientos, los saberes, las competencias, las tareas, etc. No se puede representar un grado de consecucin mediante una cifra sin que antes no se haya juzgado o apreciado esta consecucin. La cuantificacin es la expresin de un juicio que, lgicamente, preexiste. Decir que un ejercicio merece una puntuacin de 16 sobre 20, es expresar el juicio que se tiene sobre su valor. Para poder opinar sobre el valor de un trabajo, es preciso que antes se disponga de los medios para aprehender (captar) este valor. En sentido estricto, en esto consiste la evaluacin, y tres son las ideas claves a retener: verificar, situar y juzgar. verificar las presencia de algo esperado (conocimiento o competencia); situar (a un individuo, a un producto) respecto a un nivel, a un grupo; juzgar (el valor de...).
No se puede representar un grado de consecucin mediante una cifra sin que antes no se haya juzgado o apreciado esta consecucin. La cuantificacin es la expresin de un juicio que, lgicamente, preexiste

41

Esta acepcin testimonia en cierta medida la dificultad que encierra el concepto de evaluacin. Cmo se puede juzgar el valor de un trabajo o el de una persona? El trmino valor es particularmente ambiguo y mezcla lo cuantitativo (medida) y lo cualitativo (norma ideal), lo real (el universo de los objetos) y lo ideal. Mrito y/o precio, calidad, cantidad, otorgan a la evaluacin un carcter polismico (pluralista en sus significados) y multidimensional (comporta un trabajo que se desdobla en varios registros y en diferentes campos). Pero, precisamente, la pluralidad de significados del trmino valor permite nuevos cuestionamientos y funciona como un signo o un indicio que abre la va de importantes descubrimientos. El concepto mezcla y entrecruza significados y aspectos. Desde este punto de vista, evaluar conlleva establecer relaciones, pasarelas, entre diferentes niveles de la realidad marcando la distancia que los separa. Independientemente del valor adoptado slo se puede evaluar bajo la condicin de adoptarlos; es decir, de constituir una idea o un conjunto de ideas como referente y en funcin del mismo ser posible apreciar la realidad. La esencia de la evaluacin consiste en establecer relaciones:
r

Relacionar lo que existe y lo que se esperaba que existiera. Por ejemplo: el alumno tal y como es a travs de sus trabajos y el alumno ideal que domina los conocimientos y los saberes. Relacionar un comportamiento dado y un comportamiento de grupo: un resultado real y un resultado esperado. Relacionar, en definitiva, un realidad y un modelo ideal. La puesta en relacin se efecta a travs de unas normas de juicio o criterios.

Independientemente del valor adoptado slo se puede evaluar bajo la condicin de adoptarlo; es decir, de constituir una idea o un conjunto de ideas como referente y en funcin del mismo ser posible apreciar la realidad

Tras estas precisiones se puede definir la evaluacin como la accin mediante la cual se formula un juicio de valor sobre un objeto determinado (individuo, situacin, accin, proyecto, etc.) mediante la confrontacin de dos series de datos, serie real y serie ideal, que se ponen en relacin. El referente de la evaluacin, es decir, aquello en relacin a lo cual se efecta el juicio de valor. El referente pertenece al orden de los objetivos. Las operaciones de constitucin del referente se pueden situar en dos subconjuntos:
r

La identificacin de los objetivos perseguidos independientemente de la evaluacin. La especificacin de normas o de criterios.

42

Figura 1

CUADRO DE ELEMENTOS EN LA EVALUACIN DE ACCIONES FORMATIVAS

1. FORMAR 2. EVALUAR

SIGNIFICADO DE LA OPERACIN

9. UTILIDAD 8. TIPO DE DECISIN 7 DESTINO SENTIDOS 3. OBJETO

FORMAS Y HERRAMIENTAS 6 CUNDO 5 QUIN 4 HERRAMIENTAS

1. Formar. Cambios previstos, significados que reviste, momentos, contextos.. 2. Evaluar. Finalidad que se confiere a la accin de evaluar: informar, regular, formar...Criterios e indicadores. 3. Objeto. Cuales son los campos de investigacin: accin global, terrenos concretos, tipo de efectos que se quiere apreciar, cmo se asegura que los efectos observados son consecuencia de la accin formativa. 4. Herramientas. Cules son las herramientas que se debern utilizar para producir la informacin y como debern aplicarse, conveniencia de establecer herramientas especficas para diferentes tipos de acciones. 5. Quin evaluar. Qu partes de la evaluacin corresponder a los responsables de formacin, a los formadores, a los formados, a los expertos externos, a las empresas, etc. 6. Cundo. Cuales son los momentos oportunos para recoger informacin: antes, durante (en caliente) al finalizar (en fro) o transcurrido un tiempo (diferida). Qu peso se otorga a la informacin recabada en los diferentes momentos. 7. Destino. Quin recibir y explotar la informacin. 8. Para adoptar qu tipo de decisiones. Sobre qu recaer la evaluacin y en que dinmica se inscribe, quin detenta el poder de decisin y en qu terrenos. 9. Utilidad. Cmo poner la evaluacin al servicio de una mejora de la calidad de la formacin, cmo conseguir su verdadera eficacia, y cmo se define esta eficacia.

43

Los datos de referencia de la evaluacin se corresponden con el conjunto de elementos observables que se consideran significativos y a travs de los cuales se capta lo real/concreto y se realiza el juicio de valor. Se construyen con la ayuda de instrumentos de observacin (herramientas de evaluacin) que producen la informacin necesaria para evaluar (indicadores). La referencia corresponde a lo que ser retenido de un objeto a travs de su lectura y testimonia la presencia de las caractersticas que se pretenden (objetivos). El proceso de evaluacin vendr caracterizado por una doble articulacin: Articulacin, en primer trmino, entre el dato de referencia y el referente, puesto que evaluar consiste en atribuir un valor (o una acepcin ms amplia, un sentido) a una situacin real en funcin de una situacin deseada, confrontando de esta forma la realidad y las expectativas. Pero tambin, articulacin entre el dato de referencia y referente y las realidades que en ltima instancia constituyen un modelo reducido. Otras dificultades de la evaluacin son la variedad de mtodos y funciones que se le asignan: diagnstica o predictiva, formativa y sumativa; la variedad de campos de aplicacin y actores: formadores, formandos, responsables polticos, usuarios y expertos. Tratar de ordenar e identificar las variables evaluatorias de una accin formativa, conduce a distinguir nueve elementos y sus correspondientes cuestiones, que surgen y se plantean cuando se aborda la puesta en marcha de una operacin evaluadora. Estos cuestionamientos son susceptibles de organizarse, tal y como se recoge en el siguiente esquema donde las cuestiones enunciadas se relacionan, se articulan y se organizan en un cuestionamiento global. Pero su principal inters reside en el hecho de que permitir entrever cmo las cuestiones de orden metodolgico se funden y desembocan al mismo tiempo en cuestiones relativas al sentido de la evaluacin. As cabe distinguir: Cuestiones de orden tcnico, que conciernen a las posibles formas de evaluacin, los procedimientos a aplicar, las operaciones concretas a realizar. Todas estas cuestiones pueden agruparse bajo el trmino dispositivo, que conlleva determinar una metodologa aportando respuestas concretas a las cuestiones relativas a los objetos, formas y herramientas (cuestiones 3 a 6).
Otras dificultades de la evaluacin son la variedad de mtodos y funciones que se le asignan: diagnstica o predictiva, formativa y sumativa; la variedad de campos de aplicacin y actores: formadores, formandos, responsables polticos, usuarios y expertos.

44

Cuestiones que conciernen al sentido de la operacin y que son al mismo tiempo el punto de inicio y llegada de los cuestionamientos tcnicos. Para construir una metodologa evaluatoria de las acciones de formacin hay que cuestionar qu se entiende por formar y evaluar. Y las elecciones que implica la construccin de un dispositivo vendrn guiadas, aparte de consideraciones puramente tcnicas (no slo por esta primera toma de posicin general sobre el sentido de las operaciones), por el sentido particular de la operacin de evaluar en la cual se inscribe concretamente. La informacin a recabar dependern de lo que se entienda por formacin eficaz, del sentido que se otorgue a la accin de evaluar, pero tambin de la funcin precisa de la evaluacin (destino). Las cuestiones tcnicas obtienen respuesta en el marco de reflexin sobre el sentido y los objetivos de la evaluacin.
Figura 2

ARTICULAR EL PROCESO DE EVALUACIN

EVALUAR
A partir de una situacin real
JUZGAR:
Atribuir Un valor Un sentido

En funcin de una situacin deseada

Las elecciones que implica la construccin de un dispositivo vendrn guiadas, aparte de consideraciones puramente tcnicas, por el sentido particular de la operacin de evaluar en la cual se inscribe concretamente

Confrontando REFERENCIA Conjunto de elementos considerados representativos Aplicacin Contraste Puesta en correspondencia REFERENTE Conjunto de intenciones consideradas significativas

Indicadores Categoras de medicin de la realidad

Normas y Criterios

REALIDAD (Situacin concreta observada) INFORMACIN REAL (Produccin concreta)

PROYECTO (Intencin de cambio) INFORMACIN SITUACIN IDEAL (Lo que, en trminos ideales, se espera obtener)

45

3.2 PRCTICAS EVALUATORIAS

Las polticas tendentes a mejorar la calidad de la enseanza y a seguir de cerca el funcionamiento de los sistemas de educacin y formacin a travs de su medida y evaluacin, se desarrollan en paralelo. La razn de este hecho es evidente: no se puede juzgar la eficacia de las polticas y las acciones en este terreno sin basarse en una cuantificacin sistmica y en una valoracin cientfica de sus resultados. Todas las polticas, todas las reformas, comportan su propia evaluacin, que tendrn un nuevo impacto sobre las futuras prcticas. Las prcticas evaluatorias se han ampliado y se ha producido un deslizamiento: de un cuadro evaluatorio centrado en los productores administracin, enseantes... se ha pasado a un cuadro centrado en los consumidores pblicos destinatarios, demandantes. En el contexto de este nuevo modelo, el proceso evaluatorio viene participado por los propios consumidores, para permitirles realizar un diagnstico de la situacin y de las medidas que se deben adoptar. Si bien este cambio no es todava total, se ha producido ya una tendencia manifiesta hacia la confluencia entre los dos modelos productor y consumidor. Por otro lado, conviene subrayarlo, no existe un cuerpo de conocimientos tericos coherente y unnimemente aceptado para las prcticas evaluatorias. De hecho, la teora se ha construido a partir de las acciones llevadas a cabo. La evaluacin de los sistemas como la de las polticas es relativamente reciente, sin embargo, hay que constatar que, a pesar de las deficiencias, los avances en este terreno han sido y estn siendo importantes, y la magnitud de su alcance es incuestionable por la incidencia que tienen a nivel de decisin y de innovacin de los propios sistemas y acciones. El papel que se atribuye a la evaluacin y al control de la calidad se integra en el proceso de creciente racionalizacin que viven los sectores pblico y privado. Dar cuenta de los resultados, de los avances o de los fracasos producidos, forma parte de este proceso. La evaluacin responde en primer lugar a la necesidad interna de cualquier organizacin de cuantificar sus actividades y sus resultados, puesto que este seguimiento permite identificar las causas concretas que provocan un mal funcionamiento o unos resultados mediocres, y actuar sobre ellas para corregirlas y mejorarlas. La complejidad de las sociedades actuales ha hecho que el mapa de intereses en juego se densifique y aumente el nmero de clientes directos e indirectos de la formacin. En este contexto de evolu-

Todas las polticas, todas las reformas, comportan su propia evaluacin, que tendrn un nuevo impacto sobre las futuras prcticas. Pero no existe un cuerpo de conocimientos tericos coherente y unnimemente aceptado para las prcticas evaluatorias

46

cin cabe situar la tendencia creciente a la privatizacin de actividades o establecimientos, total o intermedia ni completamente pblicos ni totalmente privadosy el notable incremento del nmero de personas e instituciones interesadas y afectadas por el funcionamiento y los resultados de la formacin. Por otra parte, el estilo de la gestin pblica ha cambiado; las administraciones pblicas se dirigen a los consumidores, introduciendo criterios de mercado para la satisfaccin inmediata de necesidades y aspiraciones de sus diferentes clientes. Otro tipo de factores, como la exigencia de transparencia y apertura que afecta de manera especial a determinados servicios pblicos y privados, exigen la produccin permanente de informacin valorada. Estos factores de evolucin han afectado a los sistemas de enseanza y formacin, pero siempre con una intensidad ms baja y con un cierto retraso, si se compara con otros servicios, lo que ha permitido, acotar, atenuar y escalonar sus efectos. Si bien la importancia que se asigna al tema de la calidad no es la misma en todos los pases europeos, numerosos informes al respecto coinciden en sealar que esta cuestin debe pasar a ocupar un

Si bien la importancia que se asigna al tema de la calidad no es la misma en todos los pases europeos, numerosos informes al respecto coinciden en sealar que esta cuestin debe pasar a ocupar un lugar ms importante

LA EVALUACIN EN EL REINO UNIDO

La reforma de la enseanza y la formacin profesional en el Reino Unido ha dado lugar a la implementacin de nuevos sistemas de cualificacin profesional; el NVQ (National Vocational Qualifications) concebido para confirmar la competencia profesional de un individuo mediante normas nacionales y el denominado GNVQ (General National Vocational Qualifications) concebido para confirmar si un individuo est preparado para asumir un empleo en una gama de actividades conexas. Esta reforma ha sido impulsada por el Gobierno mediante la determinacin de los objetivos nacionales de formacin (inicial y continua), medidos en trminos de porcentajes de jvenes y adultos que debern alcanzar, al horizonte del ao 2000, niveles de cualificacin especficos. En este contexto, la evaluacin de los resultados de los alumnos se convierte en el referente fundamental de la poltica formativa, inscrita en un marco de valoracin que prima la eficacia (aplicada a todos los mbitos de intervencin estatal) y que emplea como criterio el concepto Value for Money, es decir, los resultados obtenidos en funcin del gasto efectuado. Surgen as iniciativas de difusin de los resultados de los alumnos de los centros, la comparacin de los costes por cualificacin obtenida o la financiacin parcial de la formacin en funcin de los resultados alcanzados; propiciando un importante debate en torno al reduccionismo de este tipo de enfoques y el sesgo que provocan hacia la formacin de las personas con ms posibilidades de obtener buenos resultados.

47

lugar ms importante. No se produce una unanimidad, ni entre los diferentes pases ni en el interior de los mismos, sobre el sentido exacto del concepto calidad ni sobre las actuaciones a las que sta deber dar lugar. Sin embargo, se constata que una definicin demasiado limitada resultara contraproducente y planteara conflictos y controversias ideolgicas. En contrapartida, se produce un cierto consenso en torno a la idea de que las economas y las sociedades modernas exigen aprovechar al mximo la potencialidad de los recursos humanos, y que se debern poner en marcha todos los mecanismos necesarios para mejorar la calidad de su formacin. El trmino calidad se utiliza en ocasiones con un sentido diferenciador: las polticas educativas en sus diferentes niveles primario, secundario, profesional, superior debern centrarse en los aspectos cualitativos y dejar de considerar exclusivamente los aspectos cuantitativos. En el marco de estas polticas se inscribe la determinacin de un nivel mnimo de resultados, el establecimiento de programas especficos para grupos concretos, la organizacin de sistemas eficaces de informacin y orientacin, la reorganizacin de las inspecciones... y, por ltimo y sobre todo, la creacin de nuevos organismos, instrumentos y dispositivos para el seguimiento, control y evaluacin. Se ha producido adems un cambio que resulta significativo: la educacin y la formacin han pasado a ser consideradas actividades econmicas y, en consecuencia, sometidas a las leyes de la oferta y la demanda y a entrar en competencia de mercado. Bajo esta concepcin, los centros de enseanza y formacin son empresas que, en funcin de los recursos disponibles, debern producir de la forma ms eficaz posible los mejores resultados. Por el momento, esta descripcin corresponde de forma muy parcial a determinadas realidades educativas y formativas. El consumerismo en esta forma extrema es todava un fenmeno excepcional. Probablemente la confrontacin entre el modelo economicista y el modelo servicio pblico no ha hecho ms que empezar. Otros cambios importantes que se han producido en la administracin de los sistemas de enseanza y formacin son: por un lado, la delegacin y/o descentralizacin, y por otra parte, el reforzamiento de la autonoma de los centros formativos. Ms concretamente, Blgica y Espaa se destacan, por razones diferentes, en la transferencia y descentralizacin de poderes en favor de las administraciones regionales y locales.

Se ha producido adems un cambio que resulta significativo: la educacin y la formacin han pasado a ser consideradas actividades econmicas y, en consecuencia, sometidas a las leyes de la oferta y la demanda y a entrar en competencia de mercado

48

Este desplazamiento de los centros de decisin genera, por si mismo, la necesidad de la evaluacin, independientemente del impacto de otros factores que como ha quedado expuesto inciden en el mismo sentido. Si bien se ha producido una toma de conciencia generalizada respecto a la necesidad de realizar una evaluacin sistmica para todos los niveles educativos, esta toma de conciencia no es an sinnimo de actuacin prctica. La reorganizacin y el reforzamiento de los dispositivos de evaluacin tienen como fin, no slo el seguimiento y control de los sistemas y las prcticas educativo-formativas, sino la reorientacin y reforma de las mismas. Con carcter general, reforzar los medios de evaluacin ha consistido en mejorar y, en ocasiones, ampliar la evaluacin de los resultados del alumnado, de la utilizacin de recursos, de los programas especiales y de las reformas especficas, gracias a destacados avances producidos a nivel de metodologas, a la definicin ms precisa de objetivos, a la mejora de los estudios de resultados y de su difusin. La tendencia hacia los modelos consumeristas de evaluacin ha influido en la metodologa y llevado a adoptar modelos menos sofisticados y ms fcilmente utilizables por un amplio abanico de personas. Los mtodos se han hecho ms transparentes y accesibles dentro y fuera de los sistemas educativos y de formacin. En el terreno de la evaluacin individual, del grupo destinatario o del establecimiento, se asiste a una ampliacin de las variables de evaluacin, incluyendo, por ejemplo, los aspectos no cognoscitivos actitudinales, comportamentales, etc, o la adquisicin de competencias en la enseanza tcnica y profesional. La importancia que reviste la medida de los resultados del alumnado vara mucho; mientras que en algunos casos adquiere un papel secundario, en otros es la base y la finalidad del proceso evaluatorio y mediante la agregacin de resultados individuales se pasa a evaluar el grupo, el establecimiento, el mbito local. La evaluacin est llegando a un momento crucial, focalizada sobre los resultados individuales (programas de alcance nacional) o sobre el conjunto del sistema educativo-formativo, aborda las acciones a nivel local y de los centros que las imparten. En cada caso, se incluyen nuevos campos y las tcnicas y mtodos se renuevan. Sin embargo, algunos problemas de base no estn resueltos. Por ejemplo, aunque el inters se est desplazando de lo cuantitativo a lo cualita-

La evaluacin est llegando a un momento crucial, focalizada sobre los resultados individuales (programas de alcance nacional) o sobre el conjunto del sistema educativo-formativo, aborda las acciones a nivel local y de los centros que las imparten.

49

tivo, la relacin entre ambos no est claramente establecida, por otro lado, importantes sectores de la enseanza y de la formacin escapan a los procesos que requiere una verdadera evaluacin y la elaboracin de mtodos de evaluacin o autoevaluacin de los centros de formacin est en sus inicios. Entre las nuevas aproximaciones metodolgicas, se constata la emergencia de prcticas evaluatorias multidimensionales que utilizan una gama ms amplia de instrumentos cuantitativos, encuestas, anlisis, estudios longitudinales, criterios ms sutiles y observaciones sistemticas. El objetivo ideal a alcanzar consistira, naturalmente, en que este puzzle desembocara en un cuadro evaluatorio sistemtico y comprensible. Para ello hay que resolver los problemas existentes en el campo de la evaluacin formativa: Cada mtodo se aplica normalmente en un nivel concreto del sistema y muchas veces a una situacin concreta. La necesidad de un trabajo de investigacin y desarrollo que evite el recurso a mtodos complejos. Lo sealado conlleva la toma de nuevas decisiones en materia de evaluacin y plantea problemas conocidos: dnde deber llevarse a cabo la evaluacin, quines son sus productores... Las modalidades prcticas y las tcnicas evaluatorias difieren en gran medida (pero no exclusivamente) en funcin de las finalidades que se les asignan y de las diferentes categoras de destinatarios. Existe una relacin entre el saber que se desprende de la evaluacin y los responsables institucionales. El modelo de evaluacin vara, as mismo, en funcin del grado de control; si este control es estricto, la evaluacin ser externa, objetiva y adoptar la forma de un balance evaluacin sumativa. Si este control es interno, la evaluacin ser interactiva, formativa y revestir la forma de un autoanlisis. El tipo de evaluacin no ser el mismo si se desea promover un modelo positivo de cambio o garantizar la continuidad de las prcticas pedaggicas. La evaluacin pone en juego diversos sistemas de valores y conduce a plantearse la naturaleza de los objetivos que se asignan a las acciones formativas: si se desea obtener productos medibles o si se desea ofrecer posibilidades de desarrollo a los recursos humanos formantes, formandos. Las diferencias entre las diversas modalidades de evaluacin pueden aclararse recurriendo a las dicotomas.

El modelo de evaluacin vara, as mismo, en funcin del grado de control; si este control es estricto, la evaluacin ser externa, objetiva y adoptar la forma de un balance evaluacin sumativa. Si este control es interno, la evaluacin ser interactiva, formativa y revestir la forma de un autoanlisis

50

Primera dicotoma: evaluacin interactiva o con carcter de inspeccin. La segunda viene conducida por un cuerpo de inspectores y se dirige a quienes tienen la misin de gestionar y controlar el sistema educativo-formativo, y si es interactiva, tendr la finalidad de conducir el proceso de mejora (del profesorado, por ejemplo). Segunda dicotoma: evaluacin formativa o evaluacin sumativa. La primera tiene por objeto ayudar a las personas evaluadas a mejorar sus competencias, permitindoles aprovecharse, poco a poco, de un proceso continuado de apreciaciones sobre ellas. La evaluacin sumativa consiste en manifestar un juicio e intervenir a posteriori. Tercera dicotoma: evaluacin externa o interna. Una evaluacin externa puede ocasionalmente ser encargada a evaluadores que pueden no partir de los mismos valores que detentan las personas/organismos evaluados, pero que privilegian los criterios objetivables. Respecto a la autoevaluacin, sta es llevada a cabo por el propio individuo (o en su caso, organismo de formacin).

El tipo de evaluacin no ser el mismo si se desea promover un modelo positivo de cambio o garantizar la continuidad de las prcticas pedaggicas

51

4. Estrategias dinmicas de evaluacin en la empresa.

Posibilidades de transferencia al sistema de formacin profesional

52

4. Estrategias dinmicas de evaluacin en la empresa.

Posibilidades de transferencia al sistema de formacin profesional

a competencia tanto individual como colectiva se afirma de forma manifiesta como el elemento fundamental sobre el que reposa la productividad y la competitividad de las empresas de nuestro tiempo. La formacin, desde luego, no es la nica va para adquirir competencias profesionales, y habitualmente se subestima el papel de la experiencia y la prctica profesional en la transferencia espontnea de competencias. Las ocasiones de aumentar las capacidades y de formarse son mltiples y variadas a lo largo de la vida profesional; un nuevo proyecto, un problema de difcil resolucin, un perodo de trabajo acompaado por personas que tienen ms experiencia, un cambio temporal a otro departamento, son ocasiones propicias para ello. Es frecuente encontrar en las grandes empresas, reconocidas por la calidad de la gestin de sus recursos humanos, responsables de formacin que estiman como un xito que las personas que han seguido una accin formativa apliquen a su actividad el 50% de lo que han aprendido. El coste de la no calidad del 50% restante, resultara, sin embargo, inaceptable en otras reas de la empresa. Aunque las disposiciones normativas han sido un formidable acelerador de la formacin en las empresas, han dado lugar, en ocasiones, a ciertas derivaciones que se ilustran bajo determinados binomios, tales como formacin-recompensa, formacin-subterfugio, formacin-moneda de cambio del dilogo social, etc. Aunque las prcticas de las empresas han cambiado con la generalizacin de las condiciones y procedimientos de compra de la formacin, no siempre se acta ante la persistencia de ciertas formaciones que el sentido comn desaconsejara llevarlas a cabo. Por otro lado, se ha extremado la consideracin de la formacin como la salvadora en el terreno econmico y social. Si bien, con el paso del tiempo se han acotado los lmites de la formacin y se ha extendido la concepcin de la formacin como inversin.

Aunque las prcticas de las empresas han cambiado con la generalizacin de las condiciones y procedimientos de compra de la formacin, no siempre se acta ante la persistencia de ciertas formaciones que el sentido comn desaconsejara llevarlas a cabo

Resulta, por tanto, esencial valorar la contribucin de la formacin al desarrollo de las actividades de la empresa. Esta evaluacin permitir, en primer trmino, visualizar su aportacin a la resolucin de problemas concretos y se constituye en un instrumento para poder arbitrar el nivel de esfuerzo financiero empresarial necesario.

53

Normalmente las reducciones drsticas de inversin en formacin se producen en las formaciones no operativas; por ejemplo las del tipo cultura de empresa, cuyo rol es importante cara a los cambios de imagen que realizan las empresas, son a menudo las primeras en verse afectadas y cabe aqu cuestionar si alguna vez se ha evaluado su impacto. La evaluacin de la eficacia de la formacin debe permitir precisar las inevitables reducciones y conservar las formaciones realmente tiles. Al mismo tiempo, y mediante un anlisis objetivo de las causas de fracaso, debe facilitar la adopcin de los necesarios ajustes durante su transcurso y la obtencin de las conclusiones tiles que mejoren la calidad del sistema de produccin de competencias y, en particular, del sistema de formacin.

La evaluacin de la eficacia de la formacin debe permitir precisar las inevitables reducciones y conservar las formaciones realmente tiles

LA FORMACIN Y LA EVALUACIN EN UNA EMPRESA DE DISTRIBUCIN - FRANCIA

Docks de France Centre es la filial de un gran grupo del sector de la distribucin que emplea en torno a 2.500 trabajadores. En 1994 se inicia un programa formativo con un doble objetivo: establecer una formacin completa, de 3 o 4 semanas para los candidatos a directores de Tiendas de Proximidad y de Servicios, y utilizar la misma formacin, pero en mdulos de dos das, para los directores en funciones. Las competencias necesarias para el ejercicio de las funciones y las necesidades de formacin correspondientes fueron elaboradas con la colaboracin de los directores de tienda. Cada mdulo define sus objetivos en trminos de saber-hacer, y se compone de una parte terica y otra prctica. Toda la formacin se desarrolla en el lugar de trabajo y la imparte el director/formador, que previamente ha seguido una formacin pedaggica. En el transcurso de la formacin se utilizan tres instrumentos de evaluacin. - En primer lugar, al final de cada da el director/formador cumplimenta una ficha de seguimiento, que permite guiar la formacin facilitando el desarrollo de la accin. - Al final de cada semana, se completa una ficha de evaluacin individual y muy precisa que recoge las adquisiciones que se producen en cada mdulo formativo. Esta ficha sirve y se utiliza como base de dilogo para programar los ajustes necesarios. - Al finalizar la formacin se realiza un balance completo de la misma, mediante la cumplimentacin de cuestionarios dirigidos a formadores y formados. Seguidamente los formadores, formados y responsables del sector se renen para profundizar sobre la accin formativa. La evaluacin del conjunto de las acciones est garantizada por el servicio central de formacin y los responsables del sector. Este dispositivo privilegia los aspectos operativos. El servicio de formacin de la organizacin tiene como funciones asegurar la formacin pedaggica de los directores y responsables del sector, elaborar las herramientas que permiten impartir la formacin y favorecer el mayor grado de autonoma posible.

54

La evaluacin del valor aadido de la formacin permite pasar de una lgica de gestin de la formacin a una lgica de direccin estratgica, dando respuesta a las cuestiones siguientes: La formacin es una solucin a los problemas de actividad planteados, pero es la mejor de las respuestas posibles? Contribuye a los objetivos estratgicos de la empresa? Satisface las necesidades reales de los puestos de trabajo? La formacin por s sola produce los resultados esperados? Qu otro tipo de factores contribuyen a ello? Cul es el grado de dependencia del xito de la formacin respecto a esos factores, especialmente en relacin a la organizacin del trabajo y la gestin de la empresa? En qu proporcin, cualitativa y cuantitativa, aumenta la formacin el stock de competencias disponibles en la empresa? Estas y otras cuestiones, si se abordan con buen criterio, rigor y con cierto grado de flexibilidad, hacen que la cuestin de la evaluacin de la formacin expresada en trminos de contribucin al desarrollo empresarial, se constituya en un tema central de su diagnstico. Para dar respuestas en este sentido se ofrecen a continuacin algunos avances.

La evaluacin del valor aadido de la formacin permite pasar de una lgica de gestin de la formacin a una lgica de direccin estratgica

4.1 PARMETROS DE REFERENCIA

r La

evaluacin debe concebirse en relacin al resultado esperado

Existen muchas formas de definir el concepto de evaluacin de la formacin. Sin entrar en una exposicin exhaustiva o en una disquisicin terica, el comn denominador de dichas definiciones se asienta en el resultado que se espera obtener de la accin formativa. Este resultado esperado se formula a travs de los objetivos asignados a la accin o plan formativo. Evaluar es afirmar si los objetivos se han cumplido o no, y en qu medida. Definida de esta forma, la evaluacin permitir apreciar la eficacia de la formacin en la empresa. La naturaleza de los objetivos asignados a la formacin se pueden clasificar en dos grandes grupos; segn se apliquen a las personas destinatarias o a los resultados de sus actividades profesionales. De hecho, se puede optar por formar a un determinado nmero de personas para que adquieran nuevos conocimientos, generales o especficos, capacidades que no poseen, comporta-

55

mientos diferentes a los habituales... pero adems, y sobre todo, para que las relaciones internas mejoren, los resultados de la produccin aumenten, se registre una inflexin en las curvas de calidad y/o se materialicen las ventajas competitivas de la empresa.
r

Resultados esperados de una accin formativa

De forma esquemtica se distinguen tres niveles diferentes de resultados, a los que corresponden tres niveles sucesivos de evaluacin de la formacin. Mejorar las condiciones de funcionamiento y explotacin de la empresa o de determinadas reas de la misma. Este nivel est participado por los responsables, los decisores y quienes disean la poltica formativa de la empresa. Los parmetros de referencia son las formas de organizacin y funcionamiento, los resultados econmicos o sociales y las condiciones de explotacin de la empresa. Crear o desarrollar competencias individuales y colectivas necesarias en las situaciones de trabajo. Este resultado compete directamente a los responsables de produccin, jefes de proyecto u otros responsables de lneas de productos; es decir, los responsables de alcanzar los objetivos productivos a travs de la movilizacin de una serie de competencias. Adquirir conocimientos, saber-hacer e imgenes tiles para mejorar y hacer que evolucionen las competencias profesionales individuales o construir competencias colectivas. Este nivel de resultados esperados interesa principalmente a los formadores, preocupados por aportar los elementos necesarios para la aplicacin de las competencias, y a la empresa, en una perspectiva de evolucin a largo plazo de las competencias de sus recursos humanos. Por ejemplo, si el nivel de conocimientos generales de un sector del personal es insuficiente impedir su participacin en un proceso de formacin cualificante. La contribucin que se espera en relacin a la mejora del funcionamiento y la explotacin de la empresa Se adopta aqu una ptica mltiple: econmica, social, cultural. Los objetivos asignados a la formacin se denominan objetivos de impacto para subrayar el hecho de que la formacin no es nunca el nico recurso para alcanzarlos. Representan los efectos derivados de la accin formativa sobre las condiciones de funcionamiento y explotacin de la empresa, y se refieren a la traduccin de las nuevas prcticas profesionales en resultados de funcionamiento y de produccin.

Se puede optar por formar a un determinado nmero de personas para que adquieran nuevos conocimientos, generales o especficos, capacidades que no poseen... Pero adems, y sobre todo, para que las relaciones internas mejoren y los resultados de la produccin aumenten

56

Las referencias se expresan como resultados esperados de calidad, cifra de negocio, plazos de entrega, cuota de mercado... pero tambin en trminos de resultados esperados a nivel de mayor seguridad, mejora de las relaciones interdepartamentales, etc. Estas referencias tienen un carcter activador colectivo, incluso cuando los resultados provienen de una sola persona. Por eso se les ha asignado este nombre genrico de condiciones de funcionamiento y explotacin de la empresa. Los objetivos de impacto interesan a las instancias superiores. Aunque habitualmente se busca la mejora de los resultados, es obligado constatar que, salvo excepciones, no se formula en trminos de objetivos, si bien las prcticas evolucionan en este sentido por ejemplo, cuando la formacin se encuentra comprendida en un proyecto de inversin superior. Los objetivos de impacto normalmente se entienden como implcitos. Clarificar la naturaleza de su contribucin permite pasar de una apreciacin subjetiva sobre el avance positivo a una evaluacin real, incluso si la relacin entre formacin efectuada y resultados constatados no es inmediata. De forma ms concreta, en una empresa se pueden distinguir cuatro tipos de objetivos de impacto: Objetivos de cambio cultural, que se caracterizan por hacer referencia a las evoluciones profundas y de largo plazo: cambio de las imgenes habituales que se perciben de la realidad, desarrollo del sentido cliente, evolucin hacia formas de relacin ms directa. Objetivos socio-organizativos: producen su impacto a nivel organizativo, a nivel relacional entre las entidades que configuran la empresa y a nivel social. Se medirn a travs de indicadores dinmicos del tipo: nmero de niveles jerrquicos sobre un puesto, carcter de las funciones delegadas, nmero de cooperaciones emprendidas entre departamentos, grado de satisfaccin del personal, nmero y gravedad de los accidentes laborales, etc. Objetivos que se expresan a travs de parmetros de explotacin de la empresa: plazo medio de respuesta a los clientes, nmero de reclamaciones, tasa de disponibilidad de las instalaciones, productividad horaria, etc. Son por naturaleza objetivables, puesto que reflejan los resultados de la actividad empresarial y se traducen en ganancias o prdidas econmicas.
Aunque habitualmente se busca la mejora de los resultados, es obligado constatar que, salvo excepciones, no se formula en trminos de objetivos

57

 Objetivos de carcter social: participacin en la vida y el desarrollo del territorio, ayuda a la lucha contra la exclusin, aplicacin de una poltica de igualdad de oportunidades, etc. Reflejan la voluntad de la empresa de contribuir a la cohesin de la sociedad en la que se inserta. Estos indicadores sern de tipo cuantitativo y cualitativo. La contribucin esperada en trminos de competencias reflejadas en la actividad profesional La contribucin afecta al cambio de las competencias profesionales individuales y de los equipos de trabajo. La perspectiva que se adopta se centra en el individuo o en el equipo en situacin de trabajo. Y la competencia profesional hace referencia al ejercicio eficaz de las capacidades que permiten el desempeo de una ocupacin. Esta concepcin engloba a las capacidades requeridas para el ejercicio de una actividad profesional y, adems, a un conjunto de comportamientos, facultad de anlisis, creatividad, toma de decisiones, transmisin de informacin... y a su puesta en relacin con un entorno de trabajo concreto. Para poder evaluarlas, deben establecerse con precisin los objetivos profesionales y traducirlos en trminos operativos. Para llegar a describir estos objetivos profesionales se deben cumplir las siguientes condiciones: Concebir un comportamiento que pueda ser observado en la persona que se est formando; Formularlo de manera unvoca, es decir, que no de lugar a diferentes interpretaciones; Expresarlo bajo un trmino (por ejemplo, un verbo) que precise la actividad profesional a la que hace referencia; y Establecer un indicador de medida de los resultados. La contribucin esperada de la formacin en trminos de cambios en las personas participantes durante y al finalizar la formacin pedaggica Se corresponde con las adquisiciones acumuladas por las personas que se forman a lo largo del proceso de aprendizaje: nuevas representaciones de la realidad, conocimientos, nuevos comportamientos, etc., que se pueden agrupar bajo el trmino genrico de capacidades. Es conveniente apuntar dos elementos necesarios para la transferencia de estas adquisiciones en situacin profesional:
La perspectiva que se adopta se centra en el individuo o en el equipo en situacin de trabajo. Y la competencia profesional hace referencia al ejercicio eficaz de las capacidades que permiten el desempeo de una ocupacin

58

 La anticipacin positiva de las situaciones a las que tendr que hacer frente al finalizar su formacin la persona que se est formando; que le llevar a pensar que existirn las condiciones necesarias para que los aprendizajes acumulados a lo largo de su formacin se apliquen. Es decir, una representacin positiva, una prediccin favorable sobre el hecho de que la situacin de trabajo es transformable. Autoconfianza y autoimagen positiva para actuar y transformar su situacin de trabajo. Estos dos aspectos se descuidan con frecuencia y, sin embargo, se consideran de forma implcita por los formadores/as y los responsables de formacin cuando efectan evaluaciones en caliente, muy abiertas y genricas. Se plantea as implcitamente a la formacin el reto de contener todos los elementos y recursos necesarios para, mediante una combinacin adecuada, traducirse en competencias profesionales siempre que el entorno lo permita. Las adquisiciones en trminos de conocimientos, saber-hacer y comportamientos, pueden determinarse a priori a travs de los objetivos pedaggicos. Con el fin de evaluarlos, en la medida de lo posible, deben ser formulados en trminos operativos, utilizando las reglas sealadas en el epgrafe anterior. Sin embargo, una formulacin operativa no siempre es posible, lo que hace que la evaluacin sea incierta o subjetiva. Por ejemplo, los objetivos comportamentales son especialmente difciles de definir. Se tiende a considerar que este hecho marca sus lmites a la pedagoga por objetivos, pero sera ms apropiado entender que estos lmites, de hecho, estn resaltando las zonas de mayor incertidumbre en las que se incurre cuando no se han podido definir los objetivos operativos con claridad.
r

Las adquisiciones en trminos de conocimientos, saber-hacer y comportamientos, pueden determinarse a priori a travs de los objetivos pedaggicos. Con el fin de evaluarlos, en la medida de lo posible, deben ser formulados en trminos operativos

Relaciones entre los diferentes niveles de resultados esperados

La identificacin de los tres diferentes tipos de contribuciones esperadas muestra que stas se inscriben en campos especficos: 1. El campo del funcionamiento y de los resultados de las organizaciones o departamentos empresariales. La consecucin de los resultados previstos depende de variables propias de este nivel: masa crtica de personas formadas y umbral de efecto de sus resultados colectivos, posibilidad de reconocimiento en la empresa de las personas o equipos forma-

59

dos, posibilidades de encadenarse con otras competencias presentes en los diferentes departamentos de la empresa, dispositivos de pilotaje y medida de los resultados esperados. 2. El campo de las competencias profesionales individuales y colectivas que ponen en juego tanto las personas como las situaciones profesionales que las mismas experimentan. Sistema compuesto por capacidades-recursos individuales y colectivos (anteriores y posteriores a la accin formativa), imagen propia de la persona o del equipo, posibilidades de enlazar competencias individuales o de equipo con otras personas o equipos, caractersticas sociales y organizacionales del contexto de trabajo. 3. El campo de las capacidades, es decir, de las adquisiciones de cualquier tipo de formacin que pertenecen esencialmente a la persona. Esta campo viene caracterizado por las condiciones personales de acceso y entrada a la formacin (requisitos, saberes, actitudes...), su propia imagen, su nivel de confianza y motivacin, las adquisiciones y capacidades-recursos acumulados durante la accin formativa, las caractersticas de las situaciones formativas (formadores, grupo, mtodos...) Cada tipo de contribucin esperado posee su propia lgica y cuando se advierten zonas de solapamiento o de acoplamiento interesa sobre todo reconocer la autonoma relativa de cada uno de ellas, o lo que es lo mismo, de cada tipologa de resultados susceptible de ser proporcionada por la accin formativa. En la prctica, lo normal es que se produzcan prdidas entre los diferentes campos, en parte por la multiplicidad creciente de factores en juego a medida que se distancian en el tiempo y en el espacio de la situacin de formacin. La figura 3 que se presenta a continuacin, ejemplifica el encadenamiento cronolgico y esquemtico de los efectos. 4.2 PARA LLEVAR A CABO LA EVALUACIN DE LA FORMACIN EN FUNCIN DE TRES NIVELES DE RESULTADOS ESPERADOS 4.2.1 Evaluacin de los objetivos de impacto Aunque en casos extremos la formacin de una nica persona puede traducirse directamente en una mejora de los resultados de la empresa, habitualmente ser necesario introducir la nocin de masa

Capa tipo de contribucin esperado posee su propia lgica y cuando se advierten zonas de solapamiento o de acoplamiento interesa sobre todo reconocer la autonoma relativa de cada uno de ellas

60

Figura 3

Desde la entrada en formacin hasta el impacto en el funcionamiento de la empresa

Punto de partida de los/las participantes en formacin
Adhesin a un proyecto Objetivos pedaggicos y profesionales Grupo que se forma Motivacin de la persona en formacin

Formadores/as Contenidos Mtodos pedaggicos Medios

Capacidades adquiridas al concluir la formacin

Organizacin de trabajo Motivacin de la persona formada Entorno de relaciones Rol de la jerarqua del tutor Medios materiales, equipamiento

Competencias aplicadas en situacin profesional

Acoplamiento interno de competencia Contexto, ambiente del servicio

Motivacin individual y colectiva

Aplicaciones individuales y colectivas

Implicacin del gestor Cooperacin interdepartamental

Efecto masa Entorno y resultados de la empresa

Impacto sobre el funcionamiento de la empresa

crtica, que remite a la siguiente cuestin: A partir de que nmero de personas formadas se puede hablar de un impacto significativo de la accin formativa en los resultados empresariales? Para ello debern tenerse en cuenta los siguientes parmetros de referencias: Un impacto significativo depender de las formas de organizacin del trabajo, de los procesos colectivos y del acoplamiento

Aunque en casos extremos la formacin de una nica persona puede traducirse directamente en una mejora de los resultados de la empresa, habitualmente ser necesario introducir la nocin de masa crtica

61

interno de las competencias. En este contexto cabe plantearse, entre otras, las siguientes cuestiones: - Pueden responder los restantes servicios de la empresa a los nuevos requerimientos de las personas que se han formado? - Pueden las nuevas competencias adquiridas desarrollar todo su potencial teniendo en cuenta el sistema de relaciones y de comunicacin interna existente en la empresa? - El grado de cooperacin interna existente, favorece o impide que se manifieste este impacto? La cultura de empresa va a jugar igualmente un papel importante, principalmente en la legitimacin que otorgue a la nuevas formas de actuar que introduce la formacin. La magnitud del impacto ser mayor cuando afecta a las zonas estratgicas del cambio, a los nudos de confluencia de una empresa-red, o incluso a los lderes. El impacto, as mismo, va a depender del eventual carcter multiplicador de la formacin. As, se puede formar a los jefes de taller en base a una metodologa de anlisis de la situacin o de diagnstico con una perspectiva de difusin espontnea a los operadores a su cargo. El seguimiento de un cuadro de indicadores de impacto (a veces reducido a un nico indicador) permitir apreciar el efecto real. Normalmente dicho seguimiento estar en manos de los niveles estratgicos de direccin. El nivel jerrquico inmediatamente superior a la persona formada y el responsable de la formacin debern proporcionar los datos necesarios y garantizar el seguimiento de dicho cuadro. Modalidades e instrumentos de evaluacin de los objetivos de impacto
r

El seguimiento de un cuadro de indicadores de impacto permitir apreciar el efecto real. Normalmente dicho seguimiento estar en manos de los niveles estratgicos de direccin

Por lo que se refiere a los objetivos que se expresan a travs de parmetros de explotacin, la mayora de las veces provienen de un problema claramente definido en un contexto econmico. Cuando se plantean como acciones correctivas no se ha alcanzado el nivel fijado por la propia empresa o el establecido por el mercado y la competencia, se produce una expectativa de reduccin de costes. Si se encuadran en el marco de una accin preventiva adquirir ventajas competitivas, preparar el futuro o evitar posteriores problemas, se plantean en una perspectiva de obtencin de beneficios.

62

Los restantes objetivos de impacto organizativos, culturales, sociales en realidad se enlazan indirectamente con un problema planteado en trminos econmicos. No obstante se tratar de evaluarlos mediante indicadores cuantificables, admitiendo que la interpretacin de resultados ser, en ocasiones, difcil. Por ejemplo, el objetivo de cambio cultural de una formacin destinada a profundizar en el conocimiento de los clientes, puede expresarse de la siguiente forma: mejora del conjunto del empleo en sus prcticas cotidianas, tomando en consideracin las necesidades especficas de cada cliente. Esto, en la prctica, se evaluar a travs de indicadores, tales como: el porcentaje anual de productos realizados a la medida, el nmero de colaboraciones concluidas, la cantidad de encuestas anuales dirigidas a los clientes, etc. Otra de las caractersticas de los objetivos de impacto es que, para alcanzarlos, la mayora de las veces es necesario combinar la accin formativa con otros medios, acciones e inversiones. Por ejemplo, para implantar una nueva organizacin de la produccin hay que intervenir sobre la propia estructura, sobre los recursos humanos que la componen a travs de la formacin y sobre el conjunto de la empresa mediante la informacin. As mismo, para mejorar los resultados de productividad hay que efectuar inversiones materiales, modificar los procedimientos y desarrollar las competencias de los recursos humanos. La formacin no es la nica variable y su contribucin especfica a la consecucin de los objetivos de impacto debe ser siempre evaluada con prudencia, evidenciando las restantes variables que inciden en los resultados obtenidos. Para completar esta evaluacin, se observar la situacin profesional con el fin de verificar en qu medida la formacin ha producido las competencias profesionales esperadas. En los cuadros siguientes se ilustra cmo se pueden seleccionar las acciones formativas y cmo se combinan con otras intervenciones para obtener diferentes tipos de impacto en la empresa, tanto en trminos de funcionamiento como de resultados. Se ofrecen, a modo de ejemplo, indicadores que caracterizan el impacto deseado y que pueden convertirse en instrumentos de evaluacin de la formacin.
La formacin no es la nica variable y su contribucin especfica a la consecucin de los objetivos de impacto debe ser siempre evaluada con prudencia, evidenciando las restantes variables que inciden en los resultados obtenidos

63

Cuadro 1

IMPACTO EN LOS PARMETROS DE EXPLOTACIN DE LA EMPRESA

Tipos de formacin Impacto en los parmetros de explotacin de la empresa Ejemplos de indicadores de medida

1. PARMETROS DE PRODUCTIVIDAD
- Formacin tcnica - Calidad - Re-ingeniera - Gestin de produccin Optimizacin de medios y recursos - Plazos: tiempo de tratamiento de pedidos, expedicin, solucin de reclamaciones, lanzamiento de nuevos productos - Precio de reventa - Rapidez de rotacin de stocks - Energa utilizada - Materias primas consumidas - Coste de incumplimientos internos

2. PARMETROS DE CALIDAD DEL SERVICIO

- Formacin tcnica - Formacin en tcnicas relacionales y comportamentales - Calidad - Conocimiento del entorno Calidad de los productos y de los servicios al cliente - Fiabilidad de los productos - Competencia del personal - Disponibilidad del personal - Calidad en el trato y relacin con el cliente - Plazos de entrega - Tratamiento de las reclamaciones - Defectos

3. PARMETROS DE MEDIO AMBIENTE

- Legislacin sobre la proteccin y respeto del medio ambiente - Formacin tcnica especfica sobre los medios de prevencin y proteccin - Conocimiento del proceso productivo, materias primas utilizadas Prevencin de los efectos nocivos, insalubres y peligrosos - Volumen de emanaciones/ desechos - Volumen de productos reciclados - Nmero de plantas externas - Tasa de utilizacin de materiales reciclados

4. PARMETROS DE SEGURIDAD LABORAL

- Seguridad - Mantenimiento preventivo - Legislacin sobre seguridad laboral Prevencin de la integridad de las personas y de los bienes - Frecuencia y gravedad de los incidentes y accidentes laborales

64

Cuadro 2

IMPACTO EN LA ORGANIZACIN Y FUNCIONAMIENTO DE LA EMPRESA

1. ORGANIZACIN FORMAL - Organizacin (industrial, administrativa...) - Direccin de proyectos - Gestin (delegacin...) 1.1. Estructura organizacional (funciones, grado de centralizacin/descentralizacin, estructura piramidal, matricial, por proyectos...) - Nmero de niveles jerrquicos - Nmero de grupos de proyecto - Nueva configuracin de los servicios - Naturaleza de las responsabilidades delegadas a los servicios descentralizados - Productividad - Plazos para tomar en cuenta las demandas de los clientes - Plazos de produccin de los productos/servicios

- Calidad - Anlisis de valor - Anlisis de procesos - Organizacin - Re-ingeniera

1.2. Configuracin de los procesos

- Calidad Total - Proyecto de establecimiento - Direccin de proyecto

1.3. Relaciones clientes/ proveedores internos y cooperacin entre servicios, unidades, clulas, etc.

- Nmero y naturaleza de los proyectos gestionados en cooperacin - Nmero de proyectos formalizados interservicios - ndices de satisfaccin de los clientes internos - Nmero de procedimientos o modos operativos, formalizados, actualizados, verificados, respetados - Acuerdos, labels, certificados obtenidos - Resultados del seguimiento de la puesta en marcha - Plazos medios de la toma de decisiones - Distribucin de las decisiones entre los niveles jerrquicos - Reparto de la carga de trabajo, de los pedidos, etc. - Porcentaje de operadores que realizan diversas tareas, intervienen en diferente tipo de maquinaria... - Tasa de rotacin del personal - Tiempos dedicados a la transfe- Percepcin del personal relativa a sus condiciones de trabajo (recogida por sondeo) - Frecuencia y gravedad de los accidentes de trabajo

- Aseguramiento de la Calidad - Certificacin de calidad - Anlisis de los procesos - Mantenimiento

1.4. Formalizacin, actualizacin y respeto a los procedimientos

- Gestin - Delegacin - Decisin - Organizacin del trabajo - Organizacin del trabajo - Trabajo en equipo - Gestin de tiempos - Formacin en el oficio - Formacin tcnica

1.5. Circuitos de decisin

1.6. Reparto del trabajo, polivalencia, funcionamiento de los equipos (equipos semi-autnomos, distribucin del trabajo individual/trabajo en equipo)

- Condiciones de trabajo - Seguridad - Calidad Total - Formacin tcnica - Formacin en el empleo

1.7. Condiciones de trabajo

65

Cuadro 2

IMPACTO EN LA ORGANIZACIN Y FUNCIONAMIENTO DE LA EMPRESA

2. CIRCUITOS DE INFORMACIN

- Conocimiento del mercado y de la competencia - Conocimiento de la empresa y sus productos - Marketing, estrategia - Benchmarking - Economa de empresa

2.1 Informacin sobre el entorno de la empresa

- Volumen y naturaleza de la informacin recogida

- Gestin - Calidad - Circuitos de informacin - Comunicacin - Informtica - Expresin escrita - Conocimiento de la empresa

2.2. Circulacin de la informacin

- Rapidez, adecuacin, pertinencia de la informacin en circulacin - Despliegue de la informacin en la organizacin - Legibilidad de las notas internas

- Informtica - Documentacin - Informacin/Comunicacin - Formacin en el empleo

2.3. Tratamiento informtico

- Actualizacin de archivos y bases de datos - Fiabilidad de los datos - Nmero de errores - Tasa de utilizacin de las herramientas informticas - Volumen de papel en circulacin

3. DIRECCIN Y GESTIN DE PERSONAL

- Gestin - Comunicacin - Desarrollo personal

3.1. Estilo de gestin y modo de animacin de los servicios

- Nmero de entrevistas anuales, de reuniones de servicios, de decisiones adoptadas tras consulta previa - Nmero de soluciones, adoptadas y puestas en marcha, propuestas por grupos de trabajo

- Direccin de proyecto - Direccin por objetivos

3.2. Definicin de los objetivos, pilotaje

- Nmero de objetivos formalizados: nmero de objetivos evaluados

66

Cuadro 2

IMPACTO EN LA ORGANIZACIN Y FUNCIONAMIENTO DE LA EMPRESA

4. COHESIN SOCIAL

- Formacin comportamental

4.1. Movilizacin del personal, autonoma, iniciativa

- Absentismo - Marcha no deseada del personal de la empresa - Nmero de sugerencias de mejora recibidas

- Todo tipo de formacin, especialmente: gestin, conocimiento de la empresa y de los servicios y entidades, comunicacin, calidad

4.2. Ambiente y clima social

- Satisfaccin del personal, grado de adhesin a los objetivos de la empresa medidos mediante sondeos internos - Frecuencia y naturaleza de los conflictos sociales

- Todo tipo de formacin, especialmente: formacin sobre la cultura de la empresa y obtencin de nivel bsico

4.3. Integracin de todo el personal

- Porcentaje de personas que han conseguido alcanzar un nivel aceptable - Nmero de reconversiones internas realizadas con xito

5. UTILIZACIN DE EQUIPOS - Formaciones tcnicas - Formaciones para alcanzar el nivel bsico, de contenido tcnico 5.1. Utilizacin del material, de la maquinaria, etc. - Diversidad de los usuarios - Nmero de funcionalidades empleadas segn los usuarios - Nmero de averas y fallos debidos a una mala utilizacin

67

Cuadro 3

I M PA C TO E N L A C U LT U R A D E E M P R E S A
1. UNA VISIN COMN DE LA REALIDAD
- Gestin (team building) - Conocimiento de la empresa - Formacin en el empleo Proyecto e identidad de la empresa - Tasa de adhesin del personal al proyecto de la empresa, va sondeo - Tasa de satisfaccin en relacin a la jerarqua - Tasa de reconocimiento del personal de la calidad de los productos/servicios de la empresa

2. FORMA DE REACCIN FRENTE A LOS ACONTECIMIENTOS

- Estrategia - Mtodos de anlisis de la situacin (resolucin de problemas..) - Formacin en tcnicas comportamentales y relacionales Postura frente a los problemas en el seno de la empresa - Nmero de nuevos productos - Distribucin de las inversiones entre corto, medio y largo plazo - Reactividad percibida por los clientes - Tasa de asuncin de riesgos

3. COMPORTAMIENTO FRENTE AL EXTERIOR

- Calidad - Recepcin - Conocimiento de los clientes/ proveedores Apertura de la empresa

- Tiempo dedicado a los contactos personalizados con clientes/ proveedores, segn categoras de personal - Tasa de renovacin de clientes y proveedores - Nmero de colaboraciones clientes/proveedores - Tasa de reclamaciones de la clientela

4. COMPORTAMIENTO INTERNO
- Gestin - Formacin en tcnicas comportamentales y relacionales Regulacin interna - Tiempo dedicado por los directivos a los encuentros formales/informales con el personal - Frecuencia de las manifestaciones de convivencia - Nmero y naturaleza de las formas de comunicacin

68

Cuadro 4

I M PA C TO E N E L E N TO R N O P R X I M O
1. LA INSERCIN EN EL ENTORNO LOCAL
- Seminarios para directivos - Conocimiento de la empresa, de su empresa, de su responsabilidad social (especialmente en la formacin en el empleo o de induccin) - Formacin en la tcnicas relacionales y comportamentales - Calidad Total Poltica de relaciones pblicas - Frecuencia de las relaciones con los actores locales - Nmero de artculos de la prensa local en los que aparece reseada la empresa - Nmero de jornadas de "puertas abiertas", de recepcin de estudiantes... - Nmero de trabajadores que participan o animan estos acontecimientos - Nmero de reuniones de informacin sobre las actividades

2. LA CONTRIBUCIN AL DESARROLLO SOCIAL DEL ENTORNO

- Formacin en capitalizacin y transmisin de saber-hacer - Gestin - Perfeccionamiento tcnico Poltica social de la empresa - Frecuencia de las relaciones con los agentes locales para la insercin de jvenes en aprendizaje, formacin en centros de trabajo... - Tiempo dedicado a la transmisin del saber-hacer en beneficio de los aprendices... - Nmero de tutores - Aportacin de experiencia a los proyectos locales - Tiempo acordado para que los colaboradores de la empresa puedan desarrollar una inversin social - Contribucin a coloquios, formacin fuera de la empresa

3. EL DESARROLLO HUMANO DE SUS MIEMBROS

- Condiciones de trabajo - Desarrollo personal - Formacin en cultura de la empresa y sensibilizacin - Gestin Poltica de desarrollo del personal en el seno de la empresa

-Tasa de trabajo a tiempo parcial, horarios especiales, "a la carta"... - Nmero de proyectos personales apoyados

69

4.2.2 Evaluacin de los objetivos profesionales y de las competencias manifestadas en situacin de trabajo En este nivel se trata de evaluar la consecucin de los objetivos profesionales, verificando que los formados poseen las competencias profesionales que se pretendan ver aplicadas en el lugar de trabajo. Es importante considerar cuidadosamente dos aspectos principales: el modo de realizacin (saber actuar en una situacin) y los resultados obtenidos. Las modalidades que permiten realizar esta evaluacin son: la observacin de los comportamientos profesionales el anlisis de los resultados de la actividad la interpretacin del nivel alcanzado en la actividad individual el anlisis crtico de las situaciones problemticas
r

La observacin de los comportamientos profesionales

Se admite comnmente que la competencia profesional debe probarse en un entorno laboral y, por tanto, que la misma puede ser observada a travs de los correspondientes comportamientos laborales. Es igualmente cierto que esta observacin no siempre resulta ni tcnica ni prcticamente posible. Para que pueda considerarse vlida, la observacin de los comportamientos debe cumplir algunas condiciones: Informacin previa a la persona que se va a evaluar. Esta condicin, adems de ser una exigencia deontolgica, est motivada por el claro riesgo de rechazo en caso de incumplimiento. La observacin debe ser efectuada por una persona capaz de identificar claramente los objetivos procurados y que no pretenda extraer juicios relativos a la persona observada. Ello exige la formacin, o al menos la preparacin, de la persona que va a realizar la observacin. La observacin debe situarse, desde el principio, en una perspectiva de coevaluacin entre el observador y el observado, tanto para garantizar en lo posible la objetividad de los resultados como para permitir una mejor asimilacin de los mismos por parte de la persona observada. Debe contarse con los medios necesarios para realizar la observacin: disponibilidad de observadores que permitan un ratio razonable de personas evaluadas por cada observador (aunque depende del tipo de observacin a realizar, se estima en torno a 8 personas por evaluador).

Se admite comnmente que la competencia profesional debe probarse en un entorno laboral y, por tanto, que la misma puede ser observada a travs de los correspondientes comportamientos laborales

70

Este tipo de observaciones vienen limitadas por una serie de factores, entre los que cabe destacar: La persona observada reacciona inevitablemente ante la presencia del observador, de forma que su comportamiento durante la observacin refleja de forma imperfecta su comportamiento habitual. Esta desviacin puede ser tanto de carcter positivo como negativo. El observador debe proceder con la mxima objetividad, lo que no siempre resulta fcil. Requiere separar los tiempos de observacin y los de interpretacin, con el fin de evitar el efecto halo (tendencia a dejarse influir por la impresin general causada por el observado) y el efecto contaminacin (tendencia a ver e interpretar en funcin de resultados previos). No todos los comportamientos son observables, especialmente en el desarrollo de actividades intelectuales, lo que obliga a utilizar otros medios de evaluacin. Los comportamientos profesionales son raras veces normalizables, existiendo a menudo un importante grado de autonoma que impide reducir dichos comportamientos a una serie de gestos claramente identificables. En lo relativo a las competencias observables, las herramientas ms utilizadas son: La gua de observacin, llamada tambin protocolo de observacin para subrayar su carcter contractual. El cuestionario de evaluacin de los comportamientos: cuando la observacin resulta difcil, se puede aproximar esta realidad no observable mediante un cuestionario dirigido a hacer reflexionar tanto a la persona formada como a su responsable. En este caso, la fiabilidad de la informacin recogida se ver incrementada si se utilizan dos o ms fuentes de informacin (formado, superior jerrquico, cliente interno, compaero de trabajo...).
r

Cuando las actividades presentan dificultades en su observacin, resulta conveniente ampliar la evaluacin a los productos o servicios derivados de la actividad profesional

El anlisis de los resultados de la actividad

Cuando las actividades presentan dificultades en su observacin, resulta conveniente ampliar la evaluacin a los productos o servicios derivados de la actividad profesional. Debe tenerse en cuenta que, en este caso, pueden tambin intervenir factores que perturben el anlisis. As, el saber que va a ser objeto de evaluacin puede hacer variar el comportamiento de la persona evaluada. Adems, se puede haber utilizado la ayuda de algn compaero en la realizacin del producto, etc. Todo ello implica la

71

necesidad de aplicar tambin en esta modalidad los principios de transparencia y coevaluacin. La realizacin de una entrevista de seguimiento entre el formado y su superior jerrquico puede permitir reflexionar conjuntamente sobre la calidad de los productos y, en su caso, discutir la forma de mejorarlos.
r La interpretacin del nivel alcanzado en la actividad individual

Para que las competencias adquiridas en la formacin se traduzcan en una mejora (cuantitativa y/o cualitativa) de la actividad del formado deben cumplirse ciertas condiciones: Condiciones relativas a la propia persona formada: es posible ser perfectamente competente y al mismo tiempo estar desmotivado por diversos factores, internos o externos a la empresa. Pueden igualmente darse caractersticas o limitaciones que frenan la ejecucin de la actividad en unos niveles determinados (lentitud, incapacidad de gestionar simultneamente diferentes tareas, de situarse frente a un objetivo demasiado preciso, etc) o que la favorecen (organizacin personal...). La transformacin de las competencias en un determinado comportamiento laboral mantenido en el tiempo exige tanto el deseo de aplicar las competencias como un carcter perseverante y unas caractersticas personales favorables (o al menos no limitadoras). Condiciones relativas al entorno relacional o logstico de la persona. La imposibilidad de ejercer eficazmente la competencia profesional puede derivarse de la carencia del apoyo necesario o de la inexistencia de unas condiciones materiales mnimas para su realizacin. As pues, la utilizacin de indicadores de resultados debe hacerse con precaucin, teniendo en cuenta los factores que pueden influir en los resultados obtenidos (tambin factores externos favorables, por ejemplo en el caso de un incremento en las ventas que coincide con una mejora de las condiciones del mercado).
r

La utilizacin de indicadores de resultados debe hacerse con precaucin, teniendo en cuenta los factores que pueden influir en los resultados obtenidos

El anlisis crtico de las situaciones problemticas

Este tipo de evaluacin es, por naturaleza, no programable. Consiste en el anlisis de los comportamientos laborales ante problemas o disfuncionamientos. Cada situacin problemtica se analiza de la siguiente forma: Anlisis objetivo del problema que se ha producido: en qu consiste y por qu se ha originado; Comportamientos profesionales que no han sido adecuados y que han provocado, al menos parcialmente, el problema. Investigacin de las causas de esta inadecuacin de los comportamientos (ritmo de trabajo, acontecimientos imprevistos, factores

72

individuales desmotivacin, falta de inters, otros factores relacionados con el olvido o la falta de dominio de los conocimientos transmitidos en la formacin). Capacidades adquiridas durante la formacin que no han sido utilizadas o han sido mal empleadas en esta ocasin. Adems de estas modalidades, la entrevista de seguimiento supone una modalidad transversal que permite reducir los costes de la no calidad de la formacin. Para que sean eficaces, las entrevistas entre el responsable jerrquico y la persona formada deben realizarse antes y despus de la formacin, y estarn sistematizadas. Estas entrevistas permiten obtener un balance de la formacin y su aplicacin en el lugar de trabajo. Deben servir al formando para abordar las posibles dificultades de transferencia planteadas y, en su caso, para solicitar medios complementarios. Adems, la confrontacin con un tercero le permitir situar con mayor precisin sus nuevas competencias. El seguimiento del formado permitir al superior jerrquico consolidar las observaciones que haya podido realizar, validarlas e integrar los objetivos profesionales de la formacin. Tanto si la entrevista se apoya en datos objetivos como si se basa nicamente en las declaraciones de los participantes, debe desarrollarse en una perspectiva de coevaluacin, permitiendo expresarse al formado con entera libertad, independientemente de la pertinencia de su diagnstico. Para que la entrevista resulte productiva, el responsable jerrquico deber respetar las siguientes normas de conducta: manifestar un inters permanente por el exformado, demostrndole una plena confianza; evitar actitudes de enjuiciamiento, especialmente de carcter negativo; no establecer comparaciones con otros colaboradores; incentivar a la persona para que precise y profundice sobre aquellos aspectos que aborda de forma espontnea; adoptar una actitud de escucha y comprensin; reformular, en caso necesario, lo que se ha dicho, realizando sntesis parciales; enfocar los problemas sealados por la persona desde su punto de vista, y no desde la perspectiva del responsable jerrquico; interesarse ms por la persona que por las situaciones que sta menciona, manifestando la intencin de ayudarle a superarlas;
Tanto si la entrevista se apoya en datos objetivos como si se basa nicamente en las declaraciones de los participantes, debe desarrollarse en una perspectiva de coevaluacin

73

 aceptar ser puesto en cuestin como responsable jerrquico, aceptar estudiar los medios facilitados, las eventuales ayudas necesarias, los problemas de puesta en marcha debidos a la organizacin del servicio, a los procedimientos, a las relaciones internas, etc.
r

Aspectos temporales de la evaluacin en situacin profesional

Una de las cuestiones que deben estudiarse en las evaluaciones realizadas en situacin profesional es el momento de realizacin de las mismas, teniendo en consideracin los siguientes factores: El plazo debe ser suficientemente dilatado para permitir que las competencias se expresen en comportamientos continuados en el tiempo; Habr transcurrido el tiempo necesario para que el efecto entusiasmo haya desaparecido; Debe ser posible analizar los resultados del desempeo de la actividad. Asimismo, es necesario tener en cuenta el plazo de rodaje de las competencias, especfico para cada tipo de formacin y que depender del grado de novedad de la formacin, de su dificultad y duracin, as como de su aplicabilidad. Otro punto clave es la periodicidad de la evaluacin. Tampoco para esta cuestin existe una regla de aplicacin general, si bien habitualmente se tiende a considerar suficiente un nico momento de evaluacin. Sin embargo, en algunos casos puede ser especialmente conveniente realizar la evaluacin en dos o ms ocasiones: Cuando las formaciones son de amplio alcance y comportan mltiples objetivos. En el caso de formaciones difciles que requieren acompaamiento y seguimiento. Cuando la evaluacin de los efectos es difcil de registrar o los resultados deben ser interpretados con precaucin debido a la multiplicidad de factores que intervienen. En este caso, la repeticin de la evaluacin tiene como objetivo neutralizar la influencia de factores perturbadores. La situacin de coevaluacin (formado/superior jerrquico) induce una dinmica en la que, si el formado no ha superado con xito el primer momento de evaluacin, solicitar normalmente una segunda evaluacin para registrar sus progresos. Los perodos de evaluacin se establecern de forma que se maximice su objetividad. Para ello se debern tener en cuenta:
Es necesario tener en cuenta el plazo de rodaje de las competencias, especfico para cada tipo de formacin, que depender del grado de novedad de la formacin, de su dificultad y duracin, as como de su aplicabilidad

74

 Las condiciones habituales de trabajo (situacin normal o degradada). Los fenmenos de sobrecarga de trabajo relacionados con un acontecimiento coyuntural o con efectos de estacionalidad de la actividad. Los fenmenos relativos a la conexin con las competencias del resto del personal. Los medios puestos a disposicin por la empresa: nuevos procedimientos, utilizacin de material de mayor calidad, etc. 4.2.3 Evaluacin de los objetivos pedaggicos en situacin de formacin La finalidad de la evaluacin es, en este caso, verificar que los formados han adquirido las capacidades (trmino que aqu engloba los conocimientos, representaciones, actitudes, comportamientos, saber-hacer cognoscitivos, habilidades, etc.) previamente establecidas como objetivos formativos. La utilizacin del trmino capacidad, pretende resaltar su referencia a un entorno formativo frente a las competencias profesionales que se inscriben en un marco laboral. Los dos elementos principales que diferencian la evaluacin en un centro de formacin de la realizada en situacin profesional son: Por un lado, la evaluacin en el centro de formacin implica unas caractersticas que, de forma general, son ms favorables a los formados que las situaciones profesionales reales: presencia del formador y de los compaeros, memorizacin reciente del aprendizaje, nmero reducido de parmetros a tener en cuenta, neutralizacin de elementos perturbadores habituales en las situaciones cotidianas. Este hecho se mantiene aunque una parte de la formacin se desarrolle en el puesto de trabajo. Por otro lado, las pruebas de evaluacin en el centro de formacin tienen un alcance forzosamente restringido debido a condicionantes temporales. Sin embargo, estas limitaciones no disminuyen el inters de este tipo de evaluacin, necesario tanto para el formador como para el formado, ya que permite medir los progresos realizados durante la formacin y el nivel obtenido al final de la misma. En este campo coexisten evaluaciones muy prximas a situaciones de trabajo reales con la verificacin de la obtencin de objetivos puramente pedaggicos. Estos ltimos son generalmente objetivos intermedios, necesarios para la progresin pedaggica de la formacin.
La utilizacin del trmino capacidad, pretende resaltar su referencia a un entorno formativo frente a las competencias profesionales que se inscriben en un marco laboral

75

La evaluacin durante la formacin debe ser diseada por los formadores como un instrumento de apoyo al aprendizaje.
r

Modalidades de evaluacin

En este nivel se presentan una gran variedad de herramientas y modalidades de evaluacin, que reflejan la multiplicidad de las actividades pedaggicas, la heterogeneidad de los saberes a adquirir y la diversidad de las aportaciones que se pueden producir. La mayor dificultad estriba, generalmente, en determinar con precisin qu se quiere evaluar. La utilizacin del concepto de objetivo es condicin necesaria pero no suficiente, ya que la evaluacin debe permitir verificar la obtencin de dicho objetivo, sin que se produzcan perturbaciones que obliguen a poner en juego otros conocimientos, capacidades..., diferentes de los que quieren evaluarse. Normalmente se distinguen tres dominios de aprendizaje: El campo cognoscitivo, que concierne a los saberes tericos y a los procedimientos, as como al saber-hacer con ellos relacionados; El campo psicomotor, relativo a los saberes-hacer manuales y gestuales; El campo relacional, que comprende esencialmente los sabereshacer sociales. A dichos campos corresponden diferentes tcnicas y herramientas de evaluacin: Cognoscitivo: cuestionarios tipo de respuesta abierta o de eleccin mltiple; prueba oral; test de razonamiento lgico, test de inteligencia; test de dominio de los procedimientos; resolucin de problemas; estudio de casos; desarrollo de un proyecto; desarrollo de investigaciones; redaccin de informes o sntesis; simulacin de situaciones reales. Psicomotor: test de psicomotricidad; trabajos prcticos, manipulaciones; simulacin de situaciones reales. Relacional: Juegos de rol; simulacin de situaciones reales. A medida que la formacin se desarrolla, se adquieren diferentes tipos de capacidades. Progresivamente se irn produciendo los tiempos de aplicacin y, para las formaciones ms complejas, los momentos de integracin y combinacin de los diferentes saberes. Sin embargo, normalmente no se prevn situaciones de evaluacin que permitan verificar esta capacidad de integracin. Frecuentemente se da por supuesto que un mdulo de legislacin ms un mdulo sobre redaccin de informes permitir a un agente de

En este nivel se presentan una gran variedad de herramientas y modalidades de evaluacin. La mayor dificultad estriba, generalmente, en determinar con precisin qu se quiere evaluar

76

contenciosos comprender mejor las situaciones y posicionarse ms favorablemente ante sus interlocutores gracias a una mejor argumentacin. La inclusin de pruebas sobre la capacidad de integracin, tiene un marcado carcter formativo ya que sitan frente a un problema nuevo: utilizar en el momento oportuno saberes de naturaleza diferente. El desarrollo de las pruebas de evaluacin debe enlazarse con la adecuada progresin pedaggica, cubriendo el conjunto de los saberes adquiridos y permitiendo validar las integraciones parciales y totales realizadas por el formado. Si la formacin es particularmente larga o difcil para los participantes, ser necesario prever tareas o actividades integradoras, que permitan realizar conexiones parciales. Es igualmente importante tener en cuenta el momento en el que se realiza la evaluacin. Una evaluacin efectuada al final de la formacin imposibilita la adopcin de medidas correctoras. Si el formador desea mantener e incrementar la eficacia de su accin, debe aprender de los resultados obtenidos en cada etapa. Debe igualmente hacer reflexionar a los participantes en una perspectiva de autoevaluacin. El desarrollo de la capacidad de autoevaluacin de los formados es fundamental para el aprendizaje. Por ello, el mero control final es insuficiente, y puede decepcionar al formado o conducir a divergencias de opinin entre el formador y el formado. Conviene as favorecer la reflexin del formado en torno a los resultados obtenidos, de modo que llegue a conocer progresivamente la naturaleza de lo adquirido, lo que no ha conseguido y lo que le falta an para cumplir los objetivos fijados, as como el proceso de aprendizaje, las causas de los errores cometidos y las dificultades encontradas. La evaluacin permanente, informal, se asemeja a la evolucin cronolgica de los procedimientos de calidad en las empresas, fundamentalmente industriales, en los que se produce un cambio; del control final a la salida de fbrica al autocontrol de su propia actividad por parte de los/las trabajadores/as. Las pruebas realizadas al acabar la formacin tienen como fin evaluar la integracin completa de los diferentes saberes que reflejan la consecucin de los objetivos finales. Esto puede lograrse nicamente mediante la simulacin, total o parcial, de situaciones profesionales reales. No se trata slo de relacionar un saber tcnico y la aplicacin de una metodologa, sino de integrar en la prueba la

El desarrollo de las pruebas de evaluacin debe enlazarse con la adecuada progresin pedaggica, cubriendo el conjunto de los saberes adquiridos y permitiendo validar las integraciones parciales y totales realizadas por el formado

77

mayora de los componentes y caractersticas habituales de la situacin profesional. Si la situacin profesional real es demasiado compleja para ser simulada adecuadamente o si la formacin procura objetivos muy amplios, puede ser necesario desarrollar varias pruebas para situaciones diferentes. 4.2.4 Dificultades que encierra la simulacin de situaciones profesionales reales. La mencionada reforma de los Sistemas de Formacin Profesional, derivada bsicamente de un progresivo acercamiento de la formacin a las necesidades del mundo productivo (empresas), ha supuesto el surgimiento de un nuevo enfoque en la evaluacin de la formacin. Si hasta la realizacin de la reforma, la evaluacin se corresponda de forma bastante clara con lo que se ha identificado como Evaluacin de los Objetivos Pedaggicos en Situacin de Formacin, la generalizacin del concepto Competencia Profesional como elemento central en torno al cual se articula la formacin ha originado una tendencia hacia la evaluacin en Situacin de Trabajo. Sin embargo, incluso en los casos en los que esta tendencia se ha desarrollado con mayor intensidad, resulta difcil su consecucin, surgiendo de manera aparentemente inevitable el recurso a la simulacin. Simulacin La necesidad de utilizar la simulacin en la realizacin de la evaluacin viene determinada por diversos factores: Factores de acceso: la evaluacin en el centro de trabajo no siempre resulta accesible para todos los/las formandos. Las empresas pueden considerar que el coste del seguimiento es excesivo, no contar con los equipos necesarios para el desarrollo de las pruebas, etc. Factores de diseo de las pruebas, entre los que se encuentran: - La posibilidad de que se exijan condiciones de futuro, que raramente existirn en muchos centros-entornos de trabajo (nueva normativa de seguridad e higiene, nuevas tecnologas, nuevas formas de organizacin y relaciones laborales) - Que las pruebas elaboradas encierren condiciones de peligro, con alto riesgo para el evaluado/a y para el entorno (procedimientos de limpieza en caso de contaminacin qumica, realizacin de la respiracin artificial a una persona que se est asfixiando, etc)

Si la situacin profesional real es demasiado compleja para ser simulada adecuadamente o si la formacin procura objetivos muy amplios, puede ser necesario desarrollar varias pruebas para situaciones diferentes

78

- Que incluyan acontecimientos poco frecuentes: ocurren tan raramente que no es razonable esperar a que sucedan para realizar la evaluacin (cierre de ejercicio contable a fin de ao) - Que los resultados no sean inmediatos: los resultados se esperan en un futuro lejano, siendo poco prctico demorar tanto tiempo la evaluacin - Que afecten al mantenimiento de sistemas de proceso continuo: los resultados requeriran la interrupcin o cierre de procesos continuos complejos (reparacin y mantenimiento de una planta qumica o nuclear) - Que los resultados sean crticos: un error en la realizacin podra ser peligroso, y se requiere un elevado grado de confianza para su desempeo (deteccin y reparacin de una fuga de gas) - Que la observacin o registro de la actividad resulte inaceptable por motivos de confidencialidad, etc (asesoramiento a un cliente en situacin crtica). El trmino simulacin puede abarcar diferentes realidades, como por ejemplo: Modelos: simulan la apariencia y funcionamiento de equipos y sistemas reales. Algunos son generados por ordenador (simulador de vuelo, etc). Equipos de simulacin: con herramientas, sistemas, materiales y mtodos de trabajo reales, pero empleados generalmente en ambientes no laborales. Los evaluados generan productos fsicas y los evaluadores pueden observar partes del proceso (colocacin de tejas, utilizacin de extintores, seleccin de equipos...). Ensayos: que pretenden reproducir un entorno de trabajo. Se utilizan con frecuencia durante el proceso de aprendizaje pero pueden utilizarse tambin para la evaluacin. En los ensayos se incluyen la mayora de los aspectos de un entorno laboral real (rescate airemar, ensayo de una obra, centro de formacin-restaurante, etc.). Juegos de rol: constituyen la forma ms habitual de simulacin. Se simulan interacciones entre una persona (evaluador, conductor...), que estimula las respuestas de la persona evaluada (entrevistas de seleccin de personal, tratamiento de reclamaciones de clientes, respuestas de emergencia...). Proyectos: que implican normalmente la recogida de datos, investigacin, anlisis, clculo, interpretacin, sntesis, presentacin de resultados y elaboracin de informes. Los proyectos realizados en

Si hasta la realizacin de la reforma, la evaluacin se corresponda de forma bastante clara con lo que se ha identificado como Evaluacin de los Objetivos Pedaggicos en Situacin de Formacin, la generalizacin del concepto Competencia Profesional ha originado una tendencia hacia la evaluacin en Situacin de Trabajo

79

los centros de trabajo emplean las instalaciones, procesos, datos e informacin de la empresa. Los proyectos efectuados fuera del lugar de trabajo implican generalmente la utilizacin de datos e informacin hipottica (plan de empresa, estrategia de mrketing, plan de reduccin de personal). Ejercicios escritos: pruebas escritas (o empleando herramientas informticas) sobre un resultado especfico, a menudo basado en una situacin concreta. Se diferencian de un proyecto porque este ltimo implica un mayor nmero de actividades complejas e interrelacionadas. Se emplean profusamente en ocupaciones en las que se elaboran documentos (clculo de prdidas y ganancias, clculo de los factores de riesgo de las estructuras, realizacin de diseos manuales o por ordenador). El aspecto principal que debe tenerse en cuenta para la validez de la simulacin es el realismo, cuyos principales factores crticos son: herramientas, equipos e instrumentos; materiales contingencias (rupturas en los procedimientos, seguridad e higiene); especificaciones de calidad; tiempos; cantidades; condiciones fsicas (condiciones meteorolgicas, lugar de trabajo) relaciones con otras personas (compaeros, clientes, responsabilidad); tipo de interaccin (trabajo en equipo, trabajo sin supervisin); mtodos y medios de comunicacin; informacin y datos (disponibilidad de referencias, estadsticas).

Los proyectos realizados en los centros de trabajo emplean las instalaciones, procesos, datos e informacin de la empresa. Los proyectos efectuados fuera del lugar de trabajo implican generalmente la utilizacin de datos e informacin hipottica

80

5. La evaluacin de la calidad de los organismos de formacin

5. La evaluacin de la calidad de los organismos de formacin

os centros educativos-formativos, como organizaciones a travs de las cuales se implementan las polticas educativas y de formacin, son objeto de una evaluacin que tiene como fin determinar el cumplimiento de los objetivos y la eficacia y efectividad en la utilizacin de los recursos que les han sido asignados (disponibles).

5.1 EVALUACIN EXTERNA E INTERNA DE LOS ORGANISMOS DE FORMACIN

Acompaando la evolucin tanto de los modelos educativos-formativos como del propio concepto y herramientas evaluatorias, se han desarrollado diferentes estrategias y sistemas evaluatorios adaptados a los propios objetivos y a los diversos tipos de enseanza-formacin. Sin embargo, adems de esta evaluacin externa, los centros, como cualquier otro tipo de organizacin, necesitan conocer cmo estn realizando su actividad y que resultados estn obteniendo. La evaluacin les permitir dotarse de instrumentos de intervencin y, en caso necesario, de correccin de los disfuncionamientos, y supone, por tanto, un medio para incrementar su autonoma.

Acompaando la evolucin de los modelos educativosformativos se han desarrollado diferentes estrategias y sistemas evaluatorios adaptados a los propios objetivos y a los diversos tipos de enseanzaformacin

LA EVALUACIN EN EL NUEVO SISTEMA EDUCATIVO

El cambio operado en este sentido se refleja en Espaa en la nueva concepcin evaluativa de la LOGSE, que exige la inclusin de la actividad docente, la estructura organizativa del centro, el proyecto curricular y la participacin de los sectores de la Comunidad Educativa en la gestin de los centros, adems de la tradicional evaluacin de los resultados de los alumnos. Los rasgos ms caractersticos de la evaluacin propugnada por la Ley son: consideracin de la dimensin cualitativa de la evaluacin dentro del sistema educativo se convierte en componente bsico del currculum su finalidad fundamental es la adecuacin permanente del Sistema Educativo a las demandas sociales y educativas su mbito de aplicacin se ampla a los niveles ya sealados cada Administracin Educativa evaluar el Sistema Educativo en el mbito de sus competencias la evaluacin general del Sistema Educativo se llevar a cabo por el Instituto Nacional de Calidad y Evaluacin la Inspeccin participar en la Evaluacin del Sistema Educativo

82

La evaluacin es por naturaleza diferente del control y sus mecanismos. Si bien las estadsticas y las cifras favorecen la reflexin, es necesario proporcionar un sentido a las mismas, interpretarlas, surgiendo as los sistemas de valores que subyacen en toda evaluacin. Estos sistemas de valores son por naturaleza subjetivos, pero la validacin del proceso evaluatorio exige un intento de objetivacin, que debe iniciarse con la identificacin de dichos sistemas. La idea de evaluar no slo a los participantes (el alumnado) en formacin, sino a todo el establecimiento, se extiende, pero no es una tarea que resulte fcil de llevar a cabo. Los centros son organizaciones complejas, y se produce una cierta resistencia a los procesos analticos. Aunque los centros-organismos de formacin no son unidades homogneas, deben dar respuesta a cuestiones comunes que, en ltima instancia, hacen referencia a la calidad de sus servicios. Frente a la multiplicidad de enfoques presentados en el primer captulo, se pretende ahora ofrecer pautas especficas a travs de un instrumento de consulta para llevar a cabo el diseo de un plan de autoevaluacin de los centros-organismos de formacin; mediante un modelo concreto aunque flexible y a travs de procedimientos e instrumentos de aplicacin determinados. Adems y de forma ilustrativa, se incluyen algunos ejemplos de los nuevos enfoques y herramientas evaluadoras aplicadas en casos concretos.
La idea de evaluar no slo a los participantes (el alumnado) en formacin, sino a todo el establecimiento, se extiende, pero no es una tarea que resulte fcil de llevar a cabo

CERTIFICACIN DE LA CALIDAD DE LOS ORGANISMOS DE FORMACIN

Principalmente las empresas-clientes de los organismos de formacin exigen proveedores cualificados y reconocidos y estn generando la necesidad de que los organismos de formacin garanticen la calidad integral de sus servicios. Al igual que otras organizaciones, y dado su reconocimiento internacional, se procuran certificaciones relacionadas con el cumplimiento de las normas ISO 9000 o sus equivalentes nacionales. Se trata normalmente de organizaciones con una fuerte sensibilizacin hacia la calidad y cercanas al mundo empresarial que procuran la sistematizacin de los procesos en un sector caracterizado por la heterogeneidad de sus prcticas y comportamientos. Los principales beneficios obtenidos por los organismos de formacin mediante estas certificaciones hacen referencia al desarrollo y fortalecimiento de los equipos de trabajo, a las mejoras en trminos de productividad, al grado de satisfaccin del cliente as como a la imagen del centro.

83

5.2 EL CONCEPTO DE CALIDAD APLICADO A LOS ORGANISMOS DE FORMACIN

Aunque ya se ha mencionado la creciente importancia de la calidad en formacin y la multidimensionalidad del concepto, se sealan aqu brevemente algunas consideraciones especficas de la calidad referida a los centros-organismos de formacin. As, la problemtica de la calidad puede quedar planteada en funcin de las diferentes necesidades a cubrir, tales como: seguir la evolucin de su mercado, clientes y sus necesidades; disponer de recursos internos (formadores, intervinientes cualificados) capaces de desarrollarse e incrementar sus capacidades de forma permanente; asegurar la adecuacin de los recursos a las necesidades, en un contexto de fuertes fluctuaciones de la demanda, de escasa fidelidad de los clientes, de contratos de duracin generalmente breve, etc. Por ello, los organismos debern disear su organizacin en torno a tres aspectos bsicos: apertura al mercado, disponibilidad casi permanente y una cultura de servicio al cliente llevada a su mxima expresin; fiabilidad de la organizacin, tanto a nivel de los medios empleados como a los mecanismos de apoyo (pedagoga, recursos didcticos, logstica, planificacin, circulacin de la informacin...); estrechas relaciones internas que permitan adaptarse a cualquier situacin.

La necesidad de valorar la efectividad de la accin o gestin pedaggica ha dado lugar, en los ltimos aos, al surgimiento de una serie de teoras diversas que centran su atencin en las intervenciones de los docentes

5.3 MODELIZACIN DE LAS PRCTICAS EVALUATORIAS DE LOS ORGANISMOS DE FORMACIN

La necesidad de valorar la efectividad de la accin o gestin pedaggica ha dado lugar, en los ltimos aos, al surgimiento de diversas teoras que centran su atencin en las intervenciones de los docentes. Aunque coexisten diferentes modelos dependiendo, en gran medida, de los posicionamientos ideolgicos, las nuevas tendencias en la evaluacin de los organismos de formacin subrayan los siguientes cambios1: El marco conceptual tiende a modificarse, centrndose en un modelo contextual en el que los fenmenos se relacionan de forma interactiva y procesual, abandonando los modelos causales anteriormente utilizados.
1 Adoptados

en el Proyecto International School Improvement promovido por la OCDE.

84

 El objetivo de la evaluacin se ampla y deja de limitarse a los resultados del alumnado, permitiendo el diagnstico de los problemas internos de los centros y su capacidad de resolucin. En este contexto se sita el cuestionamiento de la utilizacin del resultado de los exmenes como nico criterio de eficacia, y su sustitucin por otros que permitan medir la capacidad diagnstica del organismo respecto a los problemas y necesidades de su entorno y el establecimiento de dispositivos y acciones especficas para tratar de resolverlos. Estos enfoques favorecen la autonoma de los centros-organismos de formacin poniendo en relacin evaluacin e innovacin. El proceso evaluatorio propuesto contempla estos aspectos, integrndolos en una dinmica de desarrollo y mejora permanente del centro-organismo de formacin.
r

Estructuracin del proceso

En una perspectiva de bsqueda de la calidad en la formacin, la evaluacin llega a convertirse en una funcin ms del centro, cuya actividad puede esquematizarse en un proceso que exige la definicin de objetivos, la elaboracin de estrategias y toma de decisiones, la implementacin de las mismas, la evaluacin y la revisin. La definicin de objetivos depender en gran medida del tipo de centro-organismo y su entorno y, en su caso, debern ser compatibles con los objetivos generales de las polticas educativo-formativas.
Figura 4

La evaluacin llega a convertirse en una funcin ms del organismo, cuya actividad puede esquematizarse en un proceso que exige la definicin de objetivos, la elaboracin de estrategias y toma de decisiones, la implementacin de las mismas, la evaluacin y la revisin.

ESTRUCTURACIN DEL PROCESO EVALUATORIO

Definicin de objetivos

Elaboracin de estrategias y planes

Revisin

Implementacin

Evaluacin

85

 La elaboracin de estrategias y planes para alcanzar los objetivos fijados incluir la determinacin del personal y los recursos necesarios, el diseo de cursos, la poltica de seleccin y evaluacin del alumnado, el diseo de otras actividades, la definicin de las relaciones con el entorno, etc. La implementacin, es decir, la realizacin de los planes conlleva el desarrollo de las actividades del centro. La evaluacin, se articula en torno a las siguientes fases: - Planificacin: incluye una etapa de acuerdo previo entre los diferentes intervinientes acerca de la necesidad de realizar la evaluacin. Adems, debern delimitarse los objetivos, criterios..., definir funciones, responsabilidades y programar el proceso en el tiempo. - Implementacin: tras elaborar las herramientas de recogida de la informacin y definir su utilizacin, se pondr en marcha el proceso de obtencin de datos y registro. - Explotacin/valoracin: en esta etapa se realiza el tratamiento e interpretacin de la informacin recogida, contrastando los resultados obtenidos con los objetivos fijados. La revisin supone la utilizacin de los resultados y conclusiones de la evaluacin para la mejora permanente del centro-organismo. Permite retroalimentar el proceso, a la par que facilita la modificacin de aspectos concretos de las diferentes fases.
r

La revisin supone la utilizacin de los resultados y conclusiones de la evaluacin para la mejora permanente del centroorganismo. Permite retroalimentar el proceso y la modificacin de aspectos concretos del mismo

Definiciones bsicas

El proceso de autorrevisin de un centro formativo se centrar en torno a cinco reas principales: Definicin de principios y objetivos que van a orientar sus intervenciones. Eficacia de la organizacin de los recursos. Consecucin de los objetivos fijados en un perodo de tiempo determinado: comparacin entre previsiones y resultados. Desarrollo organizativo y procesos de mejora. Relacin del organismo con su entorno: cobertura de las necesidades y favorecimiento del desarrollo econmico y social. Estos objetivos generales se desglosarn en otros especficos, en funcin de la realidad concreta de cada organizacin. En cualquier caso, los objetivos debern ser coherentes con los principios del sistema educativo-formativo como con la filosofa del propio centro.

86

CONCATENACIN ENTRE PRINCIPIOSOBJETIVOS-CRITERIOS.

El siguiente es un posible modelo que la ejemplifica Principio: Promover el acceso de la poblacin a la formacin en condiciones de igualdad Objetivos: 1. Suprimir las dificultades de acceso de los grupos territorialmente ms alejados 2. Facilitar el acceso de las personas ms desfavorecidas 3. Igualdad de oportunidades para formarse Criterios: 1. Localizacin del centro y servicios disponibles para acceder al mismo 2. Porcentaje de alumnos segn niveles socioeconmicos 3. Subvenciones y ayudas disponibles segn niveles

Una vez definidos los objetivos, se determinarn los criterios a emplear, es decir, los medios para juzgar, que debern explicitar las normas que se utilizarn para emitir juicios de valor acerca del nivel de consecucin de los objetivos fijados. Sin embargo, dado que el trmino criterio es un tanto impreciso y susceptible de distintas interpretaciones, habitualmente se utilizan indicadores de medida, como seales objetivas de una realidad (por ejemplo, si el criterio es el trabajo en equipo del personal docente, uno de los indicadores podra ser el nmero de reuniones de trabajo en equipo que se realizan). A pesar de los problemas que puede plantear reflejar criterios a travs de indicadores, su utilizacin permite obtener, de forma sistemtica, medidas que pueden aplicarse tanto en la valoracin y mejora interna de los centros como en la comparacin con el resto del sistema. La construccin de un sistema de indicadores exige trasladar los factores seleccionados a un conjunto de variables observables, o sea, operativizar los campos objeto de evaluacin. Dado que el enfoque planteado presenta un marcado carcter formativo, los indicadores no se reducen a simples datos estadsticos, por lo que es importante que las partes interesadas decidan el tipo de indicadores concretos que se van a utilizar en cada caso. Para llevar a cabo la elaboracin y la implementacin de un conjunto de indicadores coherentes cabe plantear el siguiente proceso de trabajo:

Una vez definidos los objetivos, se determinarn los criterios a emplear, es decir, los medios para juzgar

87

- Delimitar los aspectos directamente relacionados con los objetivos de la evaluacin; - Determinar los indicadores que se van a utilizar para recoger informacin sobre cada uno de los aspectos fijados; - Definir el tipo de variables concretas que se emplearn para recabar dicha informacin; - Decidir el procedimiento de tratamiento para que las informaciones tanto cuantitativas como cualitativas resulten operativas. Para que constituyan un instrumento adecuado de seleccin y organizacin de la informacin, en su construccin deben tenerse en cuenta las siguientes pautas: - Deben mantener relacin con aspectos concretos del centroorganismo y, en consecuencia, medir las caractersticas especficas del mismo para poder as realizar comparaciones. - Deben centrarse en aspectos importantes y permanentes para poder analizar tendencias y cambios. - La informacin que aportan debe ser fcilmente comprensible y til para un abanico amplio de usuarios. - La informacin que se debe recabar exigir de personas experimentadas, tiempo y costes, que se tratarn de reducir al mximo, aprovechando todas las fuentes de informacin disponibles. Tambin los procedimientos de elaboracin se simplificarn al mximo. - Los indicadores deben estar consensuados, aceptados y contemplados como estimaciones vlidas, fiables y relevantes para la valorizacin de la calidad del centro-organismo y la toma de decisiones. - No suponen el nico mtodo de evaluacin, por lo que tambin deben emplearse otros procedimientos de evaluacin complementarios.
r

La informacin que se debe recabar exigir de personas experimentadas, tiempo y costes, que se tratarn de reducir al mximo, aprovechando todas las fuentes de informacin disponibles

Modelo agrupado de factores objeto de evaluacin de los centros de formacin

Aunque existen diversos modelos tericos, la necesidad de considerar todos los aspectos que configuran el centro-organismo de formacin hace conveniente la utilizacin de enfoques multidimensionales, como el contenido en el modelo Contex-Input-ProcessProduct (Stufflebeam).

88

CONTEXTO . Caractersticas del centro . Clima socio-educativo . Caractersticas del alumnado

PRODUCCIN . Instalaciones y recursos materiales . Recursos humanos . Servicios que ofrece . Otros recursos
Hay que tener en cuenta que se trata de un proceso de revisin del centro, por lo que incluye una serie de informaciones iniciales servirn para evaluaciones posteriores

PROCESO . Estructura organizativa . Funcionamiento . Clima/Comunicacin/Cultura

PRODUCTO . Desarrollo . Rendimiento . Satisfaccin de los clientes . Proyeccin/Prestigio

Aplicacin

Se proponen a continuacin, con carcter flexible, una serie de reas contempladas habitualmente en la evaluacin de los organismos, agrupadas segn el modelo anteriormente propuesto y desagregadas en algunos casos a nivel de indicadores. Hay que tener en cuenta que se trata de un proceso de revisin del centro, por lo que incluye una serie de informaciones iniciales (historia, instalaciones, etc.) que actualizadas en su caso servirn para evaluaciones posteriores.

CONTEXTO

La obtencin/valoracin de informacin en este rea exigir normalmente la participacin del personal directivo, la utilizacin de documentacin administrativa del propio centro y relativa al entorno, que puede provenir de las autoridades educativas, ayuntamientos, agencias de desarrollo, etc. La determinacin de las caractersticas socioeconmicas del alumnado requerir el uso de cuestionarios. Caractersticas del centro - Historia: fecha de creacin, evolucin del tipo de enseanza/formacin impartida, destino inicial de las instalaciones. - Niveles, opciones, tamao. - Relaciones con el entorno: relaciones con los medios de comunicacin, iniciativas de aproximacin/informacin al entorno, utilizacin de las instalaciones por terceros (conferencias,

89

deportes, etc.), relaciones con otros organismos, otras entidades a distintos niveles, relaciones con empresas. Clima socio-educativo - Poblacin: nmero, tasa de paro, principales sectores de actividad, categoras profesionales, etc. - Recursos culturales: bibliotecas, teatros, cines, centros culturales, instalaciones deportivas (distancia, accesibilidad). Caractersticas socioeconmicas del alumnado - Tipologa de las familias, procedencia, nivel educativo de los miembros de la unidad familiar, nivel econmico, hbitos culturales.

PRODUCCIN
La informacin relativa a la produccin ser normalmente evaluada por el personal directivo, empleando datos procedentes de la administracin del propio centroorganismo

Este tipo de informacin ser normalmente evaluada por el personal directivo, empleando datos procedentes de la administracin del propio centro-organismo. Instalaciones y recursos materiales - Dimensin y nmero de aulas de formacin, espacios culturales y recreativos, de administracin-gestin, talleres y laboratorios, otros servicios; condiciones trmicas, acsticas, de iluminacin, seguridad e higiene. - Material formativo y de administracin, equipamiento deportivo, material de informacin y documentacin. Recursos humanos - Personal docente: nmero, titulacin, experiencia, residencia, movilidad-estabilidad del cuerpo educativo, formacin continua, adscripcin, tipologa y caractersticas de los contratos. - Personal no docente: nmero, adecuacin a las tareas, experiencia, tiempo de trabajo en el centro, tipologa y caractersticas de los contratos. - Alumnos: nmero de alumnos totales, por curso, aula y profesor; expediente acadmico del alumnado, procedencia; distancia vivienda-centro formativo; horarios. Servicios que ofrece - Servicios de orientacin e informacin, seguros escolares, becas, servicios de transporte, servicios de cafetera, comidas.

90

 Otros recursos - Recursos procedentes de la administracin educativa: asesoramiento, orientacin a profesores y alumnos, formacin permanente del profesorado. - Recursos procedentes de otros organismos/entorno: recursos culturales y educativos ofrecidos al centro, orientacin sobre el mercado de trabajo necesidades de cualificacin y otras.

PROCESO

Requiere fundamentalmente la participacin del equipo directivo y del personal docente, de forma individual y en grupos a diferentes niveles: departamentos, equipos, comits. Estructura organizativa - rganos de gestin: eleccin, constitucin, definicin formal de funciones y desempeo real, planificacin, seguimiento de la planificacin. - Organizacin del personal docente: comisin de coordinacin pedaggica, departamentos, tutores, equipos de ciclo-nivel, grupos especficos, programacin de la actividad. Funcionamiento - Proyecto educativo: cmo se planifican y desarrollan los programas formativos, grado de adecuacin al entorno. - Actividad docente: grado de autonoma y participacin de los profesores en el diseo de las programaciones didcticas, adaptabilidad a las caractersticas del alumnado. - Mejoras e innovacin: sistemas de normalizacin, rapidez en la adopcin de innovaciones. - Tareas administrativas y auxiliares: eficacia, cumplimiento de la programacin y horarios, grado de colaboracin con el personal docente. Clima/Comunicacin/Cultura - Grado de participacin del personal docente en la toma de decisiones que afectan a la actividad del organismo. - Asuncin de los principios y objetivos del centro por parte de todo el equipo. - Definicin y aceptacin de las normas de convivencia.

Valorar la informacin del rea de proceso requiere fundamentalmente la participacin del personal directivo y del personal docente

91

- Relaciones entre el personal del centro: colaboracin, apoyo mutuo, distribucin de los recursos. - Canales de comunicacin: informacin descendente, ascendente y horizontal entre el personal directivo y el resto del personal; documentos, reuniones formales e informales (frecuencia, quin las convoca); lugares informales de circulacin de la informacin; informacin de y hacia los padres, alumnos, empresas, entorno. - Smbolos propios del centro (logotipos, objetos), valores compartidos por el alumnado y/o el personal docente.

PRODUCTO

Es el rea ms frecuentemente evaluada, especialmente en lo relativo a los resultados del alumnado, siendo la satisfaccin de los clientes considerada cada vez en mayor medida. Los cuestionarios aplicados a alumnos, formadores y padres, junto con las calificaciones y la obtencin de ttulos, son los instrumentos bsicos para efectuar esta valoracin. Desarrollo - Adaptacin de la organizacin del centro a los modelos participativos y de corresponsabilidad, eficacia en el cumplimiento de las funciones. - Capacidad del personal docente para adaptar el diseo, desarrollo y evaluacin de los programas para los diferentes alumnos y grupos. Rendimiento - Resultados de los alumnos en las evaluaciones internas y/o externas, obtencin de certificaciones, continuacin de la enseanza/formacin en otros centros, insercin laboral, promocin laboral, etc. Satisfaccin de los clientes - Clientes externos e internos: valoracin de la organizacin y funcionamiento del centro, de la calidad y utilidad de la formacin recibida, de la orientacin e informacin. Proyeccin/Prestigio - Entre el alumnado, profesorado y la comunidad en general: valoracin de la calidad de la formacin, de la transmisin de normas de convivencia y sistemas de valores.

La concerniente al producto es el rea ms frecuentemente evaluada, especialmente en lo relativo a los resultados del alumnado, siendo la satisfaccin de los clientes considerada cada vez en mayor medida

92

5.4 ORIENTACIONES PARA SU IMPLEMENTACIN

Dispositivos de recogida de informacin Con el fin de proporcionar orientaciones, que debern ser validadas por cada organismo segn sus caractersticas e intereses particulares, se proponen a continuacin algunas de las formas ms habituales de recogida y tratamiento de los datos necesarios para la realizacin de la evaluacin. Existe una gran variedad de datos a disposicin de los centros, distribuidos en diferentes lugares y emitidos por fuentes diversas. Adems, generalmente, proporcionan visiones parciales y, en ocasiones, yuxtapuestas, lo que exige un esfuerzo inicial de racionalizacin y estructuracin. Es necesario cuestionarse en primer lugar acerca de los datos que se quieren obtener y su finalidad, y una vez enfocados estos aspectos se pasarn a estudiar los instrumentos ms apropiados: entrevistas, cuestionarios, sondeos, explotacin de documentos, observacin directa, etc. Las principales fuentes escritas sern generalmente documentos administrativos, ficheros, etc., relativos tanto al alumnado como a la situacin financiera, las instalaciones y equipamiento, materiales didcticos, etc. Normalmente la evaluacin requerir la utilizacin de cuestionarios (alumnos, padres, empresas, personal docente...) y/o entrevistas ms o menos formalizadas o estructuradas. La complejidad de estos procedimientos y su creciente generalizacin han llevado a la elaboracin de diversas herramientas, especficas para determinados grupos de centros (elaboracin de guas, diseo de indicadores de calidad determinados...), programas informticos para una gestin integral de la formacin, etc. Aunque la visin que se procura en este documento es la de una evaluacin interna realizada por cada centro educativo-formativo, la existencia de otro tipo de evaluaciones, de mbito superior, permitir normalmente sinergias si se utilizan, al menos parcialmente, los datos recogidos por los centros para la realizacin de evaluaciones externas (ver punto 5.4.1). Dada la extensin de la utilizacin de los cuestionarios como medio para conocer las dimensiones ms cualitativas de la evaluacin as como la inclusin del punto de vista de los clientes, tanto internos como externos, se esbozan algunas consideraciones respecto a la elaboracin y uso de cuestionarios.

Normalmente, la evaluacin requerir la utilizacin de cuestionarios (alumnos, padres, empresas, personal docente...) y/o entrevistas ms o menos formalizadas o estructuradas

93

ELABORACIN DE HERRAMIENTAS DE EVALUACIN DE LA CALIDAD PARA LOS CENTROS GRETA-PICARDIE

Los instrumentos de evaluacin diseados por el grupo AQR (Red de Aseguramiento de la Calidad) para los GRETA (Grupo de Establecimientos Pblicos de Formacin Continua) de Picardie se aplican al comienzo, durante y al finalizar la formacin. En primer lugar, se ha diseado una Gua de aplicacin interna que recoge, organiza y explicita los puntos que garantizan una accin de calidad: incorporar los objetivos, constituir el equipo, organizar la programacin de la formacin, prever el seguimiento y control de la accin, prever la forma de reconocer las adquisiciones de la formacin y organizar la acogida. Al mismo tiempo, se ha elaborado un contrato de intervencin en la formacin de adultos, que refleja contractualmente el compromiso entre el formador y el centro, relativo a la realizacin de una prestacin de calidad que satisfaga al cliente. En el transcurso de la formacin se emplea una agenda de la calidad, que se va cumplimentando en cada fase por los formadores y alumnos, con sus percepciones sobre diferentes aspectos (pedaggicos, materiales, organizativos, etc.). Al finalizar, se emplean dos indicadores: un ndice de calidad elaborado a partir de unas fichas de evaluacin que deben cumplimentar los responsables pedaggicos, formadores, alumnos y clientes finales; y un indicador de calidad, que emplea nicamente criterios objetivos fcilmente identificables.

En primer lugar, es conveniente elaborar un documento de base que respete siempre el mismo plan, lo que permitir obtener economas de escala en la realizacin del documento. Su consolidacin con el transcurso del tiempo facilitar enormemente la recogida de informacin. Es igualmente conveniente que sean annimos, para favorecer la fiabilidad de las respuestas, y una buena calidad visual y un formato breve facilitarn su cumplimentacin. Debern incluir una nota sobre el objetivo de la evaluacin y estar redactados con lenguaje accesible. Puede resultar conveniente utilizar escalas de valores pares, con el fin de evitar que las respuestas se concentren en la zona intermedia, y dejar as una posibilidad de abstencin (algunos evaluadores prefieren no contemplar esta posibilidad si bien hay otros que consideran preferible una mayor fiabilidad de las respuestas aunque su nmero pueda resultar inferior). A partir de estas respuestas se elaborarn los instrumentos de anlisis para identificar: la distribucin de los resultados la dispersin la frecuencia

Es conveniente elaborar un documento de base que respete siempre el mismo plan, lo que permitir obtener economas de escala en la realizacin del documento

94

HERRAMIENTAS INFORMTICAS
La Fundacin Laboral de la Construccin de Navarra ha diseado recientemente una herramienta informtica de evaluacin que facilita la mejora permanente de la formacin mediante la utilizacin de indicadores de calidad. Dichos indicadores se agrupan en niveles diferentes e incluyen las reas de innovacin, flexibilidad, gestin, satisfaccin del cliente externo y del cliente interno, as como indicadores especficos para determinados tipos de formacin. Cada nivel se desagrega en otros inferiores, y los datos se obtienen bsicamente mediante cuestionarios a los diferentes intervinientes en la formacin. Este programa informtico permite una mayor eficacia y rapidez en la utilizacin de los indicadores y proporciona un importante grado de adaptabilidad a un entorno cambiante y cada vez ms selectivo en materia de formacin.

la evolucin en el tiempo la correlacin La aplicacin previa de los cuestionarios a grupos representativos puede permitir la deteccin de posibles errores y/o imprecisiones, y su posterior correccin en la realizacin de los cuestionarios definitivos. 5.4.1 Dispositivo Evaluatorio de la Formacin No Reglada en la Comunidad Autnoma del Pas Vasco Como ejemplo de lo que se ha denominado evaluacin externa, se incluye en este anexo la experiencia desarrollada por el Gobierno Vasco a travs del Departamento de Trabajo y Seguridad Social y gestionada en la actualidad por Egailan Sociedad Pblica de Promocin de la Formacin y el Empleo, respecto a la evaluacin de la Formacin No Reglada (F.N.R.) impartida en los centros de formacin del Pas Vasco. El dispositivo de evaluacin establecido a principios de los 90 ha ido evolucionando en el tiempo. Se ha producido una simplificacin de los cuestionarios que son bsicamente de tres tipos 2. El primero de ellos se dirige a las directores de la formacin y cuenta con 32 items, agrupados en torno a los siguientes captulos: organizacin de los cursos concepcin, programacin, condiciones de desarrollo y profesorado; desarrollo de los cursos; y evaluacin y supervisin. El cuestionario que debe cumplimentar el profesorado que interviene en el proceso de formacin consta de 26 items, incluyendo
Inicialmente se distinguan diferentes tipos de cuestionarios en funcin de la duracin de los cursos.
2

95

datos del propio profesor, del proceso de seleccin de los alumnos, de la preparacin y organizacin del curso, las condiciones espacio-temporales y recursos de que han dispuesto, la metodologa, la evaluacin y la valoracin personal. Por su parte, los alumnos valoran su satisfaccin con el curso mediante un cuestionario que se desarrolla a lo largo de 23 preguntas acerca de su motivacin para la realizacin del curso, sobre el proceso de seleccin, las condiciones espacio-temporales y los recursos, los objetivos, contenidos, metodologa, funciones del profesor, valoracin personal y procedimientos de evaluacin utilizados durante el curso. Con los resultados de dichos cuestionarios se elabora una ficha resumen por cada curso y cada centro, en las que se recogen los datos de identificacin del curso, incluyendo informacin sobre el nmero de alumnos previsto, real, presencia del alumnado y duracin del curso en horas. La ficha contiene un cuadro global de la evaluacin en el que se incluyen los valores medios de los indicadores obtenidos a travs de las respuestas de los cuestionarios, utilizando una escala del 1 al 4. Se presentan en forma de cuatro columnas, tres correspondientes a cada tipo de cuestionario efectuado y una ltima con la media de las cifras anteriores. El captulo de preparacin y organizacin del curso se valora nicamente por el profesorado y el responsable de la formacin. La disposicin conjunta de los resultados permite realizar una verificacin inmediata de las similitudes o diferencias entre las valoraciones de los distintos intervinientes en la formacin, variaciones que se recogen en otro cuadro con los valores extremos y el grado de sintona entre las respuestas del profesorado y del alumnado. Se presenta a continuacin un esquema de las fichas resumen de cada curso/centro, en el que se sealan los diferentes indicadores empleados. Esta herramienta se complementa con un seguimiento que se efecta al alumnado seis meses despus de finalizar la formacin, con objeto de conocer su situacin/expectativas laborales y su satisfaccin en relacin al curso recibido. En el caso de los Parados de Larga Duracin (PLD) el seguimiento se difiere realizndose once meses despus de terminar la formacin.

Con los resultados de los tres tipos de cuestionarios utilizados, se elabora una ficha resumen por cada curso y cada centro, que contiene un cuadro global de la evaluacin y permite realizar una verificacin inmediata de las similitudes o diferencias entre las valoraciones de los distintos intervinientes en la formacin

96

DATOS DE IDENTIFICACIN DEL CURSO

Centro: Curso: Expediente: Alumnado Previsto: ndice Confirmacin de Alumnado: Duracin Prevista del Curso: Cdigo: Alumando Real: ndice Presencia de Alumnado: Comarca de Imparticin:

CUADRO GLOBAL DE EVALUACIN

Alumnado PREPARACIN/ORGANIZACIN Actitud del Responsable de F.N.R. Objetivos, Contenidos Metodologa Seleccin Profesorado RECURSOS y MATERIALES Condiciones Espacio-Temporales Recursos ACTIVIDADES y METODOLOGA Objetivos y Contenidos Metodologa FUNCIONES DEL PROFESOR Claridad de Exposicin Dominio y Competencia Relacin Alumnado CLIMA Clima VALORACIN PERSONAL Satisfaccin Global Contenidos EXPECTATIVAS DE FUTURO Expectativas Profesorado Responsable de F.N.R.

Global

97

DETECCIN/RESUMEN DE VALORES EXTREMOS

Valores Extremos Modas Extremas

Sintona Profesorado/ Alumnado

RECURSOS y MATERIALES Condiciones Espacio-Temporales Recursos ACTIVIDADES y METODOLOGA Objetivos y Contenidos Metodologa FUNCIONES DEL PROFESOR Claridad de Exposicin Dominio y Competencia Relacin Alumnado CLIMA Clima VALORACIN PERSONAL Satisfaccin Global Contenidos

ENTIDAD DOCENTE
Direccin: C. Postal: Comarca: Telfono: Representante legal: Responsable F.N.R.: Municipio: Territorio Histrico: Fax:

98

CONVENIOS
mbito de Actividad

ASPECTOS INFORMATIVOS
Cursos Alumnado Real Duracin prevista

TOTAL
Global Mnimo Mximo

Alumnado
ndice de Presencia (Evaluacin) ndice de Confirmacin

EVALUACIN DIAGNSTICA GLOBAL

1. CUADRO GLOBAL DE EVALUACIN
Alumnado Preparacin-Organizacin Actitud del Responsable de F.N.R. Objetivos, Contenidos, Metodologa Seleccin Profesorado Recursos y Materiales Condiciones Espacio-Temporales Recursos Actividades y Metodologa Objetivos y Contenidos Metodologa Funciones del profesor Claridad de Exposicin Dominio y Competencia Relacin Alumnado Clima Clima Valoracin personal Satisfaccin Global Contenidos Expectativas de futuro Expectativas Profesorado Responsable de F.N.R.

Global

99

2.VALORACIN GLOBAL

Cursos Valoracin

S
Sintona Centro/Alumno

Alumnado

Profesorado

Responsable de F.N.R.

5.4.2 El Mtodo Projeval. Entre las acciones desarrolladas por las MAFPEN (Missiones Academiques pour la Formation des Personnels de la Education Nationale) en el marco de la mejora de los centros escolares se han desarrollado diversas metodologas y herramientas que incluyen la elaboracin de los proyectos de centro y los planes de formacin, as como la evaluacin de los centros. La metodologa Projeval ha sido creada por un colectivo perteneciente al grupo de pilotaje de renovacin de los centros de la academia de Grenoble, Francia. Su objetivo es facilitar la revisin del funcionamiento interno de los centros educativos para, posteriormente, presentar a sus colaboradores los elementos para una evaluacin externa. Corresponde a una concepcin de la evaluacin en su doble vertiente de certificacin sumativa (control externo) y regulacin formativa (control interno). Incluye como criterios de calidad de una evaluacin los siguientes: Pertinencia: las informaciones recopiladas y difundidas deben facilitar la toma de decisiones del receptor del informe. En lo posible, todos los intervinientes (profesores, padres, alumnos)

El objetivo de la metodologa Projeval es facilitar la revisin del funcionamiento interno de los centros educativos para, posteriormente, presentar los elementos para una evaluacin externa

100

deben reconocer y aceptar los mtodos utilizados y las interpretaciones presentadas. Sensibilidad: los mtodos empleados deben incluir el estudio de las representaciones subjetivas de los intervinientes en el proyecto. Deben tener en cuenta la multiplicidad irreductible de los puntos de vista y las expectativas. Transparencia: las elecciones efectuadas deben ser explicitadas, justificadas y correctamente documentadas, de forma que permitan su verificacin, confrontacin y revisin. Variedad y complementariedad metodolgica: el grupo de evaluacin debe trabajar en paralelo con diferentes metodologas y confrontar diferentes opiniones y fuentes de informacin. La intuicin resulta tan necesaria como el rigor, la apertura hacia los dems y la capacidad de distanciarse. Credibilidad: la evaluacin debe reflejar el acuerdo entre las partes o traducir las posiciones contrarias. Los intervinientes deben reconocer y aceptar la autenticidad de los resultados y de las interpretaciones presentadas. Revisabilidad: toda conclusin es provisional y puede ser cuestionada en todo momento. Objetividad: el grupo encargado de la evaluacin debe informar de la manera ms completa posible, insistiendo en las limitaciones derivadas de su propia subjetividad. Valor formativo: la evaluacin debe ser considerada desde una perspectiva positiva como factor de progreso por todos los intervinientes. Incluso si los puntos dbiles prevalecen sobre los puntos fuertes, el tono general del informe debe mantenerse constructivo. Siempre que sea posible, la evaluacin debe acompaar al proyecto, desde su concepcin hasta su utilizacin, y las informaciones deben ser rpidas y proporcionar un diagnstico adecuado. Debe permitir la evolucin de los conocimientos y las opiniones mediante la presentacin de hechos pertinentes. De forma resumida, la evaluacin pretende estudiar tanto el funcionamiento del proyecto como sus efectos esperados (que debern cubrir al menos los principales objetivos asignados al proyecto) o imprevistos (positivos y negativos). El siguiente cuadro recoge la metodologa y los indicadores empleados en el proceso.
La evaluacin debe ser considerada desde una perspectiva positiva como factor de progreso por todos los intervinientes. Incluso si los puntos dbiles prevalecen sobre los puntos fuertes, el tono general del informe debe mantenerse constructivo

101

Cuadro 5

METODOLOGA
Entrevistas Cuestionarios

INDICADORES
Justificaciones espontneas de los colaboradores internos y externos Lgica de funcionamiento existente Lgica de funcionamiento deseada Historia del centro Las prcticas observadas: lgica de funcionamiento observada. Las redes, las personas, las lgicas de actuacin en diferentes situaciones, es decir: - dossieres con los datos disponibles sobre la historia, naturaleza, dispositivos y objetivos del centro - las reuniones institucionales y de otro tipo - situaciones diversas: horarios de clase, tiempos libres, bibliotecas, espacios de ocio.. - los documentos producidos por el centro: circulares, folletos divulgativos, boletines, proyectos, contratos, etc. - otros documentos: dirigidos a los padres, instituciones, etc.; artculos de prensa, etc.

Observacin participativa: recogida de informacin y tratamiento

Anlisis de los datos elaborados Pistas para una sntesis

Grado de desajuste entre los principios invocados y: - las lgicas de las prcticas observadas - los objetos y dispositivos establecidos Elementos a partir de los cuales se puede basar el acuerdo: - qu clase de dispositivo es factible - en razn de qu inters comn Qu proyecto se va a realizar Por qu?, Por quin?, Cmo?, Cundo? Evaluacin-Evolucin

La evaluacin pretende estudiar tanto el funcionamiento del proyecto como sus efectos esperados (que debern cubrir al menos los principales objetivos asignados al proyecto) o imprevistos (positivos y negativos)

Reservado al propio centro

5.4.3 Evaluacin de la calidad de los organismos de formacin en la Comunidad Autnoma del Pas Vasco. Mtodo CEDEO. El mtodo CEDEO se viene utilizando en los Pases Bajos desde 1989 y en Blgica desde 1992. Ms de 300 organismos de formacin en Holanda, y de 70 en Blgica, reconocen su inters y han sido evaluados con este mtodo. Por su parte, muchas empresas y organismos de la Administracin Pblica lo han adoptado como referencia para la compra y financiacin de formacin, y para la eleccin y calificacin de programas formativos. La principal razn del xito alcanzado radica en el enfoque empresarial que adopta este mtodo, con una altsima probabilidad de que se vern satisfechas las expectativas y alcanzando los objetivos, si se adquiere o se contrata formacin a los organismos reconocidos por CEDEO.

102

Puesto que el Programa Europeo Leonardo se refiere reiteradamente a la calidad de la formacin como una de sus prioridades principales, la Sociedad Pblica Vasca de Promocin de la Formacin y el Empleo EGAILAN, se encuentra participando en un grupo de trabajo transnacional en el proyecto denominado Q*FOR, que investiga sobre la validez del mtodo CEDEO y su viabilidad en nuestro pas. Se ha partido de un sistema que ha demostrado ser vlido en otros pases y despus de un estudio detallado, se ha adaptado una metodologa de evaluacin de la garanta de la calidad de los centros de formacin que se ha aplicado con el objeto de validarla.
r

Procedimiento evaluatorio

La evaluacin del organismo de formacin se desarrolla en cinco fases. Fase 1. Estudio previo En esta primera fase se rene informacin general y especfica sobre el organismo de formacin. Para ello, ste facilita sus catlogos de presentacin y cumplimenta un cuestionario3 sobre aspectos relativos a: Consistencia empresarial: perfil de la empresa, actividades y servicios desarrollados, tipo de clientes, cursos y seminarios, facturacin y gestin comercial, infraestructura, disponibilidad. Informacin tcnico-profesional: especificacin de las caractersticas profesionales de sus tcnicos y formadores; metodologas, procedimientos y herramientas utilizadas; productos y servicios; innovacin. Lista completa de clientes del ltimo ao (o ltimos seis meses). Fase 2. Encuesta calificativa Conocer la opinin de los clientes de la entidad formadora es fundamental. Para ello EGAILAN establece contacto telefnico con los clientes, seleccionados al azar de la lista completa seis o doce ltimos meses, facilitada previamente por el organismos, y siguiendo una lista de doce variables4 se recoge su grado de satisfaccin por los servicios recibidos. Se obtiene, de este modo, informacin de carcter cualitativo y calificativo referida a distintos aspectos: la etapa de preparacin,
3 4

La principal razn del xito alcanzado por el mtodo CEDEO radica en el enfoque empresarial que adopta este mtodo, con una altsima probabilidad de que se vern satisfechas las expectativas y alcanzando los objetivos

Con carcter ilustrativo, se incluye ms adelante este cuestionario Con carcter ilustrativo, se incluye ms adelante este cuestionario

103

el programa de formacin, las relaciones con la empresa, la organizacin y gestin de las instalaciones, la satisfaccin global, as como, las mejoras posibles. Fase 3. Entrevista con el organismo Tras el estudio preliminar y la encuesta cualificativa, el organismo de formacin recibe la visita de un experto evaluador de EGAILAN, que transmite el resultado del estudio sobre satisfaccin de los clientes, contrasta la informacin transmitida anteriormente por la propia institucin y recoge aclaraciones o datos complementarios. Fase 4. Elaboracin del informe El conjunto de informaciones recogidas es estructurado y elaborado de acuerdo a criterios de consistencia empresarial, calidad y satisfaccin de los clientes. Segn el criterio establecido en el mtodo CEDEO, para que el informe resulte positivo y el organismo sea reconocido como de calidad, al menos un 80% de los clientes contactados deben mostrarse satisfechos o muy satisfechos de los servicios recibidos. El informe tiene un carcter descriptivo y tcnico, y es transmitido a la empresa de formacin, que cuenta con un plazo de quince das para advertir de eventuales errores. Fase 5. Comit de expertos: opinin de los expertos Contrastado el informe de evaluacin con la empresa, se remite a un grupo o comit de expertos en formacin y desarrollo de Recursos Humanos (RR.HH.). Este Comit tiene la funcin de emitir opinin sobre los criterios y metodologa de evaluacin de los centros de formacin. De forma operativa, el informe de evaluacin que resulta despus de la fase de anlisis de la informacin se pone a disposicin del Comit de Expertos. Este comit est formado por personas representativas en el mundo de la formacin. Se les pide su opinin sobre la aplicacin de la metodologa y sobre el informe resultante del organismo evaluado. En definitiva, aportan credibilidad y legitiman el modelo de evaluacin y sus resultados ante terceros. Estos expertos pueden provenir de las asociaciones profesionales de Formacin y Desarrollo de RR.HH., de organismos pblicos con competencias en formacin, de asociaciones empresariales (preferiblemente PYME) y sindicales, organismo de formacin, y de departamentos de formacin de empresas.

El informe tiene un carcter descriptivo y tcnico, y es transmitido a la empresa de formacin, que cuenta con un plazo de quince das para advertir de eventuales errores.

104

Utilidad y beneficios de la evaluacin Cedeo-Egailan

Para los organismos de formacin Les permite ver reconocida formalmente su imagen de calidad y reforzar sus actividades comerciales mediante una utilizacin adecuada del informe de evaluacin o la difusin de su informacin a travs de EGAILAN. Les permite conocer mejor lo que opinan de sus clientes y disponer de una referencia para la mejora continua de sus mtodos formativos. Les permite acceder a nuevas oportunidades de contratos o convocatorias a medida que estos criterios de calidad y transparencia vayan siendo reconocidos por las empresas o las instituciones pblicas como referencia para la compra o la financiacin de la formacin. Para las empresas y entidades clientes de formacin Pueden disponer de informacin completa y fiable sobre la calidad y caractersticas de los organismos de formacin, as como de sus programas y servicios. Pueden identificar fcilmente, para cada tipo de necesidad, los mejores proveedores segn los criterios establecidos por el sistema CEDEO. En el momento de hacer una eleccin, saben que tienen una probabilidad muy alta de que van a quedar satisfechos si eligen un centro formador con un informe favorable evaluado en el proyecto Q*FOR. Es un camino para asegurar la rentabilidad y eficacia de los recursos y esfuerzos en formacin.

La evaluacin CEDEO-EGAILAN es un camino para asegurar la rentabilidad y eficacia de los recursos y esfuerzos en formacin.

105

CUESTIONARIO PARA EL ESTUDIO PREVIO DEL ORGANISMO

1. Datos generales Nombre del organismo: Direccin: Poblacin: Telfono(s): Fax: Director (General), Presidente, Consejero Delegado...: Persona de contacto: Cargo o funcin: *** Delegaciones1: 1) 2) Campo o reas de actividad de formacin2: Servicios o programas de consultora en RR.HH.3: Forma parte de4: Asociaciones de que es miembro: Colabora con5: Reconocida por6: Creada en el ao: en7 Ao de implantacin en Espaa (si es de origen extranjero): 2. Perfil del organismo de formacin Socios o promotores: Filosofa y misin del organismo:

D.P.: Email:

A qu tipo de clientes est orientado el organismo? Administracin Pblica % Empresas: %, diferenciado: de > 100 personas: % del total de empresas de < 100 personas: % del total de empresas
1 Aadir 2

ms informacin aparte, si es necesario. Gestin, Comercial, Idioma, Finanzas, Informtica, RR.HH., Tecnologa, Servicios, otros. 3 Seleccin, Estudios, Organizacin, Remuneracin, Desarrollo, Evaluacin 4 Si el organismo forma parte de una organizacin ms importante. 5 Si colabora habitualmente con otros organismos, universidades 6 Si la formacin o actividad es reconocida por Instituciones, Federaciones 7 Indicar localidad o Estado.

106

 Actividades no lucrativas % Tipo o modalidades de formacin que lleva a cabo (marcar): Formacin presencial Formacin a distancia Multimedia Otros8 Tipos o modalidades de consultora en RR.HH.9 : Historia del organismo (Fechas clave de la institucin): Estructura interna de la empresa/organigrama bsico: 3. Cifras de negocio (Facturacin)
Ejercicio Ejercicio 1993 Ejercicio 1994 Ejercicio 1995 Formacin Consultora Otros Servicios10

Del tiempo dedicado a formacin, indicar la dedicacin a las diferentes etapas o aspectos, en porcentajes: Desarrollo ...% Adaptacin al cliente ...% Ejecucin/imparticin ...% Evaluacin y seguimiento ...% Informe al cliente al final del proceso ...% Reciclaje de formadores ...% Gestin comercial ...% Gestin administrativa ...% Tiempo dedicado a otras actividades de apoyo o consultora en RR.HH.: Tipo de servicio: ...% Tipo de servicio: ...% Tipo de servicio: ...% Tipo de servicio: ...% Otro tipo de proyectos o servicios singulares o especficos:
8 9

Especificar: Elaboracin de material de software formativo, gestin de planes formativos, ventas de licencias, etc. Seleccin, estudios, remuneraciones, organizacin, directivos 10 En esta columna pueden incluir, por ejemplo, la elaboracin de material didctico, venta de licencias, soporte logstico, soporte de apoyo, etc.

107

4. Cursos/Seminarios Cul es su visin de la formacin? Datos de los cursos o programas del ltimo ao: Cursos a medida o intra-empresa (una sla empresa) Nmero por ao11 : Duracin media12 : Nmero medio de participantes: Cursos abiertos o inter-empresa (varias empresas) Nmero por ao: Duracin media: Nmero medio de participantes: Qu proporcin de la formacin del ltimo ao ha sido adaptada o creada a requerimiento de los clientes? % Disean y preparan los programas de formacin los propios formadores, o lo hacen tcnicos o profesionales diseadores? Imparte la formacin en fechas determinadas? Una vez terminada la formacin, entrega un diploma a los participantes? Utiliza cuestionarios para que los participantes evalen los programas?13 Formacin inter-empresa y formacin intra-empresa (a medida): TTULO DE LOS PROGRAMAS DESARROLLADOS Nmero de participantes Inter-empresa Intra-empresa Qu nuevos cursos o programas tiene previsto poner en marcha el prximo ao? Qu etapas y procesos siguen cuando una empresa le dirige una peticin de formacin? Con qu persona(s) de la empresa solicitante abordan, y cmo, la planificacin y diseo del programa a desarrollar? Puede describir la metodologa seguida para el diseo y adaptacin de sus cursos? Puede describir los mtodos y medios didcticos utilizados, as como el material empleado?
11 No se trata de proyectos diferentes realizados en el ao, sino del nmero total de imparticiones de programas formativos. Los programas que se repiten varias veces en la misma empresa se contabilizan tantas veces como se imparten. 12 Expresado en nmero de jornadas de formacin por programa. Cuando un programa es ejecutado varias veces en la misma empresa, indicar el nmero medio de jornadas de formacin por programa (y no el nmero total de das de un proyecto de formacin para la empresa). 13 En caso afirmativo, adjuntar un modelo de los cuestionarios utilizados.

108

De qu manera tienen ustedes en cuenta el hecho de que los participantes en cursos inter-empresa procedan de empresas diferentes? 5. Formadores, especialistas y tcnicos Nmero de tcnicos y formadores: Fijos, a tiempo completo: Fijos, a tiempo parcial: Colaboradores habituales: Nmero de personal de apoyo logstico-administrativo: Nombres de los formadores y especialistas, y sntesis del currculum vitae (si son ms de 9, recoger los titulares o responsables de rea o programas): Qu criterios utilizan prioritariamente en la seleccin de su profesorado? De qu manera tienen organizado el proceso de integracin de los nuevos formadores? Cmo realizan la evaluacin del desempeo y de la actividad de sus formadores? Qu medidas toman para el desarrollo profesional de sus formadores, tanto de los contratados como de los colaboradores? (programas de reciclaje, seminarios, conferencias...) Pueden describir las precauciones previstas para el caso de que uno de sus profesores no est en condiciones de cumplir sus compromisos con un cliente? 6. Gestin comercial Pueden enumerar sus actividades de promocin y prospeccin comerciales? En relacin a la Administracin o Instituciones Pblicas: En relacin a las Empresas de ms de 100 empleados: En relacin a las Empresas de menos de 100 empleados: En relacin a otras entidades o colectivos (p.e. no lucrativas): En qu se distingue su organismo de los dems, de la competencia? Cules son los ejes de su desarrollo futuro? Puede describir las perspectivas futuras de su empresa? 7. Infraestructura Cuenta su empresa con infraestructura propia para desarrollar las acciones de formacin? SI NO En caso afirmativo, indique el nmero y caractersticas de las instalaciones (aulas, salas, etc): En caso negativo, cmo se aseguran la infraestructura necesaria, y de qu tipo? De qu otras instalaciones o recursos disponen?

109

8. Referencias sobre clientes y programas14 Para efectuar la encuesta calificativa, le rogamos que enve un listado de todos sus clientes de los ltimos seis o doce meses15, incluyendo para cada cliente los datos que se indican16 : IDENTIFICACIN DE CLIENTE (EMPRESA U ORGANIZACIN) Nombre de la empresa Tamao: Direccin: Persona de contacto (interlocutor tcnico): Cargo/funcin: Nmero(s) de telfono: IDENTIFICACIN DEL PROGRAMA O CURSO Ttulo del programa desarrollado: Estndar A medida Fecha de comienzo ___/___/___ Duracin horas___ Impartido: ___vez/veces Funcin de los destinatarios del programa: Objetivo/Descripcin del programa: menos de 100 empleados ms de 100 empleados

14 Reproducir esta ficha tantas veces como sea necesario para recoger todos los clientes o aciones de formacin del perodo contemplado para el estudio de la satisfaccin de los clientes 15 Incluir todos los clientes de los ltimos seis meses, si su nmero es igual o superior a 15. Encaso contrario, incluir todos los clientes del ltimo ao. 16 En el caso de las acciones inter-empresas, completar solamente la parte correspondiente a la descripcin del curso o programacin y adjuntar la lista de los participantes, indicando para cada uno el nombre de su empresa, su nombre y apellidos, su cargo o funcin y su nmero de telfono.

110

CUESTIONARIO PARA CONOCER LA SATISFACCIN DE LOS CLIENTES

La calificacin de cada apartado es la siguiente: 1. Muy Insatisfecho; 2. Insatisfecho; 3. Regular; 4. Satisfecho; 5. Muy Satisfecho; Ns./Nc. No Sabe - No Contesta. 1. En relacin a la fase previa al curso o programa. Por qu seleccion este organismo? Cmo fue el primer contacto? Antes del comienzo del curso hubo: Entrevistas / Reuniones con: el coordinador, los mandos, el director, los participantes? Estudio de documentos, orientacin al puesto de trabajo, pruebas? Est Usted satisfecho con los contactos que tuvo con el organismo? Tena Usted objetivos concretos antes de comenzar, o sobre los resultados que quera alcanzar? Cunto tiempo dur esa fase? Cmo fue la oferta: Correcta, sin faltas, a tiempo, con buena presentacin? Opiniones: 2. En relacin al curso o programa Cul fue su impresin sobre el programa? Si hizo alguna sugerencia, fue posible que la aceptaran? Lleg el programa al nivel de conocimiento de los participantes? Fue posible cambiar u orientar el programa en la direccin que Usted deseaba? Us adecuadamente el Organismo la informacin que le suministr? Tuvieron los participantes una buena informacin sobre el programa antes del comienzo del curso? Opiniones: 3. Sobre el desarrollo del curso Respondi el desarrollo del curso a sus expectativas? Se haban incluido en el programa partes especficas relativas a su organizacin, p.e. casos o situaciones extradas del trabajo? Hubo una buena combinacin entre teora y prctica? Cubri el curso todos los temas o aspectos que Usted haba pedido? Realiz el organismo alguna evaluacin durante el curso, por escrito o verbal? Qu tipos de procedimientos se usaron: trabajo en grupo, presentaciones, demostraciones, etc? En qu medida se individualiz la formacin? Opiniones:

111

4. Sobre la fase posterior al curso Hubo alguna actividad de evaluacin, seguimiento, etc. al finalizar el curso? Se evalu el curso al final: con Usted, el coordinador, los participantes, algn otro; por escrito o verbalmente? Se realiz algn tipo de seguimiento? Respondi el curso a sus expectativas? Cmo fueron los resultados del curso? Se alcanzaron sus objetivos? Hubo exmenes? Hubo certificados? Opiniones: 5. Sobre los formadores Cuntos formadores estaban disponibles para el curso? Pudo elegir formador? Cul es su opinin sobre ellos? Eran realmente expertos sobre los contenidos? Cmo fue su comportamiento didctico? Quedaron satisfechos los participantes de la ayuda que recibieron? Qu pas si un formador se puso enfermo o no pudo continuar? Opiniones: 6. Sobre los materiales del curso Qu tipo de material hubo en el curso: Manuales prcticos, libros tcnicos...? Cul es su impresin sobre los materiales: Estaban actualizados, adaptado al trabajo real, adecuados al nivel de los participantes? Se pueden usar posteriormente como documentacin de referencia? Se usaron medios audiovisuales, ordenadores, TV, retroproyector, otras ayudas? Opiniones: 7. Sobre las relaciones con el organismo Con quin tenan contacto? Haba una persona concreta para los contactos? Cmo fue la relacin con el organismo? Cmo le informaba el organismo sobre nuevos cursos o actividades: Mailing, cartas...? Le sigue informando actualmente el organismo sobre nuevos cursos o actividades? Con qu frecuencia? Opiniones: 8. Sobre organizacin y gestin Est Usted satisfecho con la organizacin y la gestin, en general? Es flexible el organismo, en el caso de que Usted desee modificar algo? Tuvo Usted alguna queja o reclamacin? Cmo las resolvieron?

112

Fue correcta la oferta, tanto en contenido como en presentacin? Opiniones: 9. Sobre las instalaciones Usaron Ustedes las instalaciones del organismo? Qu opinin le merecen, en general? En el caso de cursos residenciales, cmo era la comida, el dormitorio? Fue fcil su acceso? Fue fcil aparcar el coche? Opiniones: 10. Sobre la relacin calidad-precio Piensa que el organismo tiene una relacin de calidad-precio adecuada? Opiniones: 11. Evaluacin general Volvera a contratarla, en las mismas condiciones? Cules son los puntos fuertes que Usted ms valora? Opiniones: 12. Sugerencias de mejora Cules son los puntos dbiles del Organismo de Formacin y los aspectos susceptibles de mejora? Opiniones:

113

Bibliografa bsica
Evaluacin formativa Bartolom Rotger Amengual. Cincel S.A., Madrid 1992 valuer et rformer les sistmes ducatifs OCDE, Pars 1996 Lvaluation en questions Charles Delorme. ESF, Pars 1994 Lvaluation en formation Jean Marie Barbier.Presses Universitaires de France, Pars 1990 Appraising teaching quality John D. Wilson. Hodder and Stoughton, Gran Bretaa 1988 Systematic evaluation Daniel L. Stufflebeam y Anthony J. Shinkfield. Kluwer-Nijhoff, Boston 1985 Calidad de la educacin y eficacia de la escuela. Estudio sobre la gestin de los recursos educativos Varios autores. Ministerio de Educacin y Ciencia, Madrid 1995 Evaluacin de centros docentes. El plan EVA Jos Lujn Castro y Julio Puente Azcutia. Ministerio de Educacin y Ciencia, Madrid 1996 Guide mtodologique pour lvaluation des actions de formation Charles Hadji. CRDP, Grenoble 1987 Guide pour lauto-evaluation de letablisement scolaire CRDP, Lyon 1990 Pour apprcier la qualit de la formation Alain Bercovitz, Pascale Fievet, Dominique Poirier. LHarmattan, Pars 1994 Lvaluation des organisations ducatives Jean Aubegny. Editions Universitaires UNMFREO. Paris 1989

114

Teaching Quality Department of Education and Science. London HMSO 1983 La qualit en formation Philippe Carr. Entreprises Formations, n 384, AFPA 1994

115