Taller sobre Evaluacin de impacto de Proyectos de Fomento del Desarrollo Juvenil y Prevencin de la Violencia

Hotel Los Hroes, Bogot 02 de octubre de 2007

Diseo de evaluacin de impactos tempranos del Programa Familias Fuertes en Per

Hugo Morales Consultor GTZ Coordinador de la Diplomatura en Desarrollo Integral y Prevencin de la Violencia Juvenil Universidad Nacional Mayor de San Marcos Per

Contenido
1. 2. 3. 4. Marco conceptual del Programa Familias Fuertes. Objeto de la evaluacin (qu): Programa preventivo dirigido a
Familias (padres e hijos).

Propsito de la evaluacin (para qu): Producir evidencias

sobre qu funciona en la intervencin preventiva con Familias.

Involucrados en la evaluacin (quines y con quines):

Poblacin blanco, interventores y otros actores clave.

5.
6.

Indicadores (qu se observa): Cambio de conducta a nivel

individual y a nivel interpersonal.

Metodologa e instrumentos (cmo se evala): Diseo cuasiexperimental con grupo control no equivalente y Triangulacin.

7.

Aprendizajes de la evaluacin (qu sirve, qu no sirve, alertas en proyectos de prevencin de la violencia): Validez
Interna y Externa en los programas y proyectos de prevencin.

Marco conceptual del Programa Familias Fuertes: Amor y Lmites

Objeto de la evaluacin (qu): Programa preventivo dirigido a Familias (padres e hijos)

Familias Fuertes
Objetivo General: Mejorar la salud y el desarrollo de adolescentes entre 10 14 aos de edad, y prevenir conductas de riesgo a travs de la promocin de la comunicacin entre padres e hijos. Pre-adolescencia y adolescencia temprana son los perodos claves para prevencin. Las conductas de riesgo an no han comenzado o se estn recin instalando.

El rol de la familia en el desarrollo adolescente

La familia tiene un rol fundamental en promover en un espacio contenido, la experimentacin y vivencia de experiencias nuevas de los hijos adolescentes. Familia es un espacio para promover oportunidades, expectativas, metas lmites y gua (orientacin y monitoreo). Estudios multiculturales resaltan la importancia de la familia y el efecto en el bienenstar emocional del adolescente (Brian Barber, 2002) Relacin con adulto significativo. Regulacin de lmites. Autonoma. Relacin emocional positiva y estable promueve competencia social. Coherencia en las reglas y los valores facilita la adaptacin al mundo social.

Nivel conductual interpersonal (familiar): Teora del Cuidado Eficaz (authoritative parenting model de Baumrind, 1971) El cuidado eficaz de adolescentes se ubica en un continuo entre la demanda de cumplimiento de expectativas y la disciplina; y el estar atento/a a las necesidades y deseos de los adolescentes. Est compuesto de = Amor y Lmites
Calidez y amor Estructura y disciplina Apoyo a la autonoma y al desarollo Monitoreo de su comportamiento

Nivel conductual individual (padres): Teora del Aprendizaje Social de Bandura (1986) videos aplicados a los padres: modelaje. Compuesto de = Autoeficacia, Metas y Valor de los resultados esperados
Determinismo recproco Capacidad conductual Expectativas de resultado Expectacin de resultado Auto-eficacia Aprendizaje observacional Refuerzos

Competencias a desarrollar en los Padres

Amor y Conexion Apoyo y Aceptacion. Controlar y Observar Dar libertad y averiguar. Guiar y Limitar Lmites y moral clara. Dar ejemplo y Consultar Ofrecer oportunidades para el debate y toma de decisiones. Proveer y Abogar- Conectar con la red de apoyo.

Propsito de la evaluacin (para qu): Producir evidencias sobre qu funciona en la intervencin preventiva con Familias

Involucrados en la evaluacin (quines y con quines): Poblacin blanco, interventores y otros actores clave

 Coordinadora pas: introduce la estrategia de trabajo con Familias en POA del proyecto en Per. Muestra de familias: reclutadas en el mbito escolar local. N = 25 familias aprox./casos y controles en 5 distritos de Lima. Equipos distritales: trabajadores de los Municipios socios del proyecto entrenados en el programa. Responsables de establecer contactos con el Colegio y realizar la convocatoria e identificacin de las familias. Directores de colegios, Tutores, Alcaldes.

Ejes temticos de las sesiones para el trabajo con los padres

7 sesiones concentradas en reducir factores de riesgo y promover factores protectores dentro de la dinmica familiar y la relacin de la familia con el entorno. 1. Usando amor y lmites. 2. Estableciendo de reglas en el hogar. 3. Fomentando el buen comportamiento. 4. Uso de las consecuencias (uso de sanciones). 5. Construyendo puentes (establecer vnculos). 6. Proteccin contra los comportamientos de riesgo. 7. Ayuda para necesidades especiales de la familia y conexin con la comunidad. Atencin a la estructura familiar.

Sesiones con los adolescentes

1. Tener objetivos y sueos Indicador conductual / tem 2. Apreciar a los padres Indicador conductual / tem 3. Hacer frente al estrs Indicador conductual / tem 4. Obedecer las reglas Indicador conductual / tem 5. Hacer frente a la presin de los compaeros Indicador conductual / tem 6. La presin del grupo y los buenos amigos Indicador conductual / tem 7. Ayudar a otros Indicador conductual / tem

Sesiones con las familias

1. Apoyar los objetivos y sueos Indicador conductual / tem 2. Promover la comunicacin en la familia Indicador conductual / tem 3. Aprecio a los miembros de la familia Indicador conductual / tem 4. Empleo de las reuniones familiares Indicador conductual / tem 5. Comprender los principios de la familia Indicador conductual / tem 6. Las familias y la presin de los compaeros Indicador conductual / tem

Indicadores (qu se observa): Cambio de conducta a nivel individual y a nivel interpersonal

Familias Fuertes
Los adolescentes: Elijan compaas adecuadas. Desarrollen mayor capacidad de resistir la presin de los compaeros. No consuman sustancias como tabaco, alcohol y drogas Presenten modelos de comportamiento sexual sin riesgos (abstinencia o de uso de preservativos). Tengan un buen comportamiento en la escuela.

Familias Fuertes
Los padres: Aumenten su conocimiento y capacidad de resolver los conflictos con sus hijos adolescentes. Desarrollen su capacidad de demostrar afecto, a la vez que se establecen reglas claras de comportamiento. Aumenten tanto su capacidad para vigilar el comportamiento rutinario, as como desarrollar la capacidad para escuchar y comprender los problemas especficos de los jvenes.

Metodologa e instrumentos (cmo se evala): Diseo cuasi-experimental con grupo control no equivalente y Triangulacin

Tamao de las muestras finales para los distritos que cumplieron con el diseo

Diseo de evaluacin Cuasi-experimental (actualmente se ha convertido en un diseo pre-experimental por la reduccin de casos control)
GC:

O1

O2

----------------------------------------------------------------------- -----------------------------Nivel de la Familia X1, X2, X3..X7

GE:

O3

O4

Criterios de inclusin (a nivel de los padres y los hijos):

Familias con al menos un hijo adolescente con edades entre 10 y 14 aos de edad (__) Padres que convivan junto a sus hijos o al menos uno de los padres (si es una familia monoparental) que conviva con el hijo o hija adolescente desde hace ms de 5 aos como mnimo (__) Padres que conviven con adolescentes y tienen un alto grado de interaccin como parte de la crianza (__) Familias con alto nivel de compromiso para participar hasta el final del programa, puntualmente y en todas las sesiones programadas (__) Familias que envan a sus hijos a la escuela (__) Familias que asisten los requerimientos bsicos de subsistencia de sus hijos (__) Padres que se encuentran realizando actividades econmicas para el sostenimiento de sus familias (__) Hijos adolescentes que asisten a la escuela (__) Padres interesados e involucrados en la crianza de sus hijos (__) Padres con edades entre 26 y 65 aos de edad (__) Familias donde a lo mucho un hijo presenta problemas de conducta, pero no los dems (__)

Criterios de exclusin (a nivel de los padres y los hijos):

Familias multiproblemticas, que ya presentan problemas entre varios de sus hijos (__) Hijos adolescentes con problemas de conducta, discapacidad o retardo en el desarrollo (__) Padres que se encuentran desempleados al mismo tiempo (__) Hijos adolescentes que tienen funciones de crianza de otros hermanos pequeos (__)

Muestra de adolescentes
Tipo de prueba Municipalidad Comas Institucin educativa San Felipe Total Jos Mara Arguedas Santiago de Surco Jorge Chavez Total Ricardo Palma Surquillo Total Fe y Alegra 33 Ventanilla Hroes del Pacfico 5088 Total Grupo Control Experimental 4 3 4 3 0 4 0 7 0 11 0 7 0 7 0 1 2 10 2 11 Total 7 7 4 7 11 7 7 1 12 13

Pre-Test

TOTAL
San Felipe Total Jos Mara Arguedas Santiago de Surco Jorge Chavez Total Ricardo Palma Surquillo Total Fe y Alegra 33 Ventanilla Hroes del Pacfico 5088 Total Comas

6
5 5 0 0 0 0 0 0 2 2

32
3 3 4 7 11 7 7 1 10 11

38
8 8 4 7 11 7 7 1 12 13

Post-Test

TOTAL

32

39

Muestra de padres
Tipo de Prueba Municipio Comas Institucin educativa San Felipe Total Jos Mara Arguedas Santiago de Surco Jorge Chavez Total Ricardo Palma Surquillo Total Fe y Alegra 33 Ventanilla Hroes del Pacfico 5088 Total Grupo Control Experimental 4 3 4 3 0 6 0 8 0 14 0 6 0 6 0 1 0 11 0 12 Total 7 7 6 8 14 6 6 1 11 12

Pre-Test

TOTAL
San Felipe Total Jos Mara Arguedas Santiago de Surco Jorge Chavez Total Ricardo Palma Surquillo Total Fe y Alegra 33 Ventanilla Hroes del Pacfico 5088 Total Comas

4
4 4 0 0 0 0 0 0 0 0

35
3 3 6 8 14 6 6 1 11 12

39
7 7 6 8 14 6 6 1 11 12

Post-Test

TOTAL

35

39

Instrumentos y Triangulacin Metodolgica (multi-mtodo/entre los mtodos) de resultados

Instrumentos cuantitativos:
En los padres cuestionario aplicado a los padres o adultos significativos que participaron de la intervencin (9 tems). En los adolescentes cuestionario aplicado a los adolescentes que participaron de la intervencin (103 tems). Base de datos, anlisis de bondad de ajuste, uso de pruebas no paramtricas como MannWhitney Test (intergrupos) y Wilcoxon Test (intragrupos) para analizar diferencias de medias. En los padres gua de indagacin de grupo focal aplicado a los padres que participaron de la intervencin. En los adolescentes gua de indagacin de grupo focal aplicado a los adolescentes que participaron de la intervencin. Realizacin de dos grupos focales: padres y adolescentes criterios de reclutamiento de casos. Identificar los cambios de comportamiento (de acuerdo a los objetivos del programa y otros no esperados) percibidos como consecuencia del entrenamiento en Familias Fuertes por los participantes del programa durante las siete sesiones, a nivel de ellos mismos y de sus hijos/padres, aislando los efectos de otros factores que pudieron generar los cambios de comportamiento identificados en la medicin pre y post test realizada como parte del programa. Conocer el discurso hegemnico, as como los consensos y disensos alrededor del programa para su posible mejora futura.

Instrumentos cualitativos:

Escala de evaluacin de Proceso y Resultados:

Cuestionario aplicado a los responsables del Programa a nivel Local (30 tems).

Aumenten su conocimiento y capacidad de resolver los conflictos con sus hijos adolescentes. Lo que en ese programa si logr encontrar fue lo que l ms le duele, es que yo no lo bese y lo trate serio, incluso cuando viene del colegio me mira y me dice: ests molesta, no hijo, no est molesta mam, no para nada a ya, y me comienza a abrazar y besar, porque ha a veces cuando voy al colegio por ah me dicen: huy seora el Josue se subi a la mesa, a veces me dicen, porque es as, l es espontneo no es malcriado sino, demasiado espontneo, entonces, lo que yo veo en l, descubr en ese programa es que, l lo que ms le afecta es que yo no le sea muy , muy cariosa con l NN-Surco (grupo focal a madres) me siento ms tranquila, porque los mos son 4 y entre los cuatro se hacen un lo entre los 4 y no s a quin corregir, antes no, antes agarraba mi correa y a todos por igual, porque todos estn metidos ah en el li, ahora les miro, ya terminaron, ya se terminaron de chancar entre los cuatro, y miran pero el empez, l empez, no me interesa, t no sales tu me haces esto y el otro, yo sentada les miro que hagan las cosas. he aprendido a tranquilizarme a controlarme NN-Ventanilla (grupo focal a madres)

Desarrollen su capacidad de demostrar afecto, a la vez que se establecen reglas claras de comportamiento. yo ahora tengo hijos jvenes y eso me ha ayudado bastante porque yo trato de observar, a mirarlo, a ver la manera de cmo conversar con l, preguntarle qu le ha pasado y ver el momento oportuno, pues como se dice, de momento no te va decir nada, pero de momento yo veo la manera trato de conversar con l. Y s he sacado buenos resultados, porque he buscado la manera, mi hijo me comunica y yo trato de darle lo que yo aprend trato de conversarle a l y llego a que l me tenga esa confianza y me cuente, me cuenta, me llega a contar y como l es el mayor, lo mismo que estoy utilizando con el, lo mismo voy a seguir con el ms pequeo NN-Surco (grupo focal a madres)

...y me gust mucho lo que nos decan de que forma podemos darle esa confianza para que ellos vayan solos hasta donde, ahora por ejemplo ya se va a la parroquia se viene a la parroquia, mam tengo un trabajo perfecto hijo ya, cuando se demora me llama NN-Surco (grupo focal a madres)

Aumenten tanto su capacidad para vigilar el comportamiento rutinario, as como desarrollar la capacidad para escuchar y comprender los problemas especficos de los jvenes. yo ahora converso ms con ellos, les hablo les hablo les hablo, ya no reniego ya, antes renegaba pero ay hasta el hgado, un poco que he calmado NN - Villa el Salvador (grupo focal a madres) a m lo que me ms me ha gustado es saber escucharlos, cuando ellos llegan veces, yo mayormente que paro ms con ellos a veces llegan que mam el esto que el otro, me siento ah y les empiezo a escuchar NN - Villa el Salvador (grupo focal a madres)

En uno de mis hijos Erick, cuando l tiene algo, est dando vueltas a la mesa, o a m. y yo le miro qu has hecho, que tienes? nada y sigue dando vueltas, no, algo tienes, qu has hecho no, es que estaba jugando en el colegio y el profesor quiere que vayas al colegio porque quiere hablar contigo yo he notado, cuando l tiene algo, l est dando vueltas NN - Villa el Salvador (grupo focal a madres)

Ya no reniego, para que mis hijos han cambiado conmigo, yo llego y dicen, mami ya sintanle para servirte una tasa de caf y me hacen que me suba a la cama y me alcanza la comida en la cama yo s cocino pero ellos calientan, July encargarte de tus hermanos a servirles, seprale par t pap. Antes era puro grito en esa casa, ya no, da cuenta de que no vive nadie en esa casa NN-Surco (grupo focal a madres) yo en mi casa, con eso que empez el programa, empezamos a reunirnos en la casa a ponernos todos a sentarnos juntos porque mayormente trabaja mi esposo, mis hijos uno llega en la maana otro en la tarde, osea que no todos estamos juntos, pero s un da a la semana nos juntamos, los domingos, antes no era as, los domingo es sagrado ustedes van a venir vamos a almorzar juntos y ah conversamos dialogamos, eso s hemos mejorado un poco en l (el pap), en ese aspecto, y ya ese da nos ponemos a dialogar a conversar y mi esposo tambin un poco ya que los das domingos est un poco ms en la casa NN - Ventanilla (grupo focal a madres) S porque en mi caso mo, mucho pelebamos y mis hijos escuchaban, estaban traumados y despus mi esposo me dijo hijo sintate vamos a conversar si ustedes obedecen lo que tu mam les dice, y yo tambin les digo, esta familia va se ms unida. As ha sido ya nos reunimos a almorzar, a conversar. Cada vez que almorzbamos, cada uno almorzaba para all o para ac, ya no, todos juntos conversamos, nos remos, antes, era puro llorar, y mis hijos tambin me miraban; mam por qu lloras, yo deca es que tu pap mocho, no s l piensa que cuando salgo, a qu ir porque el llegaba molesto conmigo, pero yo me iba a trabajar, pero ahora ya no, l dice: hagan las cosas porque tu mam viene cansada, bastante ha cambiado NN - Surco (grupo focal a madres)

Aprendizajes de la evaluacin (qu sirve, qu no sirve, alertas en proyectos de prevencin de la violencia): Validez Interna y Externa en los programas y proyectos de prevencin

Validez interna: podemos atribuir los cambios al programa?

Autoseleccin de los participantes (aleatoriedad y reclutamiento). Regresin estadstica (regresin hacia la media cuestionarios). Sensibilidad y sensibilizacin al Test. De un diseo cuasi a uno pre experimental. Muerte experimental.

Validez externa: podemos aplicar el programa en otras poblaciones de familias equivalentes?

Fracaso al describir explcitamente las variables independientes. Falta de representatividad de las poblaciones disponibles. Efecto Hawthorne (los sujetos saben que son cobayas). Operacionalizacin inadecuada de las variables dependientes. Sensibilizacin a las condiciones experimentales. Efectos de interaccin de factores extraos y tratamientos experimentales.

Taller sobre Evaluacin de impacto de Proyectos de Fomento del Desarrollo Juvenil y Prevencin de la Violencia
Hotel Los Hroes, Bogot 02 de octubre de 2007

Diseo de evaluacin de impactos tempranos del Programa Familias Fuertes en Per

Hugo Morales Consultor GTZ Coordinador de la Diplomatura en Desarrollo Integral y Prevencin de la Violencia Juvenil Universidad Nacional Mayor de San Marcos

E-mail: hmorales@aloe.ulima.edu.pe