Indicadores de Desempeo en el Sector Pblico

Juan Cristbal Bonnefoy JuanCristobal.Bonnefoy@cepal.org Curso-Seminario Polticas Presupuestarias y Gestin por Resultados Repblica Dominicana, marzo de 2006

Estructura de la Presentacin
1.

Qu son los indicadores de desempeo? Por qu necesitamos indicadores de desempeo? Dimensiones de los indicadores de desempeo Ciclo bsico para construir los indicadores de desempeo Validacin de los indicadores de desempeo

2.

3.

4.

5.

La medicin del desempeo es parte de un largo proceso de planificacin

Misin y Objetivos Quines somos o Qu hacemos Anlisis Interno y de Contexto

Cmo sabemos que hemos llegado

Dnde queremos ir

Medidasde Desempeo

Cmo podemos llegar

Estrategias

Indicadores de Desempeo Grupo OECD/DAC

l

Desempeo: El grado al cual una

intervencin pblica o un actor del desarrollo opera de acuerdo a ciertos criterios/estndares/ pautas de accin o logra resultados de acuerdo a los planes establecidos. Indicadores de Desempeo: Una variable cuantitativa o cualitativa que permite verificar los cambios generados por una intervencin pblica, relativo a lo que estaba planeado inicialmente.

Fuente: OECD/CAD. 2002. Glosario de los principales trminos sobre evaluacin y gestin basada en resultados. Evaluation and Aid Effectiveness N 6. OECD. Paris.

Indicadores de Desempeo - Per

l

Los indicadores de desempeo son instrumentos de medicin de las principales variables asociadas al cumplimiento de los objetivos, que a su vez constituyen una expresin cualitativa o cuantitativa concreta de lo que se pretende alcanzar con un objetivo especfico establecido. (...) Busca responder interrogantes claves sobre cmo se ha realizado la intervencin, si se han cumplido los objetivos (concretamente, la medida en que stos han sido cumplidos), el nivel de satisfaccin de la poblacin objetivo, entre otras. En suma, se busca evaluar cun bien o cun aceptable ha sido el desempeo de determinado organismo pblico con el objetivo de tomar las acciones necesarias para perfeccionar la gestin.

Indicadores de Desempeo Espaa

l

Los indicadores de desempeo son medidas que describen cuan bien se estn desarrollando los objetivos de un programa, un proyecto y/o la gestin de una institucin. Un indicador es una unidad de medida que permite el seguimiento y evaluacin peridica de las variables clave de una organizacin, mediante su comparacin en el tiempo con los correspondientes referentes externos o internos

Indicadores de Desempeo Chile

l

Los indicadores de desempeo son una herramienta que entrega informacin cuantitativa respecto al logro o resultado en la entrega de los productos (bienes o servicios) generados por la institucin, pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresin que establece una relacin entre dos o ms variables, la que comparada con perodos anteriores, productos similares o una meta o compromiso, permite evaluar desempeo.

Estructura de la Presentacin
1. 2.

Qu son los indicadores de desempeo? Por qu necesitamos indicadores de desempeo? Dimensiones de los indicadores de desempeo Ciclo bsico para construir los indicadores de desempeo Validacin de los indicadores de desempeo

3.

4.

5.

Beneficios de la evaluacin a travs de indicadores de gestin

1.

2.

Apoya el proceso de planificacin (definicin de objetivos y metas) y de formulacin de polticas de mediano y largo plazo. Posibilita la deteccin de procesos o reas de la institucin en las cuales existen problemas de gestin tales como:
l l l

uso ineficiente de los recursos, demoras excesivas en la entrega de productos, asignacin del personal a las diferentes tareas,etc.

Beneficios de la evaluacin a travs de indicadores de gestin

3.

Posibilita a partir del anlisis de la informacin entre el desempeo efectuado y el programado, realizar ajustes en los procesos internos y readecuar cursos de accin eliminando inconsistencias entre el quehacer de la institucin y sus objetivos prioritarios:
l l l

eliminar tareas innecesarias o repetitivas, tramites excesivos, o se definan los antecedentes para reformulaciones organizacionales.

Beneficios de la evaluacin a travs de indicadores de gestin

4.

5.

Aun cuando no es posible establecer una relacin automtica entre resultados obtenidos y la asignacin de presupuesto, contar con indicadores de desempeo sienta las bases para una asignacin ms fundamentada de los recursos pblicos. Establece mayores niveles de transparencia respecto del uso de los recursos pblicos y sienta las bases para un mayor compromiso con los resultados por parte de los directivos y los niveles medios de la direccin.

No todo lo que pueda ser contado cuenta ... y no todo lo que cuenta puede ser contado ...

Estructura de la Presentacin
1. 2.

Qu son los indicadores de desempeo? Por qu necesitamos indicadores de desempeo? Dimensiones de los indicadores de desempeo Ciclo bsico para construir los indicadores de desempeo Validacin de los indicadores de desempeo

3.

4.

5.

Cules son las Dimensiones del Desempeo?

Eficiencia
Relacin entre dos magnitudes fsicas: produccin de un bien o servicio y los insumos que se utilizaron para alcanzar ese nivel de producto. Ejs: Costo unitario de produccin o costo promedio.

Eficacia
El grado de cumplimiento de los objetivos planteados. En qu medida la institucin est cumpliendo con sus objetivos fundamentales?

Economa
Capacidad de la institucin para generar y movilizar adecuadamente los recursos financieros en pos de su misin institucional. Ejs: Capacidad de autofinanciamiento, ejecucin del presupuesto y recuperacin de prstamos.

Calidad del Servicio

Capacidad de la institucin para responder en forma rpida y directa a las necesidades de sus usuarios. Son atributos de la calidad: oportunidad, accesibili-dad, precisin y continuidad, comodidad y cortesa en la atencin.

Indicadores de Eficacia
Miden el nivel de cumplimiento de los objetivos: 1. Resultado (% resultado logrado exitosamente respecto realizado-solicitado) 2. Focalizacin (logrado respecto del universo) 3. Cobertura ( logrado respecto de la demanda posible) 4. Impacto (logrado respecto del problema que se quiere atacar)

Indicadores de Eficacia
EFICACIA Resultados

Delitos aclarados / delitos denunciados

MANTENIMIENTO DEL ORDEN INTERNO

Mediaciones exitosas / mediaciones realizadas

DIRECCION GENERAL DE COMERCIO (Area Defensa del Consumidor)

Conflictos colectivos planteados

solucionados

conflictos

colectivos

DIRECCIN NACIONAL DEL TRABAJO

Indicadores de Eficacia
EFICACIA Impacto % de incremento de recaudacin tributaria asociado a la accin del Servicio de Impuestos Internos SERVICIO DE IMPUESTOS INTERNOS.CHILE % de colocacin de empleo juvenil . PROGRAMA DE CAPACITACIN DE JVENES. MINISTERIO DEL TRABAJO Accidentes laborales martimos por 100.000 trabajadores martimos U.S.Coast Guard.

Indicadores de Eficacia
EFICACIA - Cobertura Franquicia utilizada/franquicia potencial
SERVICIO DE CAPACITACON Y EMPLEO. CHILE

Padrones reaforados urbanos y suburbanos del Interior / total de padrones

DIRECCION NACIONAL DEL CATASTRO

Area de cultivo incluida en programa / rea total de cultivo

DIRECCION GENERAL DE SERVICIOS AGRICOLAS

Controles de intgerurbanos

buses

interurbanos/Parque

de

buses

SUBSECRETARIA DE TRANSPORTES. CHILE

Reclusos que desarrollan actividad industrial / total de reclusin

DIRECCION NACIONAL DE CARCELES

Indicadores de Eficiencia
Describe la relacin entre dos magnitudes: l La produccin fsica de un producto (bien o servicio) y l Los insumos o recursos que se utilizaron para alcanzar ese nivel de produccin
l

Mayor cantidad de servicios dado el mismo nivel de recursos Alcanzar un determinado nivel de servicios utilizando la menor cantidad de recursos posible

Indicadores de Eficiencia
EFICIENCIA Costo Medio Gastos administrativos programa becas/becas entregadas Gasto total programa certificacin/total cajas inspeccionadas Gastos asociados a intervenciones quirurgicas/Nde intervenciones Costo total de unidades Viviendas contratadas/Unidades contratadas

Indicadores de Eficiencia
EFICIENCIA Producto Medio N de inspecciones / nmero de inspectores DIRECCIN GENERAL IMPOSITIVA N de expedientes resueltos por semestre / dotacin de personal en la tarea CONTADURIA GENERAL DE LA NACION N de inspecciones al transporte de pasajeros / personal afectado a la tarea DIRECCION NACIONAL DE TRANSPORTE N de padrones reaforados / funcionarios afectados a la tarea DIRECCION NACIONAL DEL CATASTRO N de consultas / nmero de mdicos UNIDAD DE ATENCIN AMBULATORIA EXTRA-HOSPITALARIA

Indicadores de Economa
Reflejan capacidad para generar y movilizar recursos financieros en el cumplimiento de sus objetivos:
1. 2. 3. 4.

Eficiencia manejo de recursos Uso actual de recursos en relacin a lo planeado Autosuficiencia financiera en la capacidad de generar ahorros y en la existencia de equilibrio presupuestario

Indicadores de Economa
ECONOMIA

Porcentaje de recuperacin de crditos de corto plazo Gasto de actividades de apoyo/gastos totales Aporte de beneficiarios a financiamiento/Monto total inversin programa Gasto de funcionamiento ejecutado/Gastos ejecutados totales Porcentaje de proyectos nuevos aprobados con razn beneficio costo de X % Recuperacin de cobranza/ Facturacin

Indicadores de Calidad
Capacidad de la institucin por responder en forma consistente, rpida y directa a las necesidades de los usuarios:
1.

Mediciones Indirectas.
Mejorar los atributos y caractersticas de los productos.

2.

Mediciones Directas.
Grado de satisfaccin de los usuarios.

Indicadores de Calidad
CALIDAD - Tiempos de Respuesta

Tiempo de espera promedio para atencin en consulta DIRECCION GENERAL DE SALUD Tiempo de tramitacin promedio de solicitudes mineras DIRECCION NACIONAL DE GEOLOGIA Y MINERIA Tiempo promedio para el estudio de cada plan de forestacin DIRECCION GENERAL DE RECURSOS NATURALES RENOVABLES Das de demora promedio de trmites de legalizaciones desde su iniciacin DIRECCION GENERAL DE SECRETARIA, MINISTERIO DE RELACIONES EXTERIORES Demora promedio en la entrega del servicio DIRECCIN NACIONAL DE GEOLOGA Y MINERA

Indicadores de Calidad
CALIDAD - Satisfaccin del Usuario
Porcentaje de aprobacin: Encuesta de opinin a los usuarios.
DIRECCION GENERAL DE REGISTROS

Porcentaje de reclamos / casos atendidos

DIRECCIN NACIONAL DE TOPOGRAFA

N de reclamos / Asuntos resueltos

DG SECRETARIA, MINISTERIO DE EDUCACION Y CULTURA

N servicios reclamados/ N total de servicios

HOSPITALES DE MONTEVIDEO

INDICADORES DE CALIDAD
Oportunidad Accesibilidad Percepcin usuarios de Precisin

Porcentaje de respuestas a los Parlamentarios dentro de los lmites acordados.

Nmero de localidades cubiertas por atenciones mviles

Porcentaje de aprobacin excelente de los talleres de trabajo, por los participantes Porcentaje de usuarios satisfechos N de usuarios satisfechos/ Total usuarios encuestados N de usuarios Satisfechos con el trato en la atencin/ Total usuarios

Porcentaje contratos terminados errores

de por

Porcentaje de reportes econmicos entregados en tiempo acordado

N de horas que la Biblioteca est abierta fuera de las horas de trabajo

Nmero de fallas reales/ Fallas programadas

Nmero de intervenciones con retraso/ Nmero de intervenciones totales

Porcentaje de Poblacin con necesidades especiales que son miembros activos de la Biblioteca

Porcentaje de contratos con uno o ms errores encontrados por revisiones externas

Cmo integramos las distintas dimensiones del desempeo?

1.

2.

3.

No existe una nica manera de medir el desempeo institucional. El desempeo global es producto de la interaccin de los factores de eficiencia, eficacia, calidad y economa. En ocasiones hay contradicciones entre las dimensiones: podemos mejorar la calidad pero a un mayor costo.

Integralidad de las Metas

Aumentar la cobertura del programa de raciones a un 55% de la poblacin escolar. Llegar a un costos promedio de $5 Alcanzar 1000 caloras por racin

INDICADOR DE EFICACIA Poblacin escolar en programa / poblacin escolar total

INDICADOR DE EFICIENCIA Costo promedio de las raciones: gasto total programa / nmero de raciones

INDICADOR DE CALIDAD * Caloras por racin. * Porcentaje de aceptacin de los escolares (encuesta)

Estructura de la Presentacin
1. 2.

Qu son los indicadores de desempeo? Por qu necesitamos indicadores de desempeo? Dimensiones de los indicadores de desempeo Ciclo bsico para construir los indicadores de desempeo Validacin de los indicadores de desempeo

3.

4.

5.

Dnde empezamos para construir nuestros indicadores

1.

La autoevaluacin de la gestin es un proceso permanente. Su desarrollo permite medir la capacidad del logro de resultados, segn parametros establecidos previamente y acordados al interior de la organizacin. El primer requerimiento es que la institucin haya sido capaz de definir sus objetivos de CP y MP que orientarn la accin y traducir esto en metas concretas de desempeo. Los objetivos y metas deben estar en concordancia con el propsito para el cual la institucin existe y con el mandato pblico al cual debe responder. Una forma til de vincular indicadores de desempeo con los propsitos esenciales de la organizacin es a travs de la planificacin estratgica.

2.

3.

4.

Ciclo bsico del proceso de construccin de indicadores de gestin

1.Identificacin y/o Revisin de: Misin: Productos Clientes Objetivos Estratgicos 2. Establecer las medidas de desempeo claves Eficacia Eficiencia Economa Calidad Resultados Finales Intermedios Procesos Productos

9. Comunicar e Informar 8. Analizar e Interpretar los Resultados

3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organizacin

4. Establecer los referentes comparativos

7. Validar los indicadores

5. Construir las frmulas 6. Recolectar los datos y generar sistemas de informacin

PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES

l

IDENTIFICAR y/o REVISAR PRODUCTOS Y OBJETIVOS Qu ser medido?

IDENTIFICAR LAS DIMENSIONES Y AMBITOS DE DESEMPEO

Qu mbitos y dimensiones del desempeo es conveniente medir?

l

ESTABLECER RESPONSABILIDADES ORGANIZACIONALES

Cules sern los Centros de Responsabilidad, o reas responsables por el desempeo logrado A qu niveles realizaremos la evaluacin?

Ciclo bsico del proceso de construccin de indicadores de gestin

1.Identificacin y/o Revisin de: Misin: Productos Clientes Objetivos Estratgicos 2. Establecer las medidas de desempeo claves Eficacia Eficiencia Economa Calidad Resultados Finales Intermedios Procesos Productos

10. Comunicar e Informar 9. Analizar e Interpretar los Resultados

3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organizacin

5. Establecer los referentes comparativos

8. Validar los indicadores

6. Construir las frmulas 7. Recolectar los datos y generar sistemas de informacin

PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES

l

CONSTRUIR LAS FORMULAS O ALGORITMOS Cmo relacionamos las variables de medicin?

ESTABLECER LAS METAS O REFERENTES PARA LA COMPARACION

Sobre que comparamos los indicadores para saber si el desempeo es adecuado?

l

RECOPILAR LA INFORMACION NECESARIA Qu datos y antecedentes me permitirn construir los indicadores?

DEFINIR LAS FORMULAS O ALGORITMOS

A) BASES DE COMPARACIN

Lo que se hace
N de usuarios atendidos

Lo que debe hacerse

N de usuarios por atender

N de certificados emitidos

N Certificados solicitados

Monto inversin ejecutada

Monto asignado para inversin

FORMULAR ALGORITMOS

b) Definicin de ratios
Costos medios: Costo total consultas/ consultas realizadas Producto medio:Ninspecciones realizadas/Ninspectores c) Definicin de estndares % de recomendaciones aceptadas % de clientes satisfechos N de errores Tiempo promedio de tramitacin

EJEMPLOS DE INDICADORES DE DESEMPEO

Dimensin
Eficacia

Nombre del Indicador

Porcentaje de familias atendidas por el Programa que superan lnea de pobreza Promedio de fiscalizaciones por fiscalizador Porcentaje de ingresos propios de la institucin Tiempo promedio de tramitacin de solicitudes

Frmula de Clculo
(N de familias que superan la pobreza en aot / N total de familias en el Programa en aot)*100 N de acciones de fiscalizacin / N de fiscalizadores (Ingresos generados por el servicio / Total de ingresos del servicio) * 100 Sumatoria (Tiempo de procesamiento de solicitudes individuales)/ N de solicitudes tramitadas

mbito de Control
Resultado Final

Eficiencia

Resultado Intermedio Proceso

Economa

Calidad

Producto

Ciclo bsico del proceso de construccin de indicadores de gestin

1.Identificacin y/o Revisin de: Misin: Productos Clientes Objetivos Estratgicos 2. Establecer las medidas de desempeo claves Eficacia Eficiencia Economa Calidad Resultados Finales Intermedios Procesos Productos

10. Comunicar e Informar 9. Analizar e Interpretar los Resultados

3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organizacin

5. Establecer los referentes comparativos

8. Validar los indicadores

6. Construir las frmulas 7. Recolectar los datos y generar sistemas de informacin

PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES

l

VALIDAR: APLICAR CRITERIOS DE TECNICOS Y REQUISITOS Cmo sabemos que los indicadores construidos miden efectivamente la gestin y los resultados? ANALIZAR LOS RESULTADOS OBTENIDOS Por qu se produjeron los resultados?

COMUNICAR E INFORMAR Quines tienen que conocer nuestros resultados? Organizacin, Usuarios, SHCP, Congreso, etc

Medios de Verificacin
Cmo obtenemos la evidencia?
l

Son las fuentes de informacin que se pueden utilizar para verificar el logro de los objetivos (clculo de los indicadores). Pueden incluir: l Estadsticas l Material publicado l Inspeccin visual l Encuestas l Informes de auditora l Registros contables

Recomendaciones sobre Medios de Verificacin

l

Si falta informacin ser necesario incluir actividades para obtenerla. Si no se puede conseguir la informacin, habr que cambiar el indicador (usar proxy). Si hay ms de una fuente de informacin, verificar la consistencia de los datos. Medios de verificacin deben ser acordados con los involucrados.

Problemas Frecuentes en la Construccin de Indicadores

1.

2.

3.

Trampa de la medicin: se muestra como resultados (y se hace) solo lo que se puede medir Se tiende a medir de acuerdo a la informacin disponible, descuidando la medicin de los aspectos mas relevantes Subvaloracin de las metas frente a un ambiente punitivo de la evaluacin

Problemas Frecuentes en la Construccin de Indicadores

4.

Tendencia a medirlo todo para no subrepresentar esfuerzos Se desarrollan indicadores pero no se usan para la toma de decisiones.

5.

Estructura de la Presentacin
1. 2.

Qu son los indicadores de desempeo? Por qu necesitamos indicadores de desempeo? Dimensiones de los indicadores de desempeo Ciclo bsico para construir los indicadores de desempeo Validacin de los indicadores de desempeo

3.

4.

5.

Criterios de validacin para la construccin de indicadores

Criterio Pertinencia

Descripcin
Debe referirse a los procesos y productos esenciales que desarrolla cada institucin para reflejar el grado de cumplimiento de sus objetivos institucionales. La medicin de todos los productos o actividades que realiza la institucin genera una saturacin de informacin, tanto al interior de la organizacin como fuera de sta. Asegurarse que estoy midiendo los objetivos vinculados a lo estratgico. Cuando se trata de organizaciones que tienen ms de un producto o servicio, es conveniente desarrollar un conjunto de indicadores globales que represente su accionar estratgico vinculado a su misin. Este criterio implica preguntarse cul es la unidad de producto (atenciones mdicas, asesoras legales, visitas inspectivas, etc.) y, ms importante, procurar que dichas unidades de producto sean equivalentes entre s en trminos los recursos institucionales que consumen (horas hombre, cantidad de insumos materiales, etc.). Se debe procurar que sean de igual "costo" en un sentido amplio del trmino. Si no se da la equivalencia, para alcanzar las metas se tender a ejecutar slo las acciones que demandan relativamente menos recursos.

Relevancia

Homogeneidad

Criterios de validacin para la construccin de indicadores

Criterio
Independencia

Descripcin
Los indicadores deben responder en lo fundamental a las acciones que desarrolla y controla la institucin o a las variables del entorno que se vean afectadas directamente por esas acciones. No puede estar condicionado a factores externos, tales como la situacin general del pas, la labor legislativa del parlamento o la actividad conexa de terceros (pblicos o privados). La obtencin de la informacin para la elaboracin del indicador debe ser a costos que tengan correlacin con los recursos que se invierten en la actividad. Digno de confianza, independiente de quin realice la medicin. En principio la base estadstica de los indicadores debe estar en condiciones de ser auditada por las autoridades de la institucin y examinada por observadores externos. Existe una tensin entre ambos criterios: se deben cubrir los aspectos ms significativos del desempeo, pero la cantidad de indicadores no puede exceder la capacidad de anlisis de los usuarios, tanto internos como externos. Los indicadores deben ser de fcil comprensin, libre de complejidades.

Costo Confiabilidad Simplicidad y Comprehensividad

Criterios de validacin para la construccin de indicadores

Criterio
Oportunidad No redundancia Focalizado en reas controlables

Descripcin
Debe ser generado en el momento oportuno dependiendo del tipo de indicador y de la necesidad de su medicin y difusin. Debe ser nico y no repetitivo. Focalizado en reas susceptibles de corregir en el desempeo de los organismos pblicos generando a la vez responsabilidades directas en los funcionarios y el personal. Su elaboracin debe involucrar en el proceso a todos los actores relevantes, con el fin de asegurar la legitimidad y reforzar el compromiso con los objetivos e indicadores resultantes. Esto implica adems que el indicador y el objetivo que pretende evaluar sea lo ms consensual posible al interior de la organizacin.

ParticiPacin

Cuestionario de validacin de los indicadores

Requisito a validar
1. El indicador tiene claramente un producto relevante o estratgico con el cual se vincula y un objetivo asociado 2. El indicador tiene claramente una meta o referente para ser medido su resultado 3. El resultado del indicador explica de forma precisa y clara el grado de cumplimiento de la meta o el resultado es ambiguo 4. Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por el responsable SI/ NO

Cuestionario de validacin de los indicadores

Requisito a validar
5. Se ha definido la frecuencia de medicin del indicador 6. La unidad de medicin es adecuada para la meta que se espera medir 7. En la construccin del indicador han participado el jefe del rea o Centro de Responsabilidad 8. Los indicadores han sido validados por la Unidad de Control de Gestin y por la Direccin para informarse del desempeo del rea o Centro SI/ NO

Ha llegado la indicadoritis? Chile Evolucin 2001-2006

Ao No No Indicadores Instituciones 275 537 1039 1684 1588 1552 72 109 111 132 133 136 Promedio por Institucin 3.8 4.9 9.4 12.8 11.9 11.4

2001 2002 2003 2004 2005 2006

Fuente: Dipres, Chile