Method Eval Polit Publiq PDF

mthodes valuation politiques publiques
d des
actes du sminaire
mthodes dvaluation des politiques publiques actes du sminaire
sous la direction de Nicolas Studer directrice de la publication Anne-Marie Brocas
interventions de Annie Fouquet (socit franaise dvaluation), p. 9 ; Esther Duflo (Collge de France), p. 17 ; Bruno Crpon (CRest-insee), p. 39 ; Pauline Givord (insee), p. 49 ; Jean-Claude Moisdon (ensmp), p. 61 ; Hlne Genin (eurval), p. 71 ; Francine Fenet et Audrey Daniel (ville de nantes), p. 85 ; Sylvain Ortis (rgion Rhne-alpes), p. 95 ; Jean-Ren Brunetire (CGedd), p. 113 ; Isabelle Engsted-Maquet (Commission europenne), p. 123. illustrations fournies par les intervenants Coordination ditoriale lisabeth Hini
en application de la loi du 11 mars 1957 (art. 4) et du code de la proprit intellectuelle du 1er juillet 1992, toute reproduction totale ou partielle usage collectif de la prsente publication est strictement interdite sans autorisation expresse de lditeur. il est rappel cet gard que lusage abusif et collectif de la photocopie met en danger lquilibre conomique des circuits du livre. diCom : 11-025
Sommaire
Mthodes dvaluation des poliques publiques
introduction ............................................................................................................................................ 5
dfinitions de lvaluation ............................................................................................................. 7

lvaluation des politiques publiques en France. dfinitions et historique .......................... 9 lvaluation dimpact en conomie du dveloppement. lapproche exprimentale ........ 17 synthse des dbats avec la salle.................................................................................................. 29 bibliographie ....................................................................................................................................... 34
lidentification de leffet propre dun programme
........................................................... 37
le cadre gnral danalyse, les mthodes dappariement et les expriences contrles ......................................................................................................... 39 les mthodes de diffrences de diffrences, de variables instrumentales et de rgressions sur discontinuits ............................................................................................. 49 bibliographie ....................................................................................................................................... 57
valuation et changements organisationnels : lapport des tudes de terrain .................................................................................................. 59

lapproche par la recherche-intervention .................................................................................... lapport de lapproche monographique ....................................................................................... synthse des dbats avec la salle ................................................................................................ bibliographie .......................................................................................................................................
61 71 78 82
associer les usagers et les citoyens
...................................................................................... 83
limportance de la prise en compte des besoins et des attentes de la population dans les valuations .......................................................................................... 85 lassociation des bnficiaires et des citoyens au processus dvaluation des politiques rgionales ......................................................................................... 95 synthse des dbats avec la salle .............................................................................................. 105 bibliographie ..................................................................................................................................... 109
lapproche objectifs/indicateurs
............................................................................................ 111
les indicateurs de la lolF. une occasion de dbat dmocratique ? ................................. lapproche objectifs/indicateurs pour lvaluation des politiques sociales : le cadre europen ........................................................................................................................... synthse des dbats avec la salle .............................................................................................. bibliographie .....................................................................................................................................
113 123 134 139
Introduction
tique et datteindre les objectifs qui lui sont fixs . au-del de cette dfinition institutionnelle, lvaluation sest impose comme un domaine part entire des sciences sociales, recouvrant notamment la recherche valuative, qui vise identifier les effets propres dune politique, en les distinguant des effets de contexte ou produits par dautres politiques menes concomitamment. lvaluation contribue aussi amliorer la politique publique elle-mme. en tant que service statistique ministriel, la direction de la recherche, des tudes, de lvaluation et des statistiques (dRees) a pour vocation doccuper une place centrale dans les dispositifs dvaluation des politiques sanitaires et sociales. elle produit tout dabord un certain nombre de donnes qui peuvent tre mobilises par diffrents acteurs institutionnels ou par des chercheurs pour valuer les politiques. elle peut galement tre amene effectuer elle-mme un certain nombre dtudes valuatives permettant dclairer le dbat public. enfin, elle participe aux diffrentes instances dvaluation mises en place dans son champ de comptences. en vue de promouvoir la dmarche dvaluation dans le champ des politiques sanitaires et sociales et favoriser lusage des outils appropris pour conduire ces valuations, la dRees a organis, au cours de lanne 2009-2010, un sminaire sur les mthodes de lvaluation ex post, savoir celle qui intervient aprs la mise en uvre dun dispositif particulier. lvaluation ex-ante, qui mesure limpact attendu dune politique, tait exclue de ce champ, de mme que les valuations qui interviennent au fur et mesure que se met en place une politique. Ce sminaire na pas eu non plus vocation couvrir les aspects institutionnels visant grer lvaluation. il tait centr sur la prsentation des outils de lconomie et de la sociologie pouvant contribuer lvaluation. Chaque sance de ce sminaire construite autour de deux prsentations exposait une approche particulire de lvaluation, suivie dun change avec le public. la premire sance sest attache dfinir prcisment lvaluation. les trois sances suivantes ont abord successivement : les mthodes conomtriques visant identifier les effets propres dune politique ; les changements organisationnels, tels quils sont perus travers les tudes de terrain ; et les mthodes qui permettent dimpliquer les usagers, par lintermdiaire de focus groups et denqutes de satisfaction. la dernire sance sest enfin intresse aux approches consistant associer objectifs, indicateurs et benchmarking.
e dcret du 22 janvier 1990 a instaur la procdure interministrielle dvalual tion. lvaluation consiste rechercher si les moyens juridiques, administratifs ou financiers mis en uvre permettent de produire les effets attendus dune poli-
introduction
6
lobjet de ce recueil est de retranscrire le plus fidlement possible les diffrents exposs de ce sminaire ainsi que les changes qui les ont suivis. nous tenons remercier une nouvelle fois les intervenants sans qui ce sminaire naurait pas pu avoir lieu, ainsi que lensemble des participants pour la qualit des changes et contributions apportes au dbat.
Nicolas Studer
Partie 1
DFINITIONS
DE LVALUATION
La premire sance du sminaire sur les mthodes dvaluation de politiques publiques tait organise autour de deux interventions : une intervention dAnnie Fouquet, prsidente de la Socit franaise de lvaluation, qui a rappel les concepts de base de lvaluation et le contexte historique de son dveloppement, notamment institutionnel en France ; une intervention dEsther Duflo, professeur au MIT, titulaire de la chaire Savoirs contre pauvret du Collge de France, qui a prsent lvaluation dimpact en conomie du dveloppement, ce domaine de lconomie apparaissant souvent comme un domaine prcurseur en matire dvaluation. Elle a plus prcisment prsent les concepts de base de la recherche valuative (contrefactuel, groupe de contrle et de traitement, effet propre) ainsi que des exemples dvaluation en conomie du dveloppement. Les dveloppements de lvaluation et les dbats autour des valuations dans le domaine de lconomie du dveloppement ont t galement abords. Ces interventions ont t suivies dun dbat avec la salle.
Lvaluation des politiques publiques en France

Dfinitions et historique
annie Fouquet (socit franaise de lvaluation)
Les concepts de base de lvaluation

lvaluation de laction publique (politique, programme, dispositif) a pour objet den apprcier la valeur au regard de certains critres, comme la pertinence, lefficacit, lefficience, notamment dans le but dapporter des connaissances pour aider la dcision et clairer le dbat public.
Une dmarche collective

le terme dvaluation est aujourdhui en vogue et est sujet bien des malentendus. Chez certains, il fait ressurgir des peurs anciennes, remontant aux temps de lcole et des zros points . lvaluation est perue par ceux-ci comme un jugement, parfois injuste et qui met en cause des acteurs personnellement. pour dautres, notamment les ingnieurs, les physiciens, lvaluation est synonyme destimation. elle consiste estimer la valeur dun paramtre dun modle pour estimer leffet dune action. pour autant, estimer la valeur dun paramtre ne suffit pas apprcier la valeur de laction publique, qui ne se rsume pas au modle test. conomistes et statisticiens ont ainsi tendance considrer ces travaux comme des valuations de politiques, alors quils ne sont quun lment de constat parmi dautres prendre en compte dans le cadre dune valuation, comme on le verra plus loin. on parle galement dvaluation pour les entretiens individuels annuels : en effet dans leur principe, ils sappuient sur une valuation de laction collective dans laquelle sinscrit laction individuelle et qui lui donne sens. lvaluation dont il est question ici vise apprcier la valeur dune action publique. or, selon sa place (dcideur politique, oprateur, bnficiaire), chacun peut avoir un point de vue diffrent sur laction mene. ainsi il est possible de dvelopper plusieurs jugements de valeur sur la mme action. valuer une politique mene au nom de lintrt gnral, cest prendre en compte lensemble de ces points de vue. dans son article 15, la dclaration des droits de lhomme et du citoyen, prambule de la Constitution actuelle, prcise : La socit a le droit de demander compte tout agent public de son administration (en 1789, cette disposition visait se dbarrasser des fermiers gnraux). lvaluation analyse des systmes daction,
partie 1 - dfinitions de lvaluation

10
pour comprendre la chane des causes, et savoir quoi attribuer le rsultat (imputabilit). enfin, lvaluation doit contribuer clairer la dcision, stratgique ou oprationnelle. lvaluation de laction collective peut porter tout autant sur un projet que sur un dispositif de politique publique, un programme ou des politiques plus larges. plus le degr de gnralit est lev, plus lvaluation devient complexe. pour autant, il est indispensable de procder ces valuations larges, afin de reprer les effets de systme. en effet, une politique publique se compose gnralement de plusieurs programmes et plusieurs actions qui font parfois systme et parfois se contredisent. toute lvaluation devra donc en tout premier lieu choisir le niveau auquel elle se situe. il est souvent prfrable de commencer par un niveau intermdiaire.
qui comporte plusieurs registres

toute politique relve dune thorie implicite du changement social. la mise en place dune politique publique vise rsoudre les problmes qui apparaissent. par exemple, lagitation dans les banlieues peut traduire un mcontentement face un cadre de vie dgrad et une problmatique de logement. Face lagitation, le pouvoir politique peut dcider de calmer les banlieues en rhabilitant le cadre de vie. il sagit l dun objectif gnral, qui devra tre dclin en programmes divers, rpondant des objectifs spcifiques, pouvant tre eux-mmes dclins en objectifs oprationnels (schma 1). dans le cas de la scurit routire, lobjectif gnral vise diminuer le nombre des morts sur les routes. plusieurs programmes spcifiques peuvent y contribuer, comme un programme damnagements routiers visant supprimer les points noirs; ou un programme visant faire respecter le code de la route. Chacun des programmes spcifiques se dcline son tour en programmes oprationnels qui se dclinent en actions. pour le premier, ce sera par exemple de supprimer tel passage niveau ou de refaire tel carrefour. Concernant le second, ce pourra tre de faire des contrles de vitesse ou de refondre lapprentissage de la conduite.
Schma 1
Les registres de lvaluation

Besoins Problmes
Objectifs globaux
Pertinence Utilit
Impacts
Objectifs spcifiques
Efficacit
Rsultats (outcomes)
Efficience Objectifs oprationnels Cohrence Ralisations (activits, outputs)
Ressources (inputs)
Lecture Les objectifs globaux sont dfinis partir de lidentification des besoins ou problmes ; ladquation des objectifs globaux aux besoins ou problmes permet de mesurer la pertinence dune politique.
lvaluation des politiques publiques en France : dfinitions et historique

11
chaque politique, programme ou action, seront affects des moyens spcifiques en termes humains, financiers et juridiques. au niveau le plus bas savoir les objectifs oprationnels sont mesures les ralisations qui correspondent lactivit de ladministration ou de loprateur dans un domaine particulier. Cest ce niveau que lon positionne les indicateurs dactivit, dclins dans la loi organique relative aux lois de finances (lolF). pour reprendre lexemple de la scurit routire et de la rduction du nombre de points noirs, lindicateur de ralisation pourra tre le nombre dappels doffres raliss par le service charg des infrastructures ou la dpense engage ; dans le cas de la lutte contre les vitesses excessives, ce sera le nombre de radars installs. au niveau des objectifs spcifiques correspond lvaluation des rsultats. ainsi, dans le domaine de la scurit routire, le rsultat sera le nombre de points noirs supprims. au niveau le plus lev, celui des objectifs globaux, ce sont les impacts qui sont mesurs, gnralement plus long terme. la baisse du nombre des tus sur les routes constitue ainsi un impact de la politique de scurit routire. parfois apparaissent des impacts inattendus. par exemple, le fait de repeindre les cages descalier dun quartier dhabitations loyer modr (hlM) a pu tre lorigine daffrontements entre bandes de quartiers rivaux, dans la mesure o lun des deux quartiers a vu son standing baisser par rapport lautre. le simple fait de rnover un quartier a pu ici nuire la tranquillit publique, contrairement ce qui tait espr ; cest un impact inattendu. pour cerner au mieux les impacts dune politique, il est donc important dadopter une vision large avec ouverture desprit. lvaluation dune politique publique se dcline selon un certain nombre de critres, commencer par sa pertinence, qui vrifie si laction mene tait en adquation avec le problme qui tait pos. ensuite, il faut mesurer la cohrence des actions entre elles et avec les moyens dploys. se posent aussi les questions de lefficacit (les ralisations, les rsultats et les impacts obtenus sont-ils conformes aux objectifs ?) ou encore celle de lefficience (celle-ci rapporte les rsultats obtenus aux dpenses engages). par exemple, lefficience dune politique demploi amne mesurer le cot du chmeur vit ou de lemploi cr, et le comparer celle dun autre dispositif ou celle dun pays voisin. enfin, le critre dutilit sociale consiste reprer si les impacts obtenus rpondent effectivement aux besoins et aux problmes daujourdhui. il sagit l dun critre fondamental en matire sociale, mme sil savre assez complexe de lvaluer finement. la rationalisation des choix budgtaires (RCb) sappuyait sur une srie dindicateurs de moyens, dactivit et de rsultats court et long terme qui recouvrent les notions de ressources, ralisations, rsultats et impacts. le vocabulaire anglo-saxon est nettement plus clair : les moyens ou ressources affects laction sont les inputs de lactivit qui produit des outputs (ralisations) qui engendrent des outcomes (rsultats) court terme et des impacts long terme.
et se distingue du contrle, du pilotage et de laudit

il faut distinguer nettement lvaluation, du contrle, du pilotage et de laudit (tableau 1). linspection gnrale des affaires sociales (iGas) et la Cour des comptes sont deux organismes chargs avant toute chose du contrle. le pilotage se dveloppe au travers de la lolF. laudit connat un succs parallle, mme sil demeure encore peu rpandu dans le monde administratif. ce propos, la socit franaise de lvaluation (sFe) a organis rcemment une journe de travail en lien avec laFiGese (associations des financiers et contrleurs de gestion des collectivits territoriales) et France qualit publique pour travailler autour de ces notions. leur travail a abouti la publication dun Cahier comparant ces diffrentes dmarches : voisinages : de la concurrence la complmentarit .

12
Ces dmarches se distinguent de par leur objet, leurs normes de rfrence et leurs consquences. Chacune correspond un type de regard port sur laction publique : Le contrle permet de vrifier la conformit par rapport des textes (loi, rglementation, dcret ou circulaire). lorsquil y a un cart entre la pratique et la rgle, la consquence en est une sanction (amende, voire poursuites judiciaires). Le pilotage (contrle de gestion) permet de suivre lexcution des actions. la rfrence nest plus la rgle juridique ou comptable, mais le programme fix en dbut danne. par exemple, chaque territoire sest vu assigner un nombre de contrats passer en matire de dispositifs daide lemploi. Chaque mois, est vrifie la conformit du nombre de contrats effectivement passs avec lobjectif. en cas dcart, se met en place un dialogue de gestion, qui permet de rectifier la trajectoire ou de dplacer des crdits. lobjectif principal dun audit est la rduction des risques. lauditeur (externe ou interne) se rfre pour cela aux standards de la profession ; il ne sagit pas de normes juridiques (comme dans le cas du contrle) ou de programmes fixs lavance (comme dans le cas du pilotage ou du contrle de gestion), mais du rfrentiel de la profession (bonnes pratiques prexistantes rpertories) ; en cas dcart, lauditeur met des alertes, des recommandations que loprateur peut, sil le souhaite, ignorer. enfin, lvaluation a pour objectif damliorer laction publique, den optimiser les rsultats et pour cela de mesurer et dexpliquer les carts entre les effets attendus et les effets obtenus. la norme en loccurrence nest autre que les objectifs de laction. elle se traduit dans la pratique par une srie danalyses qui permettent de vrifier si les effets correspondent ce qui tait attendu. ainsi, elle est une aide la dcision oprationnelle et stratgique, et donne du sens laction.
Tableau 1
Contrle, pilotage, audit et valuation

Contrle Pilotage (contrle de gestion) Audit valuation
Objet
Vrifier la conformit la rglementation
Suivre lexcution des actions
Rduire les risques
Optimiser les effets-besoins Expliquer les carts entre effets attendus et atteints Rfrence construire en fonction des objectifs Aider la dcision (stratgique ou oprationnelle) selon les besoins de la socit
Normes, rfrentiels
Loi, rglement (cadre comptable)
Programme fix ex-ante
Standards professionnels
Consquences
Sanctionner un cart : Rectifier la trajectoire : amendes, poursuites dialogue de gestion judiciaires
Alerter : recommandations, rappels lordre
Lecture La dmarche de pilotage analyse la conformit de lexcution des actions au programme fix ex-ante.

13
de faon simpliste et un peu caricaturale, on peut dire que le contrle sarrte la procdure ; le pilotage sintresse dabord aux ralisations et parfois intgre les rsultats, alors que lvaluation sintresse aux rsultats et aux impacts. en ce sens, toutes ces dmarches sont complmentaires.
Lvaluation rpond plusieurs objectifs et comporte plusieurs phases

lvaluation peut rpondre quatre types et usages distincts et complmentaires. on distingue valuation dimpact et valuation de processus, dune part ; aide la dcision et apprentissage collectif, dautre part. lvaluation dimpact vise apprcier, de la manire la plus objective possible, les effets dun programme sur la socit. lvaluation de processus se penche sur la mise en uvre de cette politique et en analyse les processus : est ainsi analys le systme dacteurs et la faon dont celui-ci a pu favoriser ou gner latteinte des objectifs. sagissant des acteurs de laction publique, lvaluation peut tre une aide la dcision ; commande et destine aux dcideurs ; et/ou utile lensemble des acteurs dans un apprentissage collectif. le processus dvaluation permet aux agents de mieux comprendre les actions auxquelles ils participent et de sen approprier les objectifs. dans le cadre de certains dispositifs, ce type dvaluation a permis de pointer lexistence dactions inutiles. outre le choix du domaine qui doit tre valu et les dcisions prises lissue de lvaluation, deux prrogatives des dcideurs (commanditaires), il est possible de distinguer quatre grandes tapes de lvaluation. la premire a pour but de construire le rfrentiel de lvaluation, en dfinissant les questions qui se posent et en retrouvant ou explicitant les objectifs initiaux. parfois, cette premire tape sapparente de larchologie administrative, quand les programmes publics se sont empils successivement au cours du temps. la deuxime tape consiste recueillir les donnes. Gnralement, le contrle de gestion (pilotage), quand il existe, a effectu un suivi de ralisations, mais il va rarement aux rsultats. bien souvent, des enqutes et des tudes ad hoc sont ncessaires. des enqutes existantes peuvent tre rutilises dans le cadre de lvaluation, mais il est parfois ncessaire den entreprendre de nouvelles. Ces donnes et ces tudes permettent dtablir des constats. au cours de la troisime tape, on passe des constats aux conclusions. Cest ce niveau quintervient linterprtation. il faut insister sur le fait quune tude nest jamais elle seule une valuation : elle ne fait que participer lvaluation. ainsi dans le cas des 35 heures, plusieurs tudes avaient t ralises ; certaines disaient que cette politique avait cr des emplois, tandis que dautres quelle en avait dtruit. en fait, leurs rsultats dpendaient des hypothses retenues, clairant chacune une facette de la ralit. Comme il nexistait aucun lieu qui permt de discuter les hypothses sur lesquelles sappuyaient ces tudes et den apprcier leur domaine de validit, cette apparente contradiction, non lucide par les parties prenantes faute de lieu de dbat apais, autorisait les luttes politiciennes. une tude donne un lment de constat, qui peut ensuite tre interprt de diffrente manire selon le point de vue de chaque groupe dacteur. par exemple : le mme chiffre sur le nombre de lits vacants dans un tablissement dhbergement pour personnes ges dpendantes, va tre interprt comme mauvais par le directeur financier qui y voit une perte de recettes potentielles ; comme bon par les agents de sant qui y voient un allgement de leur charge de travail, mais galement par llu en charge de la politique de maintien domicile des personnes ges car cette vacance de lits permet lhbergement durgence, corollaire de sa politique. Cette interprtation constitue la troisime tape de lvaluation, avant la formulation des recommandations. il est utile que cette phase puisse

14
se faire dans un cadre qui permette dexprimer les dsaccords et de sortir la ppite du dsaccord de la gangue des malentendus . de l on passe (ou non) la phase des recommandations, quil est utile de tester ou de coproduire avec les principaux intresss, ceux qui devront les appliquer. do lintrt des comits de pilotage de lvaluation ou instances regroupant les parties prenantes, pour faciliter son appropriation par les acteurs, tant en termes dapprciations et dinterprtations quen termes de suivis oprationnels.
Les aspects historiques de lvaluation en France : faiblesses et alas

Des dbuts difficiles au niveau central
un dcret de 1990 cre le Comit interministriel de lvaluation assorti dun Conseil scientifique, charg de dfinir les concepts et mthodes de base dun champ qui restait fort peu explor en France. il lui a t reproch sa lenteur et son activit limite, ce qui sexpliquait la fois par le fait que lvaluation en France tait en phase dapprentissage, mais aussi et surtout par son positionnement interministriel, lieu de la complexit la plus grande des politiques tudies et de labsence de responsabilit de chacun des ministres. en 1998, les deux instances sont fusionnes en un Conseil national de lvaluation (Cne) ; lexprience accumule lui a permis une plus grande efficacit : il a produit en quatre annes dexistence autant dvaluations quen avait produites le CiMe en huit ans. Mais les difficults du positionnement interministriel demeuraient. par ailleurs, lvaluation tait positionne du ct de lexcutif seulement, et non du lgislatif, encore moins en surplomb des deux. entre 2000 et 2006, aucune instance nationale na t charge de lvaluation des politiques publiques. Ct lgislatif, le parlement avait mis en place une mission dvaluation et de contrle, commune aux deux assembles, assemble nationale et snat, qui na jamais fonctionn ; lassemble nationale a alors cr une mission dvaluation et de contrle autonome (MeC) procdant par auditions et utilisant les enqutes ralises par ladministration. Cependant, cette institution manquait notoirement de moyens. en 2006, avec la lolF, apparaissait la notion de performance (anglicisme pour ralisations ), premire tape vers un retour de lvaluation. le secrtariat dtat la prospective et lvaluation des politiques publiques, cr en 2007, a disparu en janvier 2009, et la petite Mission dvaluation et prospective quil avait constitue au Centre danalyse stratgique sest rfugie auprs du ministre du budget.
Des perspectives intressantes

la rvision constitutionnelle de juillet 2008 offre des perspectives intressantes, dans la mesure o elle inscrit la notion dvaluation des politiques publiques au sein mme de la Constitution. la lolF avait trac la voie en vue dune valuation de laction du pouvoir excutif par le lgislatif, mais le parlement ne stait pas jusqualors vritablement saisi de cette capacit. suite la rforme constitutionnelle, lassemble nationale a cr en juin 2009 un Comit dvaluation et de contrle des politiques publiques (remplaant la MeC), coprsid par un membre de la majorit et de lopposition, charg de dfinir un programme dvaluation. la Cour des comptes, qui peut venir en appui au parlement, pourrait laider dans cette tche. Cependant, elle est compose par dfinition de magistrats, amens porter des jugements et dont la culture est celle du contrle. la gestion de la pluralit des points de vue ne lui est pas

15
familire. Cependant, la Cour met en place une rforme des institutions financires de contrle (nationale et rgionale) pour mieux rpondre ses nouvelles missions (certification des comptes de ltat avec la lolF, et maintien de lvaluation avec la rforme constitutionnelle) en distinguant quatre mtiers qui sont quatre regards sur laction publique : contrleur, juge, certificateur, valuateur.
Les collectivits territoriales sont en avance

les collectivits territoriales nont pas suivi le mme chemin que ltat. en effet, au moment o le principe de lvaluation perdait du terrain au niveau central, il connaissait un vritable essor au niveau territorial. en ce sens, les administrations centrales feraient bien de sinspirer du niveau dcentralis. Cet cart sexplique en partie par les contraintes dvaluation imposes aux collectivits territoriales par les politiques contractuelles (Fonds europens, contrats de plan tat-rgions ou les contrats de la politique de la ville). les Conseils rgionaux, les Conseils gnraux les plus importants ont mis en place des fonctions dvaluation ; au dbut elles sont le plus souvent rattaches aux services de contrle de gestion et daudit ; puis prenant de la distance, elles sont places directement auprs de la direction gnrale des services ou du prsident. Ces nombreuses expriences de terrain sont propices linnovation. le lien entre le suivi des mesures et lvaluation (suivi valuatif) donne lieu un dveloppement indit de nouvelles mthodes. dans le cadre de lvaluation des fonds europens, et en conformit avec les standards dvaluation prns par la Commission europenne, la France a mis en place des instances dvaluation qui rassemblent les acteurs concerns : linstance nationale dvaluation de programmes oprationnels du FedeR (Fonds europen de dveloppement rgional) qui est coprsid par un universitaire et un prsident de Conseil Rgional, et dont le secrtariat est assur par la diaCt (dlgation interministrielle lamnagement et la comptitivit des territoires) ; cest galement le cas pour le FeadeR (Fonds europen agricole pour le dveloppement rural) gr par le ministre de lagriculture. le Conseil scientifique dvaluation du Fonds social europen (Fse), que je prside, a galement vu le jour lan dernier.
Le rle de la Socit franaise de lvaluation

en conclusion, je tiens faire un bref retour sur la mission de la sFe. la socit franaise de lvaluation, association loi 1901, a pour objet de promouvoir la culture de lvaluation et sa qualit. elle rassemble toutes les catgories dacteurs concerns par lvaluation (commanditaires, universitaires, chercheurs, prestataires publics ou privs). pour amliorer la qualit des valuations et leur bon droulement, elle a mis en place un groupe travaillant sur les standards et la dontologie qui a rdig une charte de lvaluation. Cette charte est mise en ligne sur le site de la sFe (www.sfe-asso.fr). parmi les grands principes quelle porte, la charte insiste sur la pluralit des points de vue, sur la comptence des valuateurs, sur la distanciation (indpendance de lvaluateur). le respect des personnes, notion chre aux statisticiens, la transparence (de la mthode, des rsultats) y figurent galement. propos de cette dernire notion, il faut souligner limportance de la publication des rsultats qui doit tre dcide (ou non) avant de les connatre ! enfin le principe dopportunit rappelle quil ne sert rien de lancer une valuation ds lors que lon sait quelle naura aucune utilit. Cette charte a pour objectif premier de rguler le march entre les commanditaires et les prestataires, quils soient privs, universitaires, chercheurs ou statisticiens. un nombre tou-

16
jours plus important de commanditaires (comme la div1, lanRu2) inclut la charte en annexe dans leurs appels doffres, ce qui permet aux prestataires privs de faire valoir certains principes importants et dviter certaines drives (viter la tentation dacheter les rsultats dune ltude avant mme quelle ne soit lance). la sFe organise rgulirement des journes sur des thmes varis (valuation de lactivit et de la qualit des prestations des tablissements socio et mdico-sociaux dans le cadre de la loi de 2002 ; lvaluation de lutilit sociale de laction publique ; valuation et statistique, valuation et communication, etc.). Cre avec lappui du Centre dtudes et de recherche sur les qualifications (CeReq) et du Centre dtudes de lemploi, la sFe a ft ses 10 ans Marseille, les 11 et 12 juin 2009, en prsence de philippe sguin, premier prsident de la Cour des comptes et de didier Migaud, prsident de la Commission des finances de lassemble nationale3. lvaluation constitue une aide la dcision stratgique et oprationnelle, dans un processus dapprentissage collectif qui donne du sens laction et favorise le changement, en vue dune amlioration continue de laction publique.
1. Dlgation interministrielle la ville (DIV). 2. Agence nationale de rnovation urbaine (ANRU). 3. Devenu depuis premier prsident de la Cour des comptes, succdant Philipe Sguin. Voir louvrage tir de ces Journes, Mouterde, Trosa, 2010.
Lvaluation dimpact en conomie du dveloppement

Lapproche exprimentale
esther duflo (Collge de France)
velles choses, avec audace et persvrance. Tenter une nouvelle approche relve du bon sens : si elle choue, admettons-le avec franchise et essayons-en une autre. Mais, avant toute chose, tentons quelque chose. Cest dans ce cadre que se place le travail dvaluation. il ne doit pas tre compris de manire restrictive, comme une sanction aprs coup. il doit aider la prise de dcision et lexprimentation politique. la lutte contre la pauvret nchappe pas cette approche. il faut sans cesse exprimenter et rflchir en dehors des cadres habituels. Malheureusement, le domaine de la politique sociale manque trop souvent dimagination. il faut y voir en partie leffet de contraintes politiques. les hommes politiques sont bien souvent prisonniers de leurs ambitions. ils voudront toujours en faire trop et en finir avec un problme sur-le-champ. les politiques sont souvent mises en place au niveau national, avant mme davoir t testes sur des territoires plus restreints. Cest pourtant ainsi que les ides peuvent tre confrontes la ralit du terrain et par la suite affines. les chercheurs, quils dpendent de luniversit ou des administrations, en collaborant avec les partenaires de terrain (tat, collectivits locales, organisations non gouvernementales, onG) peuvent apporter une contribution utile dans ce processus dexprimentation crative. dune part, ils peuvent identifier ou proposer des solutions nouvelles. dautre part, ils savent valuer rigoureusement les politiques publiques. Cest cette articulation entre prospective et valuation qui a connu un fantastique essor au cours des dix dernires annes dans le champ de lconomie du dveloppement.
n 1932, au beau milieu dune priode qui ressemble trangement celle que nous vivons e aujourdhui, Franklin delano Roosevelt dclarait : Notre pays a besoin de et moins que je ne me mprenne sur ses aspirations notre pays exige que nous essayions de nou-
Lvaluation dimpact
conomistes, administrations et hommes politiques peuvent se tromper dans leurs recommandations et suggestions. en effet, toute recommandation sappuie sur une analyse du rel, qui le simplifie invitablement. au cours de cette simplification, des aspects qui peuvent au final

18
savrer essentiels sont souvent perdus. toute politique, comme le soulignait annie Fouquet dans son intervention, peut avoir des effets inattendus, qui peuvent savrer finalement totalement contre-productifs. pour autant, il serait regrettable den conclure quil est ncessaire pour les chercheurs de rester inactifs au prtexte quils ne veulent pas tre complices dune erreur. au contraire, tant donn que chacun peut commettre des erreurs, il est prfrable de continuer travailler avec les partenaires de terrain, en adoptant une mthode dvaluation rigoureuse. Cest dans lvaluation plutt que dans linaction que rside le principe de prudence.
Pourquoi y a-t-il encore si peu dtudes dimpact ?

Ces lments semblent relever du bon sens. Cependant, dans les pays pauvres comme dans les pays riches, les tudes dimpact demeurent peu nombreuses. Comment expliquer ce constat ? une premire hypothse consiste affirmer que personne ne souhaite vritablement que soit pratique une valuation rigoureuse. les partisans dun programme hommes politiques qui souhaitent tre rlus, fonctionnaires qui souhaitent tre promus, onG qui souhaitent continuer percevoir un financement, multinationales qui souhaitent montrer quelles agissent de manire responsable pour la plante ont tout intrt proclamer que leur action a t couronne de succs. dans le cas de la mise en place des 35 heures, il est vident que certains acteurs politiques prfraient brandir certains rsultats, tandis que leurs adversaires faisaient valoir dautres tudes. en labsence dvaluation rigoureuse, il est toujours plus simple de prsenter un programme comme un succs, mme si personne nest dupe, pas plus ladministration que les lecteurs. lhabitude entrane par ailleurs les acteurs dans une logique de surenchre permanente. ainsi, si par souci de franchise, un homme politique, qui a dfendu la mise au point dun programme, convient que celui-ci a donn des rsultats plutt satisfaisants, au lieu de les prsenter comme excellents, il risque de provoquer une certaine dfiance des lecteurs. Ceux-ci vont penser que cette politique na en ralit pas du tout donn les rsultats escompts. des succs relatifs sont toujours suspects au final. Cette perspective fort cynique est bien souvent exagre. beaucoup dacteurs, au sein des administrations, des gouvernements ou des onG, sont pleinement ouverts la possibilit dune valuation, pour tirer les leons des expriences passes et amliorer les dispositifs. en ralit, si lvaluation demeure rare, cest parce quelle est difficile mener. Comment expliquer la ncessit dvaluer des politiques publiques, alors que cette exigence ne sapplique pas au secteur priv ? en effet, Renault na pas besoin dvaluer ses vhicules mis sur le march, alors que le gouvernement doit valuer ses politiques sociales. sur le march priv, tout est plus simple, les consommateurs mcontents peuvent se tourner vers une autre marque. par exemple, si les voitures Renault ne correspondent pas aux besoins des consommateurs, ces derniers vont acheter par exemple un modle peugeot. lvaluation est donc automatique. elle correspond au test du march, alors que, dans le secteur public, il nexiste pas de choix.
Pourquoi valuer limpact dune politique ?

en outre, il faut tre conscient du fait que ces politiques sociales interviennent justement lorsque le march savre dfaillant pour rpondre un objectif que la socit sest fixe. nous estimons ainsi quil est important que tous les enfants bnficient dune ducation. par consquent, nous sommes prts agir de manire commune, mme lorsque les parents ne souhaitent pas ou ne sont pas en mesure de financer leurs tudes. en France, le choix a t fait de construire des coles publiques. au Chili, au contraire, ltat distribue des bons qui
lvaluation dimpact en conomie du dveloppement : lapproche exprimentale

19
permettent aux enfants de suivre une scolarit dans une cole prive. dans les deux cas, le gouvernement finance lducation. Comment savoir laquelle de ces deux politiques savre la plus efficace ? Comment savoir sil est prfrable de construire une multitude de petites coles ou un nombre restreint de grands tablissements ? Comment savoir combien denfants mettre par classe ? Comment savoir sil est ncessaire de construire des groupes de niveau ? Ces choix ont tous des consquences sur la qualit de lducation. les bnficiaires de ces politiques sont contraints de prendre ce quon leur donne, moins destimer que le systme mis en place est tellement mauvais quil est prfrable de suivre une scolarit prive, ainsi quon le constate en inde, o mme les familles les plus pauvres renoncent envoyer leurs enfants lcole publique, tant son niveau est faible. lorsque lon arrive de telles extrmits, il est dj trop tard. il aurait fallu imaginer diffrents modles, avant de pouvoir saccorder sur la solution la plus efficace.
Les deux tapes de lvaluation : valuation de processus et valuation dimpact

pour sassurer de limpact dune politique, il est donc ncessaire de procder une valuation. Cette valuation se dcline en plusieurs tapes. tout dabord, lvaluation du processus (audit, contrle) permet de vrifier que la politique a t mise en place comme prvu. ensuite, une valuation dimpact doit tre mene. elle permet de vrifier si les rsultats escompts ont t effectivement atteints. la premire de ces deux valuations nest conceptuellement pas difficile raliser, mme si elle peut savrer dlicate en pratique. en principe, il suffit de suivre les flux financiers et les ralisations effectives, afin de documenter ce qui a t entrepris et comparer cela au programme dfini lavance. lvaluation dimpact est en revanche complexe en ce sens quelle impose de comparer la situation des bnficiaires dune politique la situation quils auraient connue si cette politique navait pas t mise en uvre. or ce dernier aspect relve de la spculation. il est possible de dterminer avec plus ou moins de prcision la situation dun bnficiaire avant la mise en place de la politique et aprs celle-ci. il serait cependant une erreur de croire que la situation dun bnficiaire avant la mise en place de la politique correspond la situation que ce mme bnficiaire aurait connue si cette politique navait pas t mise en place. beaucoup de choses auraient pu influer entre-temps.
Les diffrentes mthodes dvaluation dimpact

pour rsoudre ce dilemme, il est important de constituer un groupe de contrle adquat. Ce groupe test sera bnficiaire dune politique diffrente ou exclu de toute politique et totalement comparable dans sa composition au groupe des bnficiaires. en ralit, la difficult rside dans le fait que les non-bnficiaires ne sont gnralement pas vraiment comparables aux bnficiaires. Ces derniers sont choisis en effet en fonction de critres prcis qui les distinguent du reste de la population. prenons par exemple la question de la parit hommes-femmes. aujourdhui, prs de cent pays de par le monde garantissent la reprsentation politique des femmes, parmi lesquels la France. sur ce sujet, au cours de lvaluation, il faut dabord dterminer si les politiques mises en place conduisent llection dun plus grand nombre de femmes. ensuite, il faut vrifier si la prsence accrue des femmes a un impact sur le type dactions entreprises et mesurer enfin la perception du public lgard des femmes dans leur rle de dcideur. or il faut tre conscient que les villes et les villages qui lisent une femme maire sont certai-

20
nement diffrents des autres. ils ont vraisemblablement une meilleure image des femmes et des prfrences politiques diffrentes. il est possible dimaginer que les lecteurs prts lire une femme maire soutiennent par exemple les politiques daide lenfance.
conomtrie traditionnelle
Comment constituer un groupe test viable ? lconomtrie traditionnelle a recours des techniques statistiques (matching, rgression) en contrlant lensemble des variables, pour tenter deffacer les biais ex post. dans le cas de la parit, il serait ainsi possible de vrifier le poids relatif des femmes dans la population de la commune, lducation des femmes, les politiques entreprises par le pass Cependant, on ne peut jamais tre sr davoir pris en compte tous les paramtres ncessaires. la manire dont lon construit le groupe de contrle peut avoir un impact trs fort sur les rsultats. en appliquant plusieurs mthodes de constitution du groupe de contrle, il est possible au final de choisir les rsultats qui arrangent le dcisionnaire.
Expriences naturelles
la deuxime possibilit rside dans les expriences naturelles, qui exploitent des situations dans lesquelles les groupes sont parfaitement comparables. pour reprendre lexemple de la parit, il est possible de comparer une commune o une femme a gagn de justesse une autre o une femme a perdu de justesse. on peut estimer que cest le hasard de llection qui a fait en sorte que certains partisans dun candidat ne sont pas dplacs. Cependant, il nest pas toujours possible de mettre en place ces expriences naturelles.
valuation alatoire
la troisime mthode a pour nom lvaluation alatoire . Celle-ci est prospective. avant mme la mise en place du programme, est choisi alatoirement parmi un groupe de bnficiaires potentiels un chantillon de participants, qui deviendra le groupe test. il faut runir certaines conditions pour mettre en place une telle valuation. elle nest possible que pour les programmes pilotes qui nont par dfinition pas vocation prendre en charge lintgralit dune population ou lorsque les budgets sont trop limits pour traiter toute la population. Ce fut le cas pour la prise en charge de certains chmeurs de longue dure par des entreprises prives en France. les programmes en phase dexpansion sont galement propices cette technique. en effet, il est possible de dterminer au hasard lordre dans lequel les programmes sont attribus. enfin, parfois, il arrive quallouer un programme au hasard soit la solution retenue comme la plus quitable. dans tous les cas, il est ncessaire de choisir le groupe test avant la mise en place de la politique. le groupe de contrle est alors parfaitement comparable au groupe des bnficiaires. parfois, ce sont deux politiques diffrentes qui sont appliques deux groupes identiques.

21
GraPhIque 1 Investissement en eau potable dans deux tats indiens

% 30 25 Rserves pour les femmes 20 15 15 10 4,7 5 0 Bengale Occidental
Source Chattopadhyay et Duflo 2004. Lecture Dans les villages du Bengale occidental o la prsidence du conseil municipal est rserve aux femmes, les investissements en eau potable reprsentent 28 % des dpenses totales de la municipalit.
28 Non rserves
7,3
Rajasthan
dans le cas de lvaluation de la politique de parit hommes-femmes en inde, la randomisation a t mise en place pour des raisons politiques et non pour faciliter le travail. en effet, en 1993, un amendement la constitution prvoit que les conseils municipaux et les conseils de villages devront dsormais inclure un tiers de membres fminins et quun tiers des maires de groupes de villages (groupements de communes) devront tre des femmes. pour viter les manipulations, les villages qui doivent lire une femme maire sont choisis au hasard. dans ces villages, tous les candidats doivent tre des femmes. les dcisions prises par des conseils municipaux dirigs par une femme ont t compares celles diriges par des hommes. il est ainsi apparu que les femmes privilgient les investissements dans laccs leau potable et relatifs aux besoins spcifiques des femmes (graphique 1).
Les discriminations lgard des femmes

les valuateurs se sont galement intresss la discrimination lencontre des femmes. il nest pas simple dvaluer ce critre, car les personnes interroges ont tendance prsenter limage quelles aiment avoir delles-mmes. Gnralement, dans les pays riches, elles sousestiment leurs propres discriminations. en inde, il sagirait plutt du phnomne inverse. pour viter ce biais, les chercheurs font couter un mme discours enregistr par un homme et par une femme. les personnes interroges ncoutent quun seul des deux discours. il apparat que, dans les villages qui nont jamais eu de femme maire, la raction est plus ngative lorsque des hommes entendent le discours prononc par une voix de femme, ce qui dmontre lexistence dune discrimination (graphique 2). en revanche, dans les lieux o une femme a t lue maire, le biais sinverse. les hommes ont ainsi tendance plus apprcier le discours de la femme que celui de lhomme. Chez les femmes, les carts sont plus faibles, avec un lger a priori positif pour les discours des hommes dans les deux cas.

22
GraPhIque 2
Diffrence entre lvaluation dun discours prononc par une femme ou par un homme au Rajasthan et au Bengale occidental
Non rserves Rserves pour les femmes
-0,070 Hommes
Source Beaman, Chattopadhyay, Duflo, Pande et Topalova, 2008. Lecture En moyenne, lvaluation par les hommes interrogs dun discours prononc par une femme sur une chelle de 1 10 est infrieure de 0,07 point lvaluation du mme discours prononc par un homme dans les villages non rservs une femme alors quelle est suprieure dans les villages rservs une femme.
Femmes
lorsquune commune a t rserve aux femmes pour un mandat, elle devient systmatiquement non rserve lors du mandat suivant. il savre que dans ces villages, les femmes maires sont plus nombreuses que dans les villages non rservs (17 % pour les communes rserves deux fois, 13 % pour les communes rserves une fois, contre 9 % pour les communes qui nont jamais t rserves, voir graphique 3). Ces chiffres dmontrent lexistence dun impact de cette politique sur llection de femmes, du fait de la rduction des discriminations.
GraPhIque 3
Pourcentage de femmes lues sur des siges non rservs au Rajasthan et au Bengale occidental
% 20 17 Women ward conseillres 15 Femmes Pradhans 10 9 13 11
5 5
0 Non rservs Rservs pour les femmes une fois Rservs pour les femmes deux fois
Source Beaman, Chattopadhyay, Duflo, Pande et Topalova, 2008. Lecture En moyenne, dans les villages rservs aux femmes une fois par le pass, 13 % des maires et 5 % des conseillers municipaux sont des femmes contre respectivement 9 % et 5 % dans les villages o le poste de maire na jamais t rserv aux femmes.

23
Lvaluation exprimentale
lvaluation alatoire sest dveloppe aux tats-unis dans les annes soixante. elle tait pratique essentiellement pour les grands programmes, relatifs notamment la rforme de ltat-providence. ainsi, ont pu tre valus des programmes de formation professionnelle ou de responsabilisation. il y a dix ans, cette notion restait quasi inconnue dans les pays en dveloppement. aujourdhui le rseau de chercheurs spcialiss dans la lutte contre la pauvret Jameel poverty action lab travaille sur une centaine de projets dvaluation dans les pays en voie de dveloppement ou dans les pays pauvres. par ailleurs, la banque mondiale, lagence franaise de dveloppement (aFd), la Millenium challenge corporation (MCC), de mme que le haut commissariat aux solidarits actives contre la pauvret financent des valuations alatoires. la premire gnration de ces valuations essayait avant toute chose de dterminer quelles actions donnent des rsultats positifs. de la sorte, les chercheurs pouvaient voir si les oprations de dparasitage rduisaient labsentisme scolaire, si la rduction de la taille des classes ou lenvoi de livres jouait de manire bnfique sur les rsultats. aujourdhui, ces valuations prennent une autre forme. elles sont souvent perues comme un outil permettant de tester des thories. dans cette approche plus souple, lvaluation nest pas vritablement utilise comme un outil de bilan, mais plutt comme un outil de prospective. les partenaires de terrain voient en mme temps si leur programme fonctionne et comment lamliorer, car ce sont en gnral plusieurs versions du mme programme qui sont testes simultanment. Grce ce cadre thorique, les expriences se renforcent mutuellement. Chaque valuation participe de fait un processus daccumulation des expriences, au profit de la connaissance collective.
La gratuit comme solution au paludisme

par exemple, la distribution de moustiquaires imprgnes dun produit insecticide est considre comme la meilleure mthode de lutte contre le paludisme. Ces produits cotent en moyenne 5 euros lunit. la question se pose sur lopportunit de distribuer ces produits gratuitement. en faveur de la gratuit, certains font valoir des effets externes positifs (il savre que les moustiques tendent fuir les zones o une large partie de la population a t quipe) et une lasticit prix importante. de plus, les populations sont, selon eux, dcourages par des prix mmes faibles. lencontre de cette vision, dautres exposent un argument relatif leffet de slection. les personnes qui nont pas besoin de moustiquaire se voient distribuer un produit quelles ne vont pas utiliser. parfois, les moustiquaires sont recycles pour faire des rideaux. par consquent sinstaure un certain gaspillage. de plus, le fait de payer pour un objet le rend soudainement plus prcieux. donc ceux qui payent lutilisent plus frquemment. le nombre de moustiquaires distribu est ainsi plus faible, mais le taux dutilisation peut savrer plus important. Jessica Cohen et pascaline dupas ont test ces deux hypothses, en faisant varier de faon alatoire le prix des moustiquaires proposes dans les maternits au Kenya. largument de llasticit-prix lev se vrifie effectivement. lorsque la moustiquaire est gratuite, ce sont 190 units en moyenne qui sont distribues chaque mois, alors que ce chiffre tombe 40 lorsque le prix est fix 40 shillings, soit moins dun dollar, le sixime du prix du produit. il apparat en revanche que les moustiquaires sont tout autant utilises lorsquelles sont distribues gratuitement que lorsquelles le sont contre 40 shillings. Cette tude a t conduite au moment o un dbat virulent stait engag entre lorganisation mondiale de la sant dune part, qui prnait une distribution gratuite et le mouvement du marketing social, dautre part, partisan de la distribution payante (graphique 4).

24
GraPhIque 4
Nombre de moustiquaires distribues ( gauche) et pourcentage de mnages utilisant les moustiquaires ( droite)
200 1 160 0,8 120 0,6 80 0,4 40 0 0,2 0 10 20 40 Prix de la moustiquaire (shillings kenyans) 0 0 10 20 Prix de la moustiquaire (shillings kenyans) Tous Premire visite 40
Premire grossesse
Source Cohen et Dupas, 2009. Lecture 170 moustiquaires cotant 10 KSh ont t distribues et ces moustiquaires sont utilises dans 48 % des cas.
dani Rodrik publia alors les rsultats de cette tude sur un blog trs lu sous le titre Jeff sachs a raison , Jeff sachs tant un conomiste proche de loMs. sur ce mme blog, un autre conomiste, Mead over, protesta, avanant largument que ces rsultats ne valaient que pour les femmes enceintes et faisant valoir que le choix du Kenya tait biais, dans la mesure o le marketing social y est actif depuis longtemps. dani Rodrik a alors ragi en retirant ses premires conclusions. paralllement le dbat a progress avec cette tude puisque souvre la perspective dune exprimentation sur dautres populations que les femmes enceintes kenyanes. de plus, Population services international (psi), qui se chargeait de la distribution, a ce moment dcid de distribuer gratuitement les moustiquaires dans les maternits du Kenya. pascaline dupas a donc renouvel lexprience au Kenya, en distribuant des bons sur les marchs des femmes et des hommes. les rsultats obtenus sont identiques. deux autres chercheuses ont dvelopp une exprience similaire Madagascar et en ouganda, pour des rsultats allant dans le mme sens.
La demande de produits de sant est trs sensible au prix

les rsultats de ltude sur les moustiquaires ont fait apparatre une lasticit-prix forte. Reste maintenant vrifier si cette lasticit se retrouve pour dautres produits. des expriences ont t ralises sur de nombreux soins prventifs. deux types de conclusions en ressortent. dune part, les prix, mme faibles, dcouragent les usagers. Cela se vrifie pour le dparasitage au Kenya, o le fait de faire payer 30 shillings a abouti une rduction de la demande de 75 %. une tude mene sur les dsinfectants pour leau, aussi bien au Kenya quen Zambie, semble aller dans le mme sens (graphique 5).

25
GraPhIque 5
Proportion de personnes achetant un traitement en fonction de son prix dans le district de Busia (Kenya)
% 100 80
60
Deworming Bednets
40 Chlorine purchase 20 0 0,0 $ 0,1 $ 0,2 $ 0,3 $ 0,4 $ 0,5 $ 0,6 $
Lecture 70 % des personnes achtent un traitement base de chlorine cotant 0,10 $ (Deworming = dparasitage, Bednets = moustiquair, Chlorine purchase = Traitement base de chlorine).
Et de lgres incitations
les prix ngatifs (lgre incitation financire) semblent au contraire fortement inciter les populations, comme la notamment montr une tude sur la vaccination dans le district dudaipur au Rajasthan qui a confirm cette dernire conclusion. les taux de vaccination y atteignent 5 %, alors que la vaccination est cense tre gratuite. dans les faits, le manque dinfirmires et lloignement des centres de vaccination rduit loffre, alors que les populations ne sont pas vritablement sensibilises ces problmes, ce qui rduit aussi la demande. dans 60 villages, une onG a mis en place une campagne de vaccination. un infirmier se rend dans chacun dentre eux tous les mois en moto pour y vacciner les enfants. le problme de loffre se trouve ainsi rsolu. une incitation a t mise en place, puisque les personnes qui font vacciner leur enfant se voient remettre un kilo de lentilles. Ce cadeau est bien entendu trop faible pour convaincre quelquun qui est oppos la vaccination. l o ces camps de vaccination itinrants ont t mis en place, le taux de vaccination a atteint 17 %. il atteint mme 38 % avec la distribution dun kilo de lentilles. ainsi, le cot de la vaccination se rduit de manire notable avec la distribution de lentilles (graphique 6).

26
GraPhIque 6
Proportion denfants ayant reu au moins deux vaccinations dans certains villages du district dUdaipur en Inde
% 40 35 30 25 20 15 10 5 0 Control
Source Bannerjee, Duflo, Glennester et Kothari, 2010. Lecture Dans les villages concerns par la campagne de vaccination mais o aucune incitation na t mise en place, 17 % des enfants ont reu au moins deux vaccinations.
38
17
Camp
camp + lentils
Rebecca thorntorn, chercheuse luniversit du Michigan, a men une tude de mme nature sur le dpistage du sida au Malawi. le conseil et dpistage volontaire (vCt) est en effet considr en afrique comme la pierre angulaire de la lutte contre la maladie. au Mozambique, par exemple, cette politique reprsente 55 % des fonds consacrs ce problme. pour autant, trs peu de personnes subissent un dpistage. souvent, lon considre que des barrires psychologiques ou sociales dissuadent les populations deffectuer un dpistage. dans les pays o les antirtroviraux ne sont pas disponibles, le fait de savoir que lon est sropositif quivaut une sentence de mort. socialement, le fait dtre porteur du virus peut entraner des discriminations fortes. dans le cadre de lenqute mene par Rebecca thorntorn, 2 812 personnes ont effectu un test de dpistage. Ces personnes taient invites venir chercher, si elles le souhaitaient, leurs rsultats quelques semaines plus tard. la fin de linterview, le participant se voyait ou non remettre une capsule de bouteille sur laquelle tait inscrit un numro, correspondant un cadeau sil venait chercher ses rsultats. paralllement, lemplacement de la tente o les personnes pouvaient aller chercher leurs rsultats tait choisi alatoirement, soit dans un endroit proche du village, soit plus loin. le taux de personnes venant chercher leurs rsultats passe de 35 65 % avec une incitation trs faible (proche de 10 cents). Ceci dmontre que les barrires psychologiques ne sont pas aussi importantes que ce qui est annonc et que lincitation financire est forte. par ailleurs, plus le centre est loin et plus le taux de personnes venant rechercher leurs rsultats faiblit (graphique 7).

27
GraPhIque 7
Pourcentage de prise de connaissance des rsultats

1 No incentive 0,8 Some incentive
0,6
0,4
0,2 0 1 2 Distance to VCT (km)

Source Thornton 2008. Lecture Dans les villages o aucune incitation na t mise en place, on estime que 37 % des personnes habitant 1 kilomtre du centre de dpistage sont alles chercher les rsultats contre 82 % dans les villages o une incitation a t mise en place. Les vraies valeurs des paramtres ont 95 % de chances de se trouver respectivement dans les intervalles [34 %, 40 %] et [80 %, 84 %].
Un effet dapprentissage
suite aux tudes menes dans plusieurs pays sur la distribution des moustiquaires est apparu un nouvel argument. Certains prtendaient que les populations allaient shabituer la gratuit et quil serait impossible dans le futur de les vendre. dautres faisaient valoir que certains refuseraient dacheter un produit qui a t distribu gratuitement dautres groupes de la population. pascaline dupas a donc mis au point une nouvelle exprience pour tester ces hypothses. 644 foyers slectionns se sont vus remettre un bon de rduction sur lachat dune moustiquaire, alors que celles-ci sont gratuites dans les maternits. le montant des rductions variait de 0 250 shillings. il savre alors que 98 % des personnes qui bnficient dune moustiquaire gratuite vont la chercher, contre 50 % pour 50 shillings et 11 % pour un cot compris entre 190 et 250 shillings. llasticit-prix se confirme par consquent. il apparat en outre que lutilisation demeure aussi forte, que lobjet soit gratuit ou non. un an plus tard, les chercheurs revenaient sur place pour distribuer des bons de rduction moins intressants pour certains, puisque le prix des moustiquaires est fix pour tous 100 shillings. il sagissait ainsi de vrifier si les personnes qui avaient obtenu la premire moustiquaire gratuitement taient moins susceptibles que les autres den acheter une 100 shillings. or il savre que lexprience de la gratuit ne dcourage en rien. un effet de contagion apparat galement. ainsi, si tout lentourage dune personne a obtenu une moustiquaire gratuite, celle-ci est prte payer pour lacheter. il est possible dy voir un effet dapprentissage, dans la mesure o il est possible den mesurer les bnfices. en conclusion, les valuations exprimentales sont devenues un outil de recherche important en conomie du dveloppement. elles permettent non seulement dvaluer aprs coup les actions ralises, mais, plus encore, de dvelopper des approches nouvelles. elles

28
influencent directement les politiques. dans le domaine du dparasitage, il est apparu au travers dtudes que cette solution permettait de lutter dune faon trs efficace pour un cot trs faible contre labsentisme scolaire. le Kenya a donc dcid dimplmenter une politique de dparasitage au niveau national, tandis que le Ymen et lthiopie y travaillent. une entreprise pharmaceutique a dcid de donner 300 millions de pilules des gouvernements et des entreprises prives sengageant dans les actions de dparasitage. par ailleurs, au Kenya, les tudes menes sur lutilisation des moustiquaires ont abouti une distribution gratuite dans les maternits. les rsultats de ces tudes sont publis largement, ce qui clipse le dbat sur les mthodes et recentre celui-ci sur des questions de fond. dans le domaine des affaires sociales ou de la sant, se dessinent de mme de nombreuses pistes prospectives.
synthse des dbats avec la salle

29
SYNTHSE
Question de la salle
DES DBATS AVEC LA SALLE
Problmes thiques lis au tirage au sort

Je suis tonne de constater que rien na t dit sur le plan moral sur le principe du tirage au sort des populations qui bnficient dune politique. en France, nous pouvons penser laccompagnement la recherche dun emploi, par le secteur priv, le secteur public traditionnel ou le secteur public renforc. Ce principe pose-t-il des problmes thiques aux chercheurs ?
Rponse de Mme Duflo

Je pense quil faut sparer laspect thique de laspect pratique. il faut dabord prciser que toutes les expriences menes par des chercheurs dpendant duniversits amricaines ont toutes t encadres par des processus thiques identiques ceux qui gouvernent les protocoles cliniques. ils permettent de sassurer de labsence de traitements dgradants ou de risques pour les personnes choisies. ainsi, un comit dthique dtermine si les rgles ont t respectes. pour la plupart des projets, au Kenya par exemple, un autre comit dthique est mis en place dans le pays o est mene lexprimentation. Cependant, il est difficile de rpondre la question : lalatoire est-il rellement thique ? parfois, cest le cas. dans dautres cas, non. par exemple, une onG proposait une exprimentation sur un programme de renutrition denfants. Jai considr, en tant que chercheur, quune telle tude tait contraire aux principes thiques, dans la mesure o les enfants du groupe test voyaient leur survie mise en jeu. Cependant, dans la plupart des cas, de tels problmes ne se posent pas, dans la mesure o les budgets des partenaires avec lesquels nous travaillons savrent extrmement limits. leurs programmes excluent de fait de larges populations. il serait au contraire bien peu thique de ne pas profiter de ces situations de pnurie pour entreprendre une tude qui pourrait amener la gnralisation du programme. bien souvent, plusieurs programmes diffrents sont mis au point. ils sont tous valus comparativement, avant que lun deux ne soit choisi pour gnralisation. sur le plan pratique, nous croyions que nous allions nous heurter des rticences sur le terrain. il semblerait que cela ne soit pas le cas. les personnes qui participent lexprimentation sont informes sur le but poursuivi. de manire gnrale, elles savrent trs sensibles aux arguments dvelopps par les chercheurs. peut-tre lhabitude de larbitraire, aux tats-unis comme au Kenya, joue-t-elle galement. le hasard est alors considr comme une mthode dallocation assez juste, dans un contexte de ressources rares, de npotisme ou de corruption. en France, en ce qui concerne lexprimentation mene sur laccompagnement des chmeurs, il semblerait quaprs de fortes rticences initiales, lexprience ait t ensuite assez bien accepte. il faut cependant tenir compte du fait que le nombre de places dans le systme anpe renforc tait limit par les budgets. il ntait alors pas question de dvelopper un programme universel. il est en revanche trs complexe de lancer un programme randomis lorsque le public sattend ce quil soit universel. Cest un effort pdagogique quil faut alors mener. en tout cas, dans mon travail, je nai jamais t vritablement confronte une opposition fondamentale, aux tats-unis comme au Kenya.

30
Dure optimale pour une valuation

ce propos, existe-t-il galement une dure optimale, dans la mesure o certaines politiques sont censes produire des effets sur le long terme ? parfois, il est impossible dexprimenter lavance. Cest le cas notamment pour la question de la formation des mdecins, qui est trs longue.
Rponse de Mme Duflo

en ce qui concerne lvaluation alatoire prospective, cest la dure du programme qui dtermine la dure de lvaluation. ainsi, pour reprendre lexemple de la formation des mdecins, limpact nest connu quaprs un temps assez long. Faut-il en conclure que lvaluation ne sert rien ? non, car ds le moment o le rsultat est connu, il est possible de revoir la politique mise en place. imaginons une rforme de linternat. il est possible dimaginer une mise en place alatoire dans certains Chu dans un premier temps une premire anne, avant de ltendre au reste du territoire. ainsi, se dessine une cohorte intressante. il sagit de celle des jeunes internes qui ont, la mme anne, t forms ou non selon les principes de la nouvelle rforme. Cette cohorte peut tre suivie danne en anne. il est probable que le suivi de ces cohortes donnera des rsultats intressants dans un premier temps, mme sil ne rpond pas lintgralit des questions. dans la mesure o les politiques suivent souvent un cycle, il nest pas impossible que les rponses qui seront obtenues sur le long terme savrent pleinement pertinentes dans le futur. Cependant, il nest pas toujours possible dtablir de telles cohortes. par exemple, il est possible dtudier pendant deux ans une communaut avant quelle naccde la possibilit de contracter un microcrdit. il est en revanche impossible de distinguer une population qui y a accs dune population qui ny a pas accs. lorsquil existe une cohorte, il est possible de faire avancer lvaluation en parallle de la mise en uvre de la politique.
Paramtre optimal dune valuation

en tant que membre dune onG, jai eu loccasion de participer une instance dvaluation qui na pas abouti, dans le domaine de linsertion par lactivit conomique. le volume et la dure des tudes taient vritablement trop importants, alors mme quil ne sagissait pas dun sujet vritablement conflictuel. Je me demande donc sil existe un primtre optimal pour une valuation.
Rponse de Mme Fouquet

Je suis tonne de votre remarque sur lvaluation de linsertion par lactivit conomique. il me semblait que ce sujet avait donn lieu un rapport dans le cadre de lactivit du Comit national de lvaluation, qui tait en place entre 1998 et 2001. Certains ont pu croire que le non-renouvellement du mandat du comit avait annul les travaux en cours, alors que ce ntait pas le cas. ils ont donn lieu des rapports publis la documentation franaise ; mais sans aucune publicit ni soutien la diffusion, ces rapports sont rests confidentiels.

31
beaucoup ont conserv un mauvais souvenir de cette priode, en raison de la dure des valuations mises en place. sagissant dun comit interministriel, tous les sujets dvaluation choisis devaient dpendre de plusieurs ministres et savraient au final particulirement complexes. dans le cas particulier de la politique de scurit routire et du respect des limitations de vitesse, lvaluation a dur quatre ans. tout dabord il a fallu dterminer les ministres concerns : intrieur (police), dfense (gendarmerie), Finances (recouvrement des amendes), Justice, ducation. Chaque ministre avait une vision trs diffrente du sujet. il aura fallu 18 mois pour saccorder sur la composition de linstance. ensuite, six mois auront t ncessaires pour dterminer quelles questions valuer. un appel doffres a ensuite t lanc. afin dviter que lorganisme charg de la ralisation de lvaluation ne soit considr comme juge et partie, cest un cabinet daudit qui ne connaissait rien la question ni au mtier dvaluateur qui a t retenu, au dtriment de chercheurs et duniversits qui avaient lhabitude de travailler avec lun ou lautre de ces ministres. il allait de soi que les autres ministres disqualifiaient un par un ces prtendants. le cabinet daudit a suivi pas pas le circuit des contraventions pour comprendre pourquoi les deux tiers dentre elles restaient impayes. le rapport est trs intressant par son analyse du systme dacteurs : personne ntait responsable de cet tat de fait, mais tous ltaient collectivement. avant de passer aux Finances, certaines contraventions taient supprimes par la police qui sen servait de monnaie dchange pour ses informateurs ( les cousins ). aux Finances, les circuits de recouvrement avec leurs diffrentes tapes de pnalisation pour impays duraient plus de 9 mois. la Justice, surcharge, considrait avoir des affaires plus importantes traiter que les infractions au code de la route. pour finir, lamnistie du 14 juillet venait rgulirement balayer les affaires qui sempilaient. ltude avait t ralise au temps o Jean-Claude Gayssot tait ministre des transports, mais le rapport a t remis en 2002 nicolas sarkozy, qui a dcid de suivre les conclusions de ltude, qui prconisait dautomatiser le systme. il est remarquable quune telle tude ait survcu lalternance politique, alors mme que se posaient dimportants problmes lorigine sur la faon denvisager la question. en conclusion, cest laspect interministriel qui a pnalis le fonctionnement de cette institution. le fait de choisir une question ne relevant que dun seul ministre simplifie considrablement la question. il est possible de restreindre le primtre pour ntudier quun seul dispositif. Mais cest alors prendre le risque de ne pas reprer les incohrences avec dautres dispositifs proches. sur les sujets trs conflictuels, il est difficile de raliser une bonne valuation. dans ce cas, il faut dabord comprendre sur quoi portent les dsaccords. Ce nest quensuite quil est possible de dpasser ce stade. les dcideurs politiques sont toujours trs presss. Cest la raison pour laquelle il est prfrable de laisser la question de la dure de lvaluation la main de ladministration centrale. au niveau territorial, les lus sont proches de leur administration, pour ceux qui sont directement en charge de lexcutif. Ceux-ci sont par consquent en capacit de mettre en place des suivis valuatifs avec des parties relevant de lacquisition de connaissances (comme le suivi de cohortes par chantillon), mesure que se met en place un dispositif. un temps peut tre rserv pour une analyse plus large du processus. le Conseil rgional Rhne-alpes vient de mettre en place un comit scientifique de suivi des valuations. Ce dernier a dcid de fixer 18 mois la dure de base des valuations, tout en faisant des suivis valuatifs 4 ou 6 mois. Cest un bon compromis. lexistence de donnes nationales sur les champs qui sont explors peut faire gagner beaucoup de temps la dmarche dvaluation.

32
Pays en avance au niveau de lvaluation

Certains pays dans le monde ont-ils pris de lavance dans le domaine de lvaluation des politiques publiques ? la France pourrait-elle sinspirer de lexemple de certains ?

il faut distinguer les pays nordiques des pays latins en matire dvaluation de politique publique. lors du colloque sur lvaluation des politiques publiques en europe4, il est apparu une fracture. dans les pays latins, il semblerait que lvaluation soit associe la notion de culpabilit. Ceci constitue un frein notable au dveloppement de cette notion. il sagit pourtant dune erreur de fond. lvaluation nest pas destine dsigner un coupable, mais dterminer comment laction collective peut tre mene de faon plus efficace ou plus efficiente. les pays nordiques et anglo-saxons, qui ont lhabitude dun dbat public apais, ont en revanche adopt une approche plus saine. en Grande-bretagne, par exemple, lvaluation lgislative est trs largement porte par le National audit office, qui certifie les comptes et ralise des valuations sous forme denqutes approfondies. la sude reste trs friande dvaluation. ladministration sudoise se compose de ministres employant une quarantaine de personnes et grant chacun diverses agences. ladministration centrale donne des objectifs aux agences et un contrle de gestion et une valuation sensuivent. lvaluation entre dans les missions premires de ltat. aux tats-unis, lvaluation est porte par deux organismes. lun est propre lexcutif et lautre propre au lgislatif. Chacun surveille lautre et le travail fourni par ces deux organismes demeure de trs bonne qualit.
Effet du dveloppement de lvaluation sur les programmes de statistique publique

quel effet aura le dveloppement de lvaluation sur les programmes de statistique publique ? Comment rassembler des expriences ponctuelles pour crer un vritable appareil statistique et systmatique ? Je minterrogeais par ailleurs sur lopportunit dexternaliser le processus dvaluation.

lexistence dun Comit ministriel charg dtablir un programme pourrait ainsi donner des indications aux directions dtudes (daRes, dRees) ou liGas pour anticiper sur les thmes qui vont tre abords. plus gnralement, linsee sest progressivement loign des proccupations des dcideurs politiques, laissant ce soin aux services statistiques ministriels. Je ne pense donc pas que cette nouvelle organisation aura un impact direct sur linsee. en revanche, les programmes de travail des directions dtudes des ministres peu4. Organis dans le cadre de la Prsidence franaise de lUnion europenne en juillet 2008, au Parlement europen de Strasbourg, par la SFE et la DeGEval (socit dvaluation de langue allemande) cf. Fouquet, Measson, 2009.

33
vent voluer, dautant que les enqutes de fond menes par ces directions dtudes ont pour objectif daider la dcision. toute valuation a pour but lanalyse dimpact. la mthode exprimentale me parat particulirement approprie pour des projets prcis. en revanche, sur les programmes complexes, il est difficile de mettre en place un systme dexprimentation efficace lavance. par ailleurs, il existe des mthodes danalyse qui permettent dimaginer ce qui se serait pass si la politique navait pas t implmente. il existe une multitude de mthodes conomtriques, dappariement des chantillons ex post ou qualitatives. ce propos, je dois voquer un sminaire qui a eu lieu le 30 avril 2009 sur la pluralit des mthodes disponibles pour les valuations dimpact, parmi lesquelles les mthodes exprimentales. en ce qui concerne le dbat sur lexternalisation, cest la question de lindpendance de lvaluateur qui se pose. Cest cette notion qui est dsigne par la charte de la sFe comme la distanciation par rapport ceux qui sont chargs de mettre en place une politique ou qui la dcident. la conduite dune valuation ncessite en tout premier lieu de dterminer qui est concern par la politique. il faut alors prendre en compte le point de vue de tous les acteurs, dcideurs, financeurs, oprateurs ou bnficiaires. les instances dvaluation tiennent distance dans la mesure du possible les dcideurs et les oprateurs, mme si ces derniers se doivent de suivre le cheminement de la rflexion, qui aboutit des recommandations. souvent, les valuateurs se voient dire au moment de la remise de leur rapport que celuici est inutile, dans la mesure o la dcision a dj t prise. il savre gnralement que les dcisions vont justement dans le sens des recommandations. Ce paradoxe apparent sexplique par le fait que les travaux ne sont pas secrets et les dcideurs sont tenus au courant, de manire rgulire de lavancement des rflexions. il faut savoir prserver losmose, tout en maintenant la distanciation.

34
BiBliographie
Bannerjee A., Duflo E., Glennester R., Kothari D., 2010, improving immunization Coverage in rural india: a Clustered randomized Controlled evaluation of immunization Campaigns with and without incentives, British Medical Journal, 340: c2220. Bannerjee A., Duflo E., 2008, The experimental approach to development economics, Massachusetts institute of Technology, Department of economics and abdul latif Jameel poverty action lab Beaman L., Chattopadhyay R., Duflo E., Pande R., Topalova T., 2008, Powerful Women : Does Exposure Reduce Bias ?, NBer Working papers 14198, National Bureau of economic research, inc. Braconnier R., Cauquil G., 2010, Lvaluation des politiques publiques - Pour une recherche defficacit. prface de Michel rocard, ditions CNDp - eSeN, 2010. Cauquil G., Lafore R. (dir), 2006, valuer les politiques sociales, SFe/lharmattan, 335 p. Chattopadhyay R., Duflo E., 2004, Women as policy makers : evidence from a randomized policy experiment in india , Econometrica, vol. 72, no 5, 1404-1443 Cohen J., Dupas P., 2009, Free Distribution or Cost-Sharing evidence from a randomized Malaria prevention experiment , Quarterly Journal of Economics. Conseil scientifique de lvaluation, 1996, Petit guide de lvaluation de politiques publiques. Duflo E., Kremer M., 2008, Use of randomization in the evaluation of development effectiveness, World Bank operations evaluation Department Duflo E., 2006, Field experiments in development economics, paper for the World Congress of the econometric Society Duflo E., 2004, Scaling up and evaluation, annual World Bank Conference on Development economics Dupas P., Short-Run Subsidies and Long-Term Adoption of New Health Products : Experimental Evidence from Kenya, Forthcoming Fouquet A., Measson L. (dir), 2009, Lvaluation des politiques publiques en Europe. Cultures et futurs. Policy and Programme Evaluation in Europe. Cultures and Prospects, ouvrage bilingue, SFe/lharmattan, 440 p. Fouquet A., 2007, lvaluation des politiques publiques, indispensable outil de gouvernance dans une socit complexe , in Y. Cannac et S. Trosa (dir), La rforme dont ltat a besoin. Pour un management par la confiance et la responsabilit, Dunod. Fouquet A., 2010, lusage des statistiques : de laide la dcision lvaluation des politiques publiques , Revue Franaise des Affaires Sociales, janvier. Jacot H., Fouquet A., 2007, Le citoyen, llu, lexpert. Pour une dmarche pluraliste dvaluation des politiques publiques, SFe/lharmattan, 241 p. Kremer M., Miguel E., Thornton R., 2009, incentives to learn , Review of Economics and Statistics (Forthcoming). Mouterde F., Trosa S., 2010, Les nouvelles frontires de lvaluation. 1989-2009 : vingt ans dvaluation en France, et demain ? texte douverture de philippe Seguin, SFe/lharmattan. 340 p.

35
Perret B., 2001, Lvaluation des politiques publiques, coll. repres , la Dcouverte. 125 p. Revue franaise des affaires sociales, valuer les politiques sociales, numro coordonn par p. Duran, vol. 1-2, 2010. Socit franaise de lvaluation, Charte de lvaluation des politiques publiques et des programmes publics ; http://www.sfe-asso.fr Socit franaise de lvaluation et Socit franaise de statistiques, 2010, Statistiques et valuation, quelle valeur (apprciation) donner une valeur (mesure), les cahiers de la SFe, www.sfe-asso.fr. Socit franaise de lvaluation, 2009, la notion dutilit sociale au dfi de son identit dans lvaluation des politiques publiques , www.sfe-asso.fr Ternier M., Phelippeau E., Malibert P., Vilmart C., La politique de scurit routire : les systmes locaux de contrle-sanction, Conseil national de lvaluation, la Documentation franaise, paris. Thornton R., 2008, The Demand for, and impact of, learning hiV Status , American Economic Review, 98 (5), 1829-63.
Partie 2
LIDENTIFICATION DE LEFFET DUN PROGRAMME
PROPRE
La deuxime sance du sminaire sur les mthodes dvaluation de politiques publiques tait consacre aux mthodes conomtriques dvaluation ex post de limpact dun programme sur ces bnficiaires. Elle tait articule autour de deux interventions : Bruno Crpon, directeur de recherches au Centre de recherches en conomie et statistique (CREST), a prsent le cadre gnral danalyse, les mthodes dappariement et les expriences contrles ; Pauline Givord, chef du Bureau March du travail et stratgies dentreprises lInstitut national de la statistique et des tudes conomiques (INSEE), a prsent les mthodes de diffrences de diffrences, de variables instrumentales et de rgressions sur discontinuits.
Le cadre gnral danalyse, les mthodes dappariement et les expriences contrles

bruno Crpon (CRest-insee)
Lvaluation dimpact
valuation de processus et dimpact
par valuation, on comprend souvent valuer le processus de mise en uvre dun programme gnralement destin une population spcifique. les analyses sapparentent alors un audit : compter le nombre de bnficiaires effectifs, dterminer le taux dentre dans le programme, vrifier que les services prvus ont bien t offerts, quils taient de bonne qualit, etc. Ce sont des questions importantes et utiles, mais pas suffisantes. les programmes ont en effet surtout pour finalit datteindre un objectif, par exemple favoriser la rinsertion professionnelle des personnes prives demploi et les valuations de processus ne donnent aucune information sur ce point qui est soit ignor, soit considr comme acquis. il est pourtant crucial de vrifier si les objectifs assigns aux programmes sont atteints et si ces programmes apportent une relle plus-value. en outre, il est galement utile de dterminer si le programme est rentable ou non partir dune analyse cot-bnfice et dexplorer des pistes damlioration. Cest lobjet des valuations dites dimpact .
Le biais de slection : un problme central

la formalisation de ce que peut tre limpact dun dispositif, au niveau individuel ou collectif, et la faon dont on peut le mesurer ont t lobjet de recherches importantes (angrist et Krueger, 2001 ; heckman et vytlacil, 2005). leffet causal de la participation un dispositif (par exemple la sortie du chmage vers lemploi) est dfini comme la comparaison entre la situation dun individu bnficiaire et ce quaurait t sa situation sil navait pas particip au programme. on compare donc une situation relle et observe, celle de lindividu bnficiaire, avec une situation virtuelle et inobserve. leffet causal a une caractristique centrale : il est inobserv. on nobserve pour chaque individu quune seule des deux situations : avec et sans participation au programme. il y a ncessairement une des deux informations qui est manquante. pour mesurer limpact dun programme, il est ncessaire de reconstruire cette situation inobserve. lide centrale est de sappuyer sur la situation observe pour des indi-
partie 2 - lidentification de leffet propre dun programme

40
vidus nayant pas particip au programme. on est alors amen confronter la situation moyenne observe pour un groupe de participants et la situation moyenne observe pour un groupe de non-participants un groupe de contrle. la question est alors celle du choix de ce groupe de contrle. prenons lexemple de lvaluation des programmes oprateurs privs de placement de lassediC et Cap vers lentreprise de lanpe, ralise entre 2007 et 2009. Ces programmes ciblent spcifiquement les demandeurs demploi pour qui on a identifi un risque de chmage de longue dure lors de leur inscription lanpe. lide est de les faire bnficier dune prise en charge plus intense en les adressant des conseillers qui ont moins de cas traiter simultanment : alors que le portefeuille normal dun agent de lanpe est de 120 demandeurs demploi, il est de 60 demandeurs demploi pour les conseillers participant au programme. lvaluation dimpact peut alors sintresser leffet de la rduction de la taille du portefeuille par conseiller sur le retour lemploi. une mthode naturelle consiste choisir les non-bnficiaires comme groupe de contrle. Cette mthode est simple mais certainement errone car comme on la vu la population ligible est une population spcifique dont le retour lemploi est certainement plus difficile en labsence de programme. de la mme faon, choisir comme groupe de contrle les individus ligibles qui ont choisi de ne pas participer au programme peut conduire des rsultats biaiss : on peut penser par exemple que ces individus refusent de participer au programme car ils ont des raisons de penser quils peuvent retrouver un emploi relativement rapidement mme sans participer au programme (par lintermdiaire de leur rseau par exemple). ainsi, les deux populations de participants et de non-participants ne sont pas identiques, en labsence mme du programme. de ce fait, la comparaison de la situation moyenne des deux populations de bnficiaires et de non-bnficiaires mle deux effets indiscernables. le premier est limpact du programme. Cest ce que lon cherche mesurer. le deuxime est leffet population qui rsulte des diffrences prexistantes entre les deux populations. Cet effet vient contaminer la mesure laquelle on sintresse et biaise lapprciation que lon a de limpact de la participation au programme. il sagit l dun problme fondamental de lvaluation: le biais de slection. il existe un large ventail de mthodes pour corriger les comparaisons que lon effectue entre bnficiaires et non-bnficiaires de ce biais de slection. Celles-ci reposent sur des hypothses spcifiques qui ont un impact considrable sur les rsultats. Ces mthodes sont en gnral peu robustes et font appel de lconomtrie complique. les rsultats ont ainsi du mal peser sur le dbat public en raison dun dficit de crdibilit. le dbat porte alors plus sur les mthodes et hypothses sous-jacentes retenues pour raliser les estimations que sur leurs rsultats. deux mthodes, la mthode dite de lappariement et la mthode dite de lexprimentation alatoire permettent de lever cette difficult.
Lappariement et lexprimentation alatoire

lune des mthodes couramment employe pour lvaluation est la mthode dite de lappariement (imbens, 2000 ; Caliendo et Kopeinig, 2005). pour chaque individu bnficiant du programme, il sagit de trouver un individu nayant pas bnfici du programme et ayant des caractristiques observables similaires sexe, ge, diplme, historique sur le march du travail, etc. et de comparer leurs situations respectives. Cette mthode rduit les erreurs que lon peut commettre en faisant une comparaison grossire, mais un biais subsiste. on ne corrige avec cette mthode que la slection dite observable . il reste la slection dite inobservable . par exemple, dans une population de chmeurs, il y a des demandeurs demploi prts faire tous les efforts possibles pour retrouver rapidement un emploi. dautres, au contraire, sont moins motivs et peuvent prouver une forme de dcouragement. aucun fichier statis-
le cadre gnral danalyse, les mthodes dappariement et les expriences contrles

41
tique ne contient ces informations inobservables . elles sont pourtant trs importantes car elles conditionnent la fois lentre dans un programme et la capacit sortir spontanment du chmage vers lemploi. elles vont donc fortement contribuer au rsultat en venant biaiser les comparaisons entre participants et non-participants. il ne sagit pas l dun problme de second ordre que lon pourrait ngliger en premire approximation. heckman, ichimura et todd (1998) montrent que les biais rsiduels avec la mthode de lappariement sont en gnral de lordre de grandeur de leffet du programme lui-mme. en outre, les rsultats obtenus sont sensibles au choix des variables sur lesquels on apparie les individus, et on se trouve alors face une multiplicit de rsultats. ainsi, mme si la mthode de lappariement est une trs bonne mthode, l ou lon a besoin dvidence forte, son apport est limit. les valuations dites par exprimentation ne prsentent pas cet inconvnient. dans leur version standard, ces valuations consistent partager de faon alatoire la population ligible en deux. une seule des deux populations, le groupe test, bnficie du programme. lintrt de cette dmarche est quelle permet dobtenir deux populations statistiquement identiques : mme proportion de moins de trente ans, de femmes, de diplms, mais aussi mme proportion de personnes motives pour amliorer leur situation ou, au contraire, dcourages. au terme dun chantillonnage alatoire, nimporte quelle caractristique est identiquement reprsente entre les deux groupes : on est en prsence dun groupe de contrle idal. une fois le programme mis en uvre, la seule diffrence entre le groupe test et le groupe de contrle ne peut provenir que du programme lui-mme. il ny a pas deffet population et leffet du programme peut tre mesur en toute transparence par la diffrence de situations entre les deux populations. lide reste donc la mme que dans les tudes par appariement, la diffrence notable que lon construit au pralable deux populations statistiquement identiques et quelles sont exposes diffremment au programme. on na donc pas reconstruire ex post ces deux populations, qui ne seront statistiquement identiques que sur un nombre choisi et donn de caractristiques. Cette mthode est donc la fois plus fiable et plus transparente. elle est galement prcise lorsque les chantillons constitus sont suffisamment importants.
Mise en uvre pratique de lvaluation par exprimentation alatoire

Cette ide dvaluation par exprimentation peut paratre complexe et peu oprationnelle. pourtant, il faut plutt la considrer comme un principe gnral quil est possible dinsrer, le plus souvent de faon assez souple, dans le processus de mise en uvre dun programme. nous prsentons trois exemples types de schmas possibles de mise en uvre dvaluations par exprimentation. un tirage alatoire direct (loterie) peut parfois paratre injuste. pourtant, dans de nombreuses situations, le nombre de places disponibles dans le programme est limit et largement infrieur la population ligible, en particulier pour des programmes mis en place une petite chelle. un tirage alatoire peut alors sembler la seule mthode offrant une probabilit dentrer dans le programme gale tous les candidats. les programmes oprateurs privs de placement (opp) et Cap vers lentreprise (Cve) taient par exemple destins 40 000 demandeurs demploi entre janvier 2007 et mars 2008 mais les bnficiaires potentiels taient plus de 250 000 au cours de cette priode. la mise en place dun outil informatique (outil de constitution des cohortes) a permis dorienter chaque demandeur demploi avec des risques de chmage de longue dure de faon alatoire vers laccompagnement opp, laccompagnement Cve ou le programme classique daccompagnement de lanpe tout en constituant trois populations statistiquement identiques. Certains programmes sont galement mis en uvre progressivement car on ne pourrait mobiliser les moyens ncessaires leur dveloppement immdiat dans toutes les zones concernes. dans ce cas, il est possible de dcouper lensemble du territoire concern par le

42
programme en un grand nombre de primtres homognes. au lieu de favoriser les citoyens dont les lus sont les plus influents, on peut alors tirer au sort lordre selon lequel les primtres entreront dans le programme. imaginons par exemple un programme consistant doter les Missions locales dune consultation mdicale afin damliorer ltat de sant des jeunes dans les banlieues dfavorises. Ce programme ne peut pas tre dvelopp en une anne mais sur deux ans. on peut alors tirer les Missions locales qui vont entrer dans le programme ds la premire anne : cela constitue le groupe de traitement. le groupe de contrle est lensemble des Missions locales qui vont dvelopper le programme la deuxime anne. il est important de remarquer quon ne tire alors pas des individus au sort mais des lieux ; cela est possible sil y a un nombre suffisamment important de Missions locales.
L encouragement design
enfin, il convient de remarquer quen pratique, on est rarement dans la situation caricaturale de laffectation autoritaire au groupe de traitement et au groupe de contrle. les bnficiaires potentiels peuvent en effet toujours refuser dentrer dans le programme, alors qu loppos les personnes qui ne sont pas orientes vers celui-ci (contrles potentiels) peuvent en dfinitive relever du programme. dans ce cas, on ne tire au sort que les personnes orientes ou non vers le programme et on leur envoie un signal respectivement lev ou faible pour quelles acceptent ou refusent dentrer dans le programme (schma 2).
Schma 2
L encouragement design
Tirage au sort
Bnficiaires potentiels Forte incitation entrer dans le programme Forte proportion de bnficiaires
Contrles potentiels Faible incitation entrer dans programme Faible proportion de bnficiaires
prenons lexemple de lvaluation des programmes opp et Cve. parmi les 50 563 demandeurs demploi orients vers le programme opp, seuls 47 % ont accept dentrer dans le programme, 33 % ont refus explicitement, 20 % nont pas rpondu et 0,3 % ayant eu connaissance du programme Cve ont demand participer ce dernier programme. Concernant le programme Cve, sur les 9 938 personnes auxquelles le programme a t propos, 56,3 % ont refus ou nont pas donn de rponse et 0,9 % a demand de bnficier du programme opp (tableau 2)

43
Tableau 2
Taux dacceptation des programmes oprateurs privs de placement (OPP) et cap vers lentreprise (CVE) pour les personnes du flux indemnisable
OPP Effectif orient 50 563 CVE Effectif orient 9 938 Part de signataires (en %) 47 Part des personnes ayant accept (en %) 42,8 Part de non-signataires (en %) Refus explicite 33 Pas dinformation 20 En CVE 0,3
Part des personnes nayant pas accept (en %) Refus ou raison inconnue 56,3 En OPP 0,9
Lecture Sur les 9 938 demandeurs demploi auxquels le programme CVE a t propos, 42,8 % ont accept dentrer dans ce programme. Champ Demandeurs demploi qui se sont inscrits au chmage en 2007 dans lune des 393 agences locales de lemploi participant lexprimentation et ont t identifis comme prsentant un risque de chmage de longue dure.
le calcul de leffet de la plus-value des deux programmes par rapport laccompagnement classique est toujours possible. nanmoins, seules les trois sous-populations orientes respectivement vers le programme opp, le programme Cve et laccompagnement classique sont comparables. en revanche des diffrences existent entre les sous-populations relevant en dfinitive des diffrents programmes. ainsi, les personnes effectivement entres dans le programme opp sont en moyenne plus ges et plus duques que les personnes qui y ont t orientes (tableau 3). le refus dentrer dans un programme est en effet li en gnral des caractristiques personnelles.
Tableau 3
Statistiques descriptives concernant la population participant lexprimentation

Flux indemnisable, zones OPP Diplme suprieur Bac CAP/BEP, autres secondaires BEPC ou non-diplms ge Femme Ouvrier Employ Tecnicien Cadre Orient Classique (1) 0,24 0,18 0,39 0,18 36,86 0,51 0,16 0,61 0,10 0,12 OPP (2) 0,25 0,18 0,39 0,19 36,77 0,50 0,15* 0,62 0,10 0,12 Entrant OPP (3) 0,25 0,19* 0,40* 0,17* 37,16* 0,51 0,15 0,61* 0,11* 0,12
Lecture Lge moyen des demandeurs demploi dans la population oriente vers le programme OPP tait de 36,77 ans et ntait pas statistiquement diffrent de lge moyen des demandeurs demploi dans la population orients vers laccompagnement classique la diffrence de lge moyen des demandeurs demploi entrs dans le programme OPP (37,16 ans). Champ Demandeurs demploi inscrits au chmage en 2007 dans lune des 393 agences locales de lemploi participant lexprimentation et identifis comme prsentant un risque de chmage de longue dure.

44
pour valuer leffet du programme, on fait lhypothse que la diffrence observe entre le taux de retour lemploi ( ) des populations orientes vers le programme Cve et celui des populations orientes vers laccompagnmement classique ne peut tre due qu la participation au programme dune partie des individus qui y ont t orients. on divise donc cette diffrence par la proportion dacceptants :
orient CVE orient CVE
Acceptation CVE
leffet du programme Cve ne peut en effet tre calcul que sur des populations aux caractristiques initiales comparables, savoir les personnes orientes vers le programme Cve5 ou vers laccompagnement classique et non entre les personnes entres dans le programme Cve ou dans laccompagnement classique et participant au programme Cve. Cette approche permet en fait de donner de la robustesse aux valuations par exprimentation. il leur est en effet frquemment reproch dtre des cadres trop contraignants et de ne proposer des rsultats que lorsque le protocole a t scrupuleusement respect. ds lors que lon scarterait un tant soit peu du protocole, on ne serait plus dans une situation permettant de tirer des conclusions de lexprimentation. en particulier, il se pourrait que, dans le cas dune loterie, des personnes initialement affectes au groupe de contrle veuillent absolument entrer dans le programme. on pourrait penser que ce type dvnement compromet de faon rdhibitoire la validit des rsultats. il nen est rien, ces carts par rapport au protocole exprimental initial sont prises en comptent dans lanalyse, et on peut donc continuer valuer de faon fiable et rigoureuse lefficacit du programme (angrist et Krueger, 2001). en conclusion, les rsultats de lexprimentation opp-Cve sont assez marquants. il semble en effet que laccompagnement opp na pas deffet significatif sur le retour lemploi des chmeurs indemniss, quel que soit lhorizon temporel considr. en revanche, le programme Cve a bien un effet positif sur cette population. Cet effet se situe entre 5 et 6 points de pourcentage selon que lon se place 3, 6, 9 ou 12 mois (tableau 4). on trouve galement un effet du mme ordre de grandeur pour les chmeurs non indemniss (tableau 5). Ces rsultats sont surprenants. ils vont en partie lencontre de lide largement rpandue selon laquelle le secteur priv serait plus efficace que le secteur public, en particulier si on lui donne de bonnes incitations comme cest le cas pour laccompagnement opp (lorganisme de placement reoit une prime chaque demandeur demploi plac). on peut se demander quelle crdibilit ces rsultats auraient eu, quelle confiance lopinion publique leur aurait accord sils navaient pas t obtenus dans le cadre dune exprimentation.
5. Que ces personnes aient ou non accept de participer au programme.

45
Tableau 4
Effet des accompagnements sur le retour lemploi des chmeurs indemnisables

Accompagnements CVE et OPP dans le flux indemnisable Accompagnement OPP Est. Emploi 3 mois Emploi 6 mois Emploi 9 mois Emploi 12 mois 0,9 3,5 2,8 -0,3 Std. (1,2) (1,5) (1,9) (2,6) Inf. -1,5 0,5 -1,1 -5,6 Sup. 3,3 6,5 6,7 5,0 Effectif 69 440 69 440 53 235 33 892 Est. 5,3 6,3 6,3 5,1 Accompagnement CVE Std. (1,4) (1,6) (1,8) (2,6) Inf. 2,5 3,2 2,6 -0,1 Sup. 8,1 9,5 10,0 10,3 Effectif 69 440 69 440 53 235 33 892
Lecture Laccompagnement CVE augmente de 6,3 points de pourcentage le retour lemploi 9 mois aprs lentre dans le programme par rapport laccompagnement classique. Lcart type de cette estimation portant sur 53 235 demandeurs demploi est de 1,8 point et la vraie valeur de leffet de laccompagnement CVE 95 % de chances dtre comprise entre 2,6 et 10 points. Champ Demandeurs demploi indemnisables qui se sont inscrits au chmage en 2007 dans lune des 393 agences locales de lemploi participant lexprimentation et ont t identifis comme prsentant un risque de chmage de longue dure.
Tableau 5
Effet de laccompagnement CVE sur le retour lemploi des chmeurs

Accompagnements CVE dans le flux non indemnisable et le stock Flux non indemnisable Est. Emploi 3 mois Emploi 6 mois Emploi 9 mois Emploi 12 mois 4,9 7,0 5,2 6,5 Std. (1,5) (1,6) (1,9) (2,6) Inf. 1,8 3,6 1,3 1,3 Sup. 8,0 10,3 9,1 11,8 Effectif 55 470 55 470 41 395 27 065 Est. 2,1 3,9 6,8 8,9 Std. (1,4) (1,7) (1,9) (2,3) Stock Inf. -0,8 0,5 3,0 4,3 Sup. 5,0 7,4 10,6 13,5 Effectif 78 671 78 671 69 535 56 731
Lecture Laccompagnement CVE augmente de 5,2 points de pourcentage le retour lemploi 9 mois aprs lentre dans le programme par rapport laccompagnement classique pour les personnes non indemnisables inscrites au chmage depuis moins de 3 mois. Lcart type de cette estimation portant sur 41 395 demandeurs demploi est de 1,9 point et la vraie valeur de leffet de laccompagnement CVE 95 % de chances dtre comprise entre 1,3 et 9,1 points. Champ Demandeurs demploi non indemnisables qui se sont inscrits au chmage en 2007 dans lune des 393 agences locales de lemploi participant lexprimentation et ont t identifis comme prsentant un risque de chmage de longue dure.
Un exemple dexprience contrle : le projet CraJeunes

Le contexte
en novembre 2007, le haut commissariat aux solidarits actives contre la pauvret a lanc un appel doffres dans le cadre du Grenelle de linsertion. Cet appel doffres, indit dans notre pays, tait destin favoriser simultanment lmergence de programmes dinsertion et leur valuation. la principale innovation de cette dmarche est dassocier, la mise en

46
uvre de nouveaux programmes, leur valuation. ainsi, il crait une forte incitation sassurer ds la conception des programmes que ceux-ci seront valuables dans de bonnes conditions. le centre de recherche en conomie et statistiques (CRest) sest associ au poverty action lab de lcole dconomie de paris pour rpondre cet appel doffres et porter lvaluation de trois programmes : un programme de prvention des ruptures dans lapprentissage conduit par la Mission locale de tulle, un dispositif permettant lamlioration de lintgration professionnelle des jeunes sortis du systme ducatif sans qualification (coles de la deuxime chance) et ainsi un dispositif port par lassociation pour le droit linitiative conomique (adie) permettant daider les jeunes crer leur entreprise (CraJeunes). nous dtaillons le procd exprimental mis en place pour lvaluation de ce dernier programme. le programme CraJeunes est destin aux jeunes de 18 30 ans issus des quartiers sensibles ayant un projet de cration dentreprises. en effet, selon un sondage ralis en 2006, 50 % des jeunes vivant en zone urbaine sensible (Zus) se dclaraient potentiellement trs intresss par la cration dentreprise alors mme que le taux de chmage des jeunes actifs dans ces quartiers est trs lev. toutefois, sils manifestent un intrt rel, les jeunes sont le plus souvent limits par leur manque dexprience et labsence de fonds propres. ainsi, CraJeunes est un projet pilote qui a dbut en 2007. Ce programme propose un accompagnement avant et aprs la cration, adapt au profil du porteur du projet. Cet accompagnement consiste en un coaching individuel et collectif, des modules de formation trs concrets, une mise en rseau avec des entreprises du mme secteur et ventuellement des immersions. la phase daccompagnement pour la cration dure de 1 4 mois et est suivie dun accompagnement sur 18 mois du jeune entrepreneur. CraJeunes offre galement des possibilits de financement pour certains frais spcifiques lis la prparation du projet (comme ltude de march), ainsi que pour le dmarrage de lactivit. un microcrdit peut en outre tre propos au jeune dans le cadre de sa cration dentreprise. le contexte pour lexprimentation est trs favorable. en effet, les dispositifs daide la cration dentreprise ne sont jamais valus de faon rigoureuse ce qui nuit leur lisibilit et sans doute galement lefficacit de laction publique dans ce domaine. le besoin dvaluation est pourtant important, de mme que le besoin dune meilleure apprhension des mcanismes conomiques luvre. des dispositifs de ce type peuvent permettre dinsrer les jeunes et ainsi de rduire significativement les ingalits et lexclusion. lenjeu est donc majeur. le dmarrage dun nouveau programme constitue une occasion unique de mettre en place un systme permettant de mesurer rigoureusement son impact en intgrant les contraintes lies lvaluation alatoire ds la conception du programme. Ces contraintes sont notamment la cration de groupes statistiquement identiques par laffectation alatoire dun nombre assez important dindividus dans les deux groupes. il faudra ensuite tre capable de suivre les trajectoires des individus des deux groupes afin de les comparer: les diffrences observes seront alors entirement attribues la participation ou non au programme.
Le dispositif exprimental
le dispositif exprimental choisi a notamment consist mettre en place, ds le lancement du programme, un numro azur (schma 3). lorsquun jeune appelle ce numro, un oprateur lui pose des questions sur son ge, la nature de son projet et de son financement, sa disponibilit, linterroge sur son lieu de rsidence et lui demande de lui communiquer ses coordonnes. il informe en outre la personne intresse du fait que ce projet est un projet pilote et, de ce fait, bnficie dun nombre de places limit. si le jeune est slectionn, ladie se chargera de le rappeler. Cette prise de contact permet de reprer parmi les personnes intresses lesquelles sont ligibles au programme. les personnes nayant pas le profil sont rorientes vers dautres programmes de ladie. les personnes rpondant aux critres dfinis par ladie

47
sont spares en deux groupes. un groupe nest pas rappel : il sagit du groupe de contrle. un groupe est rappel et incit participer : il sagit du groupe de traitement.
Schma 3
Le dispositif exprimental du projet CraJeunes

Tl. n Azur Oprateur pose quelques questions permettant de reprer les candidats potentiels Informer le jeune du nombre de places limit (projet pilote) et dun rappel ventuel si slectionn Pas profil CraJeunes Rorientation Groupe Traitement Rappel et incitation intgrer CraJeunes
Profil CraJeunes
Slection alatoire
Groupe Contrle
le pilotage de lexprimentation repose sur une collaboration troite entre les services de ladie chargs de la mise en uvre du programme et les chercheurs qui doivent assurer la supervision scientifique de lvaluation. le protocole est ainsi spcifi de faon prcise par une concertation entre les deux parties. les services de ladie sont ensuite responsables dassurer que celui-ci soit respect. les populations sur lesquelles le programme est valu doivent notamment tre reprsentatives de la population ligible et le tirage alatoire distinguant les deux populations exposes diffremment au programme effectu avec une grande rigueur. les valuateurs sengagent communiquer rgulirement sur ltat davancement des travaux et des rsultats lors dun Comit de pilotage, auquel participent galement des reprsentants du haut commissariat aux solidarits actives contre la pauvret.
Les enqutes
pour valuer le programme, le choix a t fait de sappuyer sur les rsultats de deux enqutes, lune un an aprs lentre dans le programme et lautre deux ans aprs, les informations recueillies dans les fichiers tant frustres et ne permettant pas en effet de donner une apprciation trs riche de limpact du programme. bien que coteuses en raison de lexigence dun taux de rponse lev, ces enqutes ont t juges ncessaires. lintrt central des valuations par exprimentation est en effet dapporter une apprciation sur les effets du dispositif reposant sur le moins dhypothses possibles. Mme si on ne saura comment traiter les individus pour lesquels on naura pas dinformations, faudra-t-il les ignorer en considrant que leffet du programme est pour eux en moyenne le mme que pour les individus pour lesquels on aura des informations ou faudra-t-il leur imputer une valeur dfinir ? Ces deux enqutes permettront de mesurer limpact du programme sur un grand nombre dindicateurs, notamment la cration dentreprise, la survie des entreprises cres, leur accs au crdit, lemploi et les revenus gnrs par ces entreprises, etc. en outre, on pourra,

48
partir de ces enqutes, procder une analyse cot/bnfice du programme qui pourra notamment servir de base pour une ventuelle dcision dlargissement. enfin, les rsultats plus fins et les conclusions que lon pourra en tirer permettront de guider les politiques publiques ayant trait linsertion des jeunes, au soutien la cration dentreprise ou encore au dveloppement du microcrdit.
Conclusion
dune faon gnrale, les tudes dimpact actuellement ralises en France souffrent dun dficit de crdibilit qui empche leurs rsultats de peser sur le dbat public. Cependant, valuer de faon rigoureuse, fiable et prcise est possible. les valuations par exprimentation permettent de surmonter nombre de problmes dont souffrent dautres valuations aux hypothses souvent restrictives. le biais de slection y est en effet neutralis de faon rigoureuse et transparente. dvelopper ces valuations est ainsi une bonne voie pour construire un socle de connaissances communes simposant tous et sur lesquelles peut sappuyer le dbat. il y a en effet des programmes qui marchent, dautres qui ne marchent pas et des programmes qui ont des effets contraires ceux qui sont attendus. il est ncessaire de pouvoir distinguer entre ces programmes, notamment pour rorienter largent public l o il est le plus efficace. les valuations par exprimentation sont loutil conomtrique le plus efficace pour le faire. il sagit dun thme dinvestigation en plein essor. au sein de lcole dconomie de paris, le Poverty action lab est une rfrence pour le dveloppement de ces mthodes en France.
Les mthodes de diffrences de diffrences, de variables instrumentales et de rgressions sur discontinuits

pauline Givord (insee)
rpondre les mthodes qui vont tre prsentes ici. en gnral, il nest pas simple dy rpondre directement : une corrlation observe entre deux variables ne signifie pas que lune cause lautre. lobjectif des mthodes prsentes ici est justement didentifier, i.e. disoler leffet propre dune mesure. notons en prambule quil existe deux approches assez diffrentes pour traiter de ces questions : la premire, structuraliste , consiste expliciter un modle complet du comportement des agents concerns. Ce type dapproche est particulirement utile ex-ante, pour prvoir le rsultat dune politique qui na jamais t applique auparavant. une autre approche, plus empirique, consiste valuer directement leffet dune mesure (par lexemple leffet dune formation sur lemploi), sans chercher expliquer les mcanismes conomiques luvre : on parle destimation en forme rduite. Cest ce deuxime courant que se rattache cette prsentation6.
uel est limpact du suivi des chmeurs sur leurs chances de retour lemploi ? les tudes q permettent-elles desprer des salaires plus levs ? des classes effectifs rduits amliorent-elles les rsultats scolaires des lves ? Cest ce type de questions que tentent de
Infrence causale et groupe de contrle

Le problme fondamental de linfrence causale
dans la suite de cet expos, nous allons nous placer dans le cadre dit de Rubin , du nom du statisticien qui a popularis cette approche au cours des annes soixante-dix. son vocabulaire emprunte beaucoup au champ de lexprimentation mdicale, dont elle est issue. ainsi, on parlera de traitement pour dsigner la variable dont on cherche mesurer leffet : gnralement la participation un programme ou encore lintroduction dune nouvelle politique ou dune rforme.
6. On trouvera une prsentation plus dtaille de lensemble de ces mthodes dans Givord, INSEE, 2010.

50
il est loin dtre vident didentifier leffet propre dune politique cest--dire leffet qui ne peut tre attribu qu la mesure. en effet, il faudrait savoir idalement ce quaurait t la situation des bnficiaires sils navaient pas particip au programme. Cette situation, quon appellera contrefactuelle, ne peut tre observe parce que, par dfinition, les bnficiaires du programme y ont particip. tout lenjeu des mthodes va tre destimer ce contrefactuel, le plus souvent en utilisant un groupe dindividus qui nont pas particip au programme mais dont les caractristiques sont proches de celles des individus qui y ont particip: le groupe de contrle. un groupe de contrle crdible est un groupe de personnes dont on pense que les rsultats auraient t proches de ceux des bnficiaires si elles avaient particip au programme. la dtermination de ce groupe de contrle est loin dtre vidente. la premire mthode qui vient immdiatement lesprit est de comparer les bnficiaires et les non-bnficiaires de la politique value. toutefois, les bnficiaires dune mesure ont en gnral des caractristiques assez diffrentes des non-bnficiaires aussi, en considrant simplement la diffrence de situation, on risque de se tromper lourdement car cette diffrence est trs souvent due, au moins en partie, ces caractristiques diffrentes : on parle alors deffet de slection. on peut aussi penser suivre lvolution des bnficiaires, ou plus simplement comparer leur situation avant et aprs le programme. en faisant cela, on peut en fait capter beaucoup dautres choses que leffet du programme. par exemple, si on considre le march du travail, la conjoncture jouera un rle important.
La construction du groupe de contrle

lenjeu des mthodes conomtriques prsentes ici est donc de construire ce contrefactuel, ce groupe de contrle aux caractristiques les plus proches possibles du groupe des bnficiaires (ou groupe de traitement). lidal est bien sr daffecter alatoirement une population cible au groupe de traitement ou au groupe de contrle. Cela revient en quelque sorte tirer au sort les bnficiaires et sassurer quen moyenne, bnficiaires et non-bnficiaires ont des caractristiques semblables. Ces mthodes ont connu un dveloppement rapide tout rcemment dans les pays anglo-saxons et en conomie du dveloppement et commencent se gnraliser en France (voir prsentation prcdente). Cela nest toutefois pas toujours possible, parfois pour des raisons politiques (quand on veut par exemple que le programme soit mis en place seulement dans certaines zones), parfois pour des raisons thiques (quand il sagit par exemple de priver une personne dans le besoin dune aide qui peut savrer vitale) ou encore parce que le protocole exprimental na pas t mis en place suffisamment tt (cette mthode exige en effet de prvoir la faon dont on va valuer la politique ds sa mise en uvre). dfaut, on peut utiliser des dispositifs quasi exprimentaux aussi appels expriences naturelles par opposition aux exprimentations qui sont dites expriences contrles . on utilise dans ce cas le fait que certaines personnes aient t exclues ou partiellement exclues du bnfice du programme valu soit parce que les lgislations qui sappliquent elles sont diffrentes, soit parce que certaines de leurs caractristiques personnelles limitent leur accs au dispositif. dans certains cas, on peut considrer que ces diffrences sont dues au hasard. en rgle gnrale, il faut faire lhypothse que les diffrences ainsi constates, diffrences de lgislation ou de caractristiques individuelles (appeles variables instrumentales), expliquent la non-participation ou la moins forte participation au programme valu mais sont indpendantes des variables qui ont une incidence sur le rsultat. Ces mthodes nimpliquent pas de mobiliser des mthodes statistiques compliques. il faut en revanche accorder une grande importance aux hypothses sur lesquelles elles sont fondes. si ces hypothses ne sont pas valides, les rsultats dont elles dcoulent ne seront pas corrects.
les mthodes de diffrences de diffrences, de variables instrumentales et de rgressions sur discontinuits 51
Cette prsentation prsente les trois mthodes principales : les diffrences de diffrences ; les variables instrumentales ; les rgressions sur discontinuits.
Les diffrences de diffrences

le principe de lestimateur dit diffrence de diffrences est de combiner les deux estimateurs voqus en introduction: lestimateur en coupe, soit la diffrence des situations des bnficiaires et des non-bnficiaires aprs la rforme (ou programme), et lestimateur avantaprs, qui value la diffrence des situations des bnficiaires avant et aprs la rforme. le premier estimateur est biais par leffet de slection mais neutralise leffet d la conjoncture. le deuxime estimateur est biais a contrario par leffet de la conjoncture mais pas par leffet de slection. une combinaison des deux peut neutraliser les deux effets : il sagit de comparer lvolution des situations des bnficiaires avant et aprs la rforme avec celle des situations des non-bnficiaires. en comparant bnficiaires et non-bnficiaires au mme moment, on neutralise leffet de la conjoncture. en considrant lvolution, on neutralise leffet de slection sous lhypothse que celle-ci ne joue quen niveau sur les variables considres. ainsi, la dmarche nest valide que si lon suppose que les deux groupes auraient eu les mmes volutions en labsence de rforme. videmment, cela suppose notamment de bnficier de donnes pralables la rforme sur les bnficiaires et les nonbnficiaires, ce qui nest pas toujours le cas. Cest lapproche utilise par Meyer, durbin et viscusi (1995) pour estimer limpact du taux de remboursement sur la dure des arrts de travail. les auteurs utilisent une modification du plafond de revenu pour le remboursement, intervenue dans deux tats amricains. A priori, seules les personnes avec un revenu lev sont donc concernes : les personnes dont le revenu est susceptible dtre suprieur au plafond (graphique 8). les personnes dont les revenus sont infrieurs au plafond avant et aprs la rforme ne sont pas touches par celleci : il sagit du groupe de contrle. les personnes dont les revenus sont suprieurs au plafond avant et aprs la rforme reoivent un revenu diffrent avant et aprs celle-ci : il sagit du groupe tudi dans larticle, le groupe de traitement.
GraPhIque 8
Rforme du plafond des indemnits journalires

Weekly Benefit Amount WBAAMAX WBABMAX Before increase WBAmin
After increase
E1
E2
E3
Previous Eamings High Earnings Group
Low Earnings group
Lecture Avant laugmentation du plafond, les salaris gagnant E3 touchaient WBABMax ; aprs laugmentation, ils touchent WBAAMax.

52
dans cet exemple, le groupe de contrle est constitu de manire ad hoc. on peut penser nanmoins dautres faons de faire. par exemple, pour chaque bnficiaire, on peut chercher un non-bnficiaire dont les caractristiques sont aussi proches que possible de celles du bnficiaire jumeau : cest lobjet des mthodes dappariement ou matching. la comparaison des jumeaux donne alors une estimation de leffet du traitement sous lhypothse que la participation au traitement est indpendante des caractristiques inobservables, conditionnellement aux caractristiques observables. Cette mthode fait partie dun ensemble plus vaste constitu de mthodes qui supposent que les donnes dont on dispose permettent de contrler entirement le biais de slection. par exemple, dans le cas dune rforme nayant lieu que dans certains tats, on peut rechercher les individus dans des tats o la rforme na pas eu lieu. on peut aussi raisonner directement avec des donnes agrges si elles sont plus facilement disponibles. Cest la faon dont procdent abadie, diamond et hainmueller en 2007 pour estimer lefficacit de la proposition 99 prise en Californie en 1988 pour diminuer la consommation de tabac (graphique 9). les auteurs comparent directement lvolution des ventes de paquets de cigarettes en Californie de celle dans un mix dtats supposs comparables qui nont pas vot cette loi. on observe une volution trs proche avant la rforme, mais les deux courbes divergent aprs celle-ci. en conclusion, les auteurs estiment que la loi a permis une diminution de prs de 50% de la consommation de cigarettes en lan 2000.
GraPhIque 9
Consommation de cigarettes par personne en Californie par rapport un panel dtats comparables
80 100 120 140 per-capita cigarette sales (in packs) California Synthetic California
60
20
40
passage of proposition 99
1970
1975
1980
1985
1990
1995
2000
Lecture En 1990, une personne rsident en Californie consommait en moyenne 80 paquets de cigarettes par an.
Les variables instrumentales

Ide gnrale
une autre mthode couramment retenue consiste utiliser des variables instrumentales, cest--dire des variables qui expliquent la participation un programme mais qui ne sont pas directement corrles avec le rsultat auquel on sintresse. en gnral, on utilise des variables expliquant la participation au programme mais que lon suppose indpendante des caractristiques des individus, en particulier de leurs caractristiques inobserves (on peut toujours tenir compte des caractristiques observes par des mthodes dappariement).
Cette mthode est fonde sur la variation de participation induite par la variable instrumentale : on sintresse aux personnes qui ont particip au programme parce que la variable instrumentale avait un certain niveau pour elles mais qui nauraient pas particip (ou aurait eu une probabilit de participation plus faible) si celle-ci avait pris une autre valeur. on compare ici les bnficiaires qui le sont seulement parce quils ont t exposs une certaine valeur de la variable instrumentale aux non-bnficiaires qui ne participent pas uniquement parce quils ont t exposs une autre valeur de la variable instrumentale. si la valeur de la variable instrumentale ne dpend pas des caractristiques des individus, en particulier celles qui ont une influence sur le rsultat (cest--dire le paramtre dintrt), ces deux groupes sont comparables.
Limites
la principale limite de cette mthode tient la rduction de lanalyse une population bien particulire, celle pour laquelle on dispose dune variable instrumentale permettant de scinder la population en deux catgories, la population test et la population de contrle. leffet estim ne correspond pas leffet du traitement sur lensemble de la population que sous des hypothses dhomognit du traitement qui peuvent tre discutables. par ailleurs, toutes les variables instrumentales ne sont pas de bonnes variables. pour tre utilisables, celles-ci doivent tre suffisamment explicatives des diffrences de participation, mais en revanche non explicatives des rsultats. en pratique, ces deux objectifs sont souvent antagonistes : pour trouver des variables instrumentales vraiment crdibles, cest--dire indpendantes des dterminants inobservables du rsultat, le risque est de choisir des variables instrumentales qui nexpliquent que trs faiblement le taux de participation.
En pratique
en pratique, de bonnes variables instrumentales peuvent tre fournies par des diffrences lgislatives. par exemple, lien et evans (2005) tudient limpact du tabagisme maternelle sur le poids des enfants la naissance en utilisant comme variable instrumentale les diffrences de lois anti-tabac entre les tats amricains. Ces lois ont en effet certainement une influence forte sur le tabagisme mais il est peu vraisemblable quhabiter dans un tat ayant une lgislation anti-tabac stricte ou un autre menant une politique plus laxiste soit corrl avec les dterminants du poids de lenfant la naissance autres que le tabagisme de la mre. on est donc bien dans le cas dune quasi-exprience. les caractristiques gographiques sont une autre source riche de quasi-expriences. Certains utilisent ainsi la distance du lieu dhabitation certains services publics pour tudier leur efficacit. ltude de Mc Cellan et al. (1994) value par exemple lefficacit de certains traitements pour les accidents cardiaques en utilisant la distance aux hpitaux mettant en uvre ces protocoles. les vnements impromptus peuvent galement tre utiliss : une grve dans les transports publics dans un tat amricain permet evans et lien (2005) de tester lefficacit des visites prnatales. enfin, la prfrence pour la diffrence faisant quon prfre toujours avoir des enfants de sexe diffrent, la probabilit davoir un troisime enfant est plus importante si les deux premiers sont du mme sexe. Ce hasard de la nature peut ainsi tre mis profit par exemple par angrist et evans (1998) pour tudier limpact du nombre denfants sur lactivit fminine et pallier le fait quen gnral les femmes qui ont plus denfants accordent moins dimportance leur carrire par exemple.

54
Les rgressions sur discontinuits

Ide gnrale
un troisime type de mthode est en ralit un cas particulier de la mthode des variables instrumentales : il sagit des rgressions sur discontinuits. elles sont fondes sur le fait que de nombreux dispositifs comprennent des seuils qui permettent de limiter lligibilit des bnficiaires potentiels. il peut sagir notamment de seuil de revenus pour la perception dune allocation ou alors dune condition dge pour accder un dispositif daide la cration dentreprise, etc. ainsi, la probabilit de bnficier de ces dispositifs est discontinue, parfois fortement. les personnes qui sont juste au-dessous du seuil ou juste au-dessus ont gnralement des caractristiques trs proches. on peut ainsi considrer que les diffrences dge ou de revenus entre ces personnes sont trop faibles pour quelles aient un impact significatif sur leur situation aprs quelles aient particip ou non au programme. il en va ainsi dune personne qui a un revenu annuel de 12 980 euros et dune autre qui a un revenu de 13 030 euros. ou encore dune personne ne le 29 dcembre 1978 et dune autre ne le 5 janvier 1979. on peut donc les comparer sans avoir deffets de population trop importants. dans la fentre quon choisit, lge ou le revenu sont considrs comme des variables instrumentales. en termes de mise en uvre, ces mthodes demandent cependant davoir des donnes suffisamment prcises et nombreuses pour quun nombre significatif dentre elles se trouve juste au-dessus du seuil ou juste en dessous et quon obtienne ainsi une mesure statistique fiable. plus prcisment, il sagit de sassurer que lestimateur retenu permette de mesurer des effets mmes rduits.
Deux exemples
nous allons dtailler deux exemples dapplication de cette mthode. le premier reprend un papier de laville paru en 2008 dans le Journal of econometrics. Ce papier prsente une rforme qui a eu lieu dans certaines rgions autrichiennes et qui donne une dure dindemnisation plus longue aux chmeurs de plus de 50 ans. le but est den estimer limpact sur la dure avant le retour lemploi pour dterminer si la dure dindemnisation a une influence sur la dure de chmage. les auteurs ont simplement compar la dure du chmage en semaine pour les personnes de moins de 50 ans et celle pour les personnes de plus de 50 ans aprs la rforme (graphique 10). les rsultats sont trs clairs : les personnes entre 46 et 49 ans ont une dure moyenne de chmage de 13 semaines, cette dure tant relativement stable en moyenne entre les personnes dge diffrent ; les personnes ges de 50 54 ans ont galement une dure de chmage stable, mais celle-ci se situe aux alentours de 38 semaines, soit une diffrence de prs de 15 semaines.
GraPhIque 10
Dure de chmage selon lge

52 0
46
unemployment duration (weeks) 13 26 39
47
50 51 52 ge (Years) Discontinuity at threshold = 14,798 : with std. ett. = 1,928 48 49
53
54
Lecture Une personne basculant dans une priode de chmage 51 ans y reste en moyenne 26 semaines.
le deuxime article de Chen et van der Klaauw (2008) tudie une question proche en cherchant dterminer limpact des allocations dinvalidit aux tats-unis sur linactivit. les auteurs utilisent pour ce faire le mcanisme en vigueur aux tats-unis pour tre dclar ligible ces allocations. pour certaines catgories de handicap, lligibilit est en effet base sur une apprciation des capacits de lindividu sinsrer sur le march du travail. il existe une grille pour cette valuation avec un seuil dligibilit li lge (graphique 11). plus on est g, plus on a ainsi de chances dtre ligible. le taux dligibilit pour la catgorie de handicaps les plus graves (classe 5) est ainsi de 25 % en moyenne si lindividu a entre 45 et 50 ans, 40 % sil a entre 50 et 55 ans et 85 % au-dessus de 65 ans. les auteurs choisissent alors dtudier les personnes ayant un ge proche de 50 ans et celles ayant un ge proche de 55 ans car, quand on observe la distribution des taux dligibilit selon lge, les discontinuits sont particulirement fortes autour de ces seuils. les rsultats sur loffre de travail sont cependant modestes, puisque Chen et van der Klaauw estiment que les bnficiaires de ces allocations auraient eu une offre de travail de 20 % suprieures au plus, sils navaient bnfici daucune aide. leffet est encore plus modeste pour les personnes dont les motifs dinvalidit sont uniquement lis aux difficults dinsertion sur le march du travail.

56
GraPhIque 11
Proportion dligibles selon lge

1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 35 50 ge Stage 1-4 Applicants 45 55 Stage 5 Applicants 65
Lecture Une personne ge de 50 ans a 30 % de chances de se voir accorder une invalidit de niveau 5 et 48 % de chances de se voir accorder une invalidit de niveau 1 4.
Conclusion
en conclusion, ces nouvelles mthodes offrent un cadre danalyse rigoureux reposant sur des mcanismes assez convaincants notamment par leur simplicit. elles sont souvent assez intuitives et produisent des rsultats fiables et prcis. les rsultats de ces mthodes semblent cependant un peu bruts car celles-ci napportent pas, bien souvent, une comprhension fine des mcanismes conomiques auxquels les rsultats sont dus. les rsultats obtenus ne sont le plus souvent valables que pour une population particulire et dpendent fortement du contexte conomique et social. en cas dhtrognit des effets, dans lespace, le temps ou entre sous-groupes aux caractristiques diffrentes, linformation disponible est donc en dfinitive assez limite. la possibilit de gnraliser les rsultats doit donc tre examine au cas par cas et reposer sur des arguments suffisamment convaincants. si ces mthodes assurent en gnral la validit interne de lvaluation, sa validit externe peut ainsi tre parfois faible.
Pour aller plus loin

aujourdhui, lun des grands enjeux de lvaluation de politique publique est daller plus loin quun raisonnement en moyenne. Gnralement, les mthodes conomtriques ne permettent pas dvaluer leffet pour une personne particulire, mais se contentent dtudier leffet moyen sur une population donne, plus ou moins large. or, les chercheurs en sciences sociales et les responsables politiques aimeraient souvent en savoir plus. en effet, il existe des cas o les effets sont fortement htrognes. une mesure peut avoir des effets nuls en moyenne ou presque, mais tre socialement utile. Gnralement, ce sont des politiques qui favorisent une population au dtriment dune autre pour tablir un quilibre que le march a perturb pour assurer une plus grande justice sociale. Cest par exemple le cas des politiques redistributives ou dautres politiques ayant pour but dviter lexclusion de certaines populations. ltude de lhtrognit de leffet dune rforme ou dun programme a souvent t laisse aux chercheurs en sociologie qui sappuient sur des entretiens approfondis et des tudes de cas. on assiste cependant aujourdhui au dveloppement de techniques conomtriques qui permettent dvaluer limpact des programmes non seulement en moyenne mais aussi en diffrence selon les catgories de la population concerne. il sagit notamment de rgressions par quantiles.
Award Rate
BiBliographie
Abadie A., Diamond A., Hainmuller J., 2007, Synthetic Control Methods for Comparative Case Studies : Estimating the Effect of Californias Tobacco Control Program, NBer Technical Working papers 0335. Angrist J., Evans W., 1998, Children and Their parents labor : evidence from exogenous Variation in Family Size , The American Economic Review, vol. 88, no 3, p. 450477. Angrist J., Krueger A., 2001, instrumental Variables and the Search for identification : From Supply and Demand to Natural experiments , Journal of Economic Perspectives, vol. 15, no 4. Behaghel L., Crpon B., Gurgand M., 2009, valuation dimpact de laccompagnement des demandeurs demploi par les oprateurs privs de placement et le programme Cap vers lentreprise, Rapport Final, cole dconomie de paris. Caliendo M., Kopeinig S., 2005, Some Practical Guidance for the Implementation of Propensity Score Matching, iZa Discussion papers 1588. Chen S., Van der Klaauw W., 2008, The work disincentive effects of the disability insurance program in the 1990s , Journal of Econometrics, vol. 142(2), p. 757-784. Evans W., Lien D., 2005, The benefits of prenatal care : evidence from the paT bus strike , Journal of Econometrics, vol. 125(1-2), p. 207-239. Givord P., 2010, Mthodes conomtriques pour lvaluation de politiques publiques, document de travail du D3e, iNSee, G2010/08. Heckman J., Vytlacil E., 2005, Structural Equations, Treatment Effects and Econometric Policy Evaluation, NBer Working papers 11259. Heckman J., Ichimura H., Todd P., 1998, Matching as an econometric evaluation estimator , Review of Economic Studies, vol. 65(2), p. 261-94. Imbens G., 2000, Efficient Estimation of Average Treatment Effects Using the Estimated Propensity Score, econometric Society World Congress 2000 Contributed papers 1166, econometric Society. Lalive R., 2008, how do extended benefits affect unemployment duration a regression discontinuity approach , Journal of Econometrics, vol. 142(2), p. 785-806. Lien D., Evans W., 2005, estimating the impact of large Cigarette Tax hikes : The Case of Maternal Smoking and infant Birth Weight , The Journal of Human Resources, vol. 40, no 2, p. 373-392. Mcclellan M., Mcneil B. J., Newhouse J. P., 1994, Does more intensive treatment of acute myocardial infarction in the elderly reduce mortality ? analysis using instrumental variables , The Journal of American Medical Association, vol. 272(11), p. 859-866. Meyer B. D., Durbin D. L., Viscusi W. K., 1995, Workers Compensation and injury Duration : evidence from a Natural experiment , American Economic Review, vol. 85(3), p. 322-340.
Partie 3
VALUATION
ET CHANGEMENTS ORGANISATIONNELS
Lapport des tudes de terrain
La troisime sance du sminaire sur les mthodes dvaluation de politiques publiques tait consacre aux mthodes qualitatives de lvaluation et, plus particulirement aux interactions existant entre les dmarches valuatives et les dmarches dactions des acteurs ou des entits auxquelles elles se rapportent. Lintervention de Jean-Claude Moisdon, sociologue et ancien directeur du Centre de gestion scientifique de lcole des mines de Paris, tait centre sur les mthodes de recherche-intervention qui permettent dtudier laide dun processus interactif les changements organisationnels induits par une politique publique. Hlne Genin, consultante, directrice des politiques Sant et Solidarits au cabinet Eurval, a, quant elle, retenu lapproche monographique pour analyser les actions entreprises au niveau local par les acteurs institutionnels pour rpondre aux objectifs des politiques publiques dont ils ont la charge. Ces deux interventions ont t suivies dun dbat avec la salle.
Lapproche par la recherche-intervention

Jean-Claude Moisdon (ensMp)
consquent, en la modifiant. nous sommes par l mme a priori assez loin de lvaluation qui semble supposer un cart entre lanalyste et son objet pour peser de la faon la plus neutre possible sur les rsultats dune action ou dune politique. pourtant sur le thme particulier de lvaluation du changement organisationnel, notre conviction est que cette dernire nest possible que si elle saccompagne dune certaine forme dinteraction, qui constitue le cur de la mthode de recherche-intervention. Cest dans cette perspective gnrale que nous avons t amens participer une valuation ralise pour la dRees concernant linfluence de la tarification lactivit (t2a) sur lorganisation hospitalire. Je reviendrai dans un premier temps sur les questions de mthode, que jillustrerai ensuite par un rsum des observations que nous avons pu faire lors de cette opration.
vec quelques collgues chercheurs en gestion, je pratique une mthode qui porte le nom a de recherche-intervention. elle sappuie sur lide quil nest possible de comprendre vraiment le fonctionnement dune entreprise quen y pntrant, en y intervenant et, par
Recherche-intervention et valuation
Des questions difficiles
un certain nombre de problmes se posent lorsque lon veut essayer de saisir, dans un systme social quelconque (entreprise industrielle ou de service, administration, secteur, etc.) les liens entre une action donne ou un ensemble dactions et les changements organisationnels. tout dabord existent diffrents types de changements. les changements dorganigramme, de rpartition des activits et des fonctions, sont les plus dcisifs pour lavenir de lentit analyse, et les plus intressants tudier. on sait depuis longtemps que dautres volutions sont considrer ; on peut voquer les rgles de coordination, la culture, les relations ou encore les pratiques. dans ces conditions, il faut videmment se dpartir de lillusion quexiste un arbitre suprme capable de conduire seul le changement. en fait, celui-ci fait intervenir des processus complexes et une multitude dacteurs.
partie 3 - valuation et changements organisationnels : lapport des tudes de terrain

62
par ailleurs, une fois entrevus les types de changement, il est ncessaire dans lvaluation de se pencher sur leurs consquences, plus ou moins tendues, mais aussi sur leurs causes. Ces dernires peuvent tre internes ou externes. elles sont la plupart du temps multiples, et se posent l comme ailleurs, mais sans doute de faon particulirement aigu, la question de la notion mme de causalit. toutes ces problmatiques donnent lieu dimportants dbats et polmiques dans les rangs des gestionnaires.
Organisation, dispositifs et outils

Ces problmes viennent pour lessentiel du fait que le terme d organisation savre luimme extrmement polysmique et ambigu. il qualifie soit ltat des rapports de coordination, de coopration et de pouvoir un moment donn, soit lacte dorganiser. il sagit l de deux conceptions fort diffrentes. dans le cadre de la premire conception, lorganisation peut se traduire par un dcoupage particulier en diverses units, des modes hirarchiques, des processus et des instruments de pilotage. de mme, les relations interindividuelles, les phnomnes de pouvoir, les relations entre les groupes ou encore les relations professionnelles entre syndicats et patronat doivent tre pris en compte. une organisation se caractrise aussi par une culture interne, cest--dire par la faon dont elle se fabrique un systme de reprsentations et de paradigmes propre, et une culture socitale, car elle est traverse par des phnomnes culturels venant de lextrieur. un certain nombre dexcellentes synthses en la matire (desremeaux, 2005) montrent lenvi ce caractre polymorphe. Ces ambiguts sur le sens mme du terme et la multiplicit des angles dattaque possibles posent des problmes de visibilit et dobjectivation. il faut alors viter le pige qui consiste prendre pour argent comptant les discours des acteurs, dont les perceptions de lensemble sont souvent autant limites que celles de lobservateur. au sein des hpitaux par exemple, beaucoup dclarent spontanment que la communication et le dialogue de gestion se sont amliors avec la mise en place de la t2a. or, des observations sur longue dure montreraient que les relations entre mdecins et administratifs se sont transformes ds la mise en place du budget global dans les annes 1980 et que lopposition systmatique, classiquement voque auparavant, a laiss la place des rapprochements et mme des connivences significatives face au rgulateur. non seulement il nest en rien vident de spcifier laquelle de ces deux temporalits est juste, mais on peut se poser la question des consquences tangibles dune telle volution, au-del dune pacification de rapports jugs jusque-l hostiles. en fait, nos yeux, il convient de quitter rapidement lordre du discours pour aller vers le construit. lorganisation peut tre en premire approximation considre comme une collection dartefacts, tant il est vrai que, depuis le milieu du xixe sicle, elle se structure partir de deux objets essentiels, savoir les dispositifs et les outils (Moisdon, 1997). de tout temps, la conduite des affaires sest appuye sur des dispositifs. Ceux-ci sont des arrangements construits et visibles des acteurs et des objets dans lespace et le temps. il sagit donc de rgles sur le temps de travail, sur la nature des tches, de plannings de runions, de dlais, etc. sils ne sont pas nouveaux (ils constituent par essence laction organise), ils deviennent de plus en plus sophistiqus. en revanche, les outils sont apparus bien plus rcemment. ils reprsentent des formalisations, sappuyant souvent sur ldifice comptable, telles que les indicateurs, les tableaux de bord, les analyses statistiques, les modles daide la dcision, etc. ils mettent en rapport diverses variables (des quantits produites, des prix, des effectifs, des signaux de qualit, etc.) et en quelque sorte formalisent la relation entre la gestion de lentit considre et la performance. tous les univers de lactivit productive (de lindustrie la culture) se sont retrouvs rapidement envahis par ces outils de gestion.
la recherche-intervention
63
dune faon gnrale, les outils et les dispositifs permettent de : dfinir et dlguer les activits ; coordonner les activits ; valuer les activits. on peut considrer, en effet, quen premire approximation laction collective organise se traduit tout dabord par une rpartition des activits et des rles, quil faut ensuite relier entre eux par des outils et des dispositifs de coordination. en troisime lieu, afin de vrifier si lensemble fonctionne correctement, une valuation est entreprise en sappuyant, en gnral, sur des outils permettant la hirarchisation et le jugement. ne pas se contenter des discours signifie quil faut dabord sattacher ces deux entits dont de nombreuses observations ont montr quelles taient profondment structurantes (berry, 1983). un changement de culture ou de relations peut tre dterminant mais, alors, il saccompagne toujours dvolutions corrlatives dans les outils et dispositifs qui sont des mdiateurs entre les acteurs et la performance et qui demeurent donc centraux dans lanalyse ; dautant quune fois mis en place, ils pseront fortement sur les actions individuelles et collectives, les orientant dans des directions parfois inattendues. videmment, cette position en quelque sorte technologique npuise pas le sujet des dterminants de laction collective. elle est plutt un principe de mthode qui consiste aller dabord vers le visible, en faisant le pari quen retour le travail sur les techniques gestionnaires permettra de rendre visible ce quelles ne laissent pas apparatre spontanment.
Le changement organisationnel
pour autant, si lon se contente dans un premier temps des outils et dispositifs, cela ne saurait suffire. dans quelle mesure jouent-ils vraiment sur les fonctionnements en cause ? il faut distinguer, en effet, quatre niveaux dappropriation des dispositifs et des outils (Grimand, de vaujany, 2006) : lappropriation cognitive (on connat) ; lappropriation formelle (on fabrique) ; lappropriation discursive (on change partir de) ; lappropriation rflexive (on change grce ). Cest ce dernier niveau que lorganisation commence vraiment voluer. loutil et le dispositif se trouvent alors imbriqus troitement avec laction. dans les autres niveaux, il ny a quapparence de changement : la cration instrumentale nembraye pas rellement sur le cours de laction. le problme de lvaluation rside, alors, dans la confusion entre les niveaux : la construction dun outil ne suffit pas induire un changement. lenqute est indispensable pour dterminer ce qui a t produit de nouveau quant au systme doutils et de dispositifs, mais elle doit tre complte par dautres investigations. en effet, au niveau des organisations se mlent croyances et simulacres sur les effets rels des artefacts que les uns ou les autres crent pour rguler laction collective. souvent, on croit en leffet qui de fait est absent, car on est loin du thtre des oprations. dautres fois, on fait semblant dadopter des prescriptions gestionnaires qui, ntant pas de lordre du juridique, permettent un grand nombre de tactiques diverses. quelle est alors la nature de ces autres investigations ncessaires ?

64
La mthode de recherche-intervention
daprs hatchuel (2000) toutes les mthodologies de construction des faits scientifiques peuvent se rduire trois postures, celle du laboratoire, celle du terrain et celle de la recherche-intervention. au sein du laboratoire, les objets sont manipulables et confins. Cependant, parfois, il nest pas possible de manipuler lobjet en laboratoire. ds lors, les tudes doivent tre menes sur le terrain, gologique par exemple. lobjet ne peut tre confin ni manipul, mais il peut tre naturalis, en ce sens quil nest pas transform par le regard de lobservateur. enfin, la rechercheintervention sapplique aux objets qui ne peuvent tre ni confins, ni manipuls, ni mme naturaliss. dans ce cadre, ds lors que le chercheur lobserve, lobjet change. il sagit l dune ralit quil se doit daccepter. une autre faon de diffrencier les approches consiste poser que dans le champ des sciences sociales, le prlvement soppose linteraction. le prlvement, qui est de lordre du terrain (les mathmatiques de la dcision, par exemple, tant de lordre du laboratoire) consiste chercher des donnes sur lentit analyse et les exploiter sans interfrer avec cette dernire. linteraction suppose par essence que les chercheurs entrent en dialogue avec les acteurs et discutent de leur vision de la situation et de leurs projets, qui, de faon variable mais systmatique, se trouvent modifis par cette rencontre. dans le domaine de la gestion plus particulirement, cette interaction peut se faire et doit se faire nos yeux autour des outils et dispositifs. il ne sagit donc pas, demble, de modifier par exemple la culture en place mais daccompagner une organisation qui sest donne pour but de changer en travaillant avec elle sur les rgles et instruments concrets quelle compte dvelopper. Cette posture permet, en effet, de recueillir beaucoup plus dinformations sur la ralit du changement que des entretiens (qui restent videmment ncessaires). Cest par les ractions des acteurs la mise en scne dun scnario instrumental concret que le chercheur intervenant peut saisir les leviers dune action collective renouvele ou au contraire les obstacles susceptibles de sy opposer. Cest ainsi, dans une sorte de boucle de retour, que sont reprs les instruments de gestion mis en place, dj l , ventuellement discordants par rapport ceux que lon souhaite implanter, mais aussi les pratiques indignes, non rgules au sommet, par lesquelles laction organise se structure (Reynaud, 1998).
Les champs de force

dans le cadre de linteraction et de la recherche intervention, il faut savoir assumer le biais observationnel, loin de la logique des groupes tmoins. aucun test statistique ne permet dobtenir la vrit . les conclusions sont en fait fondes sur lintime conviction du chercheur, qui se retrouve dans larne pour prouver lui-mme les champs de force qui traversent lorganisation et qui la mettent en tension. la pression financire, les conditions de travail, les relations avec lenvironnement, lefficience des processus internes, la qualit des produits, etc., tous ces termes constituent lexpression dautant de champs de force qui tirent laction collective dans des directions diffrentes. un instant donn certains dominent les autres, selon les organisations et leurs trajectoires, et cette domination confre, au moins pour un temps, une stabilit. Mais des dsquilibres sintroduisent fatalement un jour ou lautre, un stade donn de lhistoire de lorganisation, et il faut alors distinguer les forces actives des forces ractives. les premires sont celles que les acteurs souhaitent privilgier, alors que ce ntait pas le cas, et cest partir delles quils construisent de nouveaux dispositifs et outils. les forces ractives tirent les acteurs dans un sens quils ne souhaitent pas forcment et opposent aux forces
65
actives leurs systmes propres dvaluation, tout comme les routines de dlgation et de coordination qui leur sont associes. le chercheur va donc essayer de dcrire une rencontre entre une organisation mergente et une organisation existante, toujours rsistante. Finalement, lintervention se recoupe trs largement avec lvaluation, en ce sens quelle a pour but premier de reconstituer des dsquilibres dans les champs de force et de dessiner des issues possibles vers un rquilibrage provisoire.
Tarification lactivit et organisation hospitalire

lvaluation mene autour de limpact sur lorganisation de la tarification lactivit sinscrit dans le cadre du dispositif gnral dvaluation de la t2a pilot par la dRees. au passage, il est remarquable que ltat sintresse la question des organisations, au-del du seul aspect des rsultats, cest--dire une intermdiation essentielle entre une politique publique (on fera lhypothse que le modle de financement et ce qui laccompagne en est une) et ses impacts.
Lorganisation hospitalire
Chacun sait que lorganisation hospitalire est trs particulire (Mintzberg, 1982 ; Glouberman et al., 2001). ltablissement de sant, dans son ensemble, vit des volutions rapides des pratiques mdicales et des quipements, mais lorganisation, elle-mme, qui rpond une logique de balkanisation associe une spcialisation et une technicisation croissantes, ne change en ralit, en quelque sorte, que quantitativement, au travers de laccentuation continue de ces caractristiques. le nombre de services augmente malgr la cration rcente des ples7, pour le secteur public, ainsi que celui des quipements sophistiqus. si lon reprend les trois fonctions des dispositifs-outils, les mcanismes de dlgation savrent de plus en plus spcialiss. les mcanismes de coordination restent faibles et les mcanismes dvaluation apparaissent disjoints. les administratifs par exemple sont aujourdhui thoriquement valus sur des critres conomiques (alors quils taient autrefois jugs sur labsence de tensions au sein de la structure). les mdecins sont valus sur tout autre chose, qui relve de leur logique professionnelle (satisfaction de leurs patients, progression de leurs savoirs, dveloppement de leur carrire, etc.). depuis la fin de la seconde Guerre mondiale, les outils de gestion sont demeurs quasi inexistants, et cela jusqu la mise en place de la t2a. en effet, seuls quatre outils, les quatre vieux , permettaient de juger du fonctionnement dun hpital (le nombre dadmissions, le nombre de journes, le taux doccupation et la dure moyenne de sjour). la tutelle, mais galement les hospitaliers eux-mmes ne disposaient de fait daucune autre vision sur lactivit dun tablissement que celle fournie par ces quatre indicateurs, qui ne distinguent pas les hospitalisations pour une greffe de foie et celles relatives une appendicite. le budget global a remplac le tarif par journe, en 1983. il sest avr que le premier nincitait pas davantage lefficience que le second. au contraire, il sest agi dune chape de plomb qui se traduisait par une trs grande opacit et par la prservation des rentes de situation, pour certains, et au contraire par celle dune situation prcaire, pour les autres.
7. Les ples sont des regroupements de services coordonns par un triumvirat mdecin/cadre soignant/administratif. Ils ont t crs par ordonnance en 2005, et sont rservs au secteur public.

66
Le programme de mdicalisation des systmes dinformation et la rgulation souple

un premier changement intervient au milieu des annes 1980, avec la mise en place du pMsi (programme de mdicalisation des systmes dinformation). Ce systme, import des tatsunis, permet cette date de catgoriser les patients en 500 ensembles rputs homognes la fois dun point de vue mdical et dun point de vue conomique (les GhM : groupes homognes de malades). une tude renouvele annuellement (ltude nationale des cots) permet par ailleurs destimer, sur la base dun chantillon dhpitaux, les cots moyens dun sjour dans chaque groupe homogne de malades. lactivit nest donc plus dcrite par le simple nombre dadmissions mais par 500 nombres dadmissions diffrents, chacun se voyant affecter un cot moyen par patient. dans cette logique, on peut calculer le budget thorique dun tablissement, si lon dispose de son case-mix , cest--dire de son nombre dadmissions dans chaque GhM, et cela partir de 1996. le fait que le budget rel soit suprieur au budget thorique est cens signaler un problme defficience. les agences rgionales de lhospitalisation, qui voient le jour cette priode, sont censes pnaliser les hpitaux qui se trouvent dans cette situation et les inciter des rorganisations. Cela dit, cette innovation dans le systme rgulateur na pas t couronne de succs (engel et al., 2001) alors que, malgr ses imperfections nombreuses, il permettait de mettre en vidence des ingalits flagrantes sur le territoire. ainsi, activit identique, un hpital pouvait se montrer trois fois moins efficient quun autre et par consquent, disposer de trois fois plus de moyens. les causes de cet chec sont plurielles, comme dhabitude, mais lune dentre elles, essentielle, tait que cet indicateur global (rapport entre budget thorique et budget rel), ne fournissait aucun moyen pour les hpitaux de faire le lien avec le fonctionnement concret de ltablissement. Cet outil avait t adopt sur la base des thories conomiques marginalistes (concurrence par comparaison notamment), lpoque trs en vogue. il visait envoyer aux producteurs de soins un signal global, en fait tellement global quil ne leur permettait pas de dceler les points faibles de leur organisation et restait quelque peu mystrieux.
La tarification lactivit (T2A) et son valuation

Cest en 2004 que la tarification lactivit voit le jour. un prix est fix pour chaque groupe homogne de malades, dont le nombre ne cesse daugmenter, pour atteindre 2 300 avec la version 11 du pMsi, mise en uvre en 2009. Cest donc un systme extrmement complexe. il sappuie notamment sur des rgles de codage, des catalogues de diagnostics (15 000 environ dclins selon la nomenclature de loMs) et dactes (8 000), des procdures multiples de financement (forfait au sjour, supplment la journe pour certains types dadmission, dcote du prix pour des dures de sjour atypiques, remboursement leuro de certains mdicaments, etc.). pour autant, le principe est clair. les mdecins le comprennent mieux que lindicateur global prcdent. ils savent quils obtiennent des recettes laune de leur activit et ce systme semble, en consquence, plus incitatif. il a aussi le mrite dtre plus proche de lactivit par essence que le prcdent systme. on en espre donc, non seulement un surcrot dquit entre les tablissements (rmunrs selon leur activit) mais aussi une plus grande rigueur dans la gestion, porte par des rorganisations internes. Cest sur ce dernier thme des volutions organisationnelles quune valuation a t mene entre 2007 et 2009, par une quipe mixte de consultants (essoR) et de chercheurs (CGs cole des mines) et sur la base dun petit groupe dtablissements volontaires (un Chu, trois Ch, deux psph et deux cliniques). un chantillon si restreint et si peu reprsentatif peut conduire mettre des doutes sur la vracit des conclusions. toutefois, cette faiblesse tait
67
compense par lutilisation dautres expriences, telles que le chantier lanc par la Mission dexpertise et de laudit hospitalier (Meah9) sur la nouvelle gouvernance, ou encore les stages des lves directeurs de lcole des hautes tudes en sant publique, lehesp (une quinzaine dentre eux a consacr un mmoire spcial au thme des impacts organisationnels de la t2a). de plus, un travail de documentation a t men en parallle sur les expriences trangres, notamment amricaine. en outre, il faut savoir que le secteur hospitalier constitue un milieu extrmement mimtique. ainsi, une volution se rpte dtablissement en tablissement. enfin, le fait que les tablissements de notre chantillon taient volontaires, laissait entendre que ces tablissements taient porteurs de projets de changement et il devenait ds lors intressant de voir sils parvenaient ou non les concrtiser rellement. Cest ainsi que peuvent tre identifies les forces ractives (cf. ci-dessus), plutt quen tudiant un hpital passif, nimaginant pas de transformation. lenqute sest tout dabord dcline sous la forme dentretiens et dobservations entre septembre 2007 et mars 2008 (ce que lon peut appeler la phase terrain ). des axes de progrs potentiels ont ainsi t identifis, comme la contractualisation entre direction et ples, ou llaboration et lutilisation des tableaux de bord mdico-conomiques, ou encore lintressement des mdecins, partir des demandes des tablissements. nous sommes, alors, entrs dans une phase dintervention portant sur les projets ainsi identifis, qui a dur quatorze mois et qui sest principalement droule sous forme dune participation des groupes de travail, dans chacun des tablissements.
Les effets organisationnels de la T2A

la phase terrain permet de constater un certain nombre de changements au niveau que nous privilgions, celui des dispositifs et des outils. parmi les principaux, on peut noter : a) des rformes profondes de la chane administrative lie au patient (de laccueil la sortie), avec pour ambition premire de grer au mieux la facturation, le but tant de rcuprer aussi rapidement que possible le financement de lassurance-maladie ; b) autre fait massif : de nombreux tablissements ont dvelopp des outils mdicoconomiques. loutil CRea (compte de rsultat analytique) par exemple est un instrument issu de la comptabilit analytique qui permet, pour chaque entit clinique (ple, service, dpartement), de mettre en regard ses dpenses et ses recettes (gnres par son case-mix particulier). Cest ainsi quil est possible de reprer les ples bnficiaires et les ples dficitaires, de la mme faon que la tutelle repre les hpitaux bnficiaires et les hpitaux dficitaires ; c) au niveau des ressources humaines, apparat une lgre distorsion en faveur de la technostructure (recrutement de contrleurs de gestion par exemple) ; d) la contractualisation interne se dveloppe et se sophistique la fois au niveau des rgles et des indicateurs de rsultat ; e) par ailleurs des inflchissements notables sont observables quant la stratgie de ltablissement, qui visent de plus en plus dsenclaver ce dernier (partenariats, fusions, cooprations sur des quipements, etc.). en revanche, la phase de travail en commun avec les acteurs hospitaliers (mdecins, administratifs, cadres infirmiers) a rvl de grandes difficults voluer dans certaines direc9. Mission cre en 2003 et regroupe, depuis cette anne, avec deux autres entits du systme rgulateur pour constituer lANAP (Agence nationale dappui la performance des tablissements de sant et mdicosociaux).

68
tions, pourtant unanimement souhaites et a priori cohrentes avec le nouveau mode de financement. deux constatations peuvent tre faites ce titre : tout dabord, si les outils de type CRea sont plthoriques, rares sont ceux qui sen servent vritablement, sauf dans certaines situations extrmes o ils permettent dalimenter un argumentaire vis--vis de ples ou de services en dsquilibre fort (et dj connu) entre ressources et activits. de mme, on se rend compte que les documents dcrivant les contrats deviennent particulirement pais et fournis en outils dvaluation, mais que les rsultats en termes damlioration de lefficience, ou aussi de la qualit, sont lents se concrtiser. par ailleurs, si lon revient au plus prs de lactivit, on constate que trs peu davances sont faites quant lanalyse fine des parcours des malades, de lorganisation du travail des professionnels, des processus de soins, malgr la conviction des acteurs (et des chercheurs) que cest ce niveau que se situent les enjeux les plus importants en termes de performance. au final, les volutions internes apparaissent peu spectaculaires, mais une sortie par le haut est souvent programme, au travers dune alliance avec dautres tablissements. Cette mme conclusion a t releve aux tats-unis, o la mise en place dun dispositif analogue (le pps, prospective payment system, mis en uvre ds 1983) a conduit une vaste rorganisation au niveau des institutions (fusions, absorptions, rseaux, etc.) sans grand changement visible sur les processus de soins eux-mmes (bazzoli et al., 2004). Contrairement aux attentes et vises du rgulateur qui pensait quune meilleure coordination serait induite partir dun systme de financement trs dtaill, proche de lactivit, pour surmonter la balkanisation actuelle, lorganisation du travail (horaires, effectifs, modes de coordination, gestion du parcours du patient, etc.) na que peu volu.
La T2A natteint pas le cur de lactivit

au final, il semblerait que la tarification lactivit natteigne pas le cur de lactivit. Cet incitatif conomique est lorigine dun stress gestionnaire qui savre dun apport limit dans la rsolution des problmes organisationnels structurels du secteur. quelles sont les causes dun tel phnomne ? existent tout dabord des difficults et des problmes qui ressortent du systme de financement lui-mme. les professionnels, mme anims de la meilleure volont, finissent par se dcourager devant la complexit des outils comme le CRea et linstabilit des informations qui permettent de le construire, et aussi den comprendre les rsultats. la tarification lactivit, qui se fonde sur des milliers de rgles, est en effet en perptuelle volution, la plupart du temps dailleurs pour des raisons parfaitement lgitimes (amlioration des classifications mdicales, innovations technologiques prendre en charge au niveau du financement, correction du tarif de telle ou telle activit manifestement mal rmunre dans le dispositif actuel, etc.), tat de fait qui ne facilite pas lusage interne des instruments qui en sont drivs. une raison plus dterminante (et qui continuerait peser sur le cours des choses si le systme de financement se stabilisait) nous semble devoir rsider dans ce que lon peut appeler lorganisation spontane dun tablissement de sant, quel quil soit (hpital public, ou participant au service public, ou clinique, etc.), cest--dire lorganisation qui rsulterait, sans volontarisme transformateur particulier, de la nature de lactivit et des caractristiques communes des oprateurs qui la prennent en charge. Cette organisation est considre par les spcialistes de la gestion comme la plus complexe qui soit, car, dune part, elle est hautement professionnalise, dautre part, elle exige, pour fonctionner sans trop de drames, un haut niveau de coordination, dans lacception la plus simple et la plus technique de ce terme,
69
savoir, la gestion des rendez-vous entre les diffrentes entits participant la production des soins (Moisdon, 2008). Reprenons ces deux points (professionnalisation et coordination) : a) au niveau de lactivit de base (la squence de soins et de prestations mettre en place pour chaque patient, pris un un) lasymtrie dinformation entre le management et les professionnels est importante, compte tenu de la nature des savoirs en cause ; b) la balkanisation inhrente cette professionnalisation joue lencontre de moyens de coordination simples. ainsi, les trajectoires des malades, qui sont dcides par les professionnels eux-mmes, mobilisent souvent plusieurs dizaines dacteurs, aux mtiers et aux enjeux trs diffrents. Ceux-ci sont focaliss sur le patient et sur la prestation quils lui offrent, et non sur la trajectoire densemble de ce dernier. le malade et son tat restent au centre de leur activit et il est impossible de le leur reprocher, car toute leur formation et leur lgitimit reposent sur cette focalisation. Cette dernire caractristique distingue fortement ltablissement de sant dautres organisations professionnelles (comme la recherche), o les besoins de coordination ne sont pas aussi intenses. Mais cela veut dire quau total, dans cet atelier trs particulier que constitue ltablissement de sant, il nexiste ni service de mthodes ni service dordonnancement, si lon cherche la comparaison avec un systme de production industriel. or, un centre hospitalier moyen gre chaque anne plusieurs dizaines de milliers de trajectoires qui sont, par nature, incertaines. il convient dajouter que les rsultats en termes de sant restent peu mesurables, malgr un certain nombre davances en la matire, et que les rfrentiels liant le niveau dactivit celui des ressources (humaines notamment) sont encore rares, ce qui limite la possibilit de types de gestion associs aux systmes complexes (par les rsultats par exemple). Concrtement, lorganisation sappuie sur des rgles professionnelles, des conventions plus ou moins partages et beaucoup dajustement mutuel, qui pousse les acteurs continuellement ngocier entre eux, et sur nimporte quoi : les dlais, les ordres de passage, les prescriptions elles-mmes, etc. ce niveau de lorganisation, il nest mme plus possible de parler dasymtrie de linformation, dans la mesure o les mdecins nen savent pas plus que les administratifs sur la faon de configurer les processus en cause afin dassurer la fois qualit, efficience, conditions de travail convenables (car lajustement mutuel, qui lon peut confrer un statut ressources humaines plus noble que la supervision directe, par exemple, peut avoir sur ce dernier point des inconvnients vidents : surcharge mentale, puisement). il vaudrait, donc, mieux parler de symtrie de non-information . Comment pourrait se dcliner, en interne, la t2a pour aboutir une structuration qui aille dans le sens dune performance amliore ? il semble que la granularit de loutil, mme avec 2 300 groupes de patients homognes, nest pas assez fine pour prendre en compte la diversit et lincertitude qui psent sur les trajectoires de patients. en dautres termes, le passage du rsultat dun CRea ces dernires constitue un saut qui nest en rien vident, mais cela signifie, alors, que cet outil ne peut pas constituer un outil de pilotage au niveau dun ple ou dun service. les quelques efforts qui vont dans ce sens, se passent en fait des outils de la t2a, et se fondent sur des considrations pragmatiques, mais il convient de souligner combien ils sont difficiles, et que le dcouragement saisit souvent les acteurs locaux devant le dfi davoir coordonner des milliers de processus intriqus et alatoires, et donc de grer convenablement la singularit grande chelle (Minvielle, 1996).

70
Ambigut du dialogue de gestion et cration dune fonction organisateur

doit-on en conclure que la t2a est inoprante, ne donnant pas les moyens de sattaquer ce qui rsiste profondment au cur du mtier, source de la performance, et quil faut (encore) passer dautres formes de rgulation ? Ce nest, sans doute, pas si simple. pour revenir au dbut de cet expos et la problmatique de lvolution des comportements, certes difficilement objectivable comme je lai dit, il semble malgr tout que la t2a soit bien lorigine dune proximit plus grande entre mdecins et administratifs, surtout dans les tablissements privs, o trs souvent cette relation nexistait qu un tat embryonnaire. de plus, une culture gestionnaire parat rellement merger au niveau des professionnels, comme le montrent les efforts dun certain nombre de responsables de ple ou prsidents de commission mdicale dtablissement (CMe) que nous avons rencontrs. il est, donc, peu prs certain que la t2a a entran une dformation des champs de jugement vers lconomique. Certes, daprs les constatations prcdentes, elle aurait pour le moment plus de rpercussions sur les reprsentations des acteurs que sur les modes concrets par lesquels ils sorganisent, mais rien ninterdit dimaginer qu terme, ce basculement des perceptions nembraye pas sur des effets concrets. de son ct, le rgulateur a pleinement conscience des ingalits de ressources entre les tablissements et de lexistence de poches de sous-productivit dans le systme hospitalier. Face ces constats, il lui est difficile de renoncer toute forme dinscription gestionnaire dans les fonctionnements en cause, cest--dire dune prise en charge effective de lensemble des dimensions de la performance par les oprateurs principaux des processus de soins. Compte tenu des immobilismes constats avant lavnement de la t2a, cette inscription ne peut se passer dun incitatif conomique, et dune certaine faon les faits lui donnent raison au niveau des reprsentations des acteurs quant au souhaitable. Mais lvaluation que nous avons effectue, signifie essentiellement que cet ingrdient seul ne suffit pas si lon veut que ce dialogue de gestion se traduise dans des organisations renouveles. il nous semble que, paralllement, lorganisation des processus de travail doit tre prise en charge la base, peut-tre en crant des postes dorganisateurs ou en confiant cette mission des mdecins. la forme que cela pourrait prendre, demeure de toute faon peu claire pour linstant. Cependant, des expriences qui ont t menes ici ou l, notamment dans le cadre de la Meah (mission dexpertise et daudit hospitalier), ont fait progresser les choses et montr et dessin une mthode gnrale (Meah et al., 2008). Malgr la complexit de lactivit, et par lintermdiaire dun travail fin sur les processus men en coopration avec les professionnels eux-mmes, des dispositifs ont ainsi pu tre modifis, grce une coordination plus troite, prenant mieux en compte les trajectoires de patients ; des dures de sjour ont diminu, ainsi que des dlais de rendez-vous, des conditions de travail se sont amliores, etc. de tels rsultats ne sont reproductibles cependant quau niveau local, tant le systme est complexe, et pose clairement les problmes de capitalisation et de gnralisation, mais il reste clair que si lon veut progresser dans cette voie de linscription gestionnaire, le mouvement doit galement partir de la base plutt que de sappuyer uniquement sur des principes de type top-down, comme ceux du financement des structures. telle est, en tout cas, notre intime conviction, lissue de cette valuation-intervention, dont on voit quelle ne fait pas quvaluer, mais quelle tente galement, peut-tre de faon aventureuse, dimaginer les modalits dune autre dynamique de changement. parce quprouver les champs de force de la situation, en compagnie des acteurs eux-mmes, cest aussi se donner les moyens dy gnrer des impulsions, mme lgres, et dexprimenter ainsi de nouveaux quilibres.
Lapproche monographique
hlne Genin (eurval)
lors que les sances prcdentes de ce sminaire ont laiss une large place lapproche a quantitative, cet expos sarrtera sur lapproche qualitative et sur un outil de collecte de donnes : ltude de cas. il sappuiera sur lexemple de lvaluation des plans rgionaux de
sant publique. une partie du questionnement de cette valuation portait en effet sur lappropriation des plans rgionaux par les acteurs, de sant publique en particulier au niveau infra-rgional.
Sapproprier une politique publique

Politique et programme
il est important de distinguer politique publique et programme public. Cette dernire notion sapplique un ensemble restreint dobjectifs censs faire sens pour les acteurs qui les ont conus, pour ceux qui vont les mettre en uvre ou ceux qui vont en bnficier. leurs objectifs ne font pas ncessairement dbat. par exemple, la rduction de la mortalit prmature ne soulve aucune opposition. en revanche, lorsquun dbat est soulev autour de la lgitimit du programme, les questions dappropriation par les acteurs peuvent vritablement poser problme. un programme public se caractrise par des moyens humains, techniques, organisationnels et financiers ddis, de mme que par une temporalit limite. lapproche retenue peut tre au choix partenarial ou non. dans le cas des plans rgionaux de sant publique, la dmarche relve pour une large part du partenariat. Ces plans sont pilots par des groupements de sant publique dans lesquels les collectivits territoriales sont pleinement parties prenantes. enfin, un programme est territorialis. les diffrentes collectivits qui composent le territoire vont alors participer chacune leur niveau la mise au point et la ralisation du programme. une politique est un ensemble de programmes et sinscrit dans un temps long. il est donc plus difficile de se lapproprier. une politique se caractrise par de nombreux changements. le changement organisationnel nest quune facette de ceux-ci, mme sil est souvent la

72
condition permettant datteindre des objectifs. Concernant les plans rgionaux de sant, le cabinet eurval est intervenu en bretagne et en rgion Centre. il intervient en ce moment en bourgogne et en rgion Rhne-alpes.
Lappropriation
le terme dappropriation renvoie lexpression faire sien , sur la base dun systme propre de valeurs et de reprsentations. Celles-ci diffrent dun acteur lautre, quil sagisse dun porteur de projet associatif qui mobilise des bnvoles ou dun porteur de projet professionnalis. sapproprier implique en tout premier lieu de connatre. dans le cas des plans rgionaux de sant publique, il est plus simple de connatre leur contenu lorsque lon a t associ leur laboration. les stratgies de communication autour du plan vont cependant permettre aux acteurs de prendre connaissance de ce contenu. souvent, en matire de communication, les intentions sont louables, mais les ralisations se limitent un simple site internet et quelques sminaires (encadr 1). ensuite, il faut que les acteurs comprennent le contenu et lesprit du plan, qui rassemble gnralement des objectifs de nature trs diffrente. Certains peuvent tre qualifis dobjectifs de politique publique, en ce sens quils ciblent des publics bien particuliers. dautres, bien plus transversaux, relvent en ralit plutt de lobservation et du suivi des plans. lappropriation consiste aussi utiliser les diffrents leviers daction du programme. les porteurs de projet peuvent sappuyer sur les modalits du plan pour rechercher des subventions. les animateurs territoriaux de sant peuvent sen servir pour diffuser les objectifs rgionaux et les rinjecter dans les initiatives locales. en effet, lun des grands enjeux de llaboration de ces plans rside dans la mise en cohrence et le dcloisonnement des interventions dans le secteur sanitaire, mdico-social et social. le partage et la critique constituent le dernier stade de lappropriation. la critique, mme lorsque le contenu na pas t vraiment compris, sapparente en effet une forme dappropriation, dans la mesure o elle met en jeu une distanciation par rapport aux pratiques propres. elle permet dalimenter la rflexion, dapporter de nouvelles connaissances, de mettre en dbat son interprtation propre et de contribuer latteinte des objectifs plus gnraux. du point de vue de llu, certains objectifs ncessitent une communication plus douce que celle que propose le plan. par exemple, les actions de prvention du suicide sont prsentes en bretagne comme un travail sur le lien social et le mieux-tre. lappropriation des politiques publiques peut tre feinte. Ce type dattitudes se retrouve souvent chez les porteurs de projets, qui vont essayer de rentrer autant que possible dans les cadres. ils vont btir des argumentaires autour des objectifs rgionaux de sant publique. la vigilance doit donc tre de mise et souvent il est ncessaire daller au-del des simples discours, qui visent, de manire lgitime, collecter des fonds pour mettre en place ses interventions. il nexiste aucun indicateur dappropriation. Celle-ci relve dlments de processus et lapproche quantitativiste est rarement la plus approprie. or cette notion dtermine pour une large part les rsultats dune politique publique.
lapproche monographique
73
encadr
Lappropriation des objectifs

Faire sien des objectifs valeurs, reprsentations , cela suppose de: Connatre Comprendre Utiliser-dcliner Partager-critiquer Alimenter (dbat), contribuer (terrain)
Lvaluation des plans rgionaux de sant publique

les plans rgionaux de sant sappuient tout autant sur des appels projet que sur des conventionnements. les porteurs de projet, telles les associations, disposent dune autonomie certaine. Cette autonomie se trouve tout de mme limite par lexistence du plan. en effet, cest au titre de la mise en uvre de la politique rgionale et de sa cohrence quont t choisis les porteurs de projets. ainsi, sinstaure une tension permanente entre lindividualisation de la politique par les structures porteuses et la mise en cohrence de celle-ci. il est important de voir dans quelle mesure ces acteurs sont mme de faire voluer une politique. une valuation des plans rgionaux de sant publique a t entreprise mi-parcours, conformment aux dispositions contenues dans la loi de sant publique de 2004, soit lan dernier, puisquils ont t lancs en 2006 pour quatre ans. dans lesprit du lgislateur, ces plans devaient marquer une avance en matire de rgionalisation de la politique de sant. des enjeux de dcloisonnement et de mise en cohrence des acteurs avaient t mis en vidence au moment de leur adoption. la complexit rside dans la multiplicit des champs et des intervenants sur le terrain, qui est une constante dans le domaine de la sant publique. les valuations ont t cadres au niveau national, sur la base dun cahier des charges articul autour de deux grandes questions. la premire concernait la conception des plans, leur structuration et leur cohrence. Ceux que nous avons tudis sapparentent vritablement des catalogues dactions plutt qu de vritables plans structurs. la deuxime question avait trait la performance. en loccurrence, lvaluation porte plutt sur les effets en termes de dynamique rgionale plutt que sur les impacts sur la population, qui fera lobjet dune valuation au terme du plan. ainsi, cest la problmatique de lappropriation qui se retrouve au cur de ltude au cours de cette premire valuation. dans quelle mesure lensemble des acteurs (institutionnels, porteurs de projets, lus et reprsentants des usagers) ont-ils fait de ce plan un document de rfrence ? ce propos, il faut noter que les plans associaient troitement les reprsentants des usagers, au travers des confrences rgionales de sant. les partenariats, les modalits de travail et ladquation des actions finances avec les objectifs se retrouvent de fait galement au cur du dispositif dvaluation.
valuer lappropriation : lapport dune dmarche qualitative par ltude de cas

Une enqute quantitative auprs des porteurs de projets
quels outils dployer pour mesurer lappropriation ? il serait vain dopposer en la matire approche qualitative et approche quantitative. ainsi, le dispositif retenu associe ces deux approches. les valuateurs du plan rgional de sant publique de bretagne ont essay de

74
recueillir lavis des porteurs de projets, quils aient t retenus ou non. une enqute en ligne trs large a t lance, afin de mesurer leur connaissance du plan rgional, leur ressenti sur sa pertinence et lutilisation quils en faisaient. taient aussi values par ces acteurs, dans le cadre de ce questionnaire, llaboration, la structuration et la lisibilit du plan. la deuxime partie tait consacre la faon dont les porteurs avaient structur leur projet, comment ils lavaient financ, hors et lintrieur du plan. le questionnaire sattardait aussi sur les partenariats. au final, cette enqute a permis dtablir une photographie des perceptions, dessinant des tendances, notamment sur le niveau de connaissance du plan. lapproche ne visait pas dtecter dventuelles volutions dans le temps, mais se concentrait sur laspect dclaratif. des limites apparaissent ds lors de manire vidente. Ceux qui ont rpondu lenqute sont bien videmment les plus avertis et ce constat introduit un certain biais. par ailleurs, deux questions ont permis de mettre jour des incohrences. la premire portait sur limpact incitatif du plan rgional en termes de partenariat. la trs grande majorit des acteurs a rpondu de manire positive. Cependant, une autre question visait lister les partenariats nous par ces acteurs dans le cadre de ce plan. or les rponses celle-ci demeuraient peu nombreuses. Ce manque de cohrence nous a dmontr quil tait impossible de se contenter dune enqute quantitative pour valuer lappropriation. toutefois, le recours cette technique nest pas inutile, dans la mesure o nous avons obtenu des prcisions sur la manire dont les personnes avaient pris connaissance du plan et ce quelles en comprenaient. Cette premire approche a donc t complte par une seconde, savoir une srie dtudes de cas. Cest cet aspect intgr dans nos propositions qui nous a dailleurs permis de faire la diffrence avec nos concurrents.
Complte par des tudes de cas

ltude de cas a pour but de vrifier comment sont dclins concrtement les objectifs rgionaux de sant sur les territoires. en effet, il est impossible de comprendre les processus de changement sans tude de terrain. lintervention publique est structure par des chanes logiques. ainsi, un faisceau de causes va produire un effet dtermin. lenqute ne permet que faiblement de cerner ces mcanismes. bien conue, ltude de cas permet de mettre jour ces processus. selon les dfinitions des chercheurs amricains, ltude de cas se rsume en lobservation dun phnomne dans sa ralit et sa complexit (Yin). Concrtement, elle consiste analyser une entit comme un tout dans son contexte. nous avons retenu lchelle du dpartement comme la plus pertinente. par ailleurs, au lieu dobserver lintgralit du plan rgional, nous nous sommes focaliss sur certains programmes particuliers : comme par exemple, la prvention du suicide dans les Ctes-darmor ; la lutte contre les addictions dans le dpartement du Morbihan ; ou encore la prise en charge des maladies cardio-vasculaires dans le dpartement du Finistre. Chaque programme prsente un statut diffrent. Certains avaient dj fait lobjet de dveloppement au niveau rgional, tandis que dautres ntaient rien dautre que la dclinaison au niveau rgional de programmes nationaux. lensemble de ces variables a t intgr ltude.
Mthodologie
ltude de cas procde dune analyse holistique, sappuyant sur un processus holographique. nous esprons que lanalyse dune partie nous permettra dentrevoir lensemble. il sagit dun objectif trs ambitieux. si le cas est mal slectionn, il risque dtre difficile dapprofon-
lapproche monographique
75
dir lanalyse. ltude de cas reste par essence empirique. elle passe par lanalyse des donnes existantes. lun des points forts de cette approche rside dans son aspect exhaustif, aussi bien au niveau quantitatif que qualitatif. tous les points de vue des acteurs lgitimes sont recueillis. du ct des concepteurs, sont interrogs les rfrents thmatiques du dpartement concern et les porteurs de projet, quils dpendent des Comits dpartementaux dducation pour la sant (Codes) ou dassociations. du ct des gestionnaires, sont interroges lassurance maladie, lducation nationale et les directions dpartementales du travail, de lemploi et de la formation professionnelle (ddteFp). le but dune telle tude rside avant tout dans le recoupement de lensemble des observations dans diffrents cadres. elle a pour ambition de mettre en lumire les lments structurants, permettant de comprendre les dynamiques luvre et les processus mis en place. ltude de cas peut porter sur une organisation, un groupe dindividus, voire un individu unique. il peut aussi sagir de partenariats, sachant quun tel dispositif nest pas ais cerner. les groupes et les rseaux peuvent aussi faire lobjet dtudes de cas, de mme que les projets. Cest ce dernier cas que nous avons retenu, puisque nous avons dcid danalyser des programmes. la mthode danalyse se dcline en plusieurs tapes. la premire consiste en la slection des cas. Celle-ci ne relevait pas dune dmarche ferme, en chambre. au contraire, les choix ont t raliss avec linstance qui commandite lvaluation, dans la mesure o il sagit dun groupe ressource, qui a connaissance la fois des bonnes pratiques et des zones dombre dans les programmes. parfois, cependant, les premires ides de cette instance ne se vrifient pas au cours de ltude. diffrentes variables sont croises pour slectionner les bons cas. il est souvent prfrable de sadresser aux volontaires, qui veulent faire valoir certaines ralisations, faute de quoi les rsistances sont trop importantes et les apports plus limits. de fait, ce sont ainsi souvent les lments les meilleurs ou plutt performants qui sont slectionns. Cette premire tape savre cruciale, car elle conditionne le reste de ltude. la seconde correspond la phase denqute proprement dite. lenqute a pris la forme dentretiens individuels ou de groupe, croiss avec un travail danalyse documentaire. sur cette base est rdige une monographie. Robert K. Yin propose de structurer cette phase autour de deux tapes. il estime que celui qui est en charge de la collecte de linformation nest pas ncessairement le mieux plac pour rdiger la monographie. il est vrai que cette premire tche risque de faire perdre une certaine distance au chercheur, qui parfois tend entrer dans le jeu des acteurs. la monographie na pas pour ambition de produire un jugement, mais dalimenter le jugement. elle ne conclut pas, mais se contente dapporter des constats.
Les apports des tudes de cas

les tudes de cas ne sont pas dconnectes des questions de lvaluation. bien au contraire, elles permettent dapprocher une ou plusieurs problmatiques. en croisant les critres, il est possible de rinjecter des lments dans lvaluation, ce qui constitue ltape finale de cette dmarche. Cette mthode prsente plusieurs points forts. le premier rside dans le fait quelle permet de dcrire les processus et de cerner les complexits quil serait impossible de mettre au jour sans cela. par exemple, nous sommes alls interroger les porteurs des projets sur la manire dont le plan les incitait vraiment nouer des partenariats et sur les freins quils ont pu rencontrer dans leur ambition ventuelle. parfois, les raisons navaient rien voir avec le plan lui-mme, mais tenaient de simples conflits dacteurs (encadr 2).

76
de plus, cette mthode aide rendre compte de la ralit de la dynamique dune organisation. elle permet notamment de laisser sexprimer des acteurs rarement interrogs. dans le cas particulier du programme vih et maladies infectieuses dans le Finistre, lassociation aides avait rpondu au questionnaire, mais les personnes qui ont t rencontres ntaient pas les mmes que celles qui avaient rdig les rponses. il sagissait de bnvoles, qui disposaient dune vision originale. nous avons pu constater que le plan rgional demeurait pour eux compltement abstrait, fort loin de leurs proccupations. seule la reprsentation rgionale de lassociation stait vritablement investie sur ce sujet. ltude de cas alimente les rapports dvaluation, met jour des lments concrets et permet didentifier les logiques sous-jacentes de lintervention qui ne sont pas explicites a priori. souvent, des hypothses sont formules avant mme ltude de cas, mais elles ne peuvent tre vritablement tayes. lorsque des lments inattendus transparaissent, il est important de vrifier si les autres tudes de cas permettent de dgager une tendance similaire. enfin, cette mthode permet de combiner trois lments, savoir la dimension managriale de lvaluation, sa dimension cognitive et sa dimension pluraliste. la premire met en vidence la place des acteurs dans les processus. la seconde est vidente. toute tude participe en effet laccumulation des connaissances. la troisime trouve sa source dans le fait que ltude de cas permet de recueillir lensemble des points de vue, en intgrant ceux qui bnficient de lintervention, en loccurrence les porteurs des projets, subventionns pour mettre en uvre des actions destination de publics spcifiques.
encadr
Forces de loutil
Ltude de cas : Donne un aperu des processus et des complexits qui sont impossibles dcouvrir autrement Rend compte de la ralit de la dynamique dune organisation Interroge des acteurs peu entendus (ex. : les bnvoles associatifs) Fournit des exemples concrets, du ralisme Permet didentifier des logiques sous-jacentes de lintervention
Leurs limites
toutefois, comme tout outil, ltude de cas prsente des limites, assorties de difficults pour sa mise en uvre sur le plan pratique. en tout premier lieu, la gnralisation peut savrer difficile. il est difficile de sappuyer sur des observations pour aboutir une gnralisation dans un champ o les acteurs se montrent particulirement innovants. le nombre restreint de cas tudis rend cette tape dautant plus complexe. de plus, il faut bien admettre que cet outil nintervient quen complment dtudes plus pousses et dentretiens exploratoires. par ailleurs, ltude de cas impose une tension entre une posture exploratoire, qui exclut dans la mesure du possible les a priori, et une posture confirmatoire. souvent, ltude de cas a vocation confirmer les premiers rsultats qui se dgagent de lenqute. Cependant, il faut noter que certaines tudes de cas peuvent avoir une vocation purement exploratoire. dans le cas des plans rgionaux de sant publique, cest une approche confirmatoire qui avait t retenue, tout en conservant un esprit aussi ouvert que possible.
77
enfin, les biais inhrents cette approche sont les mmes que ceux gnralement cits pour la conduite dentretiens, notamment le biais dempathie et la tentation qui pousse un chercheur entendre ce quil a envie dentendre. seul le professionnalisme permet de les corriger. la rdaction de la monographie impose de conserver une certaine distance par rapport aux propos collects.
Conclusion
en conclusion, je souligne que cet expos se concentrait sur lappropriation des objectifs des politiques publiques. il aurait t possible de se pencher aussi sur lappropriation des rsultats de lvaluation. la question renvoie la dfinition des acteurs, la notion et la place des bnficiaires. dans le cas particulier des plans rgionaux de sant publique, il fallait sinterroger sur la place des usagers dans lappropriation et la conception des objectifs de sant publique. se posaient en loccurrence des questions autour des approches participatives, de leur finalit et de leurs rsultats. pour y rpondre, une approche qualitative semblait indispensable.

78
SYNTHSE
Limites de lintervention du chercheur

le terme mme de recherche-intervention fait intervenir lide dune participation active. le chercheur nest pas un simple observateur, mais il interfre avec les objets de la recherche. quelle rgle suit-il pour limiter son intervention de sorte ce quelle ne se substitue pas aux dmarches inities par les objets observs ? Cette interrogation prend une importance particulire dans le cadre des projets de changement ports par un nombre restreint dacteurs passifs ou rfractaires.
Rponse de M. Moisdon
il est impossible de se dissocier entirement de laction des personnes observes. dans de nombreux cas, le chercheur influe directement sur lobjet tudi. dans dautres, cette influence est limite voire nulle. ds lors, nous estimons que notre intervention na pas vraiment fonctionn. tout de mme, certains dispositifs permettent de saisir limpact du chercheur sur lobjet tudi. Ce dernier nintervient pas pour prsenter sa propre solution. il sinscrit dans un processus de changement prexistant et accompagne les acteurs dans leur plan. il concourt sa ralisation, quil lestime ou non adapte. de plus, il existe plusieurs garde-fous mthodologiques. le principal rside dans le nombre de chercheurs impliqus dans une mme intervention. Jamais un chercheur nintervient seul. dans le cas de la tarification lactivit, ce sont quatre chercheurs qui travaillaient ensemble. Cela permet de confronter les points de vue, car gnralement les lectures dun mme vnement diffrent dune personne lautre. ainsi, un contrle mutuel sinstaure. limplication se gre de manire collective. des runions sont organises intervalle rgulier pour voquer les recherches menes par les autres. les chercheurs sinterrogent entre eux pour recadrer leur activit et mettre des doutes sur les actions entreprises. une gestion fine se met ainsi en place. pour autant, il nest pas simple de ne pas simpliquer au beau milieu du travail des autres acteurs. Cependant, ce nest pas lintervention en elle-mme qui savre intressante, mais uniquement ce quelle rvle de lorganisation. les chercheurs ressentent en effet directement la force ractive. dans le cas dun groupe ptrolier qui avait sollicit notre assistance, le modle thorique choisi savrait particulirement sophistiqu et supposait une organisation compltement intgre dans laquelle les acteurs dialoguent en permanence les uns avec les autres. or le groupe prsentait une organisation en rtelier classique, qui freinait considrablement la mise en place du modle cible. de fait, ces obstacles rvlaient la nature relle de lorganisation, au-del des discours officiels trs matriss. nous avons ainsi mis en vidence un cloisonnement extraordinaire et une activit bureaucratique prgnante. nous avons expos aux responsables les conclusions de notre tude. ils les ont acceptes. pour autant, ils nont jamais su corriger lorganisation pour mettre en place le modle.

79
Effets des interventions dans la dure

Je me demandais si, dans le cadre de vos actions de recherche-intervention, il vous arrivait de pratiquer des valuations terme, un an ou deux ans aprs la fin de votre intervention. Comment vous assurez-vous de lacculturation et de la mise en place effective ? Comment pouvez-vous tre certains quun lment nouveau rsiste lpreuve du temps ?
Cette question est assez cruelle, car, de manire gnrale, nous ne sommes pas vraiment bons dans ce domaine. parfois, nous ne prenons pas le temps dobserver ce qui reste terme dune intervention. nous lavons cependant fait sur le dossier des hpitaux. nous avons, dans une large mesure, particip la construction des pMsi. lorigine, tant mathmaticien de formation, je travaillais sur llaboration de modles pour ces structures. Ces crations taient accueillies avec un vritable enthousiasme et, au final, les rsultats taient quasi nuls. nous nous sommes alors aperus quil manquait un aspect incitatif majeur. lorsque Jean de Kervasdou a import lide du pMsi des tats-unis pour ladapter la France, nous avons accouru. par la suite, nous avons vu les problmes se multiplier. dans le cas de Renault, nous avons travaill 12 ans sur le processus de conception des voitures. nos apports sont en loccurrence importants. les dirigeants de Renault taient persuads de lexistence dun cloisonnement excessif au niveau des techniciens. nous leur avons dmontr au contraire lexistence dun vritable dialogue ce niveau. en ralit, ctaient les savoirs techniques qui posaient problme. dautres interventions savrent beaucoup plus problmatiques. ainsi, je ne suis pas certain des rsultats obtenus au travers de notre intervention auprs des Caisses dallocations familiales. nous avons travaill sur le contrle de gestion sans grand succs. nous sommes prts reconnatre que, sur certaines interventions, il aurait t ncessaire de procder une valuation terme, que nous navons pas mene.
Lgitimit de lintervention
il est vident que lon nobserve pas sans intervenir. Cependant, se pose la question de la lgitimit de lintervention. quel titre et dans quelle mesure un intervenant extrieur peut-il intervenir ? dans le domaine de laction sociale, le recours des monographies est trs frquent. Je pense quil convient alors de sintresser la fois aux domaines o des ralisations importantes ont t identifies mais aussi et surtout ceux o des checs retentissants ont t enregistrs. Mme si le travail de terrain est plus complexe dans le deuxime cas, il permet de mettre en vidence des lments trs intressants.
Rponse de Mme Genin

nous navons pas vritablement pouss lanalyse sur les postures exploratoires. lorsque les processus et les hypothses demeurent mal assurs, il est trs intressant dutiliser

80
une monographie. dans le cadre dvaluations sur des dures trs limites, nous allons lessentiel, savoir les exemples les plus efficaces. il est plus simple dobtenir des rsultats ainsi. Cependant, si nous disposions dun temps plus long pour mener nos tudes, nous nous pencherions sur des checs patents pour enrichir nos conclusions. dans ce cadre, la recherche-intervention reprsente une mthode particulirement opportune.
il faut bien souligner le fait que nous ne dmarchons jamais les organisations. nous ne faisons que rpondre leurs demandes. nous disposons avant toute chose dune lgitimit technique. la gestion sappuie sur des indicateurs, une comptabilit analytique et gnrale et des modles. nous pouvons faire valoir des comptences fortes en la matire. nous nous prsentons ds lors comme des techniciens qui entreprennent une interaction instrumente. Face un projet, nous proposons des indicateurs de suivi. nous avons accumul une masse de connaissances importante, au travers notamment de lectures savantes. Cependant, nous avons des lacunes relles dans certains domaines comme le marketing. audel, nous ne nous contentons pas dtablir des tableaux de bord. nous observons leurs effets, indsirables notamment. les entreprises nous connaissent pour notre capacit analyser en profondeur les grilles de gestion. intervenir, cest toujours intervenir sur la vie des autres. sur la base de ce constat, il faut prendre position. si nous acceptons la mission, nous devons en peser toutes les consquences.
Diffrence entre instrument et politique publique

Je nai pas limpression quil soit possible de comparer la tarification lactivit une politique publique. en effet, une politique publique vise un effet sur les bnficiaires, savoir les usagers de lhpital. la tarification lactivit sapparente davantage pour moi une stratgie.
nous ne nous sommes pas demands si la tarification lactivit relevait vritablement dune politique publique. pour nous, il sagit tout simplement dun objet fascinant qui rentre pleinement dans le cadre de nos investigations. peut-tre sagit-il dun monstre plutt que dune politique publique. en tout tat de cause, je me demande si la tarification lactivit rentre dans le cadre dune politique publique. tout un discours vise en effet la rattacher une politique publique lie au public management. nous considrons les instruments tels quils sont, en ne ngligeant pas le fait quils interagissent avec dautres lments. dans le cas de la tarification lactivit, nous pourrions citer la nouvelle gouvernance. parfois, il est difficile de distinguer les effets de chacun. dans le domaine de la contractualisation interne, en revanche, il semblerait que la nouvelle gouvernance influe plus directement que la tarification lactivit. pour nous, la notion de bnficiaire constitue un lment abstrait. nous nous intressons avant tout aux mdiations gestionnaires. nous nous sentons totalement incomptents

81
pour valuer limpact dun tel outil sur les bnficiaires. la mthode de la recherche-intervention naurait aucun sens dans ce cadre, pour lequel il est ncessaire de mettre en uvre des mthodes plus classiques.
Rponse de Mme Genin

selon moi, la tarification lactivit ne relve pas dune politique publique, ni mme dun programme. il sagit dun outil ou dun instrument impos au service dune politique plus globale. Comment articuler valuation dune politique publique et valuation dune organisation ? les approches et les objets diffrent, selon moi. une politique publique produit des changements sur les bnficiaires mais aussi sur les oprateurs. son valuation est gnratrice de changement et remet du sens dans lintervention. les acteurs sont en effet amens sinterroger sur leurs postures. dans ce cadre, apparat un lien direct avec lorganisation.
Exhaustivit des donnes dans le cadre de ltude de cas

Je suis trs intresse par cette mthode qui consiste concentrer son regard sur quelques objets pour traduire des tendances plus larges. Cependant, je minterroge sur la question de lexhaustivit des donnes recueillies dans le cadre de ltude de cas.
Rponse de Mme Genin

Concernant lexhaustivit des donnes, je tiens prciser que le champ de notre analyse ne portait pas sur les rsultats pidmiologiques auprs des publics. lintrt de lapproche quantitative savrait donc particulirement limit dans ce contexte. nous avons cependant valu le nombre de partenariats et leur dure. dans dautres situations, notamment les tudes de cas sur les entreprises bnficiaires de financements publics, une approche quantitative plus large simpose pour mieux cerner les phnomnes et les rsultats. tout dpend en ralit de lobjet tudi. nous visons lexhaustivit pour comprendre tous les aspects qui influent sur un domaine particulier. Cependant, pouvonsnous rellement prtendre lexhaustivit ? il est envisageable de commencer par les tudes de cas, afin dlaborer ensuite un questionnaire. Cependant, cela aurait signifi que les tudes de cas avaient une vocation essentiellement exploratoire. ainsi, nous aurions cherch uniquement confirmer des hypothses qui seraient apparues dans le cadre des tudes de cas. une telle approche aurait t en loccurrence certainement moins riche. il est inutile de lancer une enqute lorsque lon connat mal le public qui elle sadresse. Grce nos entretiens avec les concepteurs des plans et les rfrents thmatiques des programmes, nous disposions dune bonne connaissance des porteurs de projets.

82
BiBliographie
Bazzoli G., Dynan L., Burns L., Yap C., 2004, Two decades of organizational change in health care : What have we learned ? , Medical Care Research and Review, vol. 61, no 3, p. 247-331. Berry M., 1983, Une technologie invisible, paris, cole polytechnique. Desremeaux A., 2005, Thorie des organisations, paris, ditions eMS. Engel F., Kletz F., Moisdon J.-C., Tonneau D., 2001, La dmarche gestionnaire lhpital, t. II, le PMSI, paris, Seli arslan. Glouberman S., Mintzberg H., 2001, Managing the Care of health and the Cure of Disease , Health Care Manage Review, p. 56-86. Grimand A., de Vaujany F.-X., 2006, repres pour un management de lappropriation des outils de gestion , in Livre P., Lecoutre M., Traor M. (dir.), Management de projet, ditions herms. Hatchuel A., 2000, research, intervention, and the production in knowledge , in Cow up a tree (collectif), ditions iNra. Meah et centre des gestion scientifique de lcole des Mines de Paris, 2008, Organisation hospitalire, approche et expriences, Berger levrault. Minvielle E., 1996, Grer la singularit grande chelle. Comment matriser les trajectoires de patients lhpital ?, thse de doctorat de lcole polytechnique, paris. Mintzbzerg H., 1982, Structure et dynamique des organisations, paris, ditions dorganisation. Moisdon J.-C., 1997, Du mode dexistence des outils de gestion, paris, Seli arslan. Moisdon J.-C., 2006, La recherche intervention : de la prescription lnigme, intervention et savoirs, Conservatoire National des arts et Mtiers, paris Moisdon J.-C., 2008, gouvernance clinique et organisation des processus de soins : un chanon manquant ? , Processus et Organisation des Soins, vol. 39, no 3, p. 175-181. Lenay O., Moisdon J.-C., 2003, Du systme dinformation mdicalise la tarification lactivit : trajectoire dun instrument de gestion du systme hospitalier , Revue franaise de gestion, no 146, p. 131-141. Reynaud J.-D., 1998, Les rgles du jeu, paris, armand Colin. Yin R. K., 1984, Case study research : Design and methods. Newbury park, Ca, Sage.
Partie 4
ASSOCIER
LES USAGERS ET LES CITOYENS
La quatrime sance du sminaire sur les mthodes dvaluation de politiques publiques sest intresse la prise en compte du point de vue des bnficiaires dans lvaluation des politiques publiques. Deux conomistes, Francine Fenet et Audrey Daniel, du Ple politiques publiques et prospective de la ville de Nantes, ont dans un premier temps fait part des expriences dvaluation conduites Nantes en mettant laccent sur la faon dont les besoins et les attentes des populations y ont t intgrs. Dans un deuxime temps, Sylvain Ortis, charg de mission en valuation des politiques publiques au conseil rgional Rhne-Alpes, a prsent les pratiques de la rgion concernant lassociation des bnficiaires et des citoyens au processus dvaluation. Ces deux interventions ont t suivies dun dbat avec la salle.
Limportance de la prise en compte des besoins et attentes de la population dans les valuations
Francine Fenet et audrey daniel (ville de nantes)
Contexte, orientations et partis pris depuis 2004

lvaluation sest retrouve au cur du projet managrial nantes sengage , visant faire voluer le pilotage et les pratiques de laction publique. plutt quune volution des pratiques professionnelles, ce projet managrial avait pour but de prendre en compte de manire plus prcise des besoins et attentes des nantais sur lensemble du champ de comptence de la ville (18 politiques publiques depuis la petite enfance, jusquaux personnes ges en passant par la politique culturelle). toutes les politiques y sont dcrites, en reprenant le contexte, les finalits, les plans dactions et orientations stratgiques. il sagit donc dun cadre prcieux pour rfrencer les dmarches dvaluation des politiques publiques. dans sa lettre de mission au directeur gnral des services, le maire de nantes demandait plus de visibilit sur les rsultats et effets des actions menes. Ces dmarches devaient sinscrire dans le cadre dune nouvelle gouvernance locale, mme dclairer les arbitrages politiques dans le but de corriger et damliorer les actions, les services et les prestations. ainsi, un accent tout particulier a t mis sur les prconisations et leurs mises en uvre.
Lvaluation au sein de la municipalit : une dmarche volontariste, interne, pilote et anime par la Mission valuation
la charge de lvaluation a t confie un groupe constitu dun service ddi (la Mission valuation) et de personnes ressources dans diffrentes directions municipales. le parti pris tait de dvelopper et daccompagner des dmarches dvaluation vise dmocratique, telles que les qualifie lassociation des dpartements de France en 2008. Ces travaux sinscrivent dailleurs dans le droit fil de ceux mens autour de la performance et de la qualit pour la dmocratie locale. ainsi, cest une dmarche volontariste qui sest mise en place en interne, tant la Mission valuation demeure prsente dans laccompagnement du processus. lanimation du dispositif demeure en effet sa charge. le recours des prestataires extrieurs est centr sur la collecte de donnes et la ralisation denqutes. Chaque anne est dfini un programme de tra-
partie 4 - associer les usagers et les citoyens

86
vail prsent en bureau municipal. Ce sont les domaines stratgiques forts enjeux en termes de besoins et dattentes qui sont privilgis ; ou encore des services ou des politiques autour desquels des faiblesses ont t repres. par exemple, la politique lgard des personnes ges se concentrait jusqu rcemment quasi exclusivement sur le placement en tablissement, alors que les nantais rclamaient des actions fortes en faveur du maintien des personnes ges domicile. il a fallu alors redfinir la politique de la ville dans ce sens. un questionnement auprs des personnes ges a mis notamment en vidence des problmatiques disolement et dadaptabilit des logements. sur ces points, la ville demeure en premire ligne et particulirement pertinente dans ses interventions. la Mission valuation demeure proche des directions municipales dans le processus daccompagnement. un lien troit est maintenu en parallle avec les lus, comme cela est souvent le cas au niveau local. le processus est par essence pluraliste et essaie de croiser dans la mesure du possible les points de vue des professionnels et des usagers. le Comit oprationnel de lvaluation auquel est adosse la Mission permet de conserver une certaine distance par rapport aux valuations menes, aux mthodes et la formulation de prconisations, malgr le positionnement de la Mission au cur mme des services de la ville. le processus savre au final assez fructueux. les acteurs sapproprient dsormais de manire collective la dmarche dvaluation des politiques publiques.
La mthodologie retenue
du point de vue mthodologique, la dmarche dvaluation cherche capitaliser de manire systmatique les connaissances existantes, produites par les grandes enqutes de linstitut national de la statistique et des tudes conomiques (insee) au niveau national, mais aussi par la rgion et le dpartement. la ville de nantes observe ainsi les pratiques sur le reste du territoire franais, avant dengager ses propres investigations. au-del de ce travail de synthse documentaire, une personnalit experte du sujet, gnralement un chercheur, est associe aux travaux afin de resituer les politiques publiques de la ville dans un contexte plus global. ensuite, les services essaient dans la mesure du possible de recenser lensemble des effets induits par les politiques publiques. lenqute sappuie en gnral sur diffrents volets complmentaires qui permettent de saisir la ralit dans sa complexit. par ailleurs, nos services ne sont pas attachs une technique dvaluation particulire. toutes les mthodes (enqutes quantitatives, qualitatives, analyse cartographique, diagnostics et modlisations) sont explores et il est fait appel diverses disciplines scientifiques qui peuvent apporter un clairage sur les politiques values, en fonction des questions qui se posent. des disciplines voisines de lvaluation peuvent tre appeles en renfort, limage des outils de gestion. paralllement, nous rinterrogeons les publics cibles sur leurs besoins et leurs attentes. Ces donnes tant rarement disponibles, il nous faut les produire nous-mmes. de plus, des volutions peuvent intervenir assez rapidement. il faut donc procder de manire rgulire des enqutes, qui fournissent une image plus vivante de la socit. des comparaisons sont en outre lances pour vrifier si les rsultats obtenus diffrent de ceux observs par ailleurs, au niveau national ou dans dautres collectivits. nous nous appuyons par consquent sur des questionnaires existants pour tablir nos propres questionnaires. dans le cas de la politique culturelle, nous avons pris pour base de travail lenqute sur les pratiques culturelles des Franais de linsee et celles du Centre de recherche pour ltude et lobservation des conditions de vie (CRdoC) sur les bibliothques locales. Ces questionnaires sont travaills de manire collective. les directions et les partenaires sont donc associs directement, de sorte ce que le processus et les conclusions deviennent plus lisibles et que les rsultats soient moins remis en cause au moment de la restitution. Cela
limportance de la prise en compte des besoins et attentes de la population dans les valuations
87
permet dobtenir une meilleure appropriation des rsultats. au moment du travail sur les prconisations, nous nous nourrissons des expriences menes par dautres collectivits, pour les mettre en perspective. avant de proposer de reprendre une initiative mise en place par une autre collectivit qui nous semble pertinente, nous essayons de mesurer les rsultats obtenus par celle-ci. il sagit de tirer le meilleur parti des expriences menes par dautres. enfin, comme nous voulons assurer une large diffusion des rsultats de lvaluation auprs de lensemble des parties prenantes, il faut croiser et confronter les points de vue des citoyens, des professionnels, des partenaires et des lus. Mme si les intrts sont parfois contradictoires, cest ainsi que se dessinent les prconisations les plus pertinentes.
Illustrations
La politique en faveur de la petite enfance
avec le conseil gnral et la caisse dallocations familiales (CaF) de loire-atlantique, une valuation a t mene entre mars 2006 et octobre 2007 sur laccueil domicile par les assistantes maternelles agres indpendantes. la politique publique municipale en la matire avait pour objectif damliorer la capacit et la qualit des modes daccueil individuels, pour ladapter aux besoins des familles, au moment mme o nous constations une tension trs forte au niveau des structures collectives municipales. beaucoup de demandes restaient en effet insatisfaites et les familles taient franchement frustres. par ailleurs, certaines assistantes maternelles agres indpendantes connaissaient une certaine inactivit. Cela nous donnait limpression que leur offre daccueil ntait pas bien adapte aux besoins des familles. nous avons donc cherch objectiver la situation travers un diagnostic partag. nous nous sommes entendus autour de trois grandes questions. la premire portait sur la mesure quantitative de ladquation entre loffre petite enfance et les besoins des familles. la seconde avait trait une apprciation qualitative de loffre de service propose par les assistantes maternelles. enfin, la dernire question concernait la place du Relais assistantes maternelles (RaM), gr par la ville, dans le cadre de la mise en relation entre assistantes maternelles et familles demandeuses. les partenaires voulaient ainsi interroger les leviers daction qui permettent de favoriser ladquation entre loffre et la demande.
Le pilotage de lvaluation
linstance dvaluation mise en place a travaill sur les outils de collecte des donnes, lappropriation des rsultats et les prconisations. dans le cadre de ce projet, cette instance a associ troitement les diffrents partenaires impliqus dans cette politique, en loccurrence la responsable de la protection maternelle et infantile du Conseil gnral et le directeur de laction sociale de la CaF. Catherine sellenet, chercheuse au CnRs, qui a beaucoup travaill sur les assistantes maternelles, a t choisie comme experte. Ce petit groupe a travaill sur les questions valuatives, slectionn un partenaire charg de lenqute de terrain, suivi les rsultats, construit les outils de collecte et formul les prconisations (schma 4). en parallle, la dmarche a t partage avec les quipes des Relais assistantes maternelles municipaux notamment. elles taient ainsi mises au courant de lavancement des travaux, dans une optique de transparence. les autres partenaires ont galement t informs de lexistence de cette dmarche, travers la Commission dpartementale de laccueil du jeune enfant, qui regroupe la Fdration des particuliers employeurs (FepeM), lunion dpartementale des associations familiales (udaF) et les Mutuelles de loire-atlantique, qui grent

88
des crches associatives. enfin, les fdrations dassistantes maternelles ont elles aussi t associes, pour complter la dynamique. un pilotage politique a galement t mis en place avec les lus rfrents, tout en maintenant un lien fort avec la direction en charge des Relais assistantes maternelles.
Schma 4
Le dispositif de pilotage et de suivi de lvaluation accueil domicile par les assistantes maternelles
Pilotage politique lus + DG + Directeur de projet
Direction du projet Portage de la politique publique Validation de la commande du pilotage et arbitrage des prconisations
Partenaires et socit civile Commission dpartementale daccueil de jeunes enfants (Fepem, UDAF, mutuelles) Fdrations et associations dasmats (Udamsala, Udaafam, Anama)
Information Information du lancement de la dmarche et partage des rsultats et prconisations
quipe projet Direction petite enfance + Mission valuation
Instance dvaluation quipe projet + CG + CAF + Observatoire + Experts
quipes des relais assistantes maternelles municipaux

Suivi de la dmarche (consultation) Complte et amende les outils de collecte, expertise sur les enseignements tirer, partage des prconisations du prestataire pour mise en dbat, ajustement ou enrichissement
Conduite du projet Aimation de la dmarche, suivi du prestataire, organisation de la collecte et du calendrier de la dmarche
valuer ladquation de loffre par rapport la demande pour laccueil domicile par les assistantes maternelles Formulation des questionnements, construction des enqutes, identification des personnes interroger, appropriation et mise en dbat des rsultats et des prconisations
Lorganisation de la collecte des donnes

aprs mise en concurrence, tMo-Rgions/GeRs a t slectionn sur la base dune proposition dcline en plusieurs volets. diffrents modules devaient permettre de rpondre un questionnement complexe recouvrant plusieurs problmatiques diffrentes. au dpart, il sagissait de recenser les places disponibles et le nombre denfants pour lesquels les familles avaient besoin dun accueil prenne. un diagnostic a ainsi t tabli quartier par quartier. Cette premire phase a t complte par un sondage tlphonique auprs de 400 familles comptant au moins un enfant de moins de trois ans, sur la base des fichiers de la CaF de loire-atlantique. Certaines dentre elles avaient recours rgulirement une assistante maternelle, tandis que dautres avaient abandonn cette solution. dautres encore ny avaient jamais eu recours. de la sorte, nous tions en mesure de robjectiver les pratiques globales et les besoins, ainsi que la perception autour de ce mode de garde. Ces lments ont t complts par une enqute postale exhaustive auprs des 1 256 assistantes maternelles indpendantes agres sur le territoire nantais, avec un taux de retour suprieur 60 %, ce qui tait nettement au-dessus de nos attentes. nous voulions mieux cerner les pratiques et la place du Relais assistantes maternelles. en outre, 15 entretiens individuels ont t mens avec des parents qui ne parvenaient
89
pas trouver un mode de garde. Ces familles ont t identifies via les RaM. nous voulions en effet tendre nos investigations au-del du seul cercle des usagers pour y inclure des personnes exclues de ce service, mieux comprendre les difficults daccs et dterminer si celles-ci relvent de problmes dinformation, daccompagnement ou dordre financier. enfin, quatre tables rondes ont t organises : deux autour dassistantes maternelles de plus et de moins de 35 ans, car il tait apparu dans nos premires donnes un positionnement professionnel diffrent entre les plus jeunes et les plus ges ; deux avec les responsables de Relais assistantes maternelles.
Les rsultats
il est ressorti de ces tudes que six familles sur dix privilgiaient laccueil collectif, ce qui explique la tension constante autour de loffre de la ville. les entretiens individuels ont permis de montrer que les personnes qui venaient darriver dans la ville se trouvaient dans une situation plus difficile que les autres, de mme que les demandeurs demploi. Cependant, une famille sur quatre privilgie ds lorigine laccueil individuel. Cette solution souffre tout de mme dun dficit dimage, expliquant la sous-activit rcurrente des assistantes maternelles, notamment des plus jeunes ou implantes dans un quartier o lhabitat social domine. ainsi, nous avions dtermin que 200 places demeuraient inutilises. en 2008, ce chiffre semblait stre fortement rduit, avant de repartir la hausse dernirement. Cette dernire tendance sexplique par la crise et les efforts du Conseil gnral pour dvelopper loffre. Ces volutions rapides nous contraignent ractualiser le diagnostic de manire rgulire. nous avons not par ailleurs que loffre daccueil des assistantes maternelles indpendantes savrait stable. les plus jeunes sinscrivent vritablement dans une optique de professionnalisme, ce qui nous incite investir sur cette solution, dautant que le niveau de satisfaction des usagers savre trs lev. la souplesse quoffre cette solution est en effet grandement apprcie par les familles qui ont des contraintes professionnelles lourdes. nous avons conclu sur le fait que loffre individuelle tait lheure actuelle insuffisamment mobilise. le Relais assistantes maternelles est jug comme efficace aussi bien par les familles que par les assistantes maternelles. Cependant, il ressortait des tudes que ses missions pouvaient tre largies. les partenaires ont travaill sur un ensemble de prconisations avec, pour but premier, de restaurer la confiance et la crdibilit, au moyen dune communication cohrente. il a ensuite t propos de renforcer la fonction dinformation et de conseil des RaM et de dvelopper un accompagnement particulier en direction de certaines familles, comme les nouveaux arrivants ou les familles prsentant des situations professionnelles instables. il tait aussi recommand de dvelopper le conseil la fonction employeur, en lien avec la FepeM. en coordination avec le Conseil gnral et les fdrations dassistantes maternelles, nous avons propos lorganisation dateliers autour de questions relatives aux enfants (sommeil des enfants, secourisme). nous avons prconis aussi la mise en place de passerelles plus nombreuses avec le collectif, au travers notamment dateliers et dactivits partages dans les structures collectives impliquant les assistantes maternelles. Cette action visait en priorit les quartiers o domine lhabitat social. par ailleurs, nous avons propos dtablir un lien avec laccueil durgence qui permet de rpondre aux problmatiques de reprise demploi ou de maladie. enfin, nous avons recommand le dveloppement dactions de soutien loffre, en visant plus particulirement certains quartiers et en reprant les assistantes maternelles qui se positionnent sur des crneaux plus spcifiques (horaires dcals, handicap).

90
La politique de lecture
une autre valuation intressante a t mene sur la politique de lecture de la ville, avec pour objectif doptimiser le service rendu, en prenant en compte les nouveaux besoins. il sagissait de faire de la lecture un bien partag et doffrir tous les publics un meilleur accs aux diffrents lieux de lecture et dexpression. dans son programme, en 2001, le maire appelait renforcer la politique de proximit dans les quartiers et promouvoir les quipements culturels comme levier de mdiation pour tous les publics. paralllement, nous constations un basculement dans la socit internet et la transformation des bibliothques en mdiathques, qui ncessitait un ajustement de la politique premire. en tout premier lieu, nous avons cherch identifier les pratiques et les usages des nantais vis--vis des lieux de lecture et des actions, quelles soient municipales ou associatives, et recenser les besoins et les attentes en matire daccs la lecture et au livre (besoins couverts et non couverts par loffre de lecture existante). plus encore, nous souhaitions identifier les complmentarits dans le maillage de loffre municipale et associative.
Le pilotage de lvaluation
Cest un dispositif de pilotage assez complexe qui a t mis en place (schma 5). lvaluation a cette fois t pilote en interne en associant la directrice des bibliothques municipales, lanimatrice de la politique lecture et la Mission valuation. nous avons en outre eu recours des instances danimation de la politique lecture pour informer et consulter sur cette dmarche. nous avons enfin multipli les changes avec les professionnels des bibliothques municipales et des structures associatives, mais aussi avec les autres acteurs de la ville potentiellement impliqus, comme la direction des personnes ges et la direction de la jeunesse, notamment sur les questionnaires. un volet dinformation a t prvu en direction de tous les partenaires associatifs et institutionnels.
Schma 5
Le dispositif et de suivi pour lvaluation lecture

Syndicats Partenaires institutionnels
(Conseil gnral, tat, ministre de la Culture, ducation nationale)
Pilotage politique
lus + DGC + Directeur de projet Direction du projet Portage de la politique publique Validation de la commande du pilotage et arbitrage des prconisations
quipe projet
Direction dveloppement culturel + Mission valuation Conduite du projet Animation de la dmarche, suivi du prestataire, organisation de la collecte et du calendrier
Associations
(Bibliothque sonore, Accooord, ATD, Rseau dchange des savoirs, Orpan, Mutualit retraite, ADAR, AFEV, ACMNN) Information Information du lancement de la dmarche et partage des rsultats et prconisations
Instance dvaluation
quipe projet + Experts
valuer la politique municipale en faveur de la lecture (co-laboration) Formulation des questionnements, Professionnels Instance transversale construction des outils denqutes, des bibliothques Professionnels aide lidentification interne autour associatives des bibliothques des personnes interroger, de la lecture municipales appropriation et mise en dbat des rsultats et des prconisations Suivi de la dmarche (consultation) Complte et amende les outils de collecte, expertise sur les enseignements tirer, partage des prconisations du prestataire pour mise en dbat, ajustement ou enrichissement
91
Une valuation en quatre phases

tMo-Rgions a t choisi pour produire les lments de connaissance, aprs mise en concurrence. au cours dune premire phase (dcembre 2008-avril 2009), nous avons analys les pratiques et ladquation entre loffre et la demande, par le biais dune enqute tlphonique auprs de 1 100 nantais gs de 16 ans et plus. Cet chantillon se trouvait tre suffisamment large pour tablir une cartographie sociale des pratiques de lecture et de frquentation des quipements. a t lance, par ailleurs, une seconde enqute auto administre auprs des usagers des lieux de lecture (bibliothques municipales ou associatives), afin de dresser une typologie des usages et des pratiques en fonction des diffrents groupes sociaux qui frquentent les bibliothques, mais aussi doffrir une vision plus large sur loffre. une table ronde rassemblant douze usagers de la bibliothque municipale a t, par ailleurs, organise pour voquer les pistes damlioration. nous avons en outre procd un important travail danalyse de nos fichiers de gestion. la deuxime phase (mai septembre 2009) tait centre sur lvaluation des besoins, attentes et actions engages auprs des publics spcifiques. une douzaine dadolescents ont ainsi t envoys deux par deux dans chacune des bibliothques de la ville pour faire part ensuite, lors dune table ronde, de leur ressenti vis--vis de loffre. sagissant des personnes ges, ce sont les professionnels qui ont engag des actions en direction de ces usagers qui ont t interrogs. nous avons prfr nous tourner pour cette partie vers des professionnels plutt que vers des usagers parce que ce champ reste mal couvert. Cest le mme choix qui a t retenu pour les publics loigns de la lecture, ou reprs ainsi par lenqute tlphonique. une table ronde a t organise autour dune dizaine de professionnels. paralllement, une quinzaine dentretiens individuels ont t mens avec des personnes qui staient inscrites gratuitement la bibliothque auprs du Centre communal daction sociale (CCas) loccasion de linitiative lire en fte . nous avons pu ainsi vrifier si ces personnes avaient prennis leur pratique et reprer dventuels problmes. une dernire table ronde a t organise autour de la question de laccs des enfants la lecture en dehors de lcole, runissant des acteurs professionnels ou associatifs intervenant sur les temps priscolaire et extrascolaire. la troisime phase consistait en llaboration des prconisations (octobre 2009). Celle-ci a dbut par un sminaire dune journe dappropriation de lensemble des rsultats collects. le prestataire a organis paralllement une journe de travail avec 15 professionnels pour partager ces rsultats et mettre en dbat les prconisations du comit de pilotage, les ajuster, les enrichir et les hirarchiser. doctobre 2007 juillet 2008 avait t, en outre, mene une valuation des bibliothquescentres de documentation dans les coles primaires. de mme, une stagiaire avait travaill sur le partenariat littraire priv et associatif nantes, en direction de ldition littraire. les rsultats obtenus grce ces tudes ont, bien entendu, t inclus dans le travail de formulation des prconisations. la quatrime phase (novembre dcembre 2009) a correspondu la phase de mise en dbat et darbitrage. dans tous les cas, la mthodologie que nous retenons sarticule autour de plusieurs volets. le citoyen se retrouve systmatiquement associ, mais ces enqutes viennent en appui dautres investigations. les croisements de points de vue et le partage des rsultats nous permettent ensuite daller plus loin.

92
Enjeux et perspectives loccasion du nouveau mandat

Les limites de la dmarche
Ces valuations reprsentent pour la collectivit un processus lourd, qui ncessite un certain volontarisme. nous nous devons de garantir la rigueur. Cest la raison pour laquelle des moyens importants ont t allous la dmarche dvaluation, autour dun service compos de trois personnes. le service dobservation sociodmographique renforce nos analyses et le budget qui est allou cette mission nous permet de recourir des prestataires extrieurs. le Comit oprationnel dvaluation constitue linstance danimation de la dmarche, qui assure notamment la veille en matire dontologique (encadr 3). les valuations ne permettent pas gnralement dapprhender lintgralit dune politique publique. elles se concentrent gnralement sur des aspects prcis. Cependant, brique par brique, les travaux se compltent, permettant de dgager une vision consolide et plus large de ces politiques et de leurs faiblesses. la mise en perspective des rsultats demeure un passage oblig afin de cerner le champ de prconisations oprationnelles. il nest pas toujours simple de trouver des relais au sein de la collectivit pour assurer la mise en uvre de ces prconisations. en effet, celles-ci intgrent parfois des problmatiques de ressources humaines ou de gestion fortes et la direction se retrouve seule assurer le portage des consquences. de fait, parfois, il faut une ou deux annes pour parvenir une mise en uvre effective. il est aussi difficile de capitaliser sur les rsultats dans la dure. nous devons rester particulirement vigilants pour ne pas questionner nouveau des lments qui ont dj fait lobjet denqutes par le pass. enfin, les outils et les disciplines voluent rapidement dans le champ du pilotage des politiques publiques et de leur valuation. il nous appartient donc de trouver des articulations avec les autres dmarches mises en uvre, comme la dmarche performance qui sappuie sur des indicateurs de suivi valuatif, ou les missions dinformation et dvaluation des assembles dlibrantes.
encadr
Contraintes et limites de la dmarche nantaise

Les contraintes de la dmarche :
Un processus lourd , adoss un volontarisme fort Quelques moyens Un questionnement limit Une mise en perspective des rsultats qui reste relativement cadre Un passage de relais encore balbutiant pour la mise en uvre des prconisations Des rsultats difficiles capitaliser dans la dure Des articulations trouver avec les autres dmarches dvaluation : performance (suivi valuatif), missions dinformation et dvaluation des assembles dlibrantes des collectivits territoriales (art.8 de la loi du 27/02/2002 relative la dmocratie de proximit)
93
Et ses perspectives
larrive dune nouvelle quipe municipale en mars 2008 a provoqu quelques bouleversements, avec la nomination dun lu ddi la dmarche dvaluation. il sagit dun adjoint au maire qui suit aussi les finances et le dialogue citoyen (encadr 4). la Mission valuation restait, au cours du prcdent mandat, porte pour lessentiel par lquipe technique. Cest une dimension plus politique qui se met en place aujourdhui. les lus seront associs plus troitement, au niveau de la commande notamment. paralllement, une attention plus grande encore sera porte lavenir sur lexpression des besoins et des attentes des citoyens, dans la mesure o la Mission valuation des politiques publiques se trouve aujourdhui rapproche de la Mission dialogue citoyen, dans le cadre du ple politiques publiques et prospective. de fait, nos quipes travaillent conjointement. il est intressant de noter que la Mission dialogue citoyen relevait autrefois de la communication externe avant dtre intgre dans les politiques publiques. Ce mouvement traduit en ralit un changement dattitude. le dialogue citoyen sinscrivait auparavant dans une logique dinformation. dsormais, il servira la production de politiques publiques. nous voulons que les rsultats soient plus largement diffuss auprs du grand public, avec une communication plus large en amont et au cours de ces valuations. les contraintes budgtaires devront tre mieux prises en compte pour intgrer plus troitement les notions defficience, par le biais de la dmarche performance, ainsi que par lintermdiaire du contrle de gestion. enfin, nous voulons largir lventail des possibles au moment de la formulation des prconisations, grce des mthodes plus prospectives.
encadr
Un nouveau municipe, de nouveaux enjeux

Les perspectives : Un lu ddi, la dmarche des ateliers prospectifs Aller vers davantage dvaluations commandites par le politique Une attention encore davantage porte sur lexpression des attentes et des besoins des citoyens ainsi que dans la mobilisation et la coopration des acteurs sur les enjeux territoriaux Un rapprochement organisationnel avec le dialogue citoyen (vers des valuations participatives, des mthodologies plus inventives) Des rsultats dvaluation plus largement diffuss qui tombent dans le domaine public Un service ressource en charge de la communication externe Des contraintes budgtaires mieux prises en compte (critre de lefficience) Des liens nouer avec la dmarche Performance initie par le contrle de gestion largir lventail des possibles au moment de la formulation des prconisations Initier les mthodologies inhrentes aux dmarches prospectives dans certains contextes ou sur certaines thmatiques
Lassociation des bnficiaires et des citoyens au processus dvaluation des politiques rgionales
sylvain ortis (rgion Rhne-alpes)
Collectivit rgionale et valuation

La spcificit de laction rgionale
la collectivit territoriale rgionale est compose de deux assembles : le conseil rgional et le Conseil conomique et social rgional (CesR). le conseil rgional est compos de 157 lus rgionaux, lu au suffrage universel direct par dpartements. la rforme en prparation pourrait modifier le mode de scrutin. le prsident de cette assemble dirige lexcutif. le Conseil conomique et social rgional (CesR) est une assemble consultative, qui reprsente la socit civile organise. ses 116 membres sont associs de trs prs au processus dvaluation. ladministration rgionale compte environ 1 100 agents. en intgrant les personnels techniciens, ouvriers et de services (tos), nous atteignons un total proche de 5 000 agents. son budget slve 2,47 milliards deuros. ses comptences principales rsident dans la construction et lentretien des lyces, la formation continue, lapprentissage et le transport ferroviaire de voyageurs. les rgions se distinguent des autres collectivits notamment par leurs modes dintervention. trois types de ralisation (encadr 5) peuvent tre reprs : le soutien financier apport des acteurs ; le financement du fonctionnement de services publics rgionaux confis des tiers ; la prise en charge par la rgion de projets en ralisation directe. il faut savoir que cette dernire reprsente le mode daction le moins rpandu pour les rgions. parmi les services publics confis des tiers, il faut bien entendu voquer les trains express rgionaux (teR) de la snCF, tandis que la principale ralisation directe demeure la construction de lyces. deux modes de gestion peuvent de mme tre distingus, dune part lattribution de subventions (y compris les dotations) et la gestion directe.

96
encadr
Trois types de ralisation ou produits finis

Les modes dintervention des rgions : 1. Soutien financier apport des acteurs Aides la cration dentreprises Aide la modernisation de lhtellerie rurale 2. Financement du fonctionnement de services publics rgionaux confis des tiers Fonctionnement du transport ferroviaire des voyageurs (TER) Fonctionnement des lyces 3. Prise en charge par la Rgion de projets en ralisation directe Construction des lyces publics
Spcificits de lvaluation des politiques rgionales

Ce recours trs frquent des tiers loigne la rgion des bnficiaires ultimes des politiques et des citoyens, ce qui induit des problmes particuliers dans lvaluation. Comment, en premier lieu, ajuster en connaissance de cause les modalits de mise en uvre dune politique publique ? la rponse passe par un suivi systmatique et continu, ds ladoption dune nouvelle politique, des ralisations de laction rgionale et un bilan priodique de lexcution des politiques rgionales, destination des lus. Comment, en second lieu, amliorer les politiques pour quelles rpondent mieux aux besoins identifis ? Cest ce niveau quinterviennent les valuations, qui portent en cours de mandature sur les actions lances au dbut de celle-ci. Celles-ci sont compltes par des valuations de fond, qui permettent de rorienter ou de redfinir des politiques complexes mises en uvre depuis au moins quatre ans. la rgion Rhne-alpes faisait partie des pionniers en matire dvaluation, puisque les premiers travaux de ce type ont t entrepris ds 1992. le dispositif a t revisit deux reprises, dont la dernire fois en 2005, avec larrive du nouvel excutif. Celui-ci a vot une dlibration concernant lvaluation et qui fixe une srie de principes respecter.
Les cinq principes de lvaluation en Rhne-Alpes

parmi ceux-ci figure, tout dabord, la prpondrance du politique. les valuations manent du prsident et des vice-prsidents. les mandats dvaluation sont vots par le Conseil et un dbat sur la dmarche gnralise dvaluation se tient chaque anne. au cours de ce dbat, toutes les valuations conduites sont prsentes lassemble et les conclusions et recommandations sont discutes. Chaque tape (avant, pendant et aprs lvaluation) donne lieu un dbat dans les commissions thmatiques spcialises, qui rassemblent une vingtaine dlus rgionaux. Cette prpondrance du politique trouve sa logique dans le fait que cest lexcutif qui dcide des volutions apporter.
lassociation des bnficiaires et des citoyens au processus dvaluation des politiques rgionales
97
limpartialit constitue la deuxime exigence. tous les travaux dvaluation sont raliss par des prestataires externes. le pilotage est confi un groupe ad hoc, qui est prsid par une personnalit extrieure linstitution. il sagit donc dune personne qui connat la politique value, mais qui na pas dintrt direct dans celle-ci. Ce ne sont donc pas les vice-prsidents en charge de la politique publique value qui prsident le comit de pilotage, comme cest le cas dans dautres collectivits. enfin, chaque rapport dvaluation est soumis lavis dexperts en valuation de politiques publiques. la diffusion de la culture dvaluation et des rsultats des travaux constitue une troisime exigence. les lus et les services sont ainsi amens suivre des formations et la Rgion participe des colloques et manifestations diverses. louverture la socit civile constitue la quatrime exigence. Celle-ci se traduit par lintgration dune dizaine doprateurs et de bnficiaires dans chaque comit de pilotage. la dmarche dvaluation doit sarticuler avec les principes de la dmocratie participative. la diffusion des rsultats et lassociation du CesR (Conseil conomique et social rgional), consult en amont de lvaluation et inclus dans le comit de pilotage, sinscrivent dans le cadre de ce quatrime principe. enfin, le dernier principe a trait la cohrence densemble de cette dmarche. le pilotage de la dmarche est confi un Comit de suivi de la dmarche dvaluation compos de deux collges (les reprsentants des groupes politiques du Conseil et des experts en valuation des politiques publiques). lvaluation doit aussi sarticuler avec dautres dmarches transversales : dveloppement durable ; territorialisation des politiques ; juste reprsentation des sexes, des ges, des catgories socioprofessionnelles ; complmentarit avec le comit de suivi et dvaluation des fonds accords aux entreprises.
Association des bnficiaires aux valuations des politiques rgionales

les bnficiaires sont associs au comit de pilotage, qui constitue un groupe ressources pour lvaluateur, dans la mesure o il rassemble toutes les parties prenantes de la politique value. ils sont aussi associs aux investigations, avec pour objectif de recueillir leur point de vue.
Lexemple de lvaluation de la carte Mra !

le cas de lvaluation de la carte Mra ! illustre bien cette politique dassociation des bnficiaires (encadr 6). la carte Mra ! est distribue gratuitement tous les lycens, apprentis et jeunes dpendant des missions locales. elle offre un certain nombre davantages dans les domaines du sport, de la culture et lachat des manuels scolaires. quelque 5 000 partenaires ont t conventionns et lon dnombre 300 000 bnficiaires (encadr 7). la distribution de cette carte vise concourir lgalit des chances, dvelopper laccs un bon niveau de formation et la culture ainsi qu favoriser la pratique sportive (schma 6).

98
encadr
Le fonctionnement de la carte Mra
Modalits daction de la Rgion

Aide lachat de manuels scolaires Aide pour lachat dun livre loisir Financement dun abonnement de 6 places de cinma dart et dessai Aide lachat dun abonnement et/ou de places dentre dans tous les sites culturels de spectacle vivant et festivals partenaires Gratuit daccs dans les lieux dart et de savoirs de la rgion (muses, sites patrimoniaux, centres dart, lieux de mmoire) Aide la prise dune licence sportive auprs des instances sportives fdrales ayant sign une convention cadre avec la Rgion
Fonctionnement
Publics ligibles
Remise aux bnficiaires dune carte puce pluriannuelle et gratuite Carte utilisable dans les librairies, les associations de parents dlves et lensemble lieux culturels et sportifs conventionns avec la rgion Systme de paiement install chez les partenaires agrs par la rgion (libraires, associations, salles de cinma, de spectacle, muse) Pour les manuels scolaires : lves et apprentis scolariss dans un tablissement de formation initiale relevant de la comptence de la rgion ou prparant un diplme, une formation complmentaire dinitiative locale, ou un titre homologu de niveau V ou IV, ou encore frquentant une classe de 3e dcouverte professionnelle/insertion, 3e ou 4e technologique, une section denseignement gnral et professionnel Publics complmentaires pour les avantages culture et sports : jeunes inscrits en BTS, classes prparatoires et formations post-bac intgres, dans des structures pour la jeunesse handicape (IME, IMPRO, IMP), des structures de placement en hbergement (avec inscription dans un cursus de formation), des missions locales et PAIO.
encadr
7 Montant maximum davantages mobilisables par carte : 198 euros (hors gratuit daccs dans les lieux dart et de savoirs) Montant moyen par jeune ligible aux manuels scolaires : 73 Montant moyen par jeune hors manuels scolaires : 17 Taux de transformation des avantages Manuels scolaires : 85 % Livre loisir : 40 % Cinma : 36 % Spectacle vivant : 24 %
La carte MRa en chiffres

2005-2006 : 295 000 bnficiaires Environ 16,5 millions deuros par an pour les manuels scolaires Environ 3,4 millions deuros par an pour le volet culturel Environ 1,3 million deuros par an pour le volet sport
99
Schma 6
Synthse de la logique daction pour la carte Mra !

Ralisations rgionales Rsultats court et moyen terme
Le cot des manuels scolaires diminue pour les jeunes et leur famille Volet manuels scolaires Aide lachat de manuels scolaires Les jeunes et leur famille sapprovisionnent auprs des libraires et des fdrations de parents dlves conventionns (bourses aux livres) Le cot dune licence sportive diminue pour les jeunes Le cot daccs loffre culturelle est nul ou diminue pour les jeunes Les jeunes sont incits frquenter des tablissements culturels conventionns RRA Les manuels scolaires deviennent gratuits ou presque gratuits Les rseaux des libraires et des fdrations de parents dlves sont conforts Les jeunes sont incits adhrer un club sportif conventionn et la pratique sportive fdrale se dveloppe Les jeunes issus de milieux dfavoriss ont plus facilement accs la culture et au sport Les jeunes sont incits diversifier leurs pratiques culturelles Les jeunes issus de milieux dfavoriss (socialement et gographiquement) sont informs des avantages de la Carte et incits lutiliser Tous les Rhnalpins ont connaissance de lexistence et des avantages de la Carte
Impacts long terme

La scolarit tend devenir gratuite Une filire conomique est conforte et maintenue sur tout le territoire rhnalpin La vie associative et le dveloppement du lien social sont favoriss
Volet sport Aide la prise dune licence annuelle dans un club sportif Volet culture Aide lachat de livre loisir Financement de 6 places de cinma Financement dentres dans les muses de Rhne-Alpes Aide lachat de places ou dabonnements pour les spectacles vivants Volet communication Mdiateurs culturels Communication institutionnelle vers le grand public
Les jeunes ont des pratiques culturelles et sportives rgulires, prennes, diversifies et de qualit Lgalit daccs des jeunes aux avantages de la Carte est favorise Sur lensemble des territoires, les Rhnalpins identifient la Carte MRA ! comme une ralisation rgionale
Les mdiateurs impulsent une dynamique individuelle et collective dutilisation du volet culture de la Carte MRA ! Le grand public est inform de lexistence du dispositif, de son fonctionnement et des avantages qui lui sont lis
pour la rgion, le cot savre assez important, aussi bien au niveau des prestations que de la gestion. il a donc t dcid den valuer les rsultats. le comit de pilotage se compose de : un prsident (inspectrice dacadmie en retraite) ; sept reprsentants des groupes politiques du conseil rgional ; deux reprsentants du CesR ; deux citoyens non bnficiaires ; quatorze bnficiaires directs et indirects de la politique. Ces mmes acteurs se retrouvent dans la phase de recueil de donnes. plusieurs mthodologies ont t mises en uvre : des entretiens en face--face avec des oprateurs et des bnficiaires, des entretiens tlphoniques et des enqutes en ligne destination des anciens bnficiaires. Cet accent mis sur les anciens bnficiaires avait pour ambition de dterminer si cette carte avait induit de nouvelles pratiques. par ailleurs, des runions de travail ont t organises avec le Conseil acadmique de la vie lycenne pour travailler sur les recommandations, de mme que des focus groups dans les lyces. nous prfrons en effet que les prconisations soient discutes ouvertement par les acteurs, plutt quelles ne soient formules et votes directement en chambre.
Association des citoyens aux valuations de politiques rgionales

Les bnficiaires ne sont pas les seuls intresss
lassociation des citoyens aux valuations des politiques rgionales a t initie en juin 2005 mais beaucoup reste accomplir. ainsi que le remarquait Jean-Jack queyranne, prsident du

100
conseil rgional, loccasion des Journes franaises de lvaluation organises lyon en 2006 : Le citoyen est toujours le destinataire final des politiques publiques, mais il est de plus souvent lecteur et contribuable, ce qui fait de lui aussi, en quelque sorte, le commanditaire et le financeur de ces politiques. Il a donc toute lgitimit tre associ aux dmarches dvaluation. nous estimons ainsi que les bnficiaires ne sont pas les seuls intresss par une politique publique. prenons lexemple de lenseignement suprieur. les tudiants ne doivent pas tre les seuls tre consults. les parents, les anciens tudiants, les citoyens engags doivent pouvoir faire valoir leur point de vue. au niveau dune grande rgion, il est difficile dinterroger tous les citoyens individuellement. nous voulons tout de mme les associer largement, avant, pendant et aprs lvaluation. Cest pourquoi nous avons convi en 2006 un panel de 30 citoyens se pencher sur cette question.
L exprimentation citoyenne et ses conclusions

Ce groupe a produit un avis remis au Conseil rgional et la socit franaise dvaluation. il dessine des pistes multiples sur les attentes du public quant la manire de lintgrer dans lvaluation. lexprimentation citoyenne, qui a trouv sa concrtisation dans la runion de ce groupe de citoyens, sest dcline suivant cinq phases (encadr 8). la premire a consist en la slection des citoyens, qui ont d tre ensuite sensibiliss sur les principales notions dvaluation des politiques publiques. ils ont ensuite particip aux travaux des 7es journes franaises de lvaluation. un certain nombre de runions de debriefing ont ensuite eu lieu, avant la production de lavis en juillet 2006. le travail a t organis autour de trois grandes rflexions : quelle est la place du citoyen dans lvaluation ? quel intrt voir son rle se renforcer ? quel pourrait tre le rle des citoyens tout au long du processus dvaluation ? quelles sont les conditions remplir pour que les citoyens puissent occuper la place souhaite ? dans leur rapport, les membres du groupe dclarent : Nous pensons donc que le rle des citoyens dans lvaluation nest pas dexercer un contre-pouvoir par rapport ceux qui dtiennent le pouvoir ; il est dapporter un point de vue supplmentaire dans lvaluation, au mme titre que celui des lus, des gestionnaires, des experts et des autres acteurs, pour enrichir le processus de dcision ultrieur. pour mettre en uvre cette recommandation, nous avons dcid entre autres dassocier des citoyens aux comits de pilotage. par ailleurs, les auteurs notent : Une valuation plus citoyenne ne doit pas devenir une somme dintrts particuliers. Chaque citoyen pris isolment na quun angle de vue spcifique et ce nest que lintelligence collective des citoyens qui fonde une vision plus complte et plus complmentaire des politiques publiques. peut-tre plus importante encore est la conclusion de ce document : Nous voudrions indiquer que nous ne proposons pas de mettre en place une valuation citoyenne ct dune valuation dexperts. Nous voulons mme bannir ce terme dvaluation citoyenne. Ce que nous voulons, cest participer lvaluation des politiques publiques qui doit rester un seul processus, enrichi par la participation des citoyens. ils conoivent ainsi lvaluation comme un ensemble cohrent et rfutent lide dune valuation parallle effectue par les citoyens. Cest le parti pris que nous avons retenu, en cartant notamment lide des jurys citoyens.
101
encadr
Lexprimentation citoyenne : modalits de mise en uvre

Objectif de lexprimentation Permettre lexpression dun point de vue citoyen sur lvaluation des politiques publiques Mise en uvre de lexprimentation en 5 phases 1. Slection des citoyens pour participer lexprimentation (avril et mai 2006) 2. Sensibilisation du groupe citoyen aux principales notions dvaluation des politiques publiques 3. Participation du groupe aux travaux des 7es journes franaises de lvaluation (JFE) 4. Runions de dbriefing aprs les 7es JFE 5. Production dun avis citoyen relatif lvaluation des politiques publiques (juillet 2006) Lors des JFE, les citoyens ont particip lensemble des tables rondes, des ateliers et agoras au mme titre que les autres congressistes Le groupe a structur sa rflexion autour de 3 grandes interrogations Quelle est la place du citoyen dans lvaluation ? Quel intrt voir ce rle renforc ? Quel pourrait tre le rle des citoyens tout au long du processus dvaluation ? Quelles sont les conditions remplir pour que les citoyens puissent occuper la place souhaite ?
La mthode retenue pour associer les citoyens

de ces conclusions, il est ressorti quil tait possible dimpliquer les citoyens dans le choix des thmes dvaluation. Cette option na cependant pas t retenue, car nous considrons quil sagit dune dcision politique, la main de lexcutif. de plus, seuls les grands dispositifs ont vocation tre valus. au cours de la deuxime tape, celle de lvaluation proprement dite, il a t dcid dintgrer dans les cahiers des charges une clause sur lassociation des citoyens (schma 7). le prestataire doit donc intgrer dans sa mthodologie le recueil du point de vue des citoyens. Gnralement, cela se traduit par une enqute par tlphone. pour lheure, nous restons quelque peu dus par ce manque doriginalit et dinitiatives. nous avons aussi dcid de mettre en place des confrences citoyennes en parallle de lvaluation, et nous avons intgr depuis 2006 des citoyens dans les comits de pilotage ad hoc. dun ct, ils apportent une vision diffrente et participent pleinement aux dbats. de lautre, au milieu dune trentaine dexperts, il nest pas simple de simposer. pour viter cela, ils sont runis avant la premire sance du comit pour mieux comprendre la politique, la logique daction et les buts de lvaluation. enfin, un travail a t entrepris sur la communication des rsultats des valuations. les rapports sont tous disponibles, mais ils restent peu accessibles au grand public. Cest pourquoi nous essayons de les rendre moins complexes et de dvelopper des outils de communication appropris.

102
Schma 7
Quand et comment associer les citoyens lvaluation ? Les orientations retenues

Avant lvaluation Association des citoyens sur les thmes dvaluation
Intgrer dans les cahiers des charges des valuations une clause sur lassociation des citoyens lvaluation Pendant lvaluation Organisation dune confrence citoyenne en parallle des travaux de lvaluation Intgrer des citoyens dans les groupes ad hoc chargs de piloter les valuations
Aprs lvaluation
Communiquer plus largement (site Internet de la rgion, 4 pages) !
Il est aussi possible denvisager de constituer, pour une priode dune ou deux annes, un groupe ressources de citoyens volontaires En place dans la rgion depuis lexprimentation En cours En cours de rflexion et de structuration
la place des citoyens dans lvaluation des politiques rgionales a ainsi t introduite tout dabord avec la constitution en 2006 du groupe compos de trente citoyens (comme on la vu plus haut). il sagissait l dun premier pas vers une association plus troite des citoyens, au mme titre que leur inclusion dans les groupes ad hoc. parmi les axes de dveloppement, on peut citer la rflexion mene sur la communication des rsultats de lvaluation et lvaluation en cours de la politique rgionale en faveur de la dmocratie participative.
Les enseignements de lexprience rhnalpine

nous avons vritablement ressenti un apptit citoyen pour lvaluation des politiques publiques, comme la dmontr lexprimentation citoyenne de 2006. les citoyens qui font partie des comits de pilotage sont pour linstant choisis de manire systmatique parmi les 30 membres du groupe de lexprimentation citoyenne, car ils sont dj sensibiliss aux questions dvaluation. la question de la reprsentativit des citoyens dans les instances a t largement aborde cette occasion. la reprsentativit est dj une ralit au sein de certaines instances comme le CesR. Cependant, au niveau de la reprsentation des citoyens organiss, nous constatons dune part une certaine drive lobbyiste et dautre part dune drive intuitu personae, qui pousse certains reprsenter leur personne avant de reprsenter leur groupe. de plus, nous observons que certaines catgories sont surreprsentes par rapport dautres. au niveau de la reprsentation des citoyens non organiss, le risque de drive intuitu personae est plus vident encore. des questions se posent galement concernant la constitution des chantillons.
103
les citoyens rhnalpins ont montr un apptit certain et veulent tre informs des rsultats de lvaluation (encadr 9). Cependant, la complexit des sujets rend difficile la communication. tout reste faire sur ce plan pour rendre lisibles et complets les rapports dvaluation.
9
encadr
Les enseignements de lexprience rhnalpine

Apptit citoyen pour les valuations de politiques publiques Succs de lexprimentation citoyenne et des appels candidatures pour participer aux diffrents groupes ad hoc constitus lors des valuations Pr-requis ncessaires quant la connaissance des politiques values Une sance dinformation et de formation spcifique Reprsentativit citoyenne : un idal hors de porte ? La reprsentativit des citoyens organiss (socit civile organise) Drive lobbyiste et drive intuitu personae ? Catgorie surreprsente au dtriment dautres (demandeurs demplois) La reprsentativit des citoyens non organiss Modalits de constitution dchantillons de citoyens pour les tirages au sort Risque de lintuitu personae ? Communication et diffusion des rsultats des valuations : tout reste faire ! La transparence lpreuve du dbat politique Des sujets abrupts et complexes rendre lisibles et concrets
Lexemple de lvaluation de la politique en faveur de la dmocratie participative

pour terminer, je souhaiterais voquer la dernire valuation en cours, autour de la politique en faveur de la dmocratie participative. il nous paraissait tout naturel dassocier trs troitement les citoyens cette valuation concernant une politique lance en 2005. elle vise subventionner des porteurs de projets (associations et autres collectivits territoriales) et organiser des ateliers citoyens sur diverses thmatiques. Ces derniers ont pes de manire remarquable dans la construction de nouvelles politiques publiques. un rseau rgional de dmocratie participative a t mis en place, avec 250 acteurs qui se runissent rgulirement pour changer sur leurs pratiques autour de cette question. des rencontres multiples ont en outre t organises dans ce cadre. trois grandes questions valuatives se posent : dans quelle mesure la dmarche rgionale a-t-elle permis de renforcer lintrt des citoyens pour la vie politique et laction publique ? en quoi la politique rgionale de dmocratie participative a-t-elle modifi les politiques et les pratiques de la Rgion et de ses partenaires ? quel est leffet du soutien rgional auprs des porteurs de projets et de leurs publics cibles ? de manire trs originale, un atelier de rflexion a t mis en place pour enrichir le travail dvaluation. il se compose de deux groupes avec, dune part, vingt citoyens rhnalpins tirs au sort et, dautre part, 20 lus du territoire rgional. il est noter ce propos quil nous a fallu appeler 2 500 personnes pour trouver les 20 citoyens qui acceptent de participer cet atelier. les contraintes imposes aux personnes slectionnes taient en effet assez lourdes, puisquelles devaient se rendre disponibles trois week-ends daffile. elles

104
ont travaill autour de la question : associer les citoyens la politique rgionale : quel sens cela a-t-il ? il ne sagit donc pas dune question valuative, mais dune question gnrale et prospective. Ce travail servira essentiellement la formulation de recommandations. le prestataire juge lavis des citoyens particulirement intressant. il est probable que nous renouvellerons cette exprience dans le futur, dans le cadre dautres valuations.

105
SYNTHSE
Le choix des valuations

Questions de la salle
nantes, comme au niveau de la rgion Rhne-alpes, le choix des valuations est laiss lexcutif. vous cartez linitiative citoyenne en la matire. Cependant, une diffrence apparat entre les deux approches. il semblerait que la ville de nantes value une politique avec une ide prcise de laxe amliorer. lyon, lvaluation sert essentiellement vrifier le bon fonctionnement dune politique et corriger dventuels dfauts, sans a priori sur leur nature. quels sont en fait les lments dont disposent les lus avant de dcider dune valuation? Comment choisissent-ils les thmes des valuations ? sagit-il dun choix uniquement politique ou orient par des tudes prexistantes ?
Rponse de Mme Fenet

il est vrai qu la ville de nantes, les valuations sont souvent lances partir dun constat dinsatisfaction. Ce sont des ptitions dusagers ou des rencontres avec les citoyens qui permettent dalerter sur un problme particulier. llu est donc directement interpell et peut dterminer sil est ncessaire de lancer une dmarche dvaluation. Cette dernire va permettre dobjectiver les difficults et de dtecter les ventuelles pressions provenant de lobbies. parfois, les conclusions de lvaluation sont loppos des a priori que nous avions avant le lancement de lvaluation. ainsi, nous pensions au dpart que les assistantes maternelles taient mal implantes gographiquement et que les horaires ntaient pas adquats. Ces lments ne se sont pas retrouvs dans le diagnostic aprs valuation. souvent, les bons diagnostics sur la situation ne suffisent pas pour dterminer les bonnes solutions. par exemple, dans le cas du maintien des personnes ges domicile, nous ne savions pas a priori comment rpondre aux manques qui semblaient vidents en la matire. le travail dvaluation a permis dlaborer des rponses oprationnelles, dans les domaines de ladaptation des logements sociaux, de la lutte contre lisolement et de laide aux aidants.
Rponse de M. Ortis
le Conseil rgional ne prend pas en compte les demandes des populations en matire dvaluation, mais les associe troitement au processus jusquau moment de la construction de la politique. il est clair que les directions oprationnelles ne se lancent pas dans une valuation sans a priori. Cela semble bien naturel et fort sain. lvaluation aura le mrite dobjectiver et de dcouvrir de nouveaux lments. le fait quun lment externe ladministration mette ses conclusions par crit prend une valeur importante. le contrle de gestion fournit des lments importants sur les ralisations plutt que sur les rsultats. Cest la mise en uvre qui se retrouve au cur du dbat dans le cadre de cette dmarche. les lments qui en ressortent nindiquent en rien si les objectifs ont t atteints. Cependant, ils savrent tout de mme ensuite trs utiles lvaluateur, notamment les bilans physico-financiers.

106
Complment de Mme Daniel

la dmarche performance instaure un systme de veille permanent, qui a notamment vocation mettre en vidence des difficults, qui peuvent ensuite donner lieu une valuation. le travail visant mettre au point une batterie dindicateurs a dbut en 2006. nous navons pas encore le recul suffisant pour faire en sorte que ce systme puisse concourir au dclenchement dvaluations. il est probable que cela ne soit pas vritablement le cas terme. dans le sens inverse, il tait prvu que la Mission valuation concoure la mise au point dindicateurs pour le suivi valuatif. Ce travail semble en meilleure voie. dans le cadre de lvaluation sur la politique de lecture, le contrle de gestion a t associ pour dterminer si les rsultats recueillis peuvent alimenter ce service.
Le champ de comptence des valuations

souvent, les besoins des citoyens dbordent du champ de comptence dune seule collectivit. Comment rsoudre le dilemme qui se pose ds lors ?
Rponse de Mme Fenet

pour contourner ce problme, il apparat essentiel dassocier les autres collectivits et partenaires qui disposent de leviers sur une politique publique donne. en effet, bien souvent, la politique publique mene sur un territoire est la rsultante de la mobilisation de divers niveaux et acteurs. llaboration du cahier des charges et le pilotage de la dmarche sont raliss en relation troite avec ces acteurs. ainsi merge un plan dactions partag. en ce qui concerne les assistantes maternelles, la ville agit essentiellement par le biais du RaM, alors que le Conseil gnral dispose dune comptence forte en la matire. beaucoup de recommandations sadressaient essentiellement ce niveau. nous menons en ce moment une valuation sur les modes de garde et les freins lemploi. pour celle-ci, la mission locale et la Communaut urbaine sont troitement associes. bien entendu, cette imbrication de diffrents niveaux rend le pilotage plus dlicat.
La mthode dvaluation
Questions de la salle
la palette classique des outils se retrouve de part et dautre, autour denqutes, dtudes statistiques, dinterrogations multiples et de runions avec des partenaires. aprs vos exposs se pose la question de lexternalisation et de son opportunit. bien souvent, les prestataires extrieurs nont pas de mthode prdfinie en vue de lanalyse des donnes qualitatives ou quantitatives. pour votre part, avez-vous arrt des consignes claires en la matire dans le choix de ces prestataires ?
Rponse de M. Ortis
les valuations sont externalises et le Conseil rgional nest que commanditaire. Ceci permet de nous dgager des pressions administratives et politiques. nous partons du principe

107
que les conclusions ne simposent pas lexcutif. lvaluation nest perue que comme une aide la dcision. de fait, de nombreuses recommandations ne sont jamais mises en uvre, mais nous ne censurons en aucun cas le prestataire. lexistence dun service ddi lvaluation constitue un garde-fou pour nous prmunir des pressions. Ce service joue un rle de tampon entre la direction oprationnelle et le prestataire. nous nous assurons ainsi que le travail sera men de la faon la plus objective et impartiale possible. le fait dassocier les lus de lopposition toutes les tapes (vote du mandat et participation au comit de pilotage) constitue une autre garantie, mme si au final, les dcisions appartiennent lexcutif. de mme, la dmarche densemble est pilote par un comit de suivi de la dmarche de lvaluation, prsid par un lu de la majorit, mais il compte parmi ses membres un lu de chaque groupe reprsent au Conseil. nous sommes confronts aux problmes que vous soulevez en matire de construction et danalyse des donnes. ce propos, au moment du choix du prestataire, nous privilgions les groupements dentreprises face aux professionnels de lvaluation. souvent, les valuateurs professionnels se retrouvent ainsi contraints de sadjoindre les services dun cabinet spcialis dans le domaine qui est valu.
Rponse de Mme Daniel

en tant que mission dvaluation, nous nous fixons pour objectif de garantir la neutralit vis-vis des prestataires externes. Ceci nest pas simple, car il sagit dacteurs qui collaborent de manire frquente avec la ville et qui nouent des relations avec ses reprsentants. pour que lanalyse soit la plus distancie possible, nous nhsitons pas inclure des lments omis par le prestataire. Cest ensemble que les acteurs prservent une certaine distance vis-vis du politique. Je voudrais maintenant revenir sur la question du choix des mthodes par les prestataires. nous sommes trs exigeants sur les mthodologies au moment de la slection du prestataire. nous restons de mme trs vigilants au moment de la remise des conclusions. nous avons renforc la comptence tudes de la Mission valuation, en ce qui concerne les tudes qualitatives comme les tudes quantitatives. par ailleurs, nos experts extrieurs, en provenance du CnRs pour lessentiel, disposent de comptences propres. nous savons nous montrer trs pointilleux en la matire pour garantir une certaine rigueur. Cependant, nous commenons bien connatre les prestataires et les Cv des intervenants. nous en discutons ensemble au niveau de la mission, sans mettre toutefois ces questions en dbat au sein du comit de pilotage, car cette instance sintresse peu ce type de problmes.
La participation des citoyens

nous cherchions aujourdhui savoir comment intresser les citoyens au processus valuatif et lapport de celui-ci dans ce cadre. Ce sujet na pas t pleinement explor dans vos prsentations. quest-ce quun citoyen et comment le faire participer rellement ? sylvain ortis, vous avez voqu les difficults que vous rencontriez pour recruter des citoyens. il vous a ainsi fallu appeler plus de 2 000 personnes pour recruter un groupe de vingt volontaires. Je me demande cependant si vous avez adopt une mthode de slection particulire, afin dobtenir un panel reprsentatif. en effet, le hasard risque dintroduire des biais dans les rponses de linstance.

108
Rponse de Mme Daniel

il faut distinguer plusieurs modes dassociations des citoyens. dune part, il est possible de recueillir les points de vue, par le biais denqutes notamment. dans ce cadre, il est important de prserver la reprsentativit. dautre part, nous pouvons aussi associer les citoyens au pilotage de lvaluation. ce niveau, il semble difficile de constituer des chantillons reprsentatifs. Cest plutt le principe de la diversit que nous retenons alors. nous avons test cette modalit sur la question du logement des jeunes. nous avons slectionn des jeunes qui faisaient partie du Conseil nantais de la jeunesse. ainsi, nous savions que nous allions inclure des personnes engages qui souhaitaient que leur voix soit entendue. ils apportent une distance supplmentaire dans nos questionnements et renforcent la pertinence de la dmarche.
Rponse de M. Ortis
sans tre statisticien, jai beaucoup de mal croire quun groupe de vingt citoyens puisse tre rellement reprsentatif de 6 millions de personnes. nous ne recherchons pas en fait la reprsentativit, mais la diversit des profils. pour la constitution de ce groupe, la prestation a t externalise et confie ipsos, car nous ne disposions pas des comptences en la matire. nous avions cependant dict des critres, afin dassurer la mixit concernant le dpartement dorigine, la catgorie socioprofessionnelle, le sexe et lge.
La diffusion des rsultats

dans quelle mesure lvaluation peut-elle servir directement au citoyen ? vous inscrivez cet lment dans une logique managriale, daide la prise de dcision, mais dans quelle mesure permet-elle de rendre compte ? il sagit l en effet dune mission de toute premire importance. il ne suffit pas dintgrer le citoyen la dmarche, mais il est important de diffuser les conclusions largement, de les reprendre dans le discours politique et den faire la base du dbat dmocratique. or jai limpression que cette dimension reste fort thorique. Jaimerais donc savoir si vos collectivits ont su dvelopper cet aspect, et plus particulirement le Conseil rgional Rhne-alpes, qui prpare les prochaines chances lectorales.
Rponse de M. Ortis
Jestime que le Conseil rgional est trs mauvais en matire de diffusion des rsultats des valuations. les citoyens ne sont pas directement concerns par les rsultats de lvaluation. en revanche, cette dmarche entre pleinement dans la logique daide la dcision des lus rgionaux. une session du Conseil est consacre chaque anne ltude des conclusions de toutes les valuations. les vice-prsidents concerns annoncent ce quils retiennent de lvaluation et dclinent les recommandations quils sapprtent adopter. un an plus tard, ils dtaillent les actions effectivement mises en place. Cela participe du dbat dmocratique. Cependant, aucun citoyen rhnalpin ne nous a interpells sur les conclusions des valuations, pas plus que les mdias. nous entrons maintenant dans une priode lectorale. peut-tre les rsultats des valuations vont-ils tre repris. en tout cas, ils nont jamais t cachs. les lus de lopposition comme de la majorit sen saisissent ds leur publication.

109
Rponse de Mme Fenet

les lus attendent avant toute chose de pouvoir tmoigner de lvolution du service rendu la population. lune des premires valuations ralises par la ville portait sur les horaires daccueil priscolaire. les lus avaient pour premire ambition dlargir les plages horaires et damliorer la qualit daccueil. la communication directe avec les citoyens est plus simple pour un lu municipal que pour un lu rgional, dans la mesure o les villes travaillent beaucoup sur des services la vie quotidienne, ce qui permet dengager un dbat plus aisment. les documents recto verso qui reprennent les conclusions des valuations sont diffuss auprs du public. la revue municipale se fait de plus en plus lcho du lancement dvaluations. par ailleurs, la mise disposition des questionnaires dans les lieux publics attise la curiosit des citoyens. des confrences de presse ont t organises pour prsenter les conclusions et les pistes damlioration des services. llu na intrt rendre les rsultats publics que dans cette seule perspective. la fin du prcdent mandat ont t lances plusieurs valuations destines soutenir le travail des futurs lus. il serait tonnant que les lus candidats mobilisent les productions mises en uvre par les services municipaux. Ces lments sont disponibles. il appartient donc aussi au citoyen ou lopposition de sen saisir.
BiBliographie
Daniel A., 2008, valuation de la politique municipale de la lecture : quelle complmentarit de loffre pour un gal accs de tous lecture ?, Document de travail du ple politiques publiques et prospective de la Ville de Nantes. Ortis S., 2009, Implications des citoyens dans les valuations de politique de la rgion Rhne-Alpes, 9es Journes franaises de lvaluation, Marseille. Rgion Rhne-Alpes, 2006, exprimentation citoyenne : avis du groupe de citoyens relatif la place des citoyens dans lvaluation des politiques publiques, 7es Journes franaises de lvaluation, lyon. Ville de Nantes, 2007, Laccueil de la petite enfance par les assistantes maternelles agres indpendantes : synthse des rsultats de lvaluation volet 2, publication de la Direction gnrale prospective, valuation et projets de la ville de Nantes.
Partie 5
LAPPROCHE
OBJECTIFS/INDICATEURS
La cinquime sance du sminaire sur les mthodes dvaluation des politiques publiques sest intresse la dmarche qui articule la dfinition dobjectifs pour la conduite des politiques publiques et la mise en place dindicateurs permettant de mesurer latteinte de ces objectifs. Jean-Ren Brunetire (Conseil gnral de lenvironnement et du dveloppement durable) a ainsi prsent dans un premier temps la conception et lutilisation des indicateurs dans le cadre de la Loi organique relative aux lois de finances (LOLF). Dans un deuxime temps, Isabelle Engsted-Maquet (Direction gnrale Emploi, affaires sociales et galit des chances ) a prsent les exercices de benchmarking raliss par la Commission europenne dans le cadre de la mthode ouverte de coordination (MOC).Ces deux interventions ont t suivies dun dbat avec la salle.
Les indicateurs de la LOLF

Une occasion de dbat dmocratique ?
Jean-Ren brunetiere (CGedd)
mission correspond une politique publique au sens large et un programme la partie de cette politique publique qui concerne un ministre donn. en 2001, taient comptabilises 34 missions et 130 programmes, ainsi que 1 300 indicateurs correspondant 600 objectifs.
a loi organique relative aux lois de finances (lolF) de 2001 a impos que ltat se dote l partir de 2006 dobjectifs et dindicateurs capables de mesurer les rsultats des politiques publiques. Celles-ci sont classes en missions et programmes. en principe, une
Lanalyse des indicateurs LOLF labors en 2006

chantillonnage et mthode danalyse
lassociation pnombre laquelle jappartiens sintresse et salarme parfois de lusage des nombres dans les mdias, les dbats politiques et le dbat social. ce titre, la Revue franaise dadministration publique (RFap) ma demand de rdiger un article sur les indicateurs dans le cadre de son numro spcial sur la lolF en 2006, premire anne dapplication de la loi. afin quil ne me soit pas reproch davoir slectionn trop peu dindicateurs, je me suis bas sur un chantillon de 32 missions en slectionnant lindicateur 1 pour la premire mission, lindicateur 2 pour la deuxime mission et ainsi de suite, les missions tant classes par ordre alphabtique et les indicateurs dans lordre dans lequel ils apparaissent dans le texte du ministre des Finances. Jai cherch dterminer dans mon analyse si ces indicateurs refltaient les objectifs correspondants, sils mesuraient un rsultat de laction de ltat, sils taient utiles et sils nentranaient pas deffets pervers.
Les dfauts des indicateurs LOLF

pour les indicateurs peu significatifs, on peut citer celui correspondant la premire mission qui concerne les affaires trangres. son objectif vise dfendre les intrts de la France ltranger. lindicateur choisi est le nombre de consultations des sites internet du ministre
Les indicateurs peu significatifs
partie 5 - lapproche objectifs/indicateurs

114
des affaires trangres et des postes. or selon cet indicateur, seul le webmestre contribuerait au rayonnement de la France ltranger, et non le corps diplomatique. dautres cas similaires existent, notamment quand un oprateur ralise lessentiel de la politique publique comme dans la branche de lassurance maladie ou dans les hpitaux. parmi les indicateurs distordus et distordants, on trouve le taux de rclamations contentieuses relatives la taxe dhabitation traites dans le dlai dun mois cens mesurer lactivit du service qui traite les rclamations contentieuses relatives plusieurs impts. Cet indicateur qui a t choisi dans le but de ne pas multiplier les indicateurs pour chaque impt risque en effet dinciter les fonctionnaires de ce service traiter prioritairement les rclamations contentieuses relatives la taxe dhabitation au dtriment des autres rclamations. laction publique en est alors distordue. ainsi, dans les services du ministre de lquipement, le permis de construire devient tacite si ladministration na pas trait la demande dans un dlai de deux mois. en revanche, aucune disposition nexiste si le dlai de deux mois est dpass dans le cas des demandes de certificat durbanisme. en consquence, dans un service particulier, 53 % de demandeurs de certificats durbanisme sont mcontents contre seulement 12 % de demandeurs de permis de construire. le deuxime cas dindicateur distordu concerne le nombre daffaires pnales qui sont traites par un magistrat linstruction dans les tribunaux de grande instance. dans ce cas, seule la quantit est mesure au dtriment de la qualit. si les magistrats considraient cet indicateur avec srieux, ils classeraient le maximum de dossiers, en commenant par les plus faciles. en fait, la cible atteindre pour chaque magistrat slve 61 dossiers par an, ce qui correspond la moyenne relle. troisime exemple, la part de crdits de formation des professeurs des coles consacre la spcialisation des personnels dadaptation et dintgration scolaire (ais) qui mesure leur part de formation consacre la manire denseigner aux enfants handicaps. or pour faire voluer un quotient, il suffit daugmenter son numrateur ou de diminuer son dnominateur. en loccurrence, la deuxime solution a t privilgie. enfin, quatrime exemple, le taux de maintien dans lemploi des travailleurs handicaps 6 mois qui est cens mesurer lactivit de lassociation pour la gestion du fonds pour linsertion professionnelle des personnes handicapes (aGeFiph). or mesurer latteinte de lobjectif linsertion professionnelle des personnes handicapes par le biais de ce seul indicateur risque de conduire une slection des personnes handicapes selon leur probabilit de russite dans une entreprise.
Les indicateurs distordus et distordants
Les indicateurs inoprants
parmi les indicateurs inoprants, on peut citer le taux dannulation par le Conseil dtat des arrts des Cours administratives dappel cens constituer un contrle de qualit. or, le directeur du programme en question est galement le vice-prsident du Conseil dtat. si le taux drive, il pourrait ainsi runir les prsidents de chambre pour leur demander dtre moins svres. par ailleurs, la valeur cible du taux dannulation slve moins de 15 % du total des arrts des cours administratives, soit une cible largement suprieure aux taux rels de 10,9 % en 2004 et de 11,5 % en 2003.
parmi les indicateurs indiquant autre chose que leur objet dclar, on peut citer celui de la scurit civile mesurant la disponibilit oprationnelle des canadairs durant la saison des feux. or cette disponibilit ne rsulte pas dune action de ltat en gnral et des services de scurit
Les indicateurs indiquant autre chose que leur objet dclar
les indicateurs de la lolF : une occasion de dbat dmocratique ?

115
civile en particulier, mais de laction de la socit prive x ou Y qui ltat a sous-trait lentretien des canadairs. de la mme faon, le nombre de crimes et dlits constats ne mesure pas la criminalit mais lactivit de la police. enfin, on peut mentionner les indicateurs non matrisables. il sagit des indicateurs sur lesquels ltat a peu dinfluence, comme le nombre de titres dinformation politique et gnrale, qui correspondent globalement aux publications srieuses apport[ant] de faon permanente sur lactualit politique et gnrale, locale, nationale ou internationale, des informations et des commentaires tendant clairer le jugement des citoyens . il vaut mme mieux que ltat nait pas trop dinfluence cet gard dans une dmocratie. ainsi, si une aide publique la presse existe, cette aide reste gnrale.
Les indicateurs non matrisables
Les indicateurs incomprhensibles aux non-spcialistes
par ailleurs, certains indicateurs sont incomprhensibles aux non-spcialistes. dautres indicateurs sont composites. il est donc difficile den saisir et den contrler le contenu.
Les six indicateurs survivants

sur les 32 indicateurs, jen ai trouv 6 survivants , cest--dire qui nont pas de dfaut flagrant. le premier mesure lindice de satisfaction des usagers du service historique de la dfense. techniquement, cet indicateur ne peut pas tre contest. toutefois, il est possible de douter de son utilit majeure pour la dfense nationale. deuximement, lindicateur du rejet de dioxines par les incinrateurs semble correct. en effet, un plan europen de mise en conformit des incinrateurs a t dict et il est apparemment respect. troisimement, jai conserv au bnfice du doute lindicateur du nombre dincidents dexcution des oprations de dette et de trsorerie entre la direction du trsor et la banque de France. quatrimement, le dlai moyen de paiement des dpenses publiques constitue un indicateur acceptable, bien quil soit parfois plus intressant de surveiller les dlais extrmes qui placent les entreprises en faillite. Cinquimement, jai suppos que le ministre de la Recherche pouvait influencer lefficacit de la politique de valorisation de la recherche, qui est calcule par la part des Franais parmi les personnes qui dposent des brevets. Jai donc conserv lindicateur. enfin, le rapport entre le revenu fiscal moyen par unit de consommation en zone urbaine sensible (Zus) et celui qui est constat dans les units urbaines correspondantes mesure le niveau de vie dans les quartiers dhabitat social, ce qui correspond bien lobjectif de la politique de la ville.
Des indicateurs absents

Mon chantillon na pas pris en compte les objectifs transversaux aux programmes. par ailleurs, aucun indicateur na t prvu pour mesurer le surpeuplement dans les prisons, alors mme que la Cour europenne des droits de lhomme condamnait la France cet gard en 2006, premire anne dapplication de la loi. toutefois, il ne faut pas dsesprer tout de suite.

116
Pourquoi les indicateurs LOLF ne sont-ils pas satisfaisants ?

premirement, les mmes indicateurs doivent rpondre trop dexigences la fois (encadrs 10 et 11). au titre de la loi, ils sont censs mesurer les rsultats de laction de ltat. pour le parlement, les indicateurs devaient clairer les choix budgtaires et inflchir la loi de finances. dans ladministration, ils devaient servir juger laction des responsables administratifs. cet gard, les primes des directeurs de ladministration centrale et des directeurs des programmes devaient tre indexes sur latteinte des objectifs et donc sur les indicateurs. enfin ladministration souhaitait que ces indicateurs permettent de corriger les trajectoires, donc de piloter ladministration. deuximement, les options dapplication de la loi sont contestables. pourquoi a-t-il t dcid que la loi sappuierait sur des indicateurs peu nombreux ? une confusion existe ainsi entre les priorits et les objectifs. en Grande-bretagne, un dispositif similaire distingue dune part entre cinquante et cent indicateurs prioritaires qui font lobjet du discours politique, et dautre part les objectifs de laction de ltat qui sont considrablement plus nombreux.
encadr
10
Ce qui est demand aux indicateurs LOLF

Des indicateurs aux objectifs multiples Au titre de la loi : mesurer les rsultats de laction de ltat Pour le Parlement : clairer les choix budgtaires Pour la hirarchie : juger laction des responsables administratifs Pour ladministration : corriger les trajectoires
encadr
11
Les options dapplication de la LOLF

Des indicateurs qui confondent priorits et objectifs Des indicateurs voulus peu nombreux Ne peuvent le plus souvent quillustrer des lments saillants, Et pas mesurer les rsultats (art. 51) ? La confusion entre priorit (peu nombreuses par dfinition) et objectifs (forcment nombreux)
Quelques propositions pour amliorer lefficacit des indicateurs LOLF

tout dabord, il faudrait fonder le choix des indicateurs sur des rsultats dvaluation des politiques publiques (encadr 12). tant que la chane de rsultats nest pas tablie depuis laction du fonctionnaire de base jusquau rsultat que la socit attend de laction de ltat et de la puissance publique, il est impossible dattribuer des indicateurs chacun des objectifs. il apparat en outre ncessaire de distinguer clairement les indicateurs relatifs aux grandes priorits nationales (100 indicateurs) de ceux relatifs aux objectifs de performance de laction publique (10 000 indicateurs). par exemple, en termes de scurit routire, lobjectif

117
visant rduire le nombre de morts sur les routes ne peut pas tre impos tel quel aux gendarmes. il leur sera plutt demand deffectuer un certain nombre dalcotests et de contrles de vitesse dans des conditions particulires, selon la thorie daction fonde sur des tudes affirmant que lalcool et la vitesse sont des facteurs de risque sur la route et que la peur du gendarme rend sage. toutefois, il est vrai que les thories daction pour les affaires trangres, les affaires sociales, la culture ou la scurit publique sont plus floues et entranent lgitimement des controverses entre prvention et rpression, court terme et long terme, et plus gnralement entre les intrts des uns et ceux des autres, etc. ensuite, il faudrait associer les services dconcentrs et les oprateurs au choix des indicateurs . enfin, il est ncessaire de dbattre dmocratiquement de laction de ltat. or ces indicateurs sont dcids entre les directeurs des administrations centrales en dehors du regard de toutes les parties prenantes et sans vritable dbat. il serait possible et souhaitable de rendre compte publiquement de laction de ltat tous les chelons pertinents de ladministration. par exemple, les prfets pourraient organiser une confrence de presse annuelle pour faire savoir si les objectifs ont t atteints.
12
encadr
Quelques propositions
Fonder le choix des indicateurs sur des rsultats dvaluation des politiques publiques Associer les services dconcentrs et les oprateurs au choix des indicateurs Distinguer les grandes priorits nationales (100 indicateurs ?), et les objectifs de performance de laction publique (10 000 indicateurs ?) Dcliner les chanes de rsultats de la base au sommet
O en est-on quatre ans aprs la premire anne dapplication de la LOLF ?

Les indicateurs qui ont disparu
15 indicateurs sur 32 nexistent plus. quatre dentre eux ont disparu car lobjectif quils refltaient a t atteint. quatre autres ont disparu sans explication. un indicateur a t supprim pour des raisons techniques. enfin, six derniers indicateurs ont disparu alors que les performances se dgradaient, ce qui alimente le soupon selon lequel les indicateurs qui refltent des mauvaises performances sont supprims en priorit quand il faut rduire le nombre total dindicateurs. le niveau de certification selon les critres de lunion europenne (ue) dun poste de commandement interalli et interarmes a t atteint 100 %. un plan de mise en conformit pour 2007 avait t planifi au sujet du rejet de dioxines par les incinrateurs. il a t achev en 2007, du moins administrativement. sagissant du nombre daffaires pnales traites par magistrat linstruction en tribunal de grande instance, lobjectif de 61 affaires, qui correspondait dj la ralit, a t atteint. enfin, lindicateur du pourcentage de centres rgionaux dducation physique et sportive (CReps) pour lesquels le taux de ressources propres est suprieur ou gal 50 % a t atteint. il est bon de noter que latteinte de cet objectif reflte en fait un dsengagement de ltat.
Les objectifs atteints

118
Chaque anne, un programme dactions prioritaires dtaillant les objectifs et les indicateurs correspondants est labor. au printemps de lanne suivante, le rapport annuel de performance (Rap) prsente lvolution de ces objectifs et indicateurs. les cibles sont souvent dfinies pour cinq ans, jusquen 2011. or plusieurs objectifs et indicateurs disparaissent dun document lautre, avant quil ne soit possible de les comparer leur cible. ainsi, lobjectif et lindicateur de laccroissement annuel de la production dnergie renouvelable thermique, consquence la fois des aides de lagence de lenvironnement et de la matrise de lnergie (adeMe) et du crdit dimpt pour les particuliers, ont disparu lors du renouvellement de la convention de ladeMe avec ltat. par ailleurs, lindicateur de la pertinence des actions coordonnes dassistance technique en matire de lutte contre les drogues dans les zones gographiques prioritaires a disparu entre 2007 et 2008. lobjectif visant favoriser ladoption denfants particularits , savoir les enfants qui prsentent un handicap (ces adoptions devant tre en nombre et en proportion proche de celles des enfants sans particularits) a galement disparu. il en va de mme de lobjectif et lindicateur de la part des tudes conomiques sur lindustrie franaise ralises par linstitut national de la statistique et des tudes conomiques (insee) consacres des problmatiques prioritaires. au final, seule la disparition de lindicateur du rapport entre le revenu fiscal moyen par unit de consommation en Zus et celui constat dans les units urbaines entre 2006 et 2007 ont t expliqus par le fait quil est difficile dtablir un lien direct entre son volution et les performances du programme . enfin, 6 indicateurs ont t supprims parce quils nvoluaient pas dans le bon sens. premirement, lindicateur du nombre de consultations des sites internet du dpartement et des postes diplomatiques du ministre des affaires trangres a t supprim car le nombre des visites naugmentait pas. il avait mme baiss une anne. lindicateur de la quantit dazote matrisable prise en charge dans le cadre du programme de matrise des pollutions dorigine agricole ntait pas non plus satisfaisant, ni celui correspondant la part des oprateurs du programme dans les brevets dposs linstitut national de la proprit industrielle (inpi) par des dposants franais. lobjectif pourtant prudent de rtablissement rapide des collectivits dstabilises par des circonstances exceptionnelles et le dlai de trois ans de ralisation des oprations engages ont t supprims car le dlai rel augmentait de trois mois chaque anne. par ailleurs, le taux de maintien dans lemploi des travailleurs handicaps a t supprim car il natteignait pas lobjectif. en outre, les applicateurs de la loi ont convenu quil sagissait dun indicateur concernant lassociation nationale pour la gestion du fonds dinsertion professionnelle des handicaps (aGeFiph) plutt que ltat. enfin, lobjectif et lindicateur synthtique de connaissance de leurs effectifs par les ministres ont t supprims avant mme quun chiffre nait t publi. il est problmatique de rduire le nombre des indicateurs au prix dun repli des objectifs.
Les disparitions dobjectifs avant que ne soit possible leur comparaison
Les indicateurs de mauvaises nouvelles
Les indicateurs survivants

onze indicateurs se comportent correctement par rapport la cible. quatre dentre eux sont des indicateurs de qualit dun service rendu. trois indicateurs stagnent mais doivent leur maintien au positionnement prudent de leur cible. trois autres ne mesurent pas le rsultat

119
de laction de ltat. enfin, un dernier mesure la progression dune option de politique publique.
Les indicateurs de qualit dun service rendu
lindice de satisfaction des usagers du service historique de la dfense rsiste et progresse. la progression de lindicateur daccessibilit physique des collections au public mesure les efforts fournis par les muses. lindicateur de dlai de paiement des dpenses publiques semble correct pour le moment. enfin, le taux de rclamations contentieuses relatives la taxe dhabitation traites dans le dlai dun mois correspond la cible.
le taux dannulation par le Conseil dtat des arrts des cours administratives dappel fix 15 % tait prudent par rapport aux taux rels, bien quun taux de 14,9 % ait t atteint en 2009. par ailleurs, le ratio entre le nombre de personnes saines et sauves et le nombre de personnes impliques aprs une opration de sauvetage coordonne par les centres rgionaux oprationnels de surveillance et de sauvetage (CRoss) constitue un indicateur relativement hypocrite. en effet, 200 250 personnes que les secours ne sont pas parvenus sauver prissent chaque anne en mer. or il a t dcid de mesurer le ratio entre le nombre de personnes sauves et le nombre de sorties en mer plutt que de fixer comme objectif une diminution du nombre de morts. pour augmenter le ratio, le nombre de sorties en mer a simplement t rduit, alors que le nombre de morts restait identique. en outre, la cible du ratio slevait 97 % pour une ralit de 98,4 %. autrement dit, alors que 1,6 % de personnes meurent en mer, la cible visait ne pas dpasser 3 % de morts. enfin, lobjectif de stagnation du pourcentage de jeunes conducteurs embauchs grce aux centres de formation des apprentis (CFa) par rapport aux recrutements totaux est atteint car le pourcentage reste 31 %.
Les cibles prudentes
Les indicateurs Chantecler sur lesquels ltat na pas dinfluence
le nombre de titres dinformation politique et gnrale crot danne en anne. en outre, sagissant de la disponibilit oprationnelle de la flotte de la base davions de la scurit civile par flottille durant la saison feux , le sous-traitant exerce correctement son mtier. enfin le nombre de crimes et dlits constats en zone police et qui mesure lactivit de la police et non son effet, baisse de 2,5 % par an, conformment la norme programme.
lindicateur du montant daide au dveloppement apporte par lagence franaise de dveloppement (aFd) sous forme de prt par euro de subvention de ltat fonctionne correctement.
Un indicateur doption de politique
Les indicateurs dchec

les indicateurs dmontrant que la cible nest pas atteinte comprennent le taux dtablissements recevant du public (eRp) soumis obligation de contrle visits par la commission de scurit. Chaque anne, le prfet tablit une liste des eRp visiter. or seuls 70 % des eRp sont effectivement visits sur un objectif de 100 %. par ailleurs, le nombre dincidents dexcution des oprations de dette et de trsorerie augmente. ensuite, la part des crdits de formation consacre la spcialisation des personnels dadaptation et dintgration scolaires (ais) diminue alors que lobjectif visait laugmenter.

120
le taux de croissance de lemploi salari dans les secteurs exonrs de cotisations sociales au titre dune anne rapport au taux de croissance de lemploi salari outre-mer nest pas satisfaisant. de mme, le pourcentage dquivalents temps plein (etp) consacrs aux interventions dans les communes rpondant aux critres de lassistance technique de ltat au titre de la solidarit et de lamnagement du territoire (atesat) par rapport au total detp de lingnierie publique ne progresse pas suffisamment. enfin, seuls 70 % des plans sanitaires ont donn lieu des retours dexprience ou un exercice au cours des trois dernires annes, contre un objectif de 100 %. lensemble de ces objectifs et indicateurs de la lolF ne fait toutefois lobjet daucune analyse qui conduirait une amlioration ventuelle de certains dentre eux.
quoi la LOLF devait-elle servir ?

la lolF devait tout dabord servir valuer les rsultats des politiques publiques pour nourrir le dbat dmocratique et en tirer des enseignements pour les orientations des politiques futures. les textes prvoyaient en outre que la lolF devait permettre de mesurer la performance de laction de ladministration de ltat, afin de rcompenser ou de sanctionner les responsables dune part, et de piloter laction et inflchir sa conduite au vu des rsultats dautre part.
Les conditions dun dbat dmocratique

pour favoriser le dbat dmocratique, il aurait fallu prsenter une analyse sur le moyen terme de lvolution des indicateurs. pourtant, les responsables de programme ne semblent pas vouloir se soumettre au dbat sur leurs rsultats rels. des garanties dimpartialit auraient galement t ncessaires, afin dempcher que des indicateurs drangeants puissent tre supprims. enfin, il aurait t souhaitable que les parties prenantes aux politiques publiques soient un minimum associes la dfinition des indicateurs, comme cest le cas dans les autres pays.
Orienter les politiques

pour orienter les politiques, il tait possible de se servir dindicateurs dalerte (encadr 13). toutefois, ces indicateurs dalerte sont trop peu nombreux pour inflchir les politiques. cet gard, il faudrait sappuyer sur des experts, faire intervenir les parties prenantes et organiser une valuation pluraliste des politiques publiques.
encadr
13
Pour orienter les politiques

Des indicateurs dalerte peuvent montrer les besoins dinflexion Aujourdhui ils sont : Peu nombreux et inutiliss Mais la reconception dune politique ncessite Des bases de donnes lourdes Des tudes Des dbats et la formation de consensus

121
Engager la responsabilit des dirigeants

afin dengager la responsabilit des dirigeants, il faut dabord sassurer de limputabilit de tel objectif tel dirigeant. or quand limputabilit est rellement dfinie, peu dactions relvent en ralit du ressort de ltat, lexception des activits simples mesures par des indicateurs de service ou des segments simplifis dune action complexe comme le respect de normes, de procdures et de plannings.
Piloter laction et inflchir sa conduite

le champ dlection du systme lolF ne porte en fait que sur une partie accessoire de laction de ltat, celle des activits de service pouvant tre administres dans les conditions du priv . Cela est d en grande partie au fait que le management par objectifs impose souplesse et mobilit, ce que la lolF avait prvu sans que cela ait t suivi dans les faits. une telle dmarche est inapplicable en priode de repli des moyens. le systme lolF ne couvre ainsi pas le cur de la raison dtre de ltat, savoir ses activits de souverainet et de reprsentation (affaires trangres, dfense), ou encore de rgulation sociale, dorientation et dinfluence, pour lesquelles laccessoire est souvent mesurable mais pas lessentiel. lessentiel doit en fait faire lobjet dune valuation pluraliste comprenant des tudes et des dbats.
Lapproche objectifs/indicateurs pour lvaluation des politiques sociales

Le cadre europen
isabelle engsted-Maquet (Commission europenne)
La mthode ouverte de coordination (MOC) pour linclusion sociale et la protection sociale

lunion europenne na aucune comptence directe dans le domaine social. seuls les tats membres possdent les comptences en la matire. toutefois, face leurs dfis communs, les chefs dtat et de gouvernement ont estim quil serait utile de dfinir des objectifs communs non contraignants, laissant chacun libre du choix des moyens pour les atteindre. ainsi, la mthode ouverte de coordination (MoC) fonctionne autour dobjectifs communs trs gnraux qui sont formuls de manire consensuelle entre les tats membres. un ensemble doutils permet dvaluer les actions entreprises par les tats membres et de constater dans quelle mesure ils parviennent atteindre les objectifs communs. Ces outils comprennent les indicateurs qui sont lis des objectifs politiques, mais galement des outils de reporting par le biais desquels les tats membres dtaillent les actions quils entreprennent afin datteindre les objectifs communs. Ces rapports nationaux stratgiques, que les tats membres dlivrent tous les trois ans, sont analyss par les services de la Commission europenne dans le cadre dun rapport conjoint qui est ensuite coadopt par la Commission et les tats membres. il ne sagit donc pas dune valuation libre et indpendante de la Commission. enfin, loutil de financement pRoGRess soutient et promeut la coopration politique et lapprentissage mutuel. pRoGRess finance ainsi des tudes, des revues paritaires et dautres activits qui permettent aux administrations nationales et aux parties prenantes dchanger dans le cadre de la MoC. la Commission est favorable une mthode intgre, comprenant des objectifs transversaux. ainsi en 2001, linclusion sociale a fait lobjet dune MoC. Cette mthode a ensuite t largie lenjeu des retraites en 2002, puis celui de la sant et des soins de longue dure en 2004. en 2005-2006, la Commission a dcid dintgrer le cadre de la mthode ouverte de coordination pour linclusion sociale et la protection sociale.

124
Le dveloppement des indicateurs : dfinitions, sources et concepts

Llaboration des indicateurs
les indicateurs communs ont t labors de manire plus consultative que les indicateurs de la lolF. ils ont t dvelopps par des experts reprsentant les gouvernements des tats membres au sein du sous-groupe indicateurs du Comit de la protection sociale (isG). Ces experts, qui font le lien entre la technique et le politique, ont t appuys par les services de la Commission, savoir eurostat et la direction gnrale emploi et affaires sociales. ils ont utilis une mthode collective se basant sur lobservation empirique des donnes existantes et sur lexpertise au niveau europen. cet gard, les rapports atkinson, Marlier, Cantillon et nolan (2005 et 2007) font rfrence. dautres rapports ont t labors en 2006 et 2007, tandis que les rapports deurostat et des chercheurs invits ont galement t pris en compte. le sous-groupe indicateurs a ensuite prsent son travail au Comit de la protection sociale. la liste originale des indicateurs a t adopte par le Conseil europen de laeken en 2001, ce qui illustre leffort politique qui a t accompli autour de ces indicateurs.
Lutilisation des indicateurs

Ces indicateurs sont mis la disposition de toutes les parties prenantes10 qui peuvent sen emparer. ils sont utiliss dans les rapports nationaux et le rapport conjoint afin, en thorie, dassurer le suivi des progrs raliss et ventuellement dtablir des cibles. en ralit, de nombreux indicateurs ntaient pas disponibles pour mesurer les tendances. les indicateurs sont galement utiliss pour comparer les pays. enfin, le sous-groupe indicateurs a essay de dvelopper un cadre analytique pour tablir un diagnostic et identifier les domaines daction prioritaires, comme la pauvret des enfants qui sera dtaille dans lexemple de benchmarking.
Les critres de slection des indicateurs

si lon en croit les critres de slection qui ont t tablis en dbut dexercice, le portfolio des indicateurs doit tre complet et couvrir toutes les dimensions de manire quilibre. il doit galement tre intgr, cest--dire prendre en compte les liens entre les dimensions. enfin, il doit tre transparent et comprhensible. les indicateurs eux-mmes doivent tre pertinents, mesurables et donner lieu une interprtation claire et unanimement reconnue. ils doivent en outre tre robustes et valids statistiquement. les statistiques qui les sous-tendent doivent tre comparables entre les pays et dans le temps. les indicateurs doivent par ailleurs reposer sur des donnes disponibles rapidement. enfin, ils doivent tre sensibles aux effets des politiques sans quil soit possible de les manipuler et sans quils nentranent deffets pervers.
Une typologie dindicateurs

en ralit, nous ne trouvons pas toujours un indicateur la fois disponible, comparable, etc. qui serait ncessaire pour dcrire une dimension donne. le sous-groupe indicateurs a donc dfini des modalits permettant datteindre les ncessaires compromis. ainsi, la typo10. Sur le site internet : http://epp.eurostat.ec.europa.eu/portal/page/portal/employment_and_social_policy_indicators/ introduction
lapproche objectifs/indicateurs pour lvaluation des politiques sociales : le cadre europen

125
logie dindicateurs labelliss eu qui a t adopte couvre quasiment tous les critres. Ces indicateurs permettent de comparer les tats membres en niveau et en tendance et refltent leur situation relle. il sagit dindicateurs de rsultats sociaux (social outcomes, intermediate social outcomes ou outputs). par ailleurs, les indicateurs qui ne rpondent pas tous les critres sont classs sous le label nat . bien quils soient bass sur des dfinitions communes et agres et refltent des dimensions cls, ils ne permettent pas de comparaison directe entre les tats membres ou ne donnent pas lieu une interprtation claire et normative. par exemple, il est important de pouvoir mesurer lvolution des dpenses de scurit sociale. toutefois, lunion europenne na pas encore fix le pourcentage idal de dpenses de scurit sociale. de mme, de nombreux lments de contexte sont ncessaires pour interprter un indicateur tentant de prdire lvolution du taux de remplacement thorique des retraites par rapport au revenu dactivit. aucune cible unique ne peut tre ainsi dfinie de manire consensuelle dans le domaine des dpenses de scurit sociale. pourtant, ces indicateurs nat sont trs importants pour mesurer la nature et la taille de lintervention publique. ils ne peuvent tre interprts quen connaissance dun contexte associ. dautres indicateurs nat , tels que lesprance de vie en bonne sant, sont difficiles mesurer du fait de biais culturels entre les tats qui acceptent dtre compars en tendance mais pas en niveau. pour complter les indicateurs nat , nous disposons galement dinformations de contexte. enfin, les indicateurs nationaux permettent dtudier des dimensions telles que les minorits ethniques ou les migrants, pour lesquelles aucune donne harmonise au niveau europen nexiste. il est alors demand aux tats membres de rendre compte de ces situations sur la base dindicateurs nationaux, bien quils ne soient pas comparables.
Dfinitions et sources
nous nous rfrons si possible aux dfinitions internationales. par exemple, pour tudier les taux de pauvret, nous utilisons une dfinition du revenu qui a t tablie par le groupe de Canberra en 2001. de la mme faon, pour mesurer lemploi, nous retenons la dfinition du bureau international du travail (bit). toutefois, des sujets restent en suspend, parmi lesquels figurent le traitement des loyers imputs et lvaluation des biens autoproduits. parmi les sources dont nous disposons, le systme statistique europen comprend lenqute eu-silC sur les revenus et les conditions de vie, la Labour Force Survey (lFs) relative la force de travail et lenqute espRoss concernant les dpenses de protection sociale. quand le systme statistique europen ne peut pas tre utilis, nous utilisons les sources des autres organisations internationales bien que plusieurs de ces sources soient lobjet de dbats entre certains tats membres. parmi ces sources on peut citer les enqutes de loCde, pisa pour lducation ou sha pour la sant. lenqute eu-silC constitue la base de rfrence pour la moiti de nos indicateurs. elle a lavantage dtre lgalement contraignante. toutefois, lharmonisation est ralise ex post. les critres de qualit compris dans eu-silC permettent dobtenir des donnes relativement fiables et difficilement contestables par les tats membres. eu-silC comprend une dimension panel par rotation qui na toutefois pas encore t explore. en outre, des modules existent sur des thmes spcifiques. eu-silC constitue donc une grande avance, bien que des limites apparaissent. la mthode ouverte de coordination est un utilisateur privilgi de cette source et peut influencer son dveloppement. ainsi, le sous-groupe indicateurs pourra contribuer la rvision prochaine deu-silC.

126
Exemple de concept commun : la pauvret

au-del dun consensus apparent au niveau europen, la manire de mesurer la pauvret est trs dbattue entre les tats membres. en 1975, le Conseil des ministres sest accord sur une dfinition selon laquelle les pauvres correspondent aux individus ou aux familles dont les ressources sont si limites quelles les empchent de bnficier du niveau de vie minimum acceptable dans leur pays. selon cette dfinition qui est trs prcieuse pour les statisticiens, la pauvret est relative au niveau de vie de ltat membre dans lequel lindividu vit. ainsi, ce principe justifie les taux de pauvret relatifs avec un seuil national, qui sont toutefois trs dbattus entre les tats membres. suite aux multiples travaux sur les indicateurs de pauvret selon la dfinition de 1975, lunion europenne est parvenue saccorder sur une nouvelle dfinition de la pauvret relative au pays de rsidence, pondre selon lintensit de lcart entre le revenu mdian des pauvres et le revenu mdian national, multidimensionnelle et temporelle, en rfrence notamment la pauvret persistante sur plusieurs annes. lindicateur de pauvret est par ailleurs sensible un ensemble de politiques macro-conomiques censes tre utiles pour lutter contre cette pauvret. par exemple, le taux de pauvret montaire est sensible aux politiques de redistribution et demploi. en revanche, ce concept de pauvret a t remis en question avec laccession de nouveaux tats membres qui a pour consquence lexistence de grandes diffrences de niveau de vie en europe.
Les indicateurs
Les objectifs transversaux
les deux premiers objectifs transversaux sont trs vastes. ils couvrent quasiment tous les champs daction de la politique sociale. premirement, lobjectif de cohsion sociale, qui nest pas encore prcisment dfini, sera mesur par des indicateurs en termes dingalit de revenu, de pauvret, de distribution territoriale de lemploi, etc. afin datteindre cette cohsion sociale, il faut mettre en place un systme de protection sociale adquat, accessible, efficace et durable financirement et socialement. le deuxime objectif transversal exige que ces politiques de protection et dintgration sociale interagissent mutuellement et positivement avec les politiques de lemploi et de croissance. pour ces deux premiers objectifs, quatorze indicateurs de rsultats ont t retenus. ils valuent : le taux et lintensit de la pauvret ; les ingalits de revenu ; lesprance de vie en bonne sant ; le nombre de sorties prcoces du systme scolaire ; le taux de mnages sans emploi ; la projection des dpenses de scurit sociale ; ladquation des retraites ; laccs aux soins, en mesurant le pourcentage de personnes affirmant ne pas avoir consult un mdecin bien quelles en eussent besoin, en raison dun cot trop lev, de listes dattentes trop longues ou dune trop grande distance daccs ; le taux de pauvret ancr dans le temps, relatif leffet de la croissance sur le niveau de vie ; le taux dactivit gnral ;

127
le taux demploi des personnes ges ; la pauvret des personnes participant au march du travail. en effet, plusieurs pays possdent des systmes de protection sociale qui ont augment le nombre de personnes dpendant de prestations dinvalidit au cours de ces dernires annes ; la dispersion des taux demploi rgionaux en labsence de taux de pauvret rgionaux ; les dpenses de sant publique. en outre, douze indicateurs de contexte aident comprendre ces quatorze indicateurs de rsultats (encadr 14).
14 (8) Jobless households by main household types (9) Making work pay indicators unemployment trap, inactivity trap, low-wage trap (10) Net income of social assistance recipients (11) At-risk of poverty rate before social transfers (other than pensions) (12) Change in projected theoretical replacement ratio + change in projected public pension expenditure 2004-2050.
encadr
Les douze indicateurs de contexte

(1) GDP growth (2) Employment rate, Unemployment rate, Long term unemployment share (3) Life expectancy at 0, 65 (4) Old age dependency ratio, current and projected (5) Distribution of population by household types (6) Public debt, current and projected (7) Social protection expenditure, current, by function, gross and net
Les principaux rsultats

titre dexemple, nous prsentons ici les principaux rsultats portant sur le taux de pauvret, limpact des transferts sociaux, le revenu net des bnficiaires de lassurance sociale et laccs aux soins. en 2007 (anne de collecte), le taux de pauvret le plus bas a t enregistr en Rpublique tchque tandis que les taux de pauvret les plus levs concernent litalie et la lituanie (graphique 12). ainsi, si cet indicateur permet dvaluer pour chaque pays la manire dont les revenus sont redistribus envers les plus dmunis, il ne permet toutefois pas de comparer les pays. par ailleurs, limpact des transferts sociaux, lexception des pensions de retraite, sur la rduction de pauvret est mesur par le biais de deux indicateurs (graphique 13). ainsi, le taux de pauvret aprs les transferts sociaux en 2007 est denviron 17 % moins lev quavant en espagne, en Grce et en italie, selon eu-silC 2007. en revanche, limpact des transferts sociaux atteint presque 60 % dans les pays nordiques et en hongrie. Cet indicateur, bien que contestable car il mesure des taux de pauvret thoriques, est utile pour lancer le dbat au sujet de la diffrence des moyens qui sont consacrs par les tats membres la rduction de la pauvret.

128
GraPhIque 12
Taux de pauvret
35 30 % of the relevant population 25 20 15 10 5 0
EU27 CZ NL SK SE DK HU AT SI FR FI LU MT BE DE CY PL IE PT EE LT RO* UK EL ES IT LV
Elderly in CY 51 %
Total population
Children aged 0-17
People aged 65+
Lecture Le taux de pauvret stablissait 14 % au Luxembourg pour la population gnrale, 20 % pour les mineurs et 6,5 % pour les personnes de plus de 65 ans. Source EU-SILC 2007; income year 2006 ; except for UK (income year 2007) and for IE (moving income reference period 2006-2007) ; BG : National household budget survey 2006 ; RO : National household budget survey 2007.
GraPhIque 13
Impact des transferts sociaux : rduction du risque de pauvret en pourcentage du taux de pauvret avant transferts
En % 70 60 50 Children aged 0-17 40 30 20 10 0
EU27 EL ES IT BG RO LV CY EE PT LT MT UK PL SK LU DE IE BE SI CZ FR AT NL FI DK HU SE
Total population
Lecture Le taux de pauvret aprs transferts sociaux (hors pensions) est 40 % moins lev (52 % en ce qui concerne les mineurs) quavant en Allemagne. Source SILC 2007; income year 2006 (income year 2007 for IE and the UK) ; BG : National household budget survey 2006 ; RO : National household budget survey 2007.
ensuite, lindicateur du revenu net des bnficiaires de lassistance compar au seuil de pauvret permet de constater les carts de traitement entre les pays selon quil sagit dindividus seuls, de parents isols avec enfants ou de couples avec enfants (graphique 14).

129
GraPhIque 14
Revenu net des bnficiaires de lassistance en pourcentage du seuil de pauvret

En % 140 120 100 80 60 40 20 0
LT SK PT MT EE HU ES LV CZ BE PL LU CY FR SI AT DE FI SE DK UK IE NL
Single Lone parent, 2 children Couple with 2 children
Poverty threshold
Lecture En Pologne, le revenu net des bnficiaires de lassistance stablissait 72 % du seuil de pauvret pour les personnes clibataires, 95 % pour un parent isol avec 2 enfants et 67 % pour un couple avec deux enfants. Source SILC 2007; income year 2006 (income year 2007 for IE and the UK) ; BG : National household budget survey 2006 ; RO : National household budget survey 2007-OCDE/EC tax benefit model 2007.
lindicateur daccs aux soins par quintile de revenus (graphique 15) permet enfin de constater lcart trs important qui existe entre le premier et le dernier quintile, sauf au Royaumeuni o le service public de la sant est entirement gratuit.
GraPhIque 15
Indicateur daccs aux soins

15 1st quintile 12 2nd quintile 9 3rd quintile 6 3 0
LV PL LT EE EL PT IT CY SE SK FI HU IE UK MT FR CZ BE ES AT NL LU DK SI
4th quintile 5th quintile
Lecture Au Portugal, le taux de personnes interroges ayant dclar avoir renonc des soins stablissait 9,5 % pour les mnages appartenant au premier quintile de revenus et 1 % pour ceux du 5e quintile. Source SILC 2006 ; income year (income year 2006 for IE and the UK) ; data missing for BG, DE and RO.

130
Un exemple de benchmarking europen sur la pauvret des enfants

La mthode du benchmarking sur la pauvret des enfants
en analysant en dtail les indicateurs et en les mettant en relation avec une analyse plus approfondie de comparaison internationale, les principaux dterminants de la pauvret des enfants ont pu tre identifis. les trois types de facteurs majeurs concernent : les caractristiques sociodmographiques des mnages, notamment leur taille, leur composition (parents isols, familles nombreuses), lge et le niveau dducation des parents ; la situation des parents sur le march du travail (taux demploi) ; limpact de laction gouvernementale, comprenant notamment lexistence daides familiales et la manire dont le systme dimpts et de prestations interagit avec le march du travail. Comme les tats napprcient pas de faire lobjet dun classement dans le domaine de la politique sociale, notre tableau value les pays la fois selon lintensit de la pauvret des enfants quils prsentent par rapport la moyenne europenne et par rapport la situation du reste de leur population, et selon les trois principaux facteurs de pauvret. trois indicateurs cls ont t choisis pour illustrer ces facteurs, savoir le pourcentage des enfants appartenant des foyers sans emploi, le pourcentage des enfants dont les parents travaillent mais sont quand mme pauvres, et limpact des transferts sociaux. les pays nont pas t regroups en fonction de la performance des tats en matire de pauvret des enfants, mais en fonction de leur profil au regard des trois facteurs (tableau 6).
Tableau 6
Performance des tats en termes de prvention de la pauvret des enfants

Child poverty risk outcomes AT CY DK Group A FI NL SE SI BE CZ DE Group B EE FR IE SK + +++ +++ +++ + + ++ + ++ -++ Children in jobless households + + + ++ + (++) +++ --------In-work poverty ++ +++ +++ +++ + ++ +++ +++ + +++ + ++ + + Impact of social transfers ++ + ++ +++ + ++ ++ + + +++ ++ + +
HU Group C MT UK EL
-----
-----+++
----
+ + ---

131
Child poverty risk outcomes HU Group C MT UK EL ES IT Group D LT LU LV PL PT -----------------
Children in jobless -----+++ + ++ + +++ +
In-work poverty -------------
Impact of social transfers + + ------+ ----
De (---) trs mauvaise (+++) trs bonne.
Le groupe A comprend les pays o peu denfants appartiennent des foyers sans emploi, o les parents qui travaillent ne sont pas pauvres et o limpact des transferts sociaux sur la rduction de la pauvret est important par rapport aux autres pays europens. quasiment tous les pays de ce premier groupe affichent de bonnes performances en matire de pauvret des enfants. les pays du groupe B comprennent de nombreux enfants vivant dans des foyers sans emploi. en revanche, limpact des transferts sociaux et le taux de pauvret au travail sont relativement satisfaisants dans ces pays. le problme principal de ces pays concerne laccs au march du travail de certains types de mnages comme les parents isols. la question qui se pose pour ces pays est celle de la segmentation du march du travail et dun ventuel problme de prestations sociales qui dcourageraient certains mnages rester sur le march de lemploi. Le groupe C comprend les pays prsentant des taux levs de mnages sans emploi et de pauvret au travail, et un faible impact des transferts sociaux sur la pauvret des enfants. au Royaume-uni, de nombreuses familles sont monoparentales. or, les prestations sont relativement gnreuses. en outre, les gardes denfants sont rares ou fonctionnent seulement temps partiel, ce qui empche ou dcourage de nombreuses familles monoparentales daccder au march du travail. par ailleurs, les foyers monoparentaux concernent des femmes trs jeunes par rapport aux autres pays europens. Le groupe D englobe les pays dont limpact des transferts sociaux sur la pauvret des enfants est nul car ces transferts comprennent peu dallocations familiales. la pauvret au travail est galement trs leve dans ces pays. en revanche, aucun ou trs peu denfants appartiennent des mnages sans emploi, souvent parce que les parents nont pas dautre choix que de travailler. Ces pays comprennent trs peu de familles monoparentales. il est probable quen labsence de prestations sociales, une femme levant seule ses enfants na pas dautre choix que de travailler ou de vivre chez ses parents, do lexistence de nombreux mnages complexes et multi-gnrationnels. dans ces pays, le problme majeur concerne le soutien aux familles.

132
Lutilit de lexercice de benchmarking

Cet exercice danalyse a permis de lancer le dbat en exposant les diffrences entre les pays et en laissant la responsabilit de linterprtation de ces rsultats aux diffrents pays membres ainsi quaux chercheurs. sur la base de ce tableau, un chercheur a ainsi analys la situation en irlande en tudiant limpact des diffrentes politiques sociales sur les indicateurs rpertoris. lexercice de benchmarking peut donc contribuer llaboration dune thorie de laction. lanalyse de la pauvret des enfants a t publie dans le rapport conjoint et a permis dvaluer les nouvelles politiques. parfois, il a t constat que les tats avaient pris ou envisag des mesures cohrentes avec les rsultats de lanalyse. un cadre analytique commun renforce la lgitimit de lexercice dvaluation au niveau europen. par ailleurs, il peut favoriser lapprentissage mutuel dans la mesure o les pays peuvent valuer la manire dont les tats qui ont le mme profil queux ou ceux qui prsentent les meilleurs profils se comportent. en termes de communication, ce cadre analytique a permis la Commission de justifier son message appelant agir la fois sur laccs des parents au march du travail et sur les prestations sociales. en effet, les tats membres qui se portent le mieux sont ceux qui combinent des politiques intelligentes de soutien laccs au march du travail et un minimum de soutien au revenu des familles. le consensus sur le message est plus facilement obtenu quand il sagit dun sujet concernant les enfants. Certains pays se sont tonns de leurs performances par rapport dautres pays. le cadre analytique leur permet en effet dvaluer lampleur du problme grce une comparaison internationale. les indicateurs slectionns mesuraient seulement la pauvret relative. toutefois, un indicateur de pauvret des enfants en termes de conditions de vie a galement t dvelopp (graphique 16). Cet indicateur composite, qui tait utilis par la France avant dtre utilis au niveau europen, mesure les conditions de vie par le biais de diverses privations. la classification des pays selon cet indicateur en 2008 place en premire position les anciens tats membres, qui disposent de pib par tte levs par rapport aux nouveaux tats membres.
GraPhIque 16
Taux de pauvret relatif et taux de pauvret en conditions de vie

60 At-risk-of-poverty rate children (left axis) In purchasing power standards 50 40 30 20 10 Material deprivation rate children (left axis) Value of thresholds for a couple with two children monthly income in PPS (right axis) 2500 2000 1500 1000 500 3000
% of all children
0
EU EU EU NMS LU NL SE DK FI ES EE BE SI DE FR MT AT UK IE CZ EL IT CY LT PT SK PL LV HU BG RO 27 25 15 10
Lecture La pauvret en conditions de vie des enfants slevait 15 % en Allemagne. Source EU-SILC 2008.

133
en termes dvolution, le constat est diffrent. entre 2005 et 2008 (anne de collecte des donnes), la pauvret relative et le taux de privations matrielles stagnent au sein de lunion europenne quinze (graphiques 17). en revanche dans les nouveaux tats membres, la pauvret en conditions de vie diminue trs significativement. en outre, le taux de pauvret relatif des enfants diminue de 25 % 20 %, tandis que le taux de pauvret relatif des personnes ges augmente de 6 % 13 %, voire de 20 % 50 % dans certains pays. Cette tendance particulirement marque dans les nouveaux tats membres sexplique par une trs forte croissance des salaires, tandis que les pensions indexes sur linflation ont augment dans une moindre mesure. ainsi, le pouvoir dachat relatif des personnes ges a diminu et leur taux de pauvret a considrablement augment sous leffet combin de laugmentation du seuil de pauvret et de la baisse de leur situation relative. en termes de pauvret en conditions de vie, cependant, la situation des personnes ges dans les nouveaux tats membres progresse moins vite que celle des autres catgories de la population.
GraPhIque 17
volution du taux de pauvret relatif et de la pauvret en conditions de vie

35 30 25 20 15 10 5 2005* 2006* eu15 All eu 15 18-64 2007* 2008* eu15 0-17 eu15 65+ 35 30 25 20 15 10 5 2005* 2006* eu 15 All eu 15 18-64 2007* 2008* eu 15 0-17 eu 15 65+ max
35 30 25 20 15 10 5 2005* 2006* 2007* 2008*
35 30 25 20 15 10 5 2005* 2006* 2007* 2008* nms 10 0-17 nms 10 65+ max
nms 10 All nms 10 18-64
nms 10 0-17 nms 10 65+
nms 10 All nms 10 18-64
* Ces annes sont celles de la collecte des donnes. Lecture Anciens pays membres (EU-15) en haut, nouveaux pays membres en bas, taux de pauvret relatif gauche et pauvret en conditions de vie droite. Source EU-SILC 2005, 2006, 2007, 2008.

134
SYNTHSE
Distinction entre indicateurs de rsultat et indicateurs de gestion

les dmarches objectifs/rsultats peuvent-elles servir la fois mesurer les rsultats finaux des politiques publiques sur le niveau et les conditions de vie des citoyens, et responsabiliser les administrations charges de la mise en uvre de ces politiques ? en effet dune part, lexprience montre quil est trs difficile de responsabiliser nos oprateurs au-del de lefficience des services quils produisent. or bien que lefficience des services soit importante, elle ne reflte pas la totalit de lefficacit finale des politiques. dautre part, nos dmarches objectifs/rsultats sont accoles aux lois financires. or ces lois financires servent rarement de support lexpression de la responsabilit politique des objectifs finaux de ces dmarches. lexercice du budget vise plutt lallocation des ressources. peut-tre la bonne dmarche consisterait-elle procder en deux temps. tout dabord, il faudrait dfinir des indicateurs finaux correspondant aux objectifs finaux des politiques publiques et les suivre sur le moyen terme. ensuite, dans les procdures dallocation des ressources, il faudrait dcliner lattention des oprateurs qui mettent en uvre les politiques publiques, des objectifs oprationnels assortis dindicateurs mesurant rellement limpact de laction de ces oprateurs. le lien entre ces objectifs oprationnels et les objectifs globaux qui sont assigns aux politiques devrait en outre tre explicit. par exemple, la loi hpital, patients, sant et territoire (hpst) stipule que ltat et les caisses dassurance maladie doivent ngocier et conclure un contrat qui servira ensuite de cadre pour les relations entre les personnels de sant et les organismes de scurit sociale. Ce contrat devrait constituer le document dans lequel sont fixs les objectifs globaux de la politique de lassurance maladie, tandis que des objectifs prcis seraient dclins dans les conventions dobjectifs et de gestion (CoG) entre ltat et chacune des caisses. Cette dmarche pourrait ventuellement permettre de rconcilier le suivi des objectifs finaux des politiques et le suivi de laction des oprateurs.
Rponse de M. Brunetire
Cette mthode reflte ce qui doit effectivement tre mis en uvre. dans le cas de la politique sociale, qui est une politique majeure et complexe, les indicateurs dtat tels que lindicateur de pauvret doivent tre mesurs de manire indpendante. en parallle, un dbat social est toutefois ncessaire afin de dterminer prcisment dans quelle mesure et par quels moyens la pauvret doit tre diminue. Ce dbat donne lieu une somme de rsultats prcis quil faut atteindre. la politique tant toutefois un lieu de contradictions, certaines mesures ne pourront pas tre mises en uvre car elles sopposent aux objectifs dautres politiques. par exemple, laugmentation des impts sur le revenu ncessaire la redistribution de la richesse envers les pauvres sopposera aux objectifs contraires dune autre politique visant rduire les impts.

135
Question complmentaire de la salle

la loi relative la politique de sant publique visait dfinir des rsultats politiques sur la base dune valuation priodique de la sant de la population par rapport un ensemble dindicateurs de sant importants. or il devient difficile de dfinir des rsultats politiques quand un indicateur lolF est charg de juger la fois limpact de la politique et la performance dune partie des acteurs qui contribuent lvolution de cet indicateur dimpact. il faut faire leffort de construire la thorie daction et de reprer un indicateur adquat pour mesurer la responsabilit des acteurs. Je pense que le dbat est essentiel. toutefois, des points de repre sont ncessaires pour ancrer ce dbat.
les chiffres et le dbat sont en effet tous deux importants. le mme indicateur ne peut pas rpondre toutes les questions la fois. Chaque notion possde un sens qui diffre de celui de la notion voisine et qui ncessite une instrumentalisation diffrente. Fondamentalement, les indicateurs sont diviss en deux catgories. les uns observent un tat du monde tandis que les autres permettent de suivre leffet des dcisions ou des mesures qui sont prises. or ces deux catgories dobjectifs obissent des logiques diffrentes, notamment lchelle du temps. il convient ainsi doprer la distinction entre les indicateurs de rsultat final et les indicateurs de rsultats intermdiaires qui sont lis une chane de rsultats. en thorie, les indicateurs de la lolF devaient mesurer des rsultats intermdiaires. laudit des indicateurs devait donc non seulement juger de latteinte des rsultats en fonction des objectifs, mais galement vrifier que ladministration tait dote du degr daction correspondant latteinte des rsultats prvus. or les deux niveaux ont t confondus. le choix de la lolF consistait mesurer les rsultats intermdiaires. toutefois, un phnomne dvitement sest produit. un travail est en ce moment en cours dexcution au sujet de la liaison entre lobjectif et lindicateur. il sagit de constater si lindicateur indique vraiment un rsultat qui correspond lobjectif. or des chanons manquants existent entre certains objectifs et leurs indicateurs. par exemple, le rayonnement de la France constitue une finalit ou un super objectif , tandis que lindicateur qui lui est associ value seulement le nombre de visites sur le site internet du ministre. il sagit en ralit dun exemple dvitement. en effet, les dpenses pour la dfense du franais ltranger sont de moins en moins importantes. or politiquement, il nest pas possible dannoncer une telle ralit. par ailleurs, une diffrence existe entre la branche Maladie et la branche allocations familiales. en tant que gestionnaires, la branche Maladie fonctionne en grande partie en termes dindicateurs et dobjectifs, du fait notamment de lexistence de multiples conventions comportant de nombreux chiffres, et en raison de lobjectivation des indicateurs de sant. en effet, les indicateurs de sant permettent dalerter, puis de discuter dune politique et enfin de confier certains acteurs des actions de prvention sur un problme de sant publique, des recherches sur un mdicament, etc. la branche allocations familiales sappuie quant elle plutt sur un ensemble de donnes permettant dalimenter le dbat public et de prciser la conception des politiques publiques. notons que ces donnes permettent dtablir des comparaisons internationales et de produire du benchmarking. cet gard, les indicateurs programme de qualit et defficience (pqe) fonctionnent incontestablement mieux que ceux de la lolF.

136
Complment de la salle
la diffrence principale entre la branche Maladie et les autres branches concerne la problmatique de la gestion des risques. en effet, les caisses dassurance maladie exercent un rle en termes de conditionnement et daction sur les comportements des professionnels de sant et des patients. en revanche dans le cadre des autres branches, comme celle des retraites notamment, la responsabilit de la gestion des risques est impute au lgislateur. le recoupement entre les pqe et les objectifs des Conventions dobjectifs et de gestion (CoG) parat donc trop faible dans ce cas.
Nombre des indicateurs

Complment de Mme Brocas, directrice de la DREES
peut-tre que la volont de dfinir peu dindicateurs constitue une fausse bonne ide. dans lanalyse qui a t mene au niveau europen, lindicateur de pauvret ancre dans le temps se rapproche dun indicateur de pauvret absolue. or dun ct, plusieurs tats membres critiquent lapproche consistant valuer lvolution dans le temps de la pauvret dans un pays donn. de lautre, la comparaison internationale des taux de pauvret relative, qui dmontre par exemple que la Rpublique tchque prsente un taux de pauvret relative plus faible que celui de la France, est galement critique et conduit certains penser quil faut plutt tudier la pauvret absolue. pour comprendre une politique, il faut tout dabord identifier le problme qui doit tre rgl socialement et laction publique qui doit tre mise en uvre afin dy remdier. or il est possible de commencer identifier des problmatiques relatives un problme donn grce la juxtaposition dune multitude dindicateurs qui ncessiteront ensuite des tudes plus approfondies et la mise en uvre dactions publiques.
Raction de M. Brunetire
dans les rapports de la commission stiglitz, le pib constituait lorigine lunique indicateur. or mesure que les travaux avanaient, les membres de la commission stiglitz se sont rendus compte que plusieurs chiffres taient ncessaires pour dcrire un monde de plus en plus complexe. toutefois, un chiffre sans sa mtadonne associe ne vaut rien, de mme que lexposition des chiffres sans le dbat ncessaire leur sujet nest pas non plus valable. les chiffres nexistent que pour permettre, par le biais dune discussion dmocratique, de se reprer dans un monde complexe. la politique reprsente le lieu des volonts contraires, et donc du double langage. sagissant de lassurance maladie par exemple, les remboursements ne semblent pas augmenter en proportion, ce qui nempche pas les discours politiques de plaider pour une amlioration. le double langage politique perdurera toujours.
Thorie de laction
Question de Mme Brocas, directrice de la DREES
daprs vous, il faut avoir dfini une thorie daction pour ensuite pouvoir construire les objectifs et les indicateurs. or est-il toujours possible de dfinir une thorie de laction ?

137
en effet, certaines politiques font lobjet dun compromis et, en consquence, comprennent plusieurs objectifs qui sont parfois contradictoires. devons-nous chercher une rationalit opratoire pour llaboration des indicateurs et des objectifs, ou plutt accepter que les politiques publiques englobent intrinsquement plusieurs objectifs, voire rsultent dun compromis entre des acteurs qui ne dfendent pas automatiquement la mme thorie daction ?
la thorie daction peut manquer de clart dans plusieurs politiques en raison de la difficult du sujet ou dune concurrence entre plusieurs thories daction. par exemple, dans le cas de la politique visant viter la rcidive des malfaiteurs, une thorie daction suggre de les maintenir enferms tandis quune autre propose de leur apprendre ne pas rcidiver quand ils sont en prison, et quune autre encore affirme quil aurait fallu en faire de bons citoyens avant quils ne se retrouvent en prison. en dmocratie, le sujet est dbattu et donne lieu des dcisions. par ailleurs, lexistence doptions contradictoires parat normale dans le cadre dune dmocratie qui favorise le dbat, la confrontation, le rapport de forces et les jeux dacteurs. Grer les contradictions constitue le cur de laction de la puissance publique. sinon, nous naurions pas besoin dun tat qui nous confions le pouvoir dexercer la violence lgitime.
il est important de distinguer lvaluation de laction publique de lvaluation de la gestion publique. en effet, laction publique relve de la responsabilit du gouvernement devant le parlement. en revanche, la gestion publique concerne ladministration qui sengage devant le gouvernement. si les indicateurs politiques macro et les objectifs finaux peuvent faire lobjet dun dbat, les indicateurs pour responsabiliser les acteurs ne doivent pas ncessairement donner lieu un tel dbat. par ailleurs, certaines thories daction sont dfinies au niveau politique, comme le choix entre prvenir et rprimer en matire de scurit. pour responsabiliser les acteurs, il faut tenir compte de la capacit de gestion des acteurs car limputabilit des rsultats nest pas automatique.
Je ne pense pas que le dbat au sujet du management, et donc de lexcution des politiques, soit inutile. durant lvaluation de la politique de la scurit routire en 20002001, certains procureurs affirmaient tre impitoyables en matire de dlits dalcool mais laxistes envers les dlits de vitesse. Chaque fonctionnaire agit en fonction de ses propres reprsentations du monde et de sa comprhension des consignes qui lui sont donnes. or laction publique dpend en ralit du travail des fonctionnaires. dans le domaine du management durable, nous avons ralis un audit dans tous nos services au sujet de la comprhension du concept par les agents. nous avons dcouvert un univers mental qui devra voluer parce quil constitue la ralit de laction publique, des jugements, des autorisations, des arbitrages, des influences, des normes et des ressentis concernant ladministration, des rapports entre les personnes, etc. nous devons grer de moins en moins de robots et de plus en plus dimaginaires. nous sommes donc obligs de dbattre de lac-

138
tion publique lintrieur des administrations. lindicateur sert illustrer et produire de limaginaire au sein des administrations.
Contractualisation entre parlementaires et administration

Ces difficults ne rsultent-elles pas dun manque de contractualisation entre les parlementaires et ladministration sur la fonction mme des indicateurs et sur la dfinition des concepts ?
les tats vitent parfois de dfinir prcisment certains concepts car ils napprcient pas les classements pour tous les indicateurs. la lolF a permis de dplacer le clivage entre le lgislatif et lexcutif, qui nest plus trs pertinent en raison du fait majoritaire, vers un clivage entre ladministration et le politique dans lequel les instances politiques, comprenant le gouvernement et le parlement, ont conclu un contrat avec lappareil administratif dtat. le parlement souhaitait en effet que les responsables des programmes, savoir les directeurs des administrations centrales, rendent compte de leurs performances directement devant le parlement, en labsence du cabinet. toutefois, pour viter que les parties nvitent le processus, il faut quune autre partie en surveille le bon droulement.
Pilotage financier autoris par la LOLF

Question de Mme Brocas, directrice de la DREES
la difficult que la lolF a rencontre en termes didentification des objectifs rsulte du fait quelle tait cense fixer la fois des objectifs la gestion publique et des objectifs de politique publique. la dmarche de la lolF comprend toutefois deux innovations trs importantes. dune part, il a t dcid que le budget serait vot au premier euro. deuximement, la lolF a estim que la gestion par programmes constituerait une dmarche efficiente permettant notamment de redployer, dans un cadre financier contraint, les moyens dun programme vers un autre. Ce systme favorise-t-il en ralit le redploiement de moyens dun programme vers un autre ?
la question des services vots ou du premier euro ma toujours paru plutt thorique et formelle car certaines dpenses sont inluctables. par ailleurs, la notion de programme est relativement dvoye. lorigine, lide consistait allouer pendant une priode donne une allocation une catgorie particulire afin de suivre lvolution de la catgorie donne. Juste avant la fin du programme, les dcideurs politiques se runissaient pour dcider si un autre programme tait ncessaire. la notion de programme est limite dans le temps. peu de pays placent lintgralit de leur budget dans ce systme de programmes. en revanche, la France a voulu lancer des programmes dans plusieurs domaines au mme moment quelle dcidait de la refonte des allocations

139
budgtaires et du management par objectifs et indicateurs sur lensemble de ladministration, y compris sur les secteurs qui ne sy prtent pas. en effet, les programmes sont adapts dans certains secteurs mais pas dans dautres. par ailleurs, dans le secteur du dveloppement durable, le programme nergie-climat qui vise lutter contre le rchauffement climatique dpend galement de tous les autres programmes. en effet, un rsultat de politique publique ne dpend pas dun seul secteur de ladministration. le rayonnement de la France ltranger dpend de tous les Franais et de quelques trangers, des artistes, des industriels, des touristes, etc. Ces acteurs concourent galement dautres objectifs comme lquilibre de la balance commerciale. limputabilit nexiste pas dans le cadre des politiques rserves ltat. elle existe quand ltat mne des actions accessoires.
dans quatre ans quand cette tude sera mene nouveau, vous rencontrerez les mmes problmes concernant les indicateurs et les objectifs.
il ne sagit pas dune fatalit. par exemple dans le cadre du Grenelle de lenvironnement, nous avons rassembl quasiment toutes les personnes concernes par le sujet du dveloppement durable. en termes de production dobjectifs de politique publique, les discussions qui ont t menes durant une anne ont t efficaces. des feuilles de route comprenant des objectifs ont t dfinies. il sera intressant de constater dans quatre ans ce quest devenu le systme de gestion des suites du Grenelle de lenvironnement. une reprsentation de la socit civile a prpar le travail et mtabolis les problmes destination des parlementaires qui, ensuite, ont vot les lois de Grenelle i, ii, etc. enfin, ladministration et toutes les autres parties prenantes de laction publique, comme les organisations non gouvernementales (onG), se sont mises en mouvement de faon cohrente afin dagir avec efficacit.
BiBliographie
Atkinson T., Marlier E., Cantillon B, Nolan B., 2005, Taking forward the EU Social Inclusion Process, an independent report Commissioned by the luxembourg presidency of the Council of the european Union. Atkinson T., Marlier E., Cantillon B, Nolan B., 2007, The EU and social inclusion : facing the challenge, The policy press, University of Bristol. Brunetire J.-R., 2006, les indicateurs de la loi organique relative aux lois de finances (lolF) : une occasion de dbat dmocratique ? , Revue franaise dadministration publique, n 117 p. 95 111. Cantillon B., Deleeck H, Van den Bosch K., 2001, pour une norme europenne de la pauvret. recommandations , Revue belge de scurit sociale, n 2. Elbaum M., 2009, les indicateurs de performance en matire de politiques sociales : Quel sens pour laction publique ? , Revue de lOFCE, n 111 p. 81 101.
Lvaluation sest impose comme un domaine part entire des sciences sociales, recouvrant notamment la recherche valuative, qui vise identifier les effets propres dune politique, en les distinguant des effets de contexte ou produits par dautres politiques menes concomitamment. Au cours de lanne 2009-2010, un sminaire sur les mthodes de lvaluation a t organis par la DREES, chaque sance prsentant des outils de lconomie et de la sociologie pouvant contribuer lvaluation. La premire sance sest attache dfinir prcisment lvaluation. Les trois sances suivantes ont abord successivement : les mthodes conomtriques visant identifier les effets propres dune politique ; les changements organisationnels, tels quils sont perus travers les tudes de terrain ; les mthodes qui permettent dimpliquer les usagers, par lintermdiaire de focus groups et denqutes de satisfaction. La dernire sance sest intresse aux approches consistant associer objectifs, indicateurs et benchmarking. Lobjet de ce recueil est de retranscrire le plus fidlement possible les diffrents exposs de ce sminaire ainsi que les dbats qui les ont suivis.
N DICOM : 11-025

Method Eval Polit Publiq PDF

Загружено:

Сведения о документе

Оригинальное название

Авторское право

Доступные форматы

Поделиться этим документом

Поделиться или встроить документ

Параметры публикации

Этот документ был вам полезен?

Это неприемлемый материал?

Авторское право:

Доступные форматы

Method Eval Polit Publiq PDF

Загружено:

Авторское право:

Доступные форматы

mthodes valuation politiques publiques

mthodes dvaluation des politiques publiques actes du sminaire

sous la direction de Nicolas Studer directrice de la publication Anne-Marie Brocas

dfinitions de lvaluation ............................................................................................................. 7

lidentification de leffet propre dun programme

valuation et changements organisationnels : lapport des tudes de terrain .................................................................................................. 59

associer les usagers et les citoyens

113 123 134 139

Lvaluation des politiques publiques en France

Les concepts de base de lvaluation

Une dmarche collective

partie 1 - dfinitions de lvaluation

qui comporte plusieurs registres

Les registres de lvaluation

Efficience Objectifs oprationnels Cohrence Ralisations (activits, outputs)

lvaluation des politiques publiques en France : dfinitions et historique

et se distingue du contrle, du pilotage et de laudit

partie 1 - dfinitions de lvaluation

Contrle, pilotage, audit et valuation

Vrifier la conformit la rglementation

Suivre lexcution des actions

Rduire les risques

Loi, rglement (cadre comptable)

Programme fix ex-ante

Sanctionner un cart : Rectifier la trajectoire : amendes, poursuites dialogue de gestion judiciaires

Alerter : recommandations, rappels lordre

lvaluation des politiques publiques en France : dfinitions et historique

Lvaluation rpond plusieurs objectifs et comporte plusieurs phases

partie 1 - dfinitions de lvaluation

Les aspects historiques de lvaluation en France : faiblesses et alas

Des perspectives intressantes

lvaluation des politiques publiques en France : dfinitions et historique

Les collectivits territoriales sont en avance

Le rle de la Socit franaise de lvaluation

partie 1 - dfinitions de lvaluation

Lvaluation dimpact en conomie du dveloppement

partie 1 - dfinitions de lvaluation

Pourquoi y a-t-il encore si peu dtudes dimpact ?

Pourquoi valuer limpact dune politique ?

lvaluation dimpact en conomie du dveloppement : lapproche exprimentale

Les deux tapes de lvaluation : valuation de processus et valuation dimpact

Les diffrentes mthodes dvaluation dimpact

partie 1 - dfinitions de lvaluation

lvaluation dimpact en conomie du dveloppement : lapproche exprimentale

GraPhIque 1 Investissement en eau potable dans deux tats indiens

Les discriminations lgard des femmes

partie 1 - dfinitions de lvaluation

lvaluation dimpact en conomie du dveloppement : lapproche exprimentale

La gratuit comme solution au paludisme

partie 1 - dfinitions de lvaluation

La demande de produits de sant est trs sensible au prix

lvaluation dimpact en conomie du dveloppement : lapproche exprimentale

40 Chlorine purchase 20 0 0,0 $ 0,1 $ 0,2 $ 0,3 $ 0,4 $ 0,5 $ 0,6 $

partie 1 - dfinitions de lvaluation

lvaluation dimpact en conomie du dveloppement : lapproche exprimentale

Pourcentage de prise de connaissance des rsultats

0,2 0 1 2 Distance to VCT (km)

partie 1 - dfinitions de lvaluation

synthse des dbats avec la salle

DES DBATS AVEC LA SALLE

Problmes thiques lis au tirage au sort

Rponse de Mme Duflo

partie 1 - dfinitions de lvaluation