Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.

ne/rense, Mai 2003

International Program Development Evaluation Training

Module 10 : Rassembler le tout ensemble

Planification

La clé de la réussite des évaluations du développement se trouve dans la

planification. Si la planification est mal faite, aucune analyse sophistiquée par
la suite ne pourra la sauver. L’exemple 10-1 est un plan d’évaluation qui lie
les questions descriptives, normatives et d’impact à la conception
d’évaluation et aux méthodes de collecte de données. Un plan d’évaluation
facilite l’identification des compétences et des ressources nécessaires pour
exécuter l’évaluation. Bien sûr, ce n’est pas toutes les évaluations qui
cherchent à répondre à ces trois types de questions d’évaluation, on est donc
libre d’adapter le tableau de planification aux besoins.

Cette technique de planification par la cartographie systématique aide à

suivre toutes les tâches nécessaires pour répondre aux questions. Il est peu
probable que tous les renseignements nécessaires seront disponibles lors de
la progression, étape par étape, du processus de planification d’évaluation.
Au fur et à mesure que des nouveaux renseignements sont obtenus, il sera
peut-être nécessaire de réviser certaines idées et approches initiales. Ci-
dessous est présentée une description d’un plan d’évaluation.

Le plan d’évaluation est une façon visuelle de cartographier l’évaluation.

Certains le trouvent utile puisqu’il focalise l’attention sur chacune des
composantes principales de l’évaluation d’un programme. Les outils différents
seront utilisés pour aider à réfléchir sur un programme, sur son contexte, sur
ses objectifs mesurables et sur les stratégies de collecte et d’analyse des
données. Il se peut que certains outils soient créés pour des buts spécifiques.
La finalité de tout cela est de trouver une méthode qui aide à visionner
toutes les parties composantes de l’évaluation et de s’assurer qu’elles soient
connectées.

Il faudra toujours réserver un petit temps pour compléter toutes les colonnes
du plan puisque tous les renseignements nécessaires ne sont pas disponibles
dès le début. Ceci est souvent le cas en évaluation du développement. La
planification est un processus itératif. Parfois on rencontre des impasses (par
exemple, des renseignements qu’on a pensé disponibles ne le sont pas) ou
bien on trouve que les meilleures méthodes ne sont pas adaptées ou ne sont
pas pratiques pour une variété de raisons. L’élaboration et la rationalisation
d’un plan d’évaluation font partie d’un processus continu jusqu’à ce que tous
les détails soient calculés.

1
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exemple 10-1 : Plan d’évaluation

Questions Sous Approche Mesures Source de Echantillon Analyse Observations

questions données/
Méthodes de
collecte
Quelle est L’action est utile Appréciation Nombre et Documentation et Echantillon Fréquences Toute différence entre la mise
l’action ? pour qui ? rapide caractéristiqu fichiers du progressif et moyennes. en œuvre prévue et réelle et
(Question Qu’est-ce qui se Recherche es des programme d’une variété Résumer les étapes les raisons pourquoi
descriptive) passe pour les descriptive bénéficiaires Observation brève de participants de l’action
participants ? Contrôle Description des activités de plus 2-3 Extraire des
Comment marche-t- contre le des activités l’action membres du thèmes à partir des
elle ? plan global de l’action Entretiens avec des personnel par commentaires
participants et le site
personnel
L’action a-t- A-t-elle atteint le Evaluation No. de béné- Déclarations des Echantillon Comparer les Là où les cibles ont été
elle atteint niveau ciblé de multi site ficiaires finalités (au niveau stratifié mesures de dépassés ou pas atteintes,
ses cibles ? produits ? Améliorations de la politique, du prélevé au performance réelle noter l’importance de la
(Question A-t-elle atteint le Comparer la réelles par programme et du hasard des relative aux cibles différence
normative) niveau ciblé de performance rapport aux projet) participants à Extraire des Noter tous les effets imprévus
finalités ? contre les objectifs Documents et chaque site thèmes à partir des pour suivi éventuel
Le calendrier a-t-il cibles Calendrier et fichiers du plus des commentaires
été respecté ? dates limites programme membres du
Le budget a-t-il été Coûts réels Enquêtes, personnel
respecté ? observations et sélectionnés
jugement des
experts
Quel est Les bénéficiaires Approche Niveaux de Appréciation Recensement Comparer la Cette façon de répondre aux
l’impact de ciblés ont-ils été orientée performance approfondie des de tous les performance liée besoins exprimés est-elle la
l’intervention touchés ? vers les appréciés besoins : identifier participants aux besoins réels plus coût/
? Qui d’autre a été consom- contre les les effets clés. Echantillon avec celle des efficace ? Recommandations
touché ? mateurs et besoins Enquête, progressif des autres programmes nécessaires relatives à la mise
Y avait-il des effets basée sur Références observations, membres de Renseignements en œuvre dans d’autres sites.
de vague ? les besoins comparées à appréciations la famille (afin sur le coût
Par rapport a quoi ? exprimés celles des d’experts de suivre les
Suivi ouvert autres Groupes ciblés avec effets de
des impacts actions participants et vague)
en aval familles

2
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Guide pour l’utilisation du plan d’évaluation

On pourra modifier le format du plan d’évaluation pour l’adapter aux intérêts

et au style spécifique. Par exemple, si on a prévu de poser une question
normative, peut-être il faudra élaborer les sous questions en plus grand
détail et inclure des mesures beaucoup plus spécifiques ainsi que des sources
où on pourra les trouver.

Pour chaque question, compléter toutes les colonnes. Il faudra réserver une
ligne pour chaque question. S’il y a deux questions principales, il faudra donc
réserver deux lignes du tableau afin de noter comment chaque question sera
évaluée : les mesures qu’il faudra collecter, la localité où les renseignements
se trouvent, comment les collecter et quel type d’analyse appliquer.

Comme on l’a déjà mentionné, le processus de planification est itératif et il

faudra du temps pour déterminer la meilleure façon d’exécuter l’évaluation.
Au fur et à mesure que l’évaluation est élaborée, il se peut que les
hypothèses du début ne soient pas correctes. Alternativement, il se peut qu’il
soit facile de déclarer très spécifiquement là où les données se trouvent : par
exemple, le rapport no. 2001 du mois de mai 1998 contient toutes les
données dont on a besoin. Même si on n’a pas assez de renseignements pour
compléter toutes les colonnes, un plan d’évaluation pourra être d’une énorme
valeur dans la clarification des étapes principales impliquées et dans la
communication de ces étapes aux autres.

La rubrique réservée aux observations pourra être utile pour le suivi des
questions non résolues, les préoccupations en cours de route, ou les noms
des contacts qui pourront être utiles. Il faudra s’en servir de la manière qui
est la plus utile.

Deux outils utiles (et disponibles sur l’Internet) pour la planification des
évaluations sont :

v Evaluation Plans and Operations Checklist (Stufflebeam)1

v Checklist for Program Evaluation Planning (McNamara)2

Comme pour tous les outils présentés et cités dans ces modules, il est
souvent utile d’étudier soigneusement plusieurs outils différents et ensuite
d’élaborer une version qui cadre avec la situation spécifique à laquelle on est
confronté et avec la manière dont on organise et comprend les
renseignements.

1
Disponible pour téléchargement: http://evaluation.wmich.edu/checklists
2
Disponible sur l’Internet: http://www.mapnp.org/library/evaluatn/chklist.htm

3
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Réviser le plan

Une fois le plan complété, il faudra s’assurer que toutes les parties soient
connectées afin d’obtenir les données nécessaires pour l’évaluation du
programme.

Il est essentiel de tester. Chaque outil et procédure de collecte des données

devront être testés. Si cela ne va pas marcher, il faudra le découvrir avant de
commencer à collecter les données. Lors du test d’un outil de collecte des
données par exemple, il faudra le donner à plusieurs personnes qui
l’utiliseront dans un contexte réel ; ensuite comparer ce qu’ils ont trouvé. Si
l’outil est normalisé et structuré, ils auront collecté les mêmes données de la
même manière.

Lors du test d’une enquête ou d’une séance de groupe ciblé, il faudra les
conduire comme s’ils étaient réels. Cela veut dire que la personne enquêtée
ou le participant qui devra compléter un questionnaire fera comme si
l’évaluation était réellement en cours. Par la suite, il faudra que tout le
monde explique ce qui a marché et ce qui n’a pas marché, ce qui était clair et
ce qui n’était pas clair. On pourra même leur demander de proposer des
solutions aux problèmes qu’ils ont découverts et de proposer les questions
qu’on devrait poser. De la même manière, conduire une ou deux séances de
groupe ciblé avec un petit groupe des personnes qui vont participer
probablement à l’étude. Faire une répétition de tout le processus. Encore une
fois, demander un retour et des suggestions à la fin.

Il pourra être utile également de demander aux experts de réviser les plans
et les outils. Ils pourront fournir un retour et des suggestions utiles.

Finalement, demander à un lecteur froid d’étudier les enquêtes pour

s’assurer qu’elles sont claires, grammaticalement correctes et sans erreur.
L’évaluateur est trop proche de son travail pour pouvoir voir toutes ses
erreurs.

Termes de Référence révisés

Les Termes de Référence (TdR) couvrent l’évaluation globale et établissent

les accords initiaux avant le plan de travail. Le processus d’élaboration des
Termes de Référence pourra être très utile afin d’assurer la prise en compte
de toutes les parties prenantes dans la discussion et dans la prise de décision
sur les grands débats que l’évaluation devra adresser. Il établit les principes
directeurs de base pour que celui qui est impliqué comprenne les attentes de
l’évaluation et le contexte dans lequel l’évaluation aura lieu.

Normalement les termes de référence comprennent :

o Intitulé : bref et descriptif

o Description du projet ou du programme

4
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

o Raisons de l’évaluation et les attentes

o Envergure et point focal de l’évaluation : les débats à adresser et les
questions à poser, les réponses à rechercher
o Implication des parties prenantes : qui sera impliqué, la définition des
responsabilités et le processus de rendre compte
o Processus d’évaluation : ce qui sera fait
o Produits : normalement sur un plan d’évaluation, c’est un rapport
intérim, un rapport final et des présentations
o Qualifications de l’évaluateur : formation, expérience, compétences et
capacités nécessaires
o Projection du coût sur la base des activités, du temps disponible, du
nombre de personnes, des honoraires, des voyages et tout autre frais
connexes

Encore une fois, des listes de contrôle disponibles sont utiles pour
l’élaboration des contrats et des budgets. Les ressources suivantes
(disponibles sur l’Internet) sont particulièrement utiles :

v Evaluation Contracts Checklist (Stufflebeam) 3

v Checklist for Developing and Evaluating Evaluation Budgets (Horn)4

Appréciation de la qualité d’une évaluation

L’étape finale lorsqu’on met tout ensemble est d’apprécier la qualité de

l’évaluation de façon critique. Une évaluation viable :

v Répond aux besoins exprimés

v L’envergure est réaliste et pertinente
v Les méthodes sont adaptées
v Les données sont viables, exactes et valables
v L’analyse est adaptée et juste
v Les conclusions sont impartiales
v Les résultats sont clairement communiqués – oralement ou par écrit
v Elle est conforme aux normes professionnelles (voir module 1)

Il existe plusieurs listes de contrôle pour l’appréciation de la qualité d’une

évaluation et il est utile d’en appliquer au moins deux lors de l’examen du
travail effectué afin de s’assurer que rien n’a été oublié. Ci-dessous certaines
listes particulièrement utiles avec des perspectives différentes :

The Key Evaluation Checklist (Scriven)

Program Evaluations Metaevaluation Checklist (based on The Program
Evaluation Standards) (Stufflebeam)
Utilization-focused Evaluation Checklist (Patton)
3
Disponible sur l’Internet: http://evaluation.wmich.edu/checklists
4
Disponible sur l’Internet: http://evaluation.wmich.edu/checklists

5
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Guidelines and Checklist for Constructivist (a.k.a. Fourth Generation)

Evaluation (Guba & Lincoln)
Deliberative Democratic Evaluation Checklist (For evaluating evaluation in
consideration of the Guiding Principles for Evaluators) (Stufflebeam)

Méta évaluateur

S’il est possible d’obtenir le financement, il serait très utile de recruter un

méta évaluateur expérimenté. C’est quelqu’un ayant de l’expertise en
évaluation qui n’est pas impliqué dans l’exécution de l’évaluation, mais qui
pourra servir de sondage, de conseiller et de critiq ue à n’importe quel stade
du processus de l’évaluation.

Astuce : Méta évaluation avec un budget limité

Si le budget ne permet pas de recruter un méta évaluateur, voici quelques

options pour ceux qui ont des budgets limités. Il se peut qu’il y en ait
d’autres à ajouter à la liste !

1. Considérer un méta évaluateur « d’appréciation rapide » -

demander à un expert de jeter un coup d’œil rapidement sur le plan
d’évaluation (ou rapport), d’identifier toute lacune et de faire des
suggestions. Pour une meilleure mise en valeur, demander à deux
évaluateurs ayant des compétences et des perspectives
complémentaires de regarder le travail effectué. La valeur de leurs
réactions dépassera vos espérances.

2. Proposer de servir en tant que méta évaluateur/réviseur pour

quelqu’un d’autre, à condition qu’il rendra le même service en retour.
Même un regard très rapide par une personne externe pourra être très
valable.

La tâche d’évaluation est un défi (parfois effrayant), et plus on arrive à

obtenir des réactions et des conseils, plus la qualité du produit sera
améliorée pour les parties prenantes. Après tout, la valeur des réactions pour
maximiser la qualité et l’efficacité est pour l’essentiel la définition du métier
d’évaluateur. Y a-t-il une meilleure façon de communiquer l’importance de
cela que de le faire soi-même ?

6
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice 10-1
Mettre tout ensemble

L’évaluation du programme d’atelier sur l’évaluation de l’IPDET 5

Instructions :

Lire le scénario suivant, compléter le plan d’évaluation (sur la page suivante)

et identifier les compétences nécessaires pour constituer l’équipe
d’évaluation.

Scénario :

Cinq ans après le démarrage du programme d’atelier sur l’évaluation

du développement, le donateur voulait faire une évaluation afin de
déterminer le niveau de réussite, de pertinence et du coût/efficacité du
programme. Le donateur a donné trois mois pour compléter
l’évaluation.

L’atelier s’est tenu dans 5 pays chaque année, avec un total de 500
participants (à peu près 20 par classe). Tous provenaient des agences
publiques et des ONGs. Deux formateurs dans chaque pays ont tenu
l’atelier chaque année et 13 sont encore engagés par le programme.

Le sponsor a gardé quelques données sur les participants :

Ø 50% des participants travaillent toujours pour la même agence ;
Ø 30% ont changé de fonction
Ø 20% sont introuvables

Un questionnaire de suivi des stagiaires (avec un taux de réponse de

93%) en 2003 a indiqué que :
Ø 69% des participants ont trouvé la formation très utile dans leur
travail
Ø 11% des participants ont trouvé la formation quelque peu utile

5
Sur la base d’un exercice élaboré par Universalia – WBI, Exercice 9-1

7
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Exercice 10-2
Plan d’évaluation

Débats Questions Approches Mesures Sources/ Echan- Analyse Obser-

Principaux Méthodes tillon vation
de collecte
de
données
Pertinence

Pertinence

Réussite

Réussite

Coût/
Efficacité

Coût/
Efficacité

Autre

Autre

8
 Traduit par le R2seau nigérien de Suivi Evaluation (ReNSE), http://www.pnud.ne/rense, Mai 2003

Lectures et ressources supplémentaires

Worthen, B.R., Sanders, J.R. and Fitzpatrick, J.L. (1997). Program

evaluation, Part three, pp.187-307. New York: Longman.

Sites Web

International Development Research Center (1997). Planning, Monitoring &

Evaluation of Programme Performance. Ottawa, Ontario, Canada.
Online: http://www.idrc.ca/evaluation/documents/rebk1512.pdf

McNamara, C. (1999). Checklist for Program Evaluation Planning. Online:

http://www.mapnp.org/library/evaluatn/chklist.htm

The checklist project, The Evaluation Center, Western Michigan University.

Online: http://evaluation.wmich.edu/checklists

W.K. Kellogg Foundation (1998). W.K. Kellogg Evaluation Handbook. Online:

http://www.wkkf.org/pubs/Pub770.pdf