Module 5- Questions et

critères de l'évaluation

Ce qu'il faut évaluer

Questions Méthodes et
et critères techniques

Qualité
 La (ou les) question(s) de
l'évaluation
 Exprime une préoccupation a l'état brut, un
besoin que ressent le commanditaire (futur
utilisateur ?)
 S'exprime en langage courant
 Est le meilleur moyen de se comprendre et de
s'entendre entre commanditaire et
évaluateurs
 Les mises au point se font par les moyens
habituels de la communication
interpersonnelle (écoute, re-formulation, etc.)

2
Le processus de focalisation des
questions
Question
de départ

Méthodes et
techniques Etude de
utilisables faisabilité

3
Les différents niveaux d'une
discussion itérative sur les questions,
les méthodes, le coût, ...

Partenaires
Commanditaire
Bénéficiaires

Equipe du
projet, du
Equipe
programme ou
d'évaluation
de la politique

4
 Bien classer les questions
Il existe trois types de questions:
Descriptives Comment s’est déroulé le programme, le
profil du personnel en poste était-il adapte, le
projet au départ était-il cohérent…

Normatives Les coûts unitaires sont-ils conformes a ceux

des établissements de même nature, le taux
d’insertion après formation est-il satisfaisant,
la part des dépenses publiques…
D’impact Les revenus des groupes cibles ont-ils été
(causalité) améliorés durablement, dans quelle mesure
l’amélioration de l’état sanitaire résulte du
projet…

5
 Bien classer les questions
Ces trois types de questions nécessitent des
méthodes différentes:
Descriptives Etude de cas, entretiens, lecture de
dossiers, enquêtes statistiques

Normatives Analyse comparative: données disponibles,

études de cas, enquête statistique,
analyse coût-bénéfice, analyse coût-
efficacité
D’impact Expérimentation avec groupe de contrôle
(causalité) ou au moins analyse avant-après:
recherche de relations causales, analyse
statistique, analyse prévisionnelle.

6
 Les critères d'évaluation
Structure logique

Pérennité
Buts, Finalités Impact
Pertinence
Efficacité

Réplicabilité
Résultats
Cohérence

Produits
Efficience
Activités

Intrants

7
Les critères... Comment s’y retrouver?

Percoeffidu
Pertinence durabilité
(pérennité)
efficacité impact
cohérence efficience
8
Les critères... Quelle est leur utilité?

 C'est le "politiquement correct" de

l'évaluation, selon les standards du CAD
 Dans les discussions/réflexions sur les
questions d'évaluation, les critères aident à
ne rien oublier et à classer les
préoccupations
 Une évaluation "totale" (sur tous les
critères) renforce la logique des conclusions
et donc leur solidité

9
 Critères et Questions: la
correspondance
Le programme était il bien approprié ou adéquat
Pertinence pour atteindre le but général poursuivi ?
L'objectif est-il toujours d'actualité aujourd'hui ?
Le programme correspond-il toujours aux
attentes des parties prenantes?

Dans la conception originelle du programme, les

objectifs étaient-ils (sont-ils) cohérents entre
Cohérence eux, les activités prévues permettaient- elles
d'atteindre les objectifs opérationnels visés, les
moyens prévus permettaient-ils de réaliser les
activités envisagées dans les temps impartis ?

10
 Critères et Questions: la
correspondance
Efficience Comment le projet, la politique a-t-il
(elle) fonctionné ? Les ressources ont-
elles été bien mobilisées ? Les coûts
unitaires sont-il dans les normes ? Les
résultats immédiats escomptés ont-ils
été effectivement obtenus et dans
quelles conditions de qualité, coût et
délais ? Les résultats ont-ils été à la
mesure des sommes dépensées ? Les
exigences contractuelles ont-elles été
respectées?

11
 Critères et Questions: la
correspondance
Efficacité Quel est le niveau d'atteinte de l'objectif principal
du projet ? Le programme a-t-il eu les effets
attendus au niveau des bénéficiaires (correction
des déséquilibres, renforcement institutionnel,
modifications de comportement, etc.) ?

Impact Le programme a-t-il contribué a corriger le

problème visé (niveau de pauvreté par exemple)
ou à produire le développement escompté ? A-t-il
des effets négatifs imprévus ? Les conséquences
globales du programme sont-elles bénéfiques ?

12
 Critères et Questions: la
correspondance

Durabilité Les effets du projet ou du programme

seront-ils durables ? Les mécanismes
mis en place sont-ils viables ?

Réplicabilité La politique peut-elle être reproduite?

A quelles conditions ?

13
Un exemple : (Projet FAC d'appui à la formation
professionnelle et Per co ef
à l'emploi, f i1999)
Mali, du
Un but ou finalité
Accroître la productivité et la compétitivité des
entreprises
Pertinence
Contribuer à réhabiliter la formation
professionnelle : (1) Améliorer l'offre, (2) Solvabili-
Un objectif général ser/réguler le marché, (3) Mobiliser les ressources
et les énergies
Impact

Cohérence
Concevoir de nouveaux produits de formation,
répondre aux demandes des opérateurs
économiques, multiplier les formations d'apprentis,
Des objectifs spécifiques d'artisans, de salariés, renforcer les capacités des
Durabilité
opérateurs de formation, professionnaliser les
formateurs, créer une dynamique durable
Ecrire des textes, réhabiliter des locaux, acquérir
Efficacité
des équipements, définir des procédures, des
Des activités systèmes de gestion, former du personnel, monter
des opérations de formation, financer des
demandes de formation, ...
Efficience
Personnel national, ATF, Budget national, Budget
Des moyens du FAC

La structure Le PAFPE
hiérarchique
type d'un projet
14
 Comment?
Pour donner à toutes les questions un contenu concret, il
faut repartir des objectifs et des indicateurs de départ
(document de projet et cadre logique). Quand le cadre
logique n'existe pas, l'évaluateur doit le reconstituer.
La structure Les indicateurs associés, Les moyens de
hiérarchique des qui permettent de vérification prévus
objectifs du projet préciser les objectifs (ou à imaginer)
(QQT)

Impacts Indicateurs MdV

Resultats Indicateurs MdV

Produits Indicateurs MdV

Activités Indicateurs MdV

Intrants Indicateurs MdV

15