Qu'est ce qu'un état de l'art ?

: la diérence avec un travail d'ingénieur



Ce document a pour but d'expliquer sur un exemple la diérence entre un travail d'ingé-
nieur et un travail de recherche appliquée, en présentant la première étape qui en découle :
l'état de l'art. Le sujet est volontairement simple pour des raisons pédagogiques.

1 Contexte

La situation est la suivante : une société de conseil cherche à modier ses méthodes
d'évaluation lors des formations qu'elle propose.
Cas 1, travail d'ingénieur : comparer les diérentes méthodes d'évaluation sommatives
en terme de couverture du sujet et de facilité de correction.
Cas 2, travail de recherche appliquée : suite à plusieurs retours d'expérience, la société
de conseil sent qu'elle n'a pas une méthode adaptée pour évaluer ses formations, elle
souhaite réaliser un état de l'art sur les méthodes d'évaluation avant d'envisager d'en
changer.

2 Travail d'ingénieur

L'ingénieur commence par recenser les méthodes d'évaluation sommatives, et en re-

père 3 : le QCM, la question ouverte (dissertation), l'étude de cas.
Il les évalue ensuite suivant les critères fournis :

Méthode couverture correction

QCM large très aisée (automatique)
dissertation moyenne dicile
étude de cas limitée dicile

A la vue de la comparaison, l'ingénieur préconise l'emploi du QCM. Il lève cependant

quelques limites à ce travail : il réalise que le QCM demande un travail de préparation
très important et propose en perspective une réexion sur la pertinence des critères de
choix.

3 Travail de recherche appliquée

Dans ce cas, le point de départ est un problème ressenti. La démarche à suivre est la
suivante :
 remonter aux sources du problème : cerner le contexte
 identier et étudier le problème pivot, ici, l'évaluation
 rechercher les solutions existantes : l'étude bibliographique
 analyser les solutions existantes, à travers un cadre d'analyse
 faire des préconisations

1
3.1 Le contexte

L'entreprise en conseil souhaite travailler sur ses méthodes d'évaluation. Pourquoi ?

Parce qu'une part importante de son activité est la formation, et qu'elle souhaite devenir
la meilleure dans ce domaine.
Il faut donc dans un premier temps élargir le sujet, en s'intéressant à la formation
de manière générale, an d'être certain d'avoir cerné le bon problème. Dans un pre-
mier temps, cela peut se faire dans le cadre de l'entreprise : qui forme-t-elle ? de quelle
manière ? quel est son domaine d'expertise ?. La réponse à ces questions se fera selon
l'angle de l'évaluation, et pourra apporter des éléments pertinent pour la suite du travail
de prospection. Par exemple, dans ce cas, on s'aperçoit qu'il s'agit de former (et donc
d'évaluer) des personnes adultes, mais de tous niveaux scolaire (opérateur, techniciens,
ingénieurs, dirigeants), sur des domaines liés au LEAN, donc à la fois des outils et des
démarches, mais toujours dans l'industrie.
Il est temps alors d'aller voir ce que les autres ont pu faire, c'est la première recherche
bibliographique. Elle est d'abord large et prospective. Mieux vaut ne pas tout de suite
se focaliser sur l'évaluation, mais plutôt sur les mots-clefs issus de l'analyse précédente :
formation aux adultes, formation universelle, etc. Beaucoup d'idées vont émerger à ce
moment là, mais rien ne sert de vouloir aller jusqu'au bout de chacune pour le moment.
Rappelons-nous que nous n'avons pas encore répondu à la question de base : qu'est-ce
que former, et quelle est la place de l'évaluation dans une formation ?
Les diérentes lectures sur les méthodes d'apprentissage et d'évaluation permettent
d'aboutir à ces réponses :
 former, c'est enseigner quelquechose à quelqu'un, c'est-à-dire le faire passer d'un
niveau de compétence n (ses pré-recquis) à un niveau de compétence n+1 (l'objectif
de formation), normalement supérieur.
 les étapes majeures d'une formation sont la préparation, l'exécution, l'évaluation et
l'enregistrement, c'est-à-dire ce qu'il restera une fois la formation nie. L'évaluation
est donc une des 4 étapes essentielles d'une formation.

3.2 Le problème pivot

Ici, le problème principal est l'évaluation. Mais au fait, de quelle évaluation parle-t-
on ? Est-ce celle des apprenants (vérier que les notions ont été acquises), ou l'évaluation
de la formation en elle-même, c'est-à-dire le retour d'expérience ? C'est le moment de
revenir vers l'entreprise, qui précise alors qu'elle ne s'intéresse qu'à l'évaluation de l'ap-
prenant.
On peut alors commencer un travail bibliographique sur les méthodes d'évaluation.
Assez rapidement, il apparait qu'il existe deux grandes familles d'évaluation :
 l'évaluation formative : il s'agit d'évaluation sans "note", qui permet au cours de
la formation, de vérier que les apprenants arrivent à suivre.
 l'évaluation sommative : c'est une évaluation ponctuelle, qui permet d'évaluer
quantitativement les compétences acquises. Exemple : un examen.
L'analyse des retours d'expérience de l'entreprise semble montrer que le problème se
situe plutôt sur les évaluations sommatives, mais il sera intéressant de rappeler ces deux
types d'évaluation dans l'état de l'art nal.

2
 Tous ces éléments permettent maintenant de dégager une problématique de re-
cherche, qui est : quelles sont les méthodes d'évaluation sommative les plus pertinentes
dans le cas de formation d'adultes de diérents niveaux dans l'industrie ?

3.3 L'étude bibliographique

C'est le moment de rechercher en profondeur les travaux antérieurs sur des pro-
blématiques proches de celle dénie précédemment. Cette étude bibliographique doit
permettre de mettre en lumière un certain nombre de méthodes, ainsi que leur limites.
Cependant, pour des raisons didactiques, nous allons simplier les résultats obtenus.
Imaginons que seules trois méthodes d'évaluation sommatives pour adulte ont pu
être repérées :
 le QCM de Machin et al. : il s'agit de proposer des questions à choix multiple
 l'étude de cas de Chose et al. : il s'agit de mettre les apprenants en situation proche
du réel et d'évaluer leur réaction sur ce cas particulier.
 la dissertation de Truc et al. : il s'agit de poser une question ouverte liée aux
concepts enseignés lors de la formation.
Que faire maintenant de ces solutions trouvées ? Les présenter ne sut pas à consti-
tuer un état de l'art : il faut les analyser, les jauger, suivant des critères d'analyse : on
appelle cela le cadre d'analyse

3.4 Le cadre d'analyse

Comment créer un cadre d'analyse ? La réponse est : de manière itérative. Il faut tester
plusieurs cadres avant de trouver le bon. Pour cela, toutes les recherches préliminaires
vont être d'un grand secours.
Rappelons nous le problème de départ : la société de conseil souhaite faire évoluer
la méthode. Dans ce cas, le problème posé est un problème de choix : laquelle choisir ?
Pour notre application, un cadre d'analyse adapté est la comparaison multi-critères.
Ce n'est pas toujours le cas. Certaines problématiques de recherche sont plutôt du
type oui/non, par exemple : les outils du LEAN peuvent-ils permettre d'améliorer les
processus de création ? Dans ce cas, le cadre d'analyse focalisera plus sur les avan-
tages/inconvénients, l'évaluation des applications existantes (résultats), etc.
Dans notre cas donc, nous souhaitons faire une comparaison multi-critères des dié-
rentes méthodes. Mais comment choisir les critères ? Rappelons nous ce que les recherches
préliminaires ont montré : une formation se passe en 4 temps essentiels. Dans un premier
temps, nous pouvons évaluer les méthodes suivant ces 4 temps. Pour le temps de l'évalua-
tion, la littérature propose deux critères : la couverture du sujet (est ce que l'évaluation
permet de traiter de toute la formation ?) et la diculté de correction. Les résultats qui
suivent sont synthétisés dans le tableau ci-dessous. Il apparait que le QCM est très aisé
à corriger, seulement, il demande une préparation longue, peut poser des dicultés de
mise en place (possibilité de triche, de hasard) mais qui sont surmontables (modier
l'ordre des questions entre candidats, etc). En revanche, l'apprenant qui conservera son
QCM pourra dicilement le réutiliser plus tard. L'étude de cas a une réalisation peu
aisée : elle demande beaucoup de préparation et souvent beaucoup de matériel lors de
la réalisation (documents, calculatrice, etc). Sa couverture est restreinte et le temps de
correction légèrement plus long que le QCM. En revanche, elle ore plus d'éléments pour

3
la réutilisation postérieure par l'apprenant. Enn la dissertation est très aisée à préparer
et permet de couvrir un large sujet mais nécessite des temps de correction très long, et
ne garantit pas l'égalité des apprenants. (Bien sûr toute cette analyse est justiée par
des travaux de la littérature.)

Méthode préparation réalisation couverture correction enregistrement

QCM très longue moyenne large très facile limité
dissertation très courte très aisée large laborieuse assez complet
étude de cas longue complexe limitée moyenne partiel

Cette première analyse multi-critère est un résultat en soi. Mais nous n'avons pas
encore pleinement répondu à la problématique. Rappelons-nous que nous ne nous situons
pas dans n'importe quel contexte, et là encore, l'étude préliminaire peut permettre de
dégager d'autres critères d'évaluation qui peuvent s'avérer pertinents comme : à qui
s'adresse la formation ? quelle méthode est plus adaptée à l'industrie ? Fait-on un choix
diérent si la formation porte sur des outils ou des méthodes ? Estimer la pertinence
de ces critères est un processus itératif : cela se fera à tatons, en essayant sur le cas
particulier et en comparant avec la littérature.

3.5 Préconisations

Par rapport au travail d'ingénieur, qui avait permis de déterminer un choix, ici, il
sera possible de proposer une aide à la décision. Cette première comparaison permet de
démontrer que le choix doit se faire en fonction du contexte : puis-je me permettre de
passer beaucoup de temps à préparer l'évaluation ou la correction ? Ai-je à ma dispo-
sition un matériel varié pour sa réalisation ? etc. Alors, des critères comme le nombre
d'apprenants, la réutilisation de la formation ou les ressources matérielles pourraient être
déterminantes. L'état de l'art peut proposer, par exemple, de faire dans un second temps
une matrice de choix d'évaluation en fonction de ces critères factuels.

4 Conclusion

Les travaux de recherche appliquée et d'ingénieur ne dièrent pas par leur contexte
ou leur applicabilité, mais par le point de départ, la démarche et l'objectif à atteindre.
Dans le cas d'un travail d'ingénieur, le point de départ est relativement cerné et res-
treint : le problème a déjà été partiellement analysé, et il s'agit de traiter une orientation
particulière avec des outils existants. Cette solution sera adaptée dans le cas déni, mais
pas forcément réutilisable à long terme.
Dans le cas d'un travail de recherche appliquée, le point de départ est un problème
ressenti, dont la cause n'a pas forcément été identiée. Il s'agit alors de cerner le problème
avant de commencer à envisager des solutions. De plus, ces solutions se doivent d'être
robustes à long terme et de couvrir un large spectre de cas. Au besoin, il peut être
nécessaire de créer de nouveaux outils pour y parvenir.
Pour toutes ces raisons, réaliser un état de l'art est un processus itératif, qui nécessite
de conserver un esprit ouvert, mais aussi une méthode et une organisation, an de jamais

4
perdre de vue la problématique et l'objectif qui en découle.