®

Recherche d’un outil de test

logiciel pour
« TEPRO »

B. Bouffet – J.-M. Hallouët

I. Develay – P.-O. Bourgeois

18 février 2005
 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion Sommaire

I. Présentation de la société
II. Problématique
III. Recherches effectuées
IV. Évaluations
V. Bilan
VI. Conclusion

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 2

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Le groupe Atmel :

¾ ATMEL : Advanced Technology for MEmory and Logic

¾ Fondé en 1984 par G. PERLEGOS

¾ Leader dans la conception et la fabrication de :

• Semi-conducteurs
• Mémoires non volatiles
• Composants électroniques sensibles aux fréquences

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 3

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Le groupe Atmel –Centres de fabrication :

North Tyneside
Heilbronn
Colorado Springs Nantes
Rousset
Grenoble
San Jose
Manila

Fabriques de galettes de silicium

Montage et/ou test final

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 4

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Atmel Nantes :

¾ Conception et fabrication de circuits intégrés

¾ Microcontrôleurs

¾ 596 employés :
•47% d’ingénieurs et de cadres

¾ Chiffre d’affaires des ventes en 2003 :

•124 millions d’euros

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 5

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Atmel Group - Applications :

¾ Communications
¾ Sécurité
¾ Spatial
¾ Voitures
¾ Industrie
¾ Médical
¾ Multimédia
¾ Biens d’équipements

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 6

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Contexte de travail : (1/2)

¾ Présentation du département
• Test Engineering (TE)
• 8 ingénieurs
• 1 responsable qualité
Product Engineering
Department Director

Assistant

Validation Group Industrial Group Test Engineering Group Aerospace Engineering Methods & PE Lab Methods & Tech Admin
Group

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 7

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Contexte de travail : (2/2)

¾Travail en groupe
• A Angers pour les recherches sur Internet
• A Nantes pour les actions nécessitant le code
¾Un Directeur de projet
¾Un représentant pour chaque tâche
¾Compte rendu journalier par email

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 8

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Que doit améliorer TEPRO ?

¾ Réduire les temps de développement et de maintenance :

• Aujourd’hui :
75% du temps de développement passé en
maintenance.
50% du temps de maintenance dû à des Bugs logiciels
à des fautes de spécification.

¾ Standardiser et normaliser les outils et les méthodes du TE.

• Permettre une meilleure compréhension des codes.

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 9

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Notre projet

¾ Mener une étude

• Sur les outils logiciels de test proposés sur le marché.

¾ Pré requis sur les outils de test

• Test unitaire, d’intégration et de non régression
• Sur du code non compilé
• Règles de codage
• Intégration à l’IDE / Interface intuitive
• Support technique à la hauteur
• Coût restreint
J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 10
 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Plan d’action

¾ Recherche non exhaustive des outils sur le marché

¾ Recherche de fonctions caractéristiques dans les templates

TEPRO

¾ Choix de 4 outils maximum

¾ Test des outils choisis

¾ Bilan : Quel est l’outil le mieux adapté ?

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 11
 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Recherche de fonctions
¾ 5 critères principaux
• Complexité cyclomatique (v(g)) • % de commentaires
• Niveau de logique imbriquée • Copier / Coller

• Break / Continue ( ⊄ “case”)

¾ Ratio : nombre de lignes de commentaires / nombre de lignes de

code
• Ratio faible ⇒ maintenance difficile
• La moyenne : 20% de commentaires

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 12

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

¾ Anti-pattern Copier / Coller :

• Pratique largement répandue
• Corriger toutes les occurrences
¾ Résultats synthétisés dans le tableau Excel suivant :

Nb de Lignes de Lignes de
Répertoire / Lignes de
Critères Nom de la fonction lignes code code Ratio
Fichier commentaires
totales commenté purs
v(g) / niveau de
logique Probe/user_func chargement_Rom 392 39 29 324 12,04%
imbriquée
v(g) /
Probe/search voltage_search 309 41 1 267 15,36%
copier/ coller
v(g) / VOID VARIABLE
Probe/learn_client 127 12 0 115 10,43%
commentaires (lea_saveFile,"")
VOID VARIABLE
break, continue Probe/host_begin 246 30 19 197 15,23%
(automaticTest,"")
Niveau de
pdatalog(PinList *ppinlist,
logique Test/datalog 111 20 0 91 21,98%
e_log_type log_type)
imbriquée

break, continue Test/errfuncs func_err_proc(Pinlist *pinlist) 30 13 16 17 76,47%

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 13

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Recherche
¾ A partir d’Internet
¾ 6 outils trouvés
• C++Test • VectorCast
• Cantata++ • Logiscope
• CTC/CTA++ • Panorama C++

¾ Etablissement d’un comparatif

• Documentation des outils
• Renseignements obtenus par téléphone ou e-mail
• Résultats inscrits dans un tableau Excel

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 14

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

¾ Classification selon 9 critères

• Pondération des critères
• Attribution d’une note pour chaque outil
• 4 meilleurs outils :
ƒ C++Test
ƒ Cantata++
ƒ CTC/CTA++
ƒ Panorama C++
Critères Barème C++ Test Cantata++ CTC/CTA++ VectorCast Logiscope Panorama
Prix 3 ♦ ♦♦ ♦♦ ♦♦ ♦♦♦
Test unitaire 4 ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦
Test d’intégration 4 ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦
Plateforme 2 ♦♦ ♦♦ ♦♦ ♦♦ ♦♦
Règles de codage 5 ♦♦♦♦♦ ♦♦♦♦

Création de règles de codage 5 ♦♦♦♦♦ ♦♦♦♦♦ ♦♦♦♦♦

Test de régression 4 ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦

Test de couverture 4 ♦♦♦♦ ♦♦♦♦ ♦♦♦♦ ♦♦♦♦
Intégration à l’environnement 1 ♦ ♦ ♦ ♦ ♦
Total 30 26 22 17 12 22

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 15

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Ordre des évaluations:

1. CTC++/CTA++ (Verifysoft Technology)

2. Cantata++ (Quality Checked Software Ltd)

3. Panorama (International Software Automation)

4. C++ Test (Parasoft)

C++Test évalué en dernier ⇒ être le plus objectif possible

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 16

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

¾ Organisation
• Répartition en binôme
ƒ Être le plus objectif possible

• Un binôme à Nantes, l’autre à Angers

ƒ Alternance ⇒ travail diversifié

¾ Problèmes de communication rencontrés

• Obtention des caractéristiques du produit
• Acquisition en temps voulu des évaluations
• Assistance

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 17

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Résultats des évaluations :

CTC++
+ -
Facilité d’installation
Facilité d’utilisation Impossibilité de faire des tests
Intégration à l’environnement unitaires,intégration et non
MsDev régression
Tests système et de couverture Utilisation sur du code compilé
uniquement
Granularité ajustable
Tests manuels
Rapport HTML lisible
Documentations floue
Rapidité d’exécution

œœœœ

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 18

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

CTA++
+ -
Facilité d’installation Difficulté d’utilisation
Réalisation de tests unitaires Script de test manuel et intrusif
Langage spécifique pour les
scripts
Utilisation sur du code compilé
uniquement
Documentations floue

œœœœ

CTA++ / CTC++ : œœœ

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 19
 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Panorama C++

+ -
Intégration avec MSDev Pas de test unitaire ni d’intégration
Rapport de test agréable (texte ou Documentation limitée
graphique)
Interface agréable
Test de non régression et système
Fonctionne sur du code non
compilé
Rapide
Graphes de dépendance et
d’héritage
Plusieurs métriques

œœ

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 20

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Cantata++

+ -
Intégration avec MSDev Installation difficile
Rapport de test agréable problème de compatibilité avec
NT4
Test de couverture très visuel
Lent( Test>5h avec les fichiers
ATMEL)
Les tests sont principalement de
type dynamique
Le support technique n’est pas
efficace
Les scripts de test doivent être
écrit manuellement
La documentation n’est pas claire

œœœ

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 21

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

C++ Test / Rule wizard

+ -
Rapport de test complet Outils d’écriture des règles de
Interface agréable codage peu intuitif
Tests unitaires, d’intégration et
non régression
Fonctionne sur du code non
compilé
Règle de codage
Rapide( environ 2h sur les
templates ATMEL)



J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 22

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Tool Name C++Test Cantata++ CTC++ CTA++ Panorama C/C++

User Friendly GUI 9 9 9 ; 9

IDE Integration 9 9 9 9 ;
Unit & Integration
testing 9 9 ; 9 ;
Test coverage 9 semi-manual manual ; 9
Detailed diagnosis 9 9 9 9 9
Automatic test
cases 9 ; ; ; ;
User defined test
cases 9 9 ; 9 ;
Regression testing 9 9 9 ; 9
Test report
generation 9 9 9 9 9
Coding rules 9 9 ; ; ;
associated with source
Reusing of test code 9 9 code 9
Tests on non
compiled code 9 ; ; ; 9

9 Fonctionnalité présente ; Fonctionnalité absente

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 23
 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Conclusion (1/2)
¾ Les difficultés rencontrées
• Notions sur les tests vues plus tard en cours
• Communication avec certains fournisseurs

¾ Apports personnels
• Mise en pratique des connaissances théoriques
• Autonomie
• Travail de groupe
• Communication inter sous-groupe

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 24

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion

Conclusion (2/2)

¾ Apports pour Atmel

• Vue objective
• Etude complète et résultats de 4 outils de test
• Confirmation du choix de C++ Test

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 25

 Recherche d’un outil de test pour « TEPRO »
® Atmel - Problématique – Recherches - Evaluations - Conclusion Questions

J.M. Hallouët - P.O. Bourgeois – I Develay – B. Bouffet 18/02/2005 26