Formation IA Générative et agentique pour testeur et QA

Jour 1 - Matin

Situer l'IA, l'IA Générative et l'agentique dans le cycle de test

• Panorama IA, Machine Learning, Deep Learning, IA générative et agents : vocabulaire utile au testeur
• Fonctionnement, capacités et limites des grands modèles de langage (LLM) : non-déterminisme, hallucinations
• Cartographie des usages de l'IA sur le cycle de test (cycle en V et approche agile)
• Cadre éthique et réglementaire : AI Act, protection des données, confidentialité

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : audit des opportunités d'usage de l'IA sur le processus de test de Contoso

Jour 1 - Après-midi

Pratiquer le prompt engineering appliqué au test

• Principes du prompting : rôle, contexte, contraintes, exemples (few-shot)
• Modèles de prompts pour le testeur : génération, analyse, reformulation, synthèse
• Panorama des outils du marché : ChatGPT, Claude, Microsoft Copilot, Gemini, Le Chat de Mistral
• Sécurité et confidentialité des prompts : données sensibles, RGPD, fuites d'information

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : constitution d'une bibliothèque de prompts de test pour Contoso

Jour 2 - Matin

Générer des artefacts de test avec l'IA Générative

• Génération de cas de test à partir d'exigences et de user stories
• Dérivation assistée des cas limites, classes d'équivalence et tests négatifs
• Génération de données de test réalistes et synthétiques
• Revue critique et validation humaine systématique des productions de l'IA

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : génération d'une campagne de cas de test pour Contoso à partir de ses exigences

Jour 2 - Après-midi

Documenter et analyser les tests à l'aide de l'IA

• Rédaction assistée : plans de test, rapports de campagne, matrices de traçabilité
• Analyse de logs et de résultats, synthèse automatisée de campagnes
• Aide à la priorisation et à l'analyse de risques
• Limites, biais et vérifiabilité des analyses produites par l'IA

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : production d'un rapport de campagne de test de Contoso, fiabilisé

Jour 3 - Matin

Automatiser les tests avec l'assistance de l'IA

• Copilotes de code pour le testeur : GitHub Copilot, Cursor, Claude Code
• Génération assistée de scripts (Selenium, Playwright, Cypress, pytest)
• Génération de tests unitaires et de tests d'API à partir du code
• Bonnes pratiques : revue, maîtrise de la dette technique, fiabilité du code généré

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : génération d'un script d'automatisation pour un parcours de Contoso

Jour 3 - Après-midi

Fiabiliser et maintenir l'automatisation grâce à l'IA

• Tests auto-réparants (self-healing) : principes et outils (Mabl, Testim, Functionize, Tricentis)
• Tests visuels assistés par l'IA (Applitools, visual testing)
• Stabilisation des suites instables (flaky) et maintenance prédictive
• Intégration des tests assistés par l'IA dans la chaîne CI / CD

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : mise en place du self-healing sur les tests automatisés de Contoso

Jour 4 - Matin

Définir une stratégie d'IA Générative pour le test

• Identification des cas d'usage à valeur, retour sur investissement, matrice d'adoption
• Risques liés à l'usage de l'IA générative pour le test et mesures associées
• Gouvernance : politique d'usage, confidentialité, propriété intellectuelle
• Feuille de route d'intégration progressive au sein de l'organisation QA

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : ébauche de la stratégie et de la roadmap GenAI de test de Contoso

Jour 4 - Après-midi

Evaluer la qualité et la fiabilité des productions de l'IA

• Vérifiabilité, traçabilité des sources et contrôle qualité des productions
• Métriques d'adoption et de performance : gains, taux d'erreur, couverture
• Panorama du corpus ISTQB CT-GenAI (notions ; passage de l'examen hors périmètre)
• Posture du testeur "augmenté" et trajectoire de montée en compétence

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : grille d'évaluation des productions IA appliquée à Contoso

Jour 5 - Matin

Comprendre les spécificités du test des systèmes à base de ML

• Cycle de vie d'un modèle ML / DL et rôle des données d'entraînement
• Pourquoi les approches de test classiques ne suffisent pas
• Métriques de modèle : précision, rappel, F1, matrice de confusion
• Problème de l'oracle, non-déterminisme et dérive (drift)

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : plan de test du composant de recommandation (ML) de Contoso

Jour 5 - Après-midi

Tester les données, les biais et la robustesse des modèles

• Qualité et représentativité des données, détection des fuites de données
• Biais, équité et explicabilité (XAI)
• Tests de robustesse, tests adversariaux et tests métamorphiques
• Surveillance en production et détection de la dérive du modèle

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : test des biais et de la robustesse du modèle de Contoso

Jour 6 - Matin

Tester les applications à base de LLM et de RAG

• Spécificités : non-déterminisme, hallucinations, sensibilité aux prompts
• Architecture RAG : points de contrôle qualité (recherche et génération)
• Evaluation par modèle juge (LLM-as-judge) et jeux d'évaluation
• Outils d'évaluation : RAGAS, DeepEval, promptfoo

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : jeu d'évaluation de l'assistant conversationnel (LLM / RAG) de Contoso

Jour 6 - Après-midi

Sécuriser et red-teamer les systèmes à base d'IA

• Menaces : injection de prompt, jailbreak, fuite de données, OWASP Top 10 LLM
• Garde-fous (guardrails), modération et filtrage des entrées / sorties
• Red teaming outillé : Garak, PyRIT
• Documentation de la robustesse et conformité

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : campagne de red teaming sur l'assistant de Contoso

Jour 7 - Matin

Comprendre les architectures agentiques

• Définition d'un agent : perception, raisonnement, action, mémoire
• Patterns agentiques : ReAct, planification, réflexion, usage d'outils (tool use)
• Protocoles d'outillage : function calling et Model Context Protocol (MCP)
• Panorama des frameworks (LangChain / LangGraph) et plateformes (Copilot Studio, Dust)

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : cartographie des fonctionnalités agentiques de Contoso et de leurs outils

Jour 7 - Après-midi

Mettre en oeuvre un premier agent

• Conception d'un agent simple orienté tâche
• Connexion à des outils et des sources : API, fichiers, navigateur
• Orchestration, gestion d'état et de mémoire
• Observabilité et traçage des décisions de l'agent

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : prototype d'un agent outillé pour assister le test de Contoso

Jour 8 - Matin

Concevoir un agent de test (assistant QA agentique)

• Cas d'usage QA agentiques : génération, exécution et triage autonomes
• Pilotage de navigateur par agent (Playwright MCP)
• Génération autonome de cas à partir d'exigences et exploration de l'application
• Garde-fous et supervision humaine (human-in-the-loop)

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : agent générant et exécutant des tests sur l'application Contoso

Jour 8 - Après-midi

Industrialiser l'agent de test

• Intégration dans la chaîne CI / CD et l'écosystème QA
• Triage automatique des défauts et reporting
• Coût, latence, fiabilité et limites de l'agent
• Bonnes pratiques de déploiement et de maintenance

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : intégration de l'agent de test de Contoso dans la chaîne CI / CD et reporting

Jour 9 - Matin

Tester un système agentique

• Défis : non-déterminisme, taille de l'espace d'états, autonomie
• Stratégies de test : scénarios, simulation, évaluation de trajectoires
• Test de bout en bout versus évaluation par composant
• Métriques d'évaluation d'agents : taux de réussite de tâche, coût, latence

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : plan de test des fonctionnalités agentiques de Contoso

Jour 9 - Après-midi

Tester les systèmes multi-agents et leur sécurité

• Interactions, coordination et défaillances en cascade
• Sécurité : délégué confus, exfiltration via les outils, gestion des permissions
• Observabilité, traçabilité et audit des décisions
• Gouvernance et conformité (AI Act, journalisation)

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : scénarios de test multi-agents et de sécurité sur Contoso

Jour 10 - Matin

Consolider la démarche QA de bout en bout (capstone)

• Mise en situation intégrée : tester avec l'IA, tester l'IA et concevoir un agent de test
• Travail en équipe sur un cas réaliste de bout en bout
• Restitution et revue par les pairs
• Consolidation des acquis des blocs précédents

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : consolidation de la démarche QA complète de Contoso

Jour 10 - Après-midi

Ancrer une démarche qualité IA durable

• Cadre qualité : ISO / IEC 42001, ISO / IEC 25058 et 25059, AI Act
• MLOps et LLMOps pour la QA : monitoring et évaluation continue
• Plan de montée en compétence et organisation de la veille

Exemple de travaux pratiques (à titre indicatif)

• Fil rouge : feuille de route qualité IA pour Contoso et plan de montée en compétence