Bibliothèque de prompts évalués
Une équipe support veut un prompt fiable pour classer les demandes entrantes.
- Prompt
- Tu es un agent de tri. À partir du message client ci-dessous, renvoie la catégorie (facturation, technique, autre) et une phrase de justification. Si le message est ambigu, réponds « à vérifier ».
- Jeu de test
- 20 messages inventés, dont 4 ambigus et 2 pièges (message sans demande, message dans une autre langue).
- Critères
- Catégorie juste dans 80 % des cas ou plus ; aucune catégorie inventée ; « à vérifier » utilisé sur tous les cas ambigus.
- Résultat v2
- 17 cas sur 20 corrects, 1 catégorie inventée corrigée en ajoutant l'instruction « ne propose aucune autre catégorie ».
Critères de relecture
- Les critères sont écrits avant le test.
- Le jeu de test contient des cas difficiles.
- Chaque version du prompt est comparée à la précédente.
- Les échecs sont analysés, pas seulement comptés.