La question centrale
Sur presque tous les produits IA revient la même question : comment savoir que le système est assez bon pour être utilisé, puis comment vérifier qu'il le reste en production ? Une démonstration réussie ne répond à aucune des deux.
Prenez un assistant de support client. En démo, il trouve la bonne facture et annonce le bon montant. Mais que se passe-t-il quand le client se trompe de référence, quand la documentation se contredit, ou quand l'outil de remboursement renvoie une erreur ? C'est sur ces situations que la confiance se construit.
Une réponse décevante a plusieurs origines possibles
Un assistant de ce type enchaîne plusieurs étapes : la question, la recherche d'information, la préparation du contexte, la génération, les contrôles de sortie. Une mauvaise réponse peut venir de n'importe laquelle. Évaluer, c'est donc deux choses :
- mesurer le résultat (la réponse est-elle bonne ?) ;
- retrouver l'endroit où le problème apparaît (recherche, contexte, génération, outil, contrôle).
Figure 1 : une mauvaise réponse peut venir de n'importe quelle étape ; évaluer, c'est mesurer le résultat et localiser l'étape en cause.
Votre rôle de chef de produit
Vous n'écrivez pas les tests, mais vous devez pouvoir dire :
- ce qu'est une tâche réussie pour l'utilisateur ;
- quelles erreurs sont acceptables et lesquelles doivent bloquer le service ;
- quelles preuves vous demandez avant de lancer.
Les équipes techniques traduisent ensuite ces décisions en tests, en seuils et en alertes.
Pour vérifier votre compréhension
Sur votre dernier projet IA, qu'est-ce qui vous a fait dire que la qualité était suffisante ? Si la réponse est « une démo » ou « quelques essais », comment cette décision tiendrait-elle sur des centaines de situations différentes ?