Avant de corriger, il faut savoir quelle étape rate, et si elle rate au hasard ou toujours de la même façon. Les deux se réparent différemment, et se tromper de diagnostic fait perdre des jours.
Copiez ces quatre demandes à la suite, dans votre assistant, sur le projet concerné. Comptez une quinzaine de minutes.
Le diagnostic fait tourner votre tâche une dizaine de fois. Si elle envoie des mails, passe des paiements ou publie quelque chose, elle le fera dix fois pour de vrai.
Avant tout test, ajoute un mode simulation : quand il est activé, aucune action qui touche le monde extérieur ne part réellement (mail, paiement, écriture définitive, publication, suppression). Elle est seulement enregistrée dans le journal, avec ce qui aurait été fait. Montre-moi comment activer ce mode.
La plupart des gens sous-estiment de moitié le nombre d'étapes de leur tâche. Commencez par la voir telle qu'elle est.
Liste les étapes réelles de cette tâche, une par ligne et numérotées, telles que tu les exécutes vraiment et non telles qu'elles sont décrites dans la documentation. Pour chacune, indique ce qu'elle produit en sortie, et comment on saurait qu'elle a échoué. Ne modifie aucun fichier, contente-toi de me montrer la liste.
Ce que vous allez voir. Souvent le double de ce que vous pensiez. C'est déjà une information : chaque étape est une occasion de rater.
Sans trace, aucun diagnostic n'est possible. C'est la seule modification de code de tout le processus.
Ajoute un journal d'exécution : à chaque passage, enregistre pour chaque étape si elle a réussi ou échoué, le message d'erreur exact en cas d'échec, et le temps qu'elle a pris. Écris ce journal dans un fichier daté, une ligne par étape. Ne change rien d'autre au comportement du programme.
Fais tourner la tâche dix fois, en mode simulation, sur dix cas réels différents et non sur le même cas répété. Puis donne-moi un tableau avec, pour chaque étape : le numéro de l'étape, le nombre d'échecs sur dix, et le message d'erreur le plus fréquent.
Classe ensuite chaque étape qui a échoué dans une des deux catégories :
échec de hasard si elle rate parfois et pour des raisons différentes,
échec systématique si elle rate toujours, ou presque toujours de la même façon. Justifie chaque classement en une phrase, en citant les messages d'erreur.
Comment lire le tableau. Une étape qui rate deux fois sur dix avec deux erreurs différentes est un échec de hasard, et la reprise la répare. Une étape qui rate huit fois sur dix avec toujours la même erreur est un échec systématique, et la reprise n'y changera rien : c'est là que vous perdiez vos journées.
La limite, dite honnêtement. Dix passages suffisent à repérer une étape systématiquement cassée. C'est trop peu pour mesurer précisément un taux d'échec. On cherche le coupable, pas une statistique.
À partir de ce tableau, propose un plan de correction, étape par étape : pour chaque échec de hasard, ajoute une reprise automatique et un contrôle qui permet de détecter l'échec ; pour chaque échec systématique, propose soit de couper l'étape en deux étapes plus simples, soit de la sortir du modèle et de la réécrire en code ordinaire si elle est prévisible.
Montre-moi ce plan avant de modifier quoi que ce soit, et dis-moi pour chaque correction combien d'échecs elle est censée supprimer.
Si l'assistant vous répond que tout va bien et qu'il n'y a rien à corriger, redemandez en changeant les cas de test. Un diagnostic fait sur dix fois le même document ne trouve jamais rien : c'est exactement le cas facile pour lequel la chaîne a été écrite.
Ce diagnostic trouve les étapes qui cassent. Il ne dit rien des étapes qui réussissent avec un mauvais résultat, un montant lu de travers mais plausible, un fournisseur confondu avec un autre. Celles-là ne se voient qu'en comparant la sortie à la vérité, sur des cas dont vous connaissez la bonne réponse. C'est un autre travail, et il vaut la peine dès que l'erreur coûte de l'argent.
News World AI, la newsletter de ceux qui construisent des agents.
Deux fois par semaine, le mardi et le vendredi, en quatre minutes : ce qui est sorti dans l'IA et qu'on peut essayer le jour même.
Double confirmation par courriel. Désabonnement en un clic, lien visible en clair dans chaque envoi.
Genève, Suisse. Écrire à hello@newsworldai.xyz.