Évaluations de workflows

Un workflow évolue avec le temps. Les évaluations sont la manière dont votre workspace sait si un changement l’a amélioré ou détérioré : un ensemble de cas de test sauvegardé, un bouton qui les exécute tous contre une version choisie, et un historique des résultats que vous pouvez comparer d’une exécution à l’autre.

Ouvrez un workflow et choisissez l’onglet Évaluations.

Cas de test

Un cas de test est une entrée plus une règle pour ce à quoi devrait ressembler une bonne sortie. Vous pouvez en écrire un à la main, ou en sauvegarder un d’une exécution que vous avez appréciée dans l’onglet Runner. Chaque cas a un évaluateur — la règle qui décide de la réussite ou de l’échec :

Évaluateur	Ce qu’il vérifie
Correspondance exacte	La sortie est égale au texte attendu.
Contient	La sortie contient le texte attendu.
Chemin JSON	Un champ à l’intérieur d’une sortie structurée correspond à une valeur, ou existe.
Juge LLM	Un modèle de langage note la sortie par rapport à une grille que vous rédigez.

Les trois premiers sont exacts et gratuits. Le juge est destiné aux sorties libres, où “contient” n’est pas utile.

Exécution d’une suite

Exécuter démarre chaque cas activé contre la version sélectionnée. Chaque cas s’exécute comme une exécution réelle du workflow, puis son évaluateur note le résultat. Vous pouvez suivre les cas en direct, annuler une exécution en cours et ouvrir l’exécution de n’importe quel cas pour voir ce que chaque étape a produit.

Les exécutions peuvent également commencer selon un emploi du temps, et un workflow peut restreindre l’activation sur sa suite, de sorte qu’une version dont la dernière exécution est en dessous d’un taux de réussite que vous choisissez ne peut pas devenir la version active sans une dérogation explicite et enregistrée de la part d’un propriétaire.

Lecture d’un résultat

Chaque exécution affiche réussi / total avec un intervalle de 95% à côté, par exemple 3/3 réussi (95% CI 44–100%). Lisez l’intervalle comme l’éventail des taux de réussite véritables que l’exécution ne peut pas écarter. Trois cas réussis sont compatibles avec un workflow qui échoue plus de la moitié du temps ; trente cas réussis ne le sont pas. Si vous voulez un intervalle plus étroit, ajoutez des cas.

L’intervalle est une information. La porte d’activation décide du taux de réussite elle-même, par rapport au seuil que vous avez défini.

Le juge LLM

Pour le juge LLM, vous rédigez une grille — une brève description de ce qu’une bonne sortie fait — et éventuellement un seuil de réussite entre 0 et 1. Le juge renvoie un score de 0 à 1 et une phrase de raisonnement ; le seuil décide de la réussite ou de l’échec. Ajustez la barre en déplaçant le seuil, pas en reformulant la grille jusqu’à ce que le juge soit d’accord.

Rédiger une grille qui tient :

Assurez-vous qu’elle soit vérifiable à partir de la sortie seule : “cite une source” fonctionne, “est utile” ne fonctionne pas.
Énumérez les critères : “répond à la question et reste sous 100 mots”.
Indiquez ce qui devrait échouer : faits inventés, format incorrect, avertissement manquant.

Le juge utilise un modèle fixe et peu coûteux avec une variabilité réduite. S’il ne peut produire un verdict utilisable, le cas est marqué comme une erreur — jamais un succès et jamais un échec.

Échantillons du juge

Un modèle de langage n’est pas un instrument parfaitement répétable : la même sortie peut parfois recevoir un verdict différent un autre jour. Paramètres de la suite → Échantillons du juge permet à votre workspace de mesurer cela au lieu de l’ignorer.

Définissez-le au-dessus de 1 (jusqu’à 5) et chaque cas noté par le juge est noté autant de fois dans chaque exécution :

Réussite est la majorité des verdicts. Un tie est considéré comme un échec.
Score est la moyenne.
Chaque verdict est conservé. Un cas dont les verdicts n’étaient pas d’accord est marqué Le juge est en désaccord, et Afficher les verdicts ouvre le score et le raisonnement de chaque échantillon, vous permettant de voir lequel n’était pas d’accord et pourquoi.
L’intervalle de l’exécution est élargi par le désaccord et son titre indique incl. bruit du juge. Une exécution dont tous les échantillons étaient d’accord montre le même intervalle qu’elle montrerait pour un échantillon.

Si un seul échantillon échoue, le cas est une erreur qui désigne l’échantillon. La porte décide toujours du taux de réussite ; les échantillons du juge changent ce que l’intervalle vous dit, pas ce que la porte fait.

Ce que cela coûte. Chaque échantillon est un appel séparé au juge, donc une suite à 3 échantillons utilise trois fois l’utilisation du juge de la même suite à 1. L’utilisation du juge est enregistrée contre votre workspace sur la page d’utilisation mais n’est pas facturée. Le paramètre est par workflow, et un changement s’applique à la prochaine exécution, pas à celle déjà en cours.

Ce que cela ne fait pas. Plus d’échantillons mesurent le même juge plus précisément. Ils ne rendent pas une grille vague bonne — si un juge continue de valider une sortie que vous échoueriez, changez la grille.

Comparaison des exécutions

Choisissez deux exécutions comme A et B pour les voir côte à côte, cas par cas, avec les cas dont le verdict a changé mis en évidence. Les cas ajoutés ou retirés entre les deux exécutions sont listés séparément plutôt que traités comme des échecs.