Evaluaciones de flujo de trabajo

Un flujo de trabajo cambia con el tiempo. Evals son cómo tu workspace sabe si un cambio lo mejoró o lo empeoró: un conjunto guardado de casos de prueba, un botón que los ejecuta todos contra una versión elegida y un historial de resultados que puedes comparar de ejecución a ejecución.

Abre un flujo de trabajo y elige la pestaña Evals.

Casos de prueba

Un caso de prueba es una entrada más una regla sobre cómo debería ser un buen resultado. Puedes escribir uno a mano o guardar uno de una ejecución que te gustó en la pestaña Runner. Cada caso tiene un calificador: la regla que decide si pasa o falla:

Calificador	Lo que verifica
Coincidencia exacta	La salida es igual al texto esperado.
Contiene	La salida contiene el texto esperado.
Ruta JSON	Un campo dentro de una salida estructurada coincide con un valor o existe.
LLM judge	Un modelo de lenguaje califica la salida contra una rúbrica que escribes.

Los tres primeros son exactos y gratuitos. El judge es para salida de formato libre, donde “contiene” no es útil.

Ejecutando una suite

Run comienza cada caso habilitado contra la versión seleccionada. Cada caso se ejecuta como una ejecución real del flujo de trabajo, luego su calificador puntúa el resultado. Puedes ver cómo se terminan los casos en vivo, cancelar una ejecución en progreso y abrir la ejecución de cualquier caso para ver qué produjo cada paso.

Las ejecuciones también pueden comenzar en un horario, y un flujo de trabajo puede bloquear la activación en su suite, por lo que una versión cuya última ejecución se encuentra por debajo de una tasa de aprobación que elijas no puede convertirse en la activa sin un anulación explícita y registrada por parte del propietario.

Leyendo un resultado

Cada ejecución muestra aprobados / total con un intervalo del 95% al lado, por ejemplo 3/3 aprobados (95% CI 44–100%). Lee el intervalo como el rango de tasas de aprobación verdaderas que la ejecución no puede descartar. Tres casos aprobados son consistentes con un flujo de trabajo que falla más de la mitad del tiempo; treinta casos aprobados no lo son. Si deseas un intervalo más estrecho, añade casos.

El intervalo es información. La puerta de activación decide la tasa de aprobación por sí misma, contra el umbral que establezcas.

El LLM judge

Para el LLM judge, escribes una rúbrica: una breve descripción de lo que hace un buen resultado, y opcionalmente un umbral de aprobación entre 0 y 1. El judge devuelve una puntuación de 0 a 1 y una oración de razonamiento; el umbral decide si se aprueba o falla. Ajusta la barra moviendo el umbral, no reformulando la rúbrica hasta que el judge esté de acuerdo.

Escribir una rúbrica que se mantenga:

• Haz que sea verificable solo a partir de la salida: “cita una fuente” funciona, “es útil” no.
• Lista los criterios: “responde la pregunta y se mantiene por debajo de 100 palabras”.
• Indica lo que debería fallar: hechos inventados, el formato incorrecto, una advertencia faltante.

El judge utiliza un modelo fijo y económico con la aleatoriedad reducida. Si no puede producir un veredicto usable, el caso se marca como error: nunca como aprobado y nunca como fallido.

Muestras del judge

Un modelo de lenguaje no es un instrumento perfectamente repetible: la misma salida puede ocasionalmente recibir un veredicto diferente en un día diferente. Configuración de suite → Muestras del judge permite a tu workspace medir eso en lugar de ignorarlo.

Establece más de 1 (hasta 5) y cada caso calificado por el judge se puntúa tantas veces en cada ejecución:

• Aprobado es la mayoría de los veredictos. Un empate cuenta como un fallo.
• Puntuación es el promedio.
• Cada veredicto se guarda. Un caso cuyos veredictos no coincidieron se marca como El judge no estuvo de acuerdo, y Mostrar veredictos abre la puntuación y el razonamiento de cada muestra, para que puedas ver cuál no estuvo de acuerdo y por qué.
• El intervalo de la ejecución se amplía por el desacuerdo y su pie de foto dice incl. ruido del judge. Una ejecución cuyas muestras estuvieron de acuerdo muestra el mismo intervalo que lo haría con una muestra.

Si alguna muestra falla, el caso es un error que nombra la muestra. La puerta aún decide sobre la tasa de aprobación; las muestras del judge cambian lo que el intervalo te dice, no lo que hace la puerta.

Lo que cuesta. Cada muestra es una llamada de judge separada, por lo que una suite con 3 muestras gasta tres veces el uso del judge de la misma suite con 1. El uso del judge se registra contra tu workspace en la página de uso pero no se factura. La configuración es por flujo de trabajo, y un cambio se aplica a la próxima ejecución, no a una que ya está en progreso.

Lo que no hace. Más muestras miden el mismo judge de manera más precisa. No hacen que una rúbrica vaga sea buena: si un judge sigue aprobando una salida que tú fallarías, cambia la rúbrica.

Comparando ejecuciones

Elige dos ejecuciones como A y B para verlas lado a lado, caso a caso, con los casos cuyo veredicto cambió resaltados. Los casos añadidos o eliminados entre las dos ejecuciones se enumeran por separado en lugar de tratarse como fallos.