Pruebas retrospectivas y estudios

Una prueba retrospectiva ejecuta un flujo de trabajo en el pasado, paso a paso, y puntúa lo que habría decidido en cada paso en comparación con lo que realmente ocurrió a continuación. Un estudio ejecuta muchas pruebas retrospectivas a la vez para comparar diferentes configuraciones o mensajes, y los clasifica de manera honesta. Ambos viven en la pestaña Pruebas retrospectivas de un flujo de trabajo.

Todo lo que ejecuta una prueba retrospectiva está marcado como HISTÓRICO, por lo que una decisión reproducida nunca se confunde con una en vivo.

Qué hace una prueba retrospectiva

Elige una configuración: el rango de tiempo, el tamaño del paso (por ejemplo, un día) y los datos históricos a reproducir.
El flujo de trabajo se ejecuta una vez por paso. En cada paso solo puede ver lo que era conocible en ese momento — nada de lo que ocurrió después.
Cada decisión se puntúa según lo que ocurrió a continuación. La tarjeta de ejecución muestra los resultados y un resumen de toda la ejecución.

Una prueba retrospectiva consume dinero de la misma manera que una ejecución normal: cada llamada al modelo está contada para tu workspace. La tarjeta de ejecución y Configuración → Uso muestran lo que costó.

Qué hace un estudio

Un estudio es una búsqueda. Describes qué probar — una cuadrícula de valores de parámetros, un número de extracciones aleatorias o mensajes alternativos para un paso — y el estudio ejecuta cada candidato como una prueba retrospectiva en varias ventanas de tiempo. Luego clasifica a los candidatos en ventanas en las que NO fueron ajustados, restando la suerte de probar muchas cosas.

El tablero de clasificación muestra, para cada candidato:

Columna	Significado
Ajustado	La puntuación después de corregir por cuántos candidatos se intentaron. Esta es la clasificación.
Fuera de muestra	La puntuación en ventanas que el candidato no ajustó.
En muestra	La puntuación en las ventanas en las que fue ajustado — se muestra para que puedas ver la diferencia.
Brecha de sobreajuste	En muestra menos fuera de muestra. Una gran brecha significa que el candidato aprendió ruido.
Costo	Lo que costaron las ejecuciones de ese candidato, en USD.

El encabezado también muestra cuántos candidatos estaban planeados, ejecutados y descartados, y qué puntuación tendría la pura suerte como la mejor de esa cantidad — una puntuación alta en o por debajo de ese número es una búsqueda que no encontró nada.

El mejor candidato se puntúa una vez más en una retención: una última porción de tiempo en la que ningún candidato fue ajustado. Ese número es el que se debe confiar.

Cada estudio tiene un límite

Un estudio multiplica el gasto: cada candidato × cada pliegue × dos ventanas × cada paso. Por lo tanto, un estudio debe tener un presupuesto antes de comenzar, y no hay opción de “ilimitado”.

Siempre se requieren dos límites:

Límite	Lo que limita
Máx. candidatos	Cuántos candidatos pueden ejecutarse.
Máx. pasos totales	Cuántos pasos del flujo de trabajo puede ejecutar todo el estudio.

Un tercero es opcional:

Límite	Lo que limita
Presupuesto (USD)	Cuánto puede costar todo el estudio.

Cualquiera de los límites que se alcance primero detiene el estudio. Nada que ya se ejecutó se descarta: el estudio se marca como Presupuesto alcanzado, se clasifican los candidatos que ejecutaron, y se elige un ganador de ellos.

Cómo funciona la estimación en USD

Cuando ingresas un presupuesto en USD, el formulario muestra una estimación — por ejemplo ≈ $0.01 para 2 candidatos × 2 pliegues × 2 ventanas + la retención. La estimación proviene de una ejecución real: la última prueba retrospectiva completada de esta versión del flujo de trabajo en tu workspace, dividida por los pasos que ejecutó, multiplicada por los pasos que ejecutará el estudio. Por lo tanto, incluye todo lo que una ejecución realmente gasta — herramientas, reintentos y el juez de puntuación — no solo el precio de un modelo.

Debido a eso, una versión que nunca se ha probado en tu workspace no puede recibir un presupuesto en USD aún. Ejecuta una prueba retrospectiva primero, o crea el estudio sin un presupuesto en USD. El formulario te indica en qué caso estás.

Se permite un presupuesto por debajo de la estimación. El estudio simplemente se detiene antes de la ejecución que excedería eso, mantiene lo que se ejecutó y te informa en el tablero de clasificación — incluyendo cuándo la retención fue la ejecución que no pudo costear.

Lo que cuesta un estudio y dónde verlo

A medida que cada ejecución finaliza, su costo se suma al estudio y a su candidato. El encabezado del tablero de clasificación muestra Gasto — lo que ha costado el estudio hasta ahora, de su presupuesto cuando tiene uno, junto a la estimación con la que comenzó. La columna Costo muestra la parte de cada candidato. Los estudios creados antes de esta función no muestran costo en lugar de un engañoso $0.

Ejecutar un estudio según un horario

Un estudio responde “qué configuraciones funcionaron en el pasado”. Ejecutarlo según un horario responde a la siguiente pregunta: ¿sigue siendo el ganador ganador a medida que llegan nuevos datos?

Actívalo desde la sección Estudios de la pestaña Pruebas retrospectivas: marca Re-ejecutar en un horario, elige el estudio finalizado del que re-ejecutar, y establece una cadencia. El estudio que elijas debe tener un presupuesto en USD — un estudio según un horario es el mismo gasto, repetido, por lo que el límite no es opcional. Cada re-ejecución copia ese presupuesto.

Cada re-ejecución:

mantiene el mismo espacio de búsqueda que el estudio del que desciende, y añade al ganador anterior como un candidato para que tenga algo que superar;
se puntúa solo con datos que llegaron después de la retención del estudio anterior. La retención anterior se ha utilizado para elegir un ganador, por lo que ya no puede ser una prueba justa; los pliegues de la re-ejecución pueden aprender de ella, pero su retención siempre es nueva. Eso es lo que hace que cada retención en la cadena sea una muestra honesta e independiente — y lo que permite al panel de linaje decir si el mejor resultado en todas las re-ejecuciones es mejor de lo que podría producir la suerte.

El panel de linaje bajo el tablero de clasificación de un estudio enumera cada re-ejecución con la ventana en la que se puntuó, su ganador, la puntuación de retención y si el ganador cambió. La línea Mejor esperado de k bajo ruido es lo que la pura suerte habría producido como el mejor de esa cantidad de re-ejecuciones. Una mejor retención en o por debajo de eso es suerte, no un ganador que persistió — el panel lo indica cuando ese es el caso.

Cuando una re-ejecución programada elige un ganador diferente al de la ejecución anterior, la persona que configuró el horario recibe una notificación de “Un estudio programado cambia su ganador” (ajustable en Configuración → Notificaciones).

¿Por qué se saltó mi estudio programado?

Entre la llegada de datos, el estado normal de un horario es saltado, y la sección de Estudios muestra por qué debajo de los controles del horario:

Mensaje	Qué significa	Qué hacer
No hay suficientes datos no vistos aún: 7 de 20 pasos	Han llegado menos nuevos pasos desde la última retención que el mínimo del estudio (establecido cuando creas un estudio: Mín. pasos no vistos para una re-ejecución).	Nada — se ejecuta una vez que existen suficientes datos. Nunca puntúa una ventana más corta.
Un estudio o prueba retrospectiva estaba en vuelo	Un estudio a la vez por flujo de trabajo.	Se reintenta a la próxima hora programada.
El estudio anterior en el linaje no terminó	La última re-ejecución fue cancelada o falló, por lo que no hay un ganador desde el cual re-ejecutar.	Cancela el horario y vuelvelo a habilitar desde un estudio finalizado.
El estudio raíz no tiene presupuesto en USD	El estudio que elegiste fue creado sin uno.	Crea un estudio con un presupuesto en USD y programa desde ese.
El estudio raíz fue eliminado	El horario se apagó solo.	Elige un nuevo estudio y vuelve a habilitar.
La suscripción del workspace caducó / presupuesto de uso agotado	El trabajo programado es rechazado hasta que el workspace se restaure.	Soluciona el workspace; el horario se reanudará solo.

Promocionando un ganador

El botón Promover ganador del tablero de clasificación activa la versión del candidato ganador a través del camino de activación normal, por lo que tu puerta de evaluación aún se aplica. Un ganador que solo cambió parámetros (no mensajes) no tiene nada que activar: aplica sus parámetros a la configuración en su lugar.

Preguntas comunes

¿Por qué se rechazó mi estudio cuando ingresé un presupuesto? Esta versión no tiene una prueba retrospectiva completada en tu workspace para estimar. Ejecuta una, luego intenta nuevamente — o deja el presupuesto en USD vacío.

¿Por qué se detuvo el estudio temprano? Se alcanzó un límite: candidatos, pasos o USD. El estudio indica cuál, y se mantiene todo lo que se ejecutó y se clasifica.

¿Por qué falta la retención? Se alcanzó el presupuesto antes de la ejecución de retención del ganador. La clasificación se mantiene; la puntuación de retención no existe. Aumenta el presupuesto y ejecuta el estudio nuevamente para obtenerlo.

¿Puedo ejecutar dos estudios en un flujo de trabajo a la vez? No. Un estudio a la vez por flujo de trabajo; cancela el que está en ejecución o espera a que termine.

Mi estudio programado sigue diciendo “no hay suficientes datos no vistos”. ¿Está roto? No. Una re-ejecución solo puntúa datos que llegaron después de la retención anterior, y espera hasta que haya al menos el mínimo que configuraste. Añade datos al conjunto de datos (o extiende el rango de tiempo de la configuración) y se ejecutará a la próxima hora programada.

¿Por qué advierte el linaje que el mejor resultado está “dentro del ruido”? A través de k re-ejecuciones, el mejor de k puntuaciones honestas sigue siendo un máximo, y la suerte por sí sola produce un máximo. El panel lo resta. Si tu mejor retención no lo supera, el ganador no ha demostrado que persista — sigue recopilando datos.