Backtests et études
Un backtest exécute un workflow sur le passé, étape par étape, et évalue ce qu’il aurait décidé à chaque étape par rapport à ce qui s’est réellement passé ensuite. Une étude exécute plusieurs backtests à la fois pour comparer différents paramètres ou invites, et les classe de manière honnête. Les deux se trouvent dans l’onglet Backtest d’un workflow.
Tout ce qu’un backtest exécute est marqué HISTORIQUE, donc une décision rejouée n’est jamais confondue avec une décision en direct.
Ce qu’un backtest fait
Section titled “Ce qu’un backtest fait”- Vous choisissez une config : la plage de temps, la taille de l’étape (par exemple un jour), et les données historiques à rejouer.
- Le workflow s’exécute une fois par étape. À chaque étape, il ne peut voir que ce qui était connaissable à ce moment-là — rien de plus tard.
- Chaque décision est évaluée par rapport à ce qui s’est passé ensuite. La carte d’exécution montre les résultats et un résumé de l’ensemble de l’exécution.
Un backtest dépense de l’argent de la même manière qu’une exécution normale : chaque appel de modèle est mesuré pour votre workspace. La carte d’exécution et Paramètres → Utilisation montrent ce que cela a coûté.
Ce qu’une étude fait
Section titled “Ce qu’une étude fait”Une étude est une recherche. Vous décrivez ce qu’il faut essayer — une grille de valeurs de paramètres, un nombre de tirages aléatoires, ou des invites alternatives pour une étape — et l’étude exécute chaque candidat comme un backtest sur plusieurs fenêtres de temps. Elle classe ensuite les candidats sur des fenêtres sur lesquelles ils n’ont pas été ajustés, en soustrayant la chance d’avoir essayé de nombreuses choses.
Le tableau des leaders montre, pour chaque candidat :
| Colonne | Signification |
|---|---|
| Ajusté | Le score après correction pour le nombre de candidats essayés. C’est le classement. |
| Hors échantillon | Le score sur des fenêtres sur lesquelles le candidat n’a pas été ajusté. |
| Dans l’échantillon | Le score sur les fenêtres sur lesquelles il a été ajusté — montré pour que vous puissiez voir l’écart. |
| Écart de surajustement | Dans l’échantillon moins hors échantillon. Un grand écart signifie que le candidat a appris le bruit. |
| Coût | Ce que coûtent les exécutions de ce candidat, en USD. |
L’en-tête montre également combien de candidats étaient prévus, exécutés et abandonnés, et ce que la pure chance aurait marqué comme le meilleur de ce nombre — un score parmi les meilleurs à ou en dessous de celui-ci est une recherche qui n’a rien trouvé.
Le meilleur candidat est évalué une fois de plus sur un holdout : une tranche finale de temps sur laquelle aucun candidat n’a jamais été ajusté. Ce nombre est celui en qui il faut avoir confiance.
Chaque étude a un plafond
Section titled “Chaque étude a un plafond”Une étude multiplie les dépenses : chaque candidat × chaque pli × deux fenêtres × chaque étape. Ainsi, une étude doit avoir un budget avant de commencer, et il n’y a pas d’option “illimitée”.
Deux plafonds sont toujours requis :
| Plafond | Ce qu’il limite |
|---|---|
| Max candidats | Combien de candidats peuvent s’exécuter. |
| Max étapes total | Combien d’étapes de workflow l’ensemble de l’étude peut exécuter. |
Un troisième est facultatif :
| Plafond | Ce qu’il limite |
|---|---|
| Budget (USD) | Combien l’ensemble de l’étude peut coûter. |
Le premier plafond atteint arrête l’étude. Rien de ce qui a déjà été exécuté n’est jeté : l’étude est marquée Budget atteint, les candidats qui ont été exécutés sont classés, et un gagnant est choisi parmi eux.
Comment fonctionne l’estimation en USD
Section titled “Comment fonctionne l’estimation en USD”Lorsque vous entrez un budget en USD, le formulaire montre une estimation — par exemple ≈ 0,01 $ pour 2 candidats × 2 plis × 2 fenêtres + le holdout. L’estimation provient d’une exécution réelle : le dernier backtest complet de cette version de workflow dans votre workspace, divisé par les étapes qu’il a exécutées, multiplié par les étapes que l’étude exécutera. Elle inclut donc tout ce qu’une exécution dépense réellement — outils, réessais et le juge de notation — pas seulement un prix de modèle.
À cause de cela, une version qui n’a jamais été testée dans votre workspace ne peut pas encore avoir de budget en USD. Exécutez un backtest d’abord, ou créez l’étude sans budget en USD. Le formulaire vous indique dans quel cas vous vous trouvez.
Un budget inférieur à l’estimation est autorisé. L’étude s’arrête simplement avant l’exécution qui dépasserait ce budget, conserve ce qui a été exécuté, et vous le fait savoir sur le tableau des leaders — y compris lorsque le holdout était l’exécution qu’elle ne pouvait pas se permettre.
Ce qu’une étude coûte, et où le voir
Section titled “Ce qu’une étude coûte, et où le voir”Au fur et à mesure que chaque exécution se termine, son coût est ajouté à l’étude et à son candidat. L’en-tête du tableau des leaders montre Dépenses — ce que l’étude a coûté jusqu’à présent, par rapport à son budget quand elle en a un, à côté de l’estimation avec laquelle elle a commencé. La colonne Coût montre la part de chaque candidat. Les études créées avant cette fonctionnalité ne montrent aucun coût plutôt qu’un trompeur 0 $.
Exécuter une étude selon un calendrier
Section titled “Exécuter une étude selon un calendrier”Une étude répond à “quels paramètres ont fonctionné dans le passé”. L’exécution selon un calendrier répond à la question suivante : est-ce que le gagnant reste le gagnant à mesure que de nouvelles données arrivent ?
Activez-le depuis la section Études de l’onglet Backtest : cochez Relancer selon un calendrier, choisissez l’étude terminée à relancer, et définissez une cadence. L’étude que vous choisissez doit avoir un budget en USD — une étude selon un calendrier est la même dépense, répétée, donc le plafond n’est pas facultatif. Chaque relance copie ce budget.
Chaque relance :
- conserve le même espace de recherche que l’étude dont elle dérive, et ajoute le précédent gagnant comme candidat pour qu’il ait quelque chose à battre ;
- est évaluée uniquement sur les données arrivées après le holdout de l’étude précédente. Le holdout précédent a été utilisé pour choisir un gagnant, donc il ne peut plus être un test équitable ; les plis de la relance peuvent en apprendre, mais son holdout est toujours frais. C’est ce qui rend chaque holdout dans la chaîne un échantillon honnête et indépendant — et ce qui permet au panneau de lignée de dire si le meilleur résultat parmi tous les relances est meilleur que ce que la chance pourrait produire.
Le panneau de lignée sous le tableau des leaders d’une étude liste chaque relance avec la fenêtre sur laquelle elle a été évaluée, son gagnant, le score du holdout, et si le gagnant a changé. La ligne Meilleur attendu de k sous bruit est ce que la pure chance aurait produit comme le meilleur de ce nombre de relances. Un meilleur holdout à ou en dessous de ce niveau est de la chance, pas un gagnant qui a persisté — le panneau le signale lorsque c’est le cas.
Lorsque qu’une relance programmée choisit un gagnant différent de l’exécution précédente, la personne qui a mis en place le calendrier reçoit une notification “Une étude programmée change son gagnant” (ajustable dans Paramètres → Notifications).
Pourquoi mon étude programmée a-t-elle été sautée ?
Section titled “Pourquoi mon étude programmée a-t-elle été sautée ?”Entre les arrivées de données, l’état normal d’un calendrier est sauté, et la section Études montre pourquoi sous les contrôles de calendrier :
| Message | Ce que cela signifie | Que faire |
|---|---|---|
| Pas assez de données non vues encore : 7 sur 20 étapes | Moins de nouvelles étapes sont arrivées depuis le dernier holdout que le minimum de l’étude (défini lorsque vous créez une étude : Étapes non vues minimales pour une relance). | Rien — elle s’exécute une fois que suffisamment de données existent. Elle n’évalue jamais une fenêtre plus courte. |
| Une étude ou un backtest était en cours d’exécution | Une étude à la fois par workflow. | Elle essaie à nouveau à l’heure suivante prévue. |
| L’étude précédente dans la lignée n’a pas terminé | La dernière relance a été annulée ou a échoué, donc il n’y a pas de gagnant à relancer. | Annulez le calendrier et réactivez-le à partir d’une étude terminée. |
| L’étude racine n’a pas de budget en USD | L’étude que vous avez choisie a été créée sans budget. | Créez une étude avec un budget en USD et programmez à partir de celle-là. |
| L’étude racine a été supprimée | Le calendrier s’est désactivé de lui-même. | Choisissez une nouvelle étude et réactivez-la. |
| L’abonnement au workspace a expiré / budget d’utilisation épuisé | Les travaux programmés sont refusés jusqu’à ce que le workspace soit rétabli. | Réparez le workspace ; le calendrier reprend de lui-même. |
Promouvoir un gagnant
Section titled “Promouvoir un gagnant”Le bouton Promouvoir le gagnant du tableau des leaders active la version du candidat gagnant par le chemin d’activation normal, donc votre porte d’évaluation s’applique toujours. Un gagnant qui a seulement changé de paramètres (pas d’invites) n’a rien à activer : appliquez ses paramètres à la configuration à la place.
Questions courantes
Section titled “Questions courantes”Pourquoi mon étude a-t-elle été refusée lorsque j’ai saisi un budget ?
Cette version n’a pas de backtest complet dans votre workspace à partir duquel estimer. Exécutez-en un, puis réessayez — ou laissez le budget en USD vide.
Pourquoi l’étude s’est-elle arrêtée prématurément ?
Un plafond a été atteint : candidats, étapes ou USD. L’étude indique lequel, et tout ce qui a été exécuté est conservé et classé.
Pourquoi le holdout manque-t-il ?
Le budget a été atteint avant l’exécution du holdout du gagnant. Le classement reste ; le score du holdout n’existe pas. Augmentez le budget et exécutez à nouveau l’étude pour l’obtenir.
Puis-je exécuter deux études sur un workflow en même temps ?
Non. Une étude à la fois par workflow ; annulez celle en cours d’exécution ou attendez qu’elle se termine.
Mon étude programmée continue de dire “pas assez de données non vues”. Est-ce qu’elle est cassée ?
Non. Une relance n’évalue que les données qui sont arrivées après le holdout précédent et attend qu’il y ait au moins le minimum que vous avez défini. Ajoutez des données à l’ensemble de données (ou étendez la plage de temps de la config) et cela s’exécutera à la prochaine heure prévue.
Pourquoi la lignée avertit-elle que le meilleur résultat est “dans le bruit” ?
Sur k relances, le meilleur des k scores honnêtes reste un maximum, et la chance produit seule un maximum. Le panneau le soustrait. Si votre meilleur holdout ne le dépasse pas, le gagnant n’a pas montré qu’il persistait — continuez à recueillir des données.