Connectez vos données

Une source est un endroit d’où votre workspace lit des lignes. Cela peut être une Google Sheet, une table dans Databricks ou Snowflake, une base de données Postgres, ou un ensemble de données sauvegardé dans ce workspace. Une fois attachés, ils fonctionnent tous de la même manière : les travaux d’enrichissement, les tests rétrospectifs et les installations d’évaluation lisent tous à travers une source.

Ce que vous pouvez connecter

Source	Lire à partir de	Écrire les résultats	Utiliser dans un test rétrospectif
Google Sheet	oui	oui	après l’avoir capturé
Table Postgres	oui	oui	après l’avoir capturé
Table Databricks	oui	non	après l’avoir capturé
Table Snowflake	oui	non	après l’avoir capturé
Ensemble de données sauvegardé	oui	non	oui

Les tables d’entrepôt sont en lecture seule : les travaux peuvent lire à partir d’elles, mais les résultats sont écrits quelque part que vous choisissez — généralement une feuille. Si votre organisation ne propose pas de type de source, elle n’apparaîtra pas.

Connectez vos identifiants

Paramètres du workspace → Intégrations → Connexions de données.

Votre connexion est à vous. Chaque membre connecte les siens, et ceux d’un camarade ne fonctionneront pas pour vous — si quelqu’un d’autre a déjà connecté l’entrepôt, vous verrez qu’il est connecté, mais vous avez toujours besoin du vôtre pour attacher une table.

Remplissez la carte et appuyez sur Connecter. Nous testons les identifiants contre le service réel avant de sauvegarder quoi que ce soit, donc “Connecté” signifie que cela a réellement fonctionné. Si ce n’est pas le cas, il vous sera dit si les identifiants ont été rejetés, si l’hôte n’a pas pu être atteint, ou si cela a expiré.

Les identifiants sont cryptés et jamais montrés à nouveau — même pas à vous. Pour en changer un, connectez-vous à nouveau.

Tester la connexion vérifie une information d’identification sauvegardée. Utilisez-la si des travaux ont commencé à échouer ; un identifiant qui a expiré ou a été tourné affichera qu’il doit être reconnecté.

Déconnecter efface l’identifiant stocké et met en pause chaque emploi qui lisait à travers lui. Rien n’est supprimé — vos sources gardent leur configuration et leur historique, et la reconnexion les redémarre. La carte vous indique combien de sources sont affectées avant que vous ne le fassiez.

Si la personne ou l’ensemble de données derrière une source disparaît

La déconnexion est réversible. Deux choses ne le sont pas :

Le compte utilisateur d’un camarade est supprimé. Ses identifiants partent avec lui, donc les sources qu’il avait attachées ne peuvent plus être lues par quiconque.
Un ensemble de données dans la bibliothèque est supprimé. Toute source qui l’entourait n’a plus rien à lire.

Dans les deux cas, les sources affectées sont détachées et leurs travaux suspendus, avec la raison indiquée sur le travail — “connexion supprimée” ou “ensemble de données supprimé”. Votre configuration et votre historique d’enrichissement sont conservés, mais la reconnexion ne servira pas cette fois : il n’y a plus rien à reconnecter. Attachez à nouveau la source — via une connexion active, ou à un autre ensemble de données. Un travail qui écrivait à l’ancienne source peut être dirigé vers la nouvelle et être réactivé. Un travail qui lisait à partir de celle-ci ne peut pas être réactivé : créez un nouveau travail sur la nouvelle source. Son historique reste avec l’ancienne.

Un workspace où cela est arrivé est sûr de rester seul : les travaux suspendus ne coûtent rien et ne continuent à rien essayer.

Attacher une source

Travaux → Sources → Attacher, ou depuis une image groupée dans le canevas.

Choisissez le type de source, puis remplissez l’unique étape dont elle a besoin :

Google Sheet — collez le lien de la feuille, choisissez un onglet, et mappez les colonnes.
Ensemble de données sauvegardé — choisissez-en un dans la bibliothèque de ce workspace. Rien d’autre à remplir.
Databricks ou Snowflake — donnez le catalogue (Databricks) ou la base de données (Snowflake), le schéma et la table, puis appuyez sur Prévisualiser la table pour vérifier que vous avez le bon avant de mapper les colonnes.
Table Postgres — donnez la table (et le schéma, si ce n’est pas public), appuyez sur Prévisualiser la table, puis mappez les colonnes. Postgres est la seule source SQL qui peut également être écrite : cochez Écrire en retour sur toute enrichment de colonne.

Un type de source que vous n’avez pas encore connecté apparaît grisé, avec une note vous disant de la connecter d’abord.

Choisir une colonne clé

Chaque source a besoin d’une colonne qui identifie une ligne — c’est ainsi que le produit sait quelle ligne il a déjà traitée. Choisissez quelque chose qui ne change pas : un ID plutôt qu’un nom que quelqu’un pourrait modifier.

Colonne de modification (tables d’entrepôt)

Si votre table a un horodatage de “dernière mise à jour”, nommez-la. Sans cela, chaque ligne est considérée comme nécessitant un travail à chaque lancement. Sur une grande table, cela compte.

Ensembles de données sauvegardés

Un ensemble de données est un ensemble fixe de lignes conservées dans ce workspace. Les ensembles de données sont ce contre quoi les tests rétrospectifs et les évaluations s’exécutent, car ils ne changent pas sous un lancement.

Trouvez-les sous Travaux → Ensembles de données. Il y a trois façons de créer un.

Coller des lignes

Directement dans le formulaire. Bon pour une courte liste.

Importer un fichier CSV ou JSON

Travaux → Ensembles de données → Importer le fichier.

Dites-nous quelle colonne est la clé si elle ne s’appelle pas key.
Si votre fichier enregistre quand chaque ligne est devenue vraie — une date d’annonce, une date de prix de clôture — nommez cette colonne. Cela transforme le fichier en véritable histoire que vous pouvez tester rétrospectivement.
Si vous l’omettez, chaque ligne est marquée comme connue depuis le moment où vous l’avez téléchargée.

Un fichier peut contenir jusqu’à 50 000 lignes et 4 Mo. En dépassant l’une ou l’autre limite, l’importation est refusée et vous en informe — rien n’est silencieusement coupé.

Capturer depuis une source

Travaux → Ensembles de données → Capturer depuis une source.

Ceci lit une source que vous avez déjà attachée et sauvegarde le résultat dans la bibliothèque. C’est ainsi qu’une table active devient quelque chose contre quoi vous pouvez tester rétrospectivement.

Une chose à comprendre sur la capture :

Une capture est un instantané à partir de maintenant — pas une reconstruction du passé.

Chaque ligne est enregistrée comme connue au moment où vous l’avez capturée. Ainsi, une unique capture utilisée dans un test rétrospectif sur une plage de dates passée ne trouvera rien du tout — correctement, car aucune de ces données n’était connaissable à l’époque.

Pour construire quelque chose que vous pouvez tester rétrospectivement, choisissez Ajouter à un ensemble de données existant au lieu de créer un nouveau. Chaque capture ajoute uniquement les lignes dont la valeur a réellement changé, estampillées avec le temps où vous les avez capturées. Capturez à nouveau la même source la semaine prochaine et le mois prochain, et l’ensemble de données devient une véritable histoire : chaque date dans un test rétrospectif voit la valeur qui était actuelle à ce moment-là.

Pour continuer à le faire sans avoir à vous en souvenir, cochez Répéter selon un calendrier lorsque vous capturez, et choisissez à quelle fréquence : toutes les heures, toutes les 6 heures, chaque jour ou chaque semaine. Les horaires sont en UTC. Les captures peuvent être effectuées au maximum une fois par heure, car chacune lit toute la source. Le calendrier commence une fois la première capture réussie.

Si vos données enregistrent déjà quand chaque ligne est devenue vraie (un CSV importé avec une colonne connue-à, par exemple), la capture conserve ces dates plutôt que de les remplacer, et elle est directement testable.

La lecture se déroule en arrière-plan, donc l’ensemble de données apparaît dans la liste un moment plus tard plutôt qu’immédiatement. Les mêmes limites de taille s’appliquent, et une source trop grande pour être stockée est refusée plutôt que partiellement sauvegardée.

Capturer selon un calendrier

Un ensemble de données qui capture selon un calendrier le montre sous son nom dans Travaux → Ensembles de données, par exemple “Captures tous les jours à 06:00 UTC · prochain 30 Oct, 06:00”. De là, vous pouvez Mettre en pause, Reprendre ou Arrêter de répéter. Arrêter conserve l’ensemble de données et tout ce qui a déjà été capturé. Un ensemble de données peut avoir un calendrier. Vous pouvez néanmoins y capturer manuellement à tout moment.

Une capture programmée saute un tour et réessaye au suivant, lorsque :

un test rétrospectif, une étude ou une évaluation qui utilise cet ensemble de données est toujours en cours. Ajouter des lignes lorsque l’un d’eux s’exécute provoquerait son interruption, car il vérifie que ses données n’ont pas changé en dessous.
l’abonnement de votre workspace a expiré, ou il a atteint sa limite d’utilisation. Les captures reprennent d’elles-mêmes une fois que cela est résolu.

Un calendrier se met en pause et indique pourquoi, lorsque continuer entraînerait seulement un nouvel échec :

En pause — l’ensemble de données est plein. L’ensemble de données a atteint la limite de 50 000 lignes ou 4 Mo. De nouvelles captures sont refusées plutôt que de supprimer les anciens historiques, car cela changerait ce qu’un test rétrospectif sur une période antérieure voit. Supprimez des enregistrements, ou capturez dans un nouvel ensemble de données, puis reprenez.
En pause — source détachée, accès à la source révoqué, connexion supprimée ou source ne peut pas être lue. Reconnectez ou rattachez la source, puis reprenez. La reprise est refusée tant que la source est encore indisponible.

D’où vient un ensemble de données

Chaque ensemble de données se rappelle comment il a été créé. Sous son nom dans Travaux → Ensembles de données, vous verrez l’un de :

Capturé depuis Nom — il a été capturé depuis cette source. Ajouter plus de captures garde le même label.
Importé depuis un fichier
Collé

Un ensemble de données créé avant que ce label n’existe n’affiche rien — nous ne devinons pas. Détacher ou supprimer une source ne supprime jamais les ensembles de données qui en ont été capturés ; ils conservent leurs lignes et leur étiquette.

Inversement, chaque source dans Travaux → Sources indique combien d’ensembles de données ont été capturés depuis elle.

Si quelque chose ne fonctionne pas

“Connectez cela dans les Intégrations d’abord” — vous n’avez pas encore votre propre identifiant pour ce type de source. Celui d’un camarade ne compte pas.

“Cet identifiant a cessé de fonctionner” — l’identifiant sauvegardé ne fonctionne plus. Il peut avoir été tourné ou expiré. Connectez à nouveau.

Vos travaux sont en pause — l’identifiant qu’ils lisent a été déconnecté, ou la source a été détachée. Reconnectez ou rattachez, puis réactivez le travail. Rien n’a été perdu. Les captures programmées qui lisent à partir de la même source se mettent en pause de la même manière. Reprenez-les depuis Travaux → Ensembles de données.

Un travail dit “connexion supprimée” ou “ensemble de données supprimé” — ce dont il lisait a été supprimé, pas seulement déconnecté, donc il n’y a rien à reconnecter. Attachez à nouveau la source — à une connexion active ou à un autre ensemble de données. Si le travail écrivait dans la source supprimée, dirigez-le vers la nouvelle et activez-le. S’il lisait à partir de celui-ci, créez un nouveau travail sur la nouvelle source ; activer l’ancien est délibérément refusé, car cela ne ferait que le suspendre à nouveau lors de son prochain lancement.

“Identifiant invalide” — un catalogue, un schéma, un nom de table ou de colonne contient des caractères que nous ne mettrons pas dans une requête. Utilisez des noms simples, sans guillemets, points-virgules ou points à l’intérieur d’un seul champ.

“Déjà attaché” — ce workspace a déjà une source active pointant exactement vers cette feuille, table ou ensemble de données.

Un travail a échoué en disant qu’il ne pouvait pas écrire — sa cible est une source en lecture seule, comme une table d’entrepôt ou un ensemble de données. Dirigez le travail vers une feuille à la place.

Quel en est le coût

Lire votre propre base de données ou entrepôt utilise votre calcul, facturé par ce fournisseur — nous n’ajoutons pas de frais pour cela. L’enrichissement qui appelle un modèle est facturé comme d’habitude ; voir Utilisation et facturation.