跳转到内容

連接您的數據

一個 source 是您工作區從中讀取行的地方。它可以是一個 Google Sheet、一個 Databricks 或 Snowflake 的表格、一個 Postgres 數據庫,或者在這個工作區儲存的數據集。連接後,它們都以相同的方式運作 — 豐富作業、回測和評估參數都通過 source 讀取。

Source Read from it Write results back Use in a backtest
Google Sheet 是 是 捕獲後可用
Postgres table 是 是 捕獲後可用
Databricks table 是 否 捕獲後可用
Snowflake table 是 否 捕獲後可用
Saved dataset 是 否 是

資料倉庫表格是 唯讀 的:作業可以從中讀取,但結果會寫入您選擇的地方 — 通常是一個表格。如果您的組織不提供某種類型的 source,它將不會出現。

工作區設定 → 整合 → 數據連接。

您的連接是 您的。每個成員連接他們自己的憑證,並且其他隊友的憑證對您無效 — 如果其他人已經連接了資料倉庫,您將看到其已連接,但您仍然需要自己的憑證來附加表格。

填寫卡片並按下 連接。我們會在保存任何內容之前測試憑證是否有效,所以 “已連接” 意味著這真的有效。如果無效,您將被告知憑證是否被拒絕、主機無法訪問或已超時。

憑證是加密的,並且 絕不會再次顯示 — 甚至不會顯示給您。要更改憑證,請重新連接。

測試連接 重新檢查已保存的憑證。如果作業開始失敗,請使用它;過期或已輪換的憑證將顯示為需要重新連接。

斷開連接 會刪除已存儲的憑證並 暫停 每個通過它進行讀取的作業。沒有任何內容被刪除 — 您的 sources 保持其設置和歷史,重新連接會再次啟動它們。卡片會告訴您在執行此操作前有多少 sources 受到影響。

如果 source 背後的人或數據集消失

Section titled “如果 source 背後的人或數據集消失”

斷開連接是可逆的。兩件事情不是:

  • 隊友的用戶帳戶被刪除。 他們的憑證隨之刪除,因此他們附加的 sources 將無法再被讀取。
  • 庫中的數據集被刪除。 任何包裹它的 source 都沒有可供讀取的內容。

在這兩種情況下,受影響的 sources 都被 解除連接,並且它們的作業 暫停,在作業上顯示原因 — “連接被刪除” 或 “數據集被刪除”。您的設置和豐富歷史將被保留,但這一次重新連接並無幫助:沒有剩下可重新連接的內容。再次附加 source — 通過實時連接,或連接到另一個數據集。對舊的 source 寫入 的作業可以指向新的 source 並重新開啟。對其 讀取 的作業無法重新開啟:在新的 source 上創建新作業。它的歷史將保留在舊的 source 上。

發生這種情況的工作區可以安全地放著不管:暫停的作業不會產生費用,也不會再次嘗試。

作業 → Sources → 附加,或從畫布中的一個批次框架。

選擇 source 的類型,然後填寫它需要的一個步驟:

  • Google Sheet — 粘貼表格的鏈接,選擇一個標籤,並映射列。
  • 已儲存數據集 — 從此工作區的庫中選擇一個。沒有其他需要填寫的內容。
  • Databricks 或 Snowflake — 提供目錄(Databricks)或數據庫(Snowflake)、模式及表格,然後按下 預覽表格,以檢查您是否選擇了正確的表格才進行列映射。
  • Postgres table — 提供表格(如果不是 public,則提供模式),按下 預覽表格,然後映射列。Postgres 是唯一一個也可以被寫入的 SQL source:在任何列豐富上勾選 寫回 應該會自動填寫。

您尚未連接的 source 類型顯示為灰色,並附有說明告訴您先連接。

每個 source 需要一列來識別行 — 這是產品知道之前處理過哪一行的方式。選擇一些不改變的內容:選擇 ID 而不是某個可能被編輯的名稱。

如果您的表格有 “最後更新” 的時間戳,請命名它。否則,將每一行視為每次運行都需要處理。在大型表格中,這一點很重要。

一個 數據集 是保存在此工作區中的固定行集。數據集是回測和評估進行運行的基礎,因為它們在運行期間不會改變。

在 作業 → 數據集 中找到它們。有三種方法可以創建一個數據集。

直接粘貼到表單中。適合短列表。

作業 → 數據集 → 導入文件。

  • 如果您的列不是 key,請告訴我們哪一列是 鍵。
  • 如果您的文件記錄了 每一行為何成為真實的時間 — 公告日期、關閉價格的日期 — 請命名該列。這樣可以將文件變成您可以進行回測的真實歷史。
  • 如果不填寫,每一行的狀態將從您上傳的那一刻起標記為已知。

一個文件最多可以包含 50,000 行 和 4 MB。超出任一限製,導入將被拒絕並提示您 — 不會默默截斷。

作業 → 數據集 → 從 source 捕獲。

這將讀取您已連接的 source,並將結果保存到庫中。這是如何使實時表格成為您可以進行回測的東西。

有一件事需要理解捕獲的過程:

捕獲是從現在開始的快照 — 不是過去的重建。

每一行都在您捕獲的那一刻被記錄為已知。因此,在過去的日期範圍內進行回測時,單次捕獲不會找到任何內容 — 這是正確的,因為當時沒有可知的數據。

要建立一個您可以進行回測的內容,請選擇 添加到現有數據集 而不是創建新數據集。每次捕獲僅添加值實際發生變化的行,並加上您捕獲的時間戳。下週和下月再次捕獲同一 source,數據集將成為真實的歷史:回測的每個日期都看到當時的當前值。

為了方便繼續進行此操作而無需記住,請在捕獲時勾選 按計劃重複,並選擇頻率:每小時、每 6 小時、每天或每週。時間均以 UTC 為準。捕獲最多每小時運行一次,因為每次捕獲都需要讀取整個 source。在首次捕獲成功後,計劃將開始生效。

如果您的數據已經記錄了 每行何時成為真實(例如,帶有已知列的導入 CSV),那麼捕獲過程會保留這些日期,而不是替換它們,並且可以立即進行回測。

讀取是在後台進行的,因此數據集會在稍後出現在列表中,而不是立即。相同的大小限制適用,而過大以至於無法存儲的 source 將會被拒絕,而不是部分保存。

一個定時捕獲的數據集在其名稱下顯示它在 作業 → 數據集 中,例如 “每天 06:00 UTC 捕獲 · 下次在 10 月 30 日 06:00”。從那裡,您可以 暫停、恢復 或 停止重複。停止將保留數據集和已捕獲的所有內容。每個數據集只能有一個計劃。您隨時仍然可以手動捕獲到它中。

如果定時捕獲過程跳過了一次,它會在下一次時再次嘗試,當:

  • 一個使用此數據集的回測、研究或評估仍在運行。運行時添加行可能會使其停止,因為它會檢查其數據在其底下是否沒有變更。
  • 您的工作區訂閱已過期,或已達到使用限制。捕獲在問題解決後將自動繼續。

計劃會 暫停,並說明原因,當繼續進行只會再次失敗時:

  • 暫停 — 數據集已滿。 數據集已達到 50,000 行或 4 MB 的限製。新的捕獲將被拒絕,而不是刪除較舊的歷史,因為這會改變在早期期間內的回測結果。刪除記錄,或捕獲到新的數據集中,然後恢復。
  • 暫停 — source 解除連接、source 訪問被撤銷、連接被刪除 或 source 無法讀取。 重新連接或重新附加 source,然後恢復。當 source 仍不可用時,恢復將被拒絕。

每個數據集都記錄了其創建過程。在 作業 → 數據集 中,您將在其名稱下看到以下之一:

  • 從 名稱 捕獲 — 它是從該 source 捕獲的。對其添加更多捕獲將保留相同的標籤。
  • 從文件導入
  • 粘貼

在該標籤存在之前創建的數據集顯示 None — 我們不會做出猜測。解除連接或刪除 source 絕不會刪除從中捕獲的數據集;它們保持其行和標籤。

反之,在 作業 → Sources 中,每個 source 都會顯示其從中捕獲的數據集的數量。

“請先在整合中連接這個” — 您尚未擁有該源類型的憑證。隊友的憑證不算。

“這個憑證停止運作” — 已保存的憑證不再有效。它可能已被輪換或過期。請重新連接。

您的作業已暫停 — 它們通過的憑證已斷開連接,或者 source 被解除連接。重新連接或重新附加,然後將作業重新啟動。沒有任何損失。從相同 source 讀取的定時捕獲也會以同樣的方式暫停。從 作業 → 數據集 中恢復它們。

作業顯示 “連接被刪除” 或 “數據集被刪除” — 它所讀取的內容被刪除,而不僅僅是斷開連接,因此沒有任何東西可以重新連接。再次附加 source — 到一個實時連接或另一個數據集。如果作業對已刪除的 source 寫入,請指向新的 source 並啟動。如果它從中讀取,則在新的 source 上創建新作業;故意拒絕啟動舊的作業,因為它只會在下一次運行時再次暫停。

“無效的標識符” — 目錄、模式、表格或列名稱包含我們不會放入查詢中的字符。使用簡單的名稱,避免在單個字段中使用引號、分號或點。

“已附加” — 此工作區已經有一個活動的 source 精確指向此表格、表或數據集。

作業失敗,顯示無法寫入 — 其目標是一個唯讀的 source,例如資料倉庫表格或數據集。請將作業指向一個表格。

閱讀您的數據庫或資料倉庫使用 您的 計算資源,按該提供者計費 — 我們不會再收費。調用模型的豐富作業將按通常方式收費;請參閱 使用與計費。