跳转到内容

連接您的數據

一個來源是您的 workspace 用來讀取行的地方。它可以是 Google Sheet、Databricks 或 Snowflake 中的一個表、一個 Postgres 數據庫或一個保存在此 workspace 中的數據集。附加後,所有來源的工作方式相同 — 豐富任務、回測和評估固定均通過來源來讀取。

來源 從中讀取 寫入結果 用於回測
Google Sheet 捕獲後
Postgres 表 捕獲後
Databricks 表 捕獲後
Snowflake 表 捕獲後
已保存數據集

倉庫表為只讀:任務可以從中讀取數據,但結果寫入您選擇的地方 — 通常是電子表格。如果您的組織未提供某個來源類型,它將不會顯示。

Workspace 設定 → 集成 → 數據連接。

您的連接是您的。每位成員連接自己的憑據,隊友的憑據對您無效 — 如果其他人已經連接了倉庫,您將看到它已連接,但您仍然需要自己的憑據來附加表。

填寫卡片並按下連接。我們在保存任何內容之前會測試憑據是否有效,因此「已連接」意味著它實際上有效。如果不成功,您將被告知憑據被拒絕、主機無法訪問或超時。

憑據是加密的,並且永遠不會再次顯示 — 甚至對您也不會。要更改憑據,請再次連接。

測試連接會重新檢查已保存的憑據。如果任務開始失敗,請使用此功能;已過期或已輪換的憑據會顯示需要重新連接的提示。

斷開連接會刪除已存儲的憑據,並暫停所有通過此憑據讀取的任務。什麼都不會被刪除 — 您的來源保持其設置和歷史記錄,重新連接後再次啟動。卡片告訴您在執行此操作之前有多少個來源會受到影響。

任務 → 來源 → 附加,或從畫布中的批量框架選擇。

選擇來源的類型,然後填寫所需的一個步驟:

  • Google Sheet — 粘貼表格的鏈接,選擇一個選項卡,並映射列。
  • 已保存數據集 — 從此 workspace 的庫中選擇一個。無需填寫其他內容。
  • Databricks 或 Snowflake — 提供目錄(Databricks)或數據庫(Snowflake)、架構和表,然後按下預覽表以查看映射列之前是否正確選擇了表。

尚未連接的來源類型會顯示為灰色,並告訴您先連接它。

每個來源需要一個標識行的列 — 這是產品知道它已經處理了哪一行的方式。選擇不會變動的內容:ID 而不是可能被編輯的名稱。

如果您的表具有「最後更新」時間戳,請為其命名。沒有此列,每一行都會在每次運行時被視為需要處理。在大型表中,這非常重要。

一個數據集是保持在此 workspace 中的固定行集。數據集是回測和評估運行的對象,因為它們在運行期間不會變動。

可以在任務 → 數據集下找到它們。創建數據集有三種方式。

直接進入表單。適合短列表。

任務 → 數據集 → 導入文件。

  • 如果列不是名為 key,請告訴我們哪一列是
  • 如果您的文件記錄每一行何時變為真 — 公告日期、收盤價格的日期 — 請為該列命名。這樣文件就成為可以回測的歷史數據。
  • 如果您忽略此列,則每一行都從上傳時起被標記為已知。

文件可包含最多50,000 行4 MB。超過任一限制,導入將被拒絕並告訴您 — 不會悄悄截斷任何內容。

任務 → 數據集 → 從來源捕獲。

這會讀取您已經附加的來源並將結果保存到庫中。這就是如何將實時表變成可以回測的對象。

關於捕獲有一點需要理解:

捕獲是從現在開始的快照 — 而不是對過去的重建。

每一行在捕獲時被記錄為已知。因此在過去日期範圍內使用的單一捕獲將不會找到任何數據 — 正確地說,因為那時沒有可知的數據。

要構建可以回測的對象,請選擇添加到現有數據集而不是創建一個新數據集。每次捕獲僅添加實際改變值的行,並以捕獲時刻標記。下週和下月再次捕獲同一來源,數據集就會成為真實的歷史:在回測中,每個日期看到的都是當時的當前值。

目前沒有自動調度 — 當您想要另一個點時重複捕獲。

如果您的數據已經記錄何時每一行變為真(例如,包含已知時間列的 CSV),捕獲會保留這些日期,而不是替換它們,並且可以立即回測。

讀取過程在後台進行,因此數據集稍後會出現在列表中,而不是立即出現。相同的大小限制仍然適用,並且過大以至於無法存儲的來源將被拒絕,而不是部分保存。

「請先在集成中連接此內容」 — 您尚未為該來源類型擁有自己的憑據。隊友的憑據不算數。

「此憑據停止工作」 — 已保存的憑據不再有效。它可能已被更換或到期。請重新連接。

您的任務已暫停 — 要么是通過其讀取的憑據被斷開,要么是來源被拆除。請重新連接或重新附加,然後重新啟動任務。沒有數據丟失。

「無效的標識符」 — 目錄、架構、表或列名稱包含我們不會放入查詢的字符。使用簡單的名稱,單個字段內不帶引號、分號或點。

「已經附加」 — 此 workspace 已經有一個指向這個電子表格、表或數據集的活動來源。

任務失敗,提示無法寫入 — 其目標是一個只讀來源,如倉庫表或數據集。請將任務指向一個電子表格。

讀取您自己的數據庫或倉庫將使用您的計算資源,並由該提供商計費 — 我們不會對其額外收費。進行模型調用的豐富作業照常計費;請參見使用和計費