連接您的數據
一個來源是您的 workspace 用來讀取行的地方。它可以是 Google Sheet、Databricks 或 Snowflake 中的一個表、一個 Postgres 數據庫或一個保存在此 workspace 中的數據集。附加後,所有來源的工作方式相同 — 豐富任務、回測和評估固定均通過來源來讀取。
您可以連接的內容
Section titled “您可以連接的內容”| 來源 | 從中讀取 | 寫入結果 | 用於回測 |
|---|---|---|---|
| Google Sheet | 是 | 是 | 捕獲後 |
| Postgres 表 | 是 | 是 | 捕獲後 |
| Databricks 表 | 是 | 否 | 捕獲後 |
| Snowflake 表 | 是 | 否 | 捕獲後 |
| 已保存數據集 | 是 | 否 | 是 |
倉庫表為只讀:任務可以從中讀取數據,但結果寫入您選擇的地方 — 通常是電子表格。如果您的組織未提供某個來源類型,它將不會顯示。
連接您的憑據
Section titled “連接您的憑據”Workspace 設定 → 集成 → 數據連接。
您的連接是您的。每位成員連接自己的憑據,隊友的憑據對您無效 — 如果其他人已經連接了倉庫,您將看到它已連接,但您仍然需要自己的憑據來附加表。
填寫卡片並按下連接。我們在保存任何內容之前會測試憑據是否有效,因此「已連接」意味著它實際上有效。如果不成功,您將被告知憑據被拒絕、主機無法訪問或超時。
憑據是加密的,並且永遠不會再次顯示 — 甚至對您也不會。要更改憑據,請再次連接。
測試連接會重新檢查已保存的憑據。如果任務開始失敗,請使用此功能;已過期或已輪換的憑據會顯示需要重新連接的提示。
斷開連接會刪除已存儲的憑據,並暫停所有通過此憑據讀取的任務。什麼都不會被刪除 — 您的來源保持其設置和歷史記錄,重新連接後再次啟動。卡片告訴您在執行此操作之前有多少個來源會受到影響。
任務 → 來源 → 附加,或從畫布中的批量框架選擇。
選擇來源的類型,然後填寫所需的一個步驟:
- Google Sheet — 粘貼表格的鏈接,選擇一個選項卡,並映射列。
- 已保存數據集 — 從此 workspace 的庫中選擇一個。無需填寫其他內容。
- Databricks 或 Snowflake — 提供目錄(Databricks)或數據庫(Snowflake)、架構和表,然後按下預覽表以查看映射列之前是否正確選擇了表。
尚未連接的來源類型會顯示為灰色,並告訴您先連接它。
每個來源需要一個標識行的列 — 這是產品知道它已經處理了哪一行的方式。選擇不會變動的內容:ID 而不是可能被編輯的名稱。
更改時間列(倉庫表)
Section titled “更改時間列(倉庫表)”如果您的表具有「最後更新」時間戳,請為其命名。沒有此列,每一行都會在每次運行時被視為需要處理。在大型表中,這非常重要。
已保存數據集
Section titled “已保存數據集”一個數據集是保持在此 workspace 中的固定行集。數據集是回測和評估運行的對象,因為它們在運行期間不會變動。
可以在任務 → 數據集下找到它們。創建數據集有三種方式。
直接進入表單。適合短列表。
導入 CSV 或 JSON 文件
Section titled “導入 CSV 或 JSON 文件”任務 → 數據集 → 導入文件。
- 如果列不是名為
key,請告訴我們哪一列是鍵。 - 如果您的文件記錄每一行何時變為真 — 公告日期、收盤價格的日期 — 請為該列命名。這樣文件就成為可以回測的歷史數據。
- 如果您忽略此列,則每一行都從上傳時起被標記為已知。
文件可包含最多50,000 行和4 MB。超過任一限制,導入將被拒絕並告訴您 — 不會悄悄截斷任何內容。
任務 → 數據集 → 從來源捕獲。
這會讀取您已經附加的來源並將結果保存到庫中。這就是如何將實時表變成可以回測的對象。
關於捕獲有一點需要理解:
捕獲是從現在開始的快照 — 而不是對過去的重建。
每一行在捕獲時被記錄為已知。因此在過去日期範圍內使用的單一捕獲將不會找到任何數據 — 正確地說,因為那時沒有可知的數據。
要構建可以回測的對象,請選擇添加到現有數據集而不是創建一個新數據集。每次捕獲僅添加實際改變值的行,並以捕獲時刻標記。下週和下月再次捕獲同一來源,數據集就會成為真實的歷史:在回測中,每個日期看到的都是當時的當前值。
目前沒有自動調度 — 當您想要另一個點時重複捕獲。
如果您的數據已經記錄何時每一行變為真(例如,包含已知時間列的 CSV),捕獲會保留這些日期,而不是替換它們,並且可以立即回測。
讀取過程在後台進行,因此數據集稍後會出現在列表中,而不是立即出現。相同的大小限制仍然適用,並且過大以至於無法存儲的來源將被拒絕,而不是部分保存。
如果出現問題
Section titled “如果出現問題”「請先在集成中連接此內容」 — 您尚未為該來源類型擁有自己的憑據。隊友的憑據不算數。
「此憑據停止工作」 — 已保存的憑據不再有效。它可能已被更換或到期。請重新連接。
您的任務已暫停 — 要么是通過其讀取的憑據被斷開,要么是來源被拆除。請重新連接或重新附加,然後重新啟動任務。沒有數據丟失。
「無效的標識符」 — 目錄、架構、表或列名稱包含我們不會放入查詢的字符。使用簡單的名稱,單個字段內不帶引號、分號或點。
「已經附加」 — 此 workspace 已經有一個指向這個電子表格、表或數據集的活動來源。
任務失敗,提示無法寫入 — 其目標是一個只讀來源,如倉庫表或數據集。請將任務指向一個電子表格。
這會產生什麼費用
Section titled “這會產生什麼費用”讀取您自己的數據庫或倉庫將使用您的計算資源,並由該提供商計費 — 我們不會對其額外收費。進行模型調用的豐富作業照常計費;請參見使用和計費。