1. 程式人生 > >Singer 學習九 執行&&開發taps、targets (四 開發target)

Singer 學習九 執行&&開發taps、targets (四 開發target)

singer 的target 需要從stdin 的行資料,同時處理schema、record、state 訊息

指南

  • schema 需要進行關聯stream records 資料的校驗
  • 一旦Target處理了State訊息之前流中出現的所有資料,就將狀態訊息寫入stdout。請注意,儘管State訊息被髮送到目標,但在大多數情況下,Target的程序實際上不會將其儲存在任何地方或對其執行任何操作,而不是將其重複到stdout
  • 目標應該能夠處理巢狀欄位的記錄。根據Target的型別,記錄可能需要展平(去巢狀)。有關示例,請參閱target-csv的flatten()函式。

說明

官方同時也提供了一個模版,我們可以方便的編寫target singer-target-template

參考資料

https://github.com/singer-io/getting-started/blob/master/docs/RUNNING_AND_DEVELOPING.md