1. 程式人生 > >java訊息標準化程式

java訊息標準化程式

程式目的:

    1.讀取大量實時檔案(固定的主機目錄中會有實時檔案)

    2.整理格式

    3.發往kafka

    4.刪除檔案


程式思路

    主程式就是整理格式那塊,可以設計到很複雜的業務,對於簡單的格式,直接將資料拼接成map發出即可(核心程式碼)

    千篇一律的為:

        1.kafka配置,即將整理好的資料發出,需要將傳送的主題配置好,包括分割槽數,主題數量等

        2.檔案讀取,設計到javaIO,遍歷資料夾下的每個檔案,然後讀取檔案中的每行資料,並且處理完畢將檔案刪除

        3.因為資料量大,設計到多執行緒