日誌易亮相CNUTCon大會，技術副總裁黎吾平談自研引擎

2018年11月16日，CNUTCon 大會在上海如期召開。在次日舉行的日誌處理專場上，該專題出品人、日誌易產品總監饒琛琳主持召開了專場會。專場會第一場，是日誌易技術副總裁黎吾平分享的《日誌分析場景下的搜尋引擎改進》。此外，美團、滬江、ThoughtWorks 也分別做出了分享。

圖為 日誌易技術副總裁正在分享自研引擎

CNUTCon 全球運維技術大會是由 InfoQ 主辦的運維&容器技術盛會。大會主要面向各行業對運維&容器技術感興趣的中高階技術人員。CNUTCon 致力於幫助參會者瞭解國內外相關公司的領域動態及應用案例，使企業可以更精準地確定自己的選型方案，並提前預估相關的風險和收益，實現技術落地。

各大網際網路公司的技術專家參與了此次大會。在大會的各個專題下，“日誌處理”彰顯了其在運維圈中的獨特地位。日誌處理，即統一日誌管理，實時監控業務現狀，為使用者系統的日常診斷調優和安全問題追蹤提供更全面的資料支撐。專題討論瞭如何賦予技術支援人員實時高效搜尋日誌的能力，從而快速定位資訊，發現問題根源，提升運維效率等一系列問題。

隨著業務發展，越來越多的IT運維日誌催生出越來越大的 Elasticsearch 叢集，維護成本越來越高，分析需求越來越複雜。由於 Elasticsearch 本身的定位並不是專業的日誌分析系統，在用於日誌分析時，其本身的很多功能會大大影響伺服器的效能。大型的 Elasticsearch 叢集往往重而複雜。

日誌易技術副總裁黎吾平從對 Elasticsearch 搜尋引擎的改進談起，詳細敘述了要使日誌更好的為企業發展賦能，需要做出的搜尋引擎相關優化。為此更好的進行日誌分析，日誌易自研了專業的日誌搜尋分析引擎。

日誌有其專有的格式，雖然不同的應用產生的日誌格式不同，但其本身有規律可循。在實際的日誌處理系統中，大量使用ETL的方式來進行日誌的結構化，抽取部分必要的欄位，並進行索引。Elasticsearch不支援對欄位型別的不相容的欄位進行索引，但在實際中，不同使用者之間，甚至同一使用者之間出現欄位名相同而欄位型別不相容的情況是不可避免的，為了解決這個問題，日誌易自研引擎對欄位的索引方式和query的改寫進行了專門的處理，以支援使用者的需求。

日誌易新引擎效能高效且靈活。傳統的 Elasticsearch 開啟索引的時候會載入較多的索引資訊到記憶體中，如tip，dii等，這樣開啟索引慢，而且開啟的索引數量受限。在日誌處理的場景中，需要保留的索引往往會達到半年以上，但是頻繁查詢的只有最近一兩天的索引。日誌易自研引擎只在記憶體中載入少量的索引的meta資訊，通過LRU的cache的方式來管理索引檔案資訊，開啟索引的記憶體佔用小，因此可開啟大量的索引，而且開啟索引的速度快。

此外，在自研專業的日誌搜尋分析引擎上，日誌易還在節點、執行緒、時間範圍搜尋、Replica策略改進、索引分層優化等方面做出了很多改進。

日誌易的自研引擎雖然首次亮劍，其背後的日誌易團隊卻在日誌分析的道路上前行了很久。在日誌資料更加重要的明天，日誌易自研引擎的未來，我們拭目以待！

【本文版權歸儲存線上所有，未經許可不得轉載。文章僅代表作者看法，如有不同觀點，歡迎新增儲存線上微信公眾號（微訊號：doitmedia）進行交流。】