富士通展示Dataffinic Computing高速大資料處理原型技術

富士通實驗室正在努力滿足在處理分析工作負載的大資料系統中加快處理速度的需求。

近日富士通表示，已經開發了一項新技術可以幫助在分散式儲存系統中高速處理大資料，並且資訊是儲存在多個驅動器中的。這項新技術是在開源Ceph分散式儲存框架上實現的，富士通認為它可以很好地執行以消除伺服器嘗試從這些儲存系統讀取資料時出現的瓶頸。

富士通工程師在部落格文章中談到了所謂的“Dataffinic Computing”技術，他表示，儲存和伺服器之間流動的大量資料是分析系統延遲的主要原因。但是通過在儲存中處理這些資料，他們認為這樣可以加快速度，因為不需要先移動資料。

Dataffinic Computing通過網路連線多個伺服器，同時保持原始儲存功能。富士通說，這種方法分解了非結構化視訊和日誌資料，讓所有資料都更容易訪問和壓縮。

“這意味著分散於分散式儲存中的資料可以單獨處理，保持訪問效能的可擴充套件性，並提高整體系統效能，”富士通的工程師聲稱。

富士通的系統還可以預測在分析資料時維護資料所需的儲存資源需求。

“儲存節點面臨各種系統負載以安全地維護資料，包括錯誤後的自動恢復處理，新增更多儲存容量後的資料重新分配處理，以及作為預防性維護一部分的磁碟檢查處理，”富士通的工程師寫道。“該技術模擬了儲存系統中出現的系統負載型別，預測了不久將來所需的資源。基於此，該技術控制資料處理資源及其分配，而不會降低系統儲存功能的效能。”

富士通表示，Dataffinic原型系統包括5個儲存節點和5個伺服器，由一個千兆網路連線。工程師們通過從50GB視訊資料中提取出例如人和車等物件來測量其資料處理效能。

工程師表示，Dataffinic系統可以在50秒內處理這些資料，這比使用傳統方法處理資料所花費的500秒縮短了10倍。

“這項技術可以實現對爆炸式增加的資料進行可擴充套件和高效的處理，”富士通工程師這樣表示。

Constellation Research分析師Holger Mueller表示，富士通的這項新技術可能很有用處，因為儲存對於依賴大資料的下一代軟體應用來說至關重要。

Mueller說：“企業需要堅持資料進行時間分析、記錄儲存和法定監管。因此，儲存硬體製造商必須創新，應對必須儲存和處理的越來越多的資料。很高興看到研發投資帶來了新的高效能儲存選擇。”

下一步將是通過商業應用驗證該技術。如果執行可靠的話，富士通計劃在2019年之前將基於該架構的新產品推向市場。