1. 程式人生 > >二、大資料相關的幾個名詞解釋

二、大資料相關的幾個名詞解釋

  • MapReduce程式設計模型
  1. MapReduce是一套從海量源資料提取分析元素最後返回結果集的程式設計模型。程式設計模型是處理並結構化特定問題的方式。
  2. MapReduce程式本質上是並行執行的,由JobTrackers和TaskTrackers組成。其優勢在於處理大規模資料集。
  3. 將查詢表示成MapReduce作業,過程分為兩個處理階段:map階段和reduce階段。
  • HDFS
基於Hadoop的開源分散式檔案系統,以Google的GFS為原型設計並實現具有高可靠性、高效能、可伸縮、實時讀寫的分散式檔案系統。
  • HBase
基於Hadoop的開源資料庫,以Google的BigTable為原型,設計並實現具有高可靠性、高效能、列儲存、可伸縮、實時讀寫的資料庫系統。
  • 大資料中介軟體
在網上搜索大資料中介軟體並沒有準確的定義,只有中介軟體的定義,而且還有不同的說法。
中介軟體:
  1. 我國學術界一般認可的定義是中介軟體是指網路環境下處於作業系統、資料庫等系統軟體和應用軟體之間的一種起連線作用的分散式軟體,主要解決異構網路環境下分散式應用軟體的互連與互操作問題,提供標準介面、協議,遮蔽實現細節,提高應用系統易移植性(北京大學梅巨集)。
  2. 中科院軟體所研究員仲萃豪形象地把中介軟體定義為平臺+通訊。這個定義限定了只有用於分散式系統中的此類軟體才能被稱為中介軟體,同時此定義還可以把中介軟體與支撐軟體和實用軟體區分開來。
說一下我膚淺的理解,也並不一定正確。 大資料中介軟體:處於作業系統、分散式資料庫(例如HBase)和運行於大資料平臺上的應用程式之間,起連線作用使其相互通訊的軟體系統。
一般大資料中介軟體可提供有關資料儲存、查詢、匯入匯出、刪除以及計算分析等工具。