1 資料儲存與分析

為什麼要創造（發明/使用）Hadoop？Hadoop的存在有什麼意義？

資料的儲存面臨一系列的問題：

1. 雖然磁碟儲存容量快速增加，但訪問速度並沒有太大的變化。

   • 一個簡單的解決辦法：從多個磁碟上讀取資料。例如，有100個磁碟，每個磁碟儲存1%的資料，進行並行讀取。

2. 要實現對多個磁碟資料的並行讀寫，還有更多的問題要解決。

   • 硬體故障
     內容：使用多個硬體時，其中任一硬體發生故障的概率非常高。
     解決辦法：
     (1)備份，系統保資料的冗餘複本。例如冗餘磁碟陣列（RAID）
     (2)Hadoop的檔案系統，即HDFS（Hadoop distributed FileSystem）。

   • 分散式系統允許結合多個來源的資料進行分析，保證其正確性是一個難題。
     MapReduce提出了一個模型，將上述磁碟讀寫的問進行抽象，轉換為對一個數據集（由鍵/值對組成）的計算。該計算由map和Redcuce兩部分組成，並且只有這兩部分提供對外的介面。

總之，Hadoop有著可靠的共享儲存和分析系統。HDFS實現儲存，而MapReduce實現分析處理，這兩部分是Hadoop的核心。

2 與其他系統相比

使用其他系統不能解決上面的問題嗎？為什麼必須使用Hadoop？
MapReduce的查詢處理比較蠻力，因為每個查詢需要處理整個資料集（或至少資料集的很大一部分）。
反過來想，這也是Hadoop的優秀之處。MapReduce是一種批量查詢處理器，能夠在合理的時間內，處理針對整個資料集的即時（ad hoc）查詢。

3 關係型資料庫管理系統

為什麼不用資料庫做批量分析，而需要MapReduce呢？
資料庫也可以對大規模資料進行批量分析，例如使用SQL Server的SQL語言，就可以進行批量查詢處理，那為什麼不這樣使用呢？
因為資料庫查詢時，定址時間遠遠慢於傳輸速率。（定址也就是將磁頭移動到特定磁碟位置進行讀寫操作的過程。）

這部分的標題為什麼取名為”關係型資料庫呢？MapReduce與關係型資料庫有什麼關係嗎？”
首先，什麼是關係型資料庫？
關係型資料庫是一種二維表格模型，是由二維表及其之間的聯絡組成的一個數據組織。

然後，MapReduce與關係型資料庫有什麼聯絡呢？
在許多情況下，MapReduce可以視為關係型資料庫管理系統的補充。為什麼呢？