轉自http://blog.csdn.net/houbin0912/article/details/72967178

hadoop是什麼？
(1)Hadoop是一個開源的框架，可編寫和執行分散式應用處理大規模資料，是專為離線和大規模資料分析而設計的，並不適合那種對幾個記錄隨機讀寫的線上事務處理模式。Hadoop=HDFS（檔案系統，資料儲存技術相關）+ Mapreduce（資料處理），Hadoop的資料來源可以是任何形式，在處理半結構化和非結構化資料上與關係型資料庫相比有更好的效能，具有更靈活的處理能力，不管任何資料形式最終會轉化為key/value，key/value是基本資料單元。用函式式變成Mapreduce代替SQL，SQL是查詢語句，而Mapreduce則是使用指令碼和程式碼，而對於適用於關係型資料庫，習慣SQL的Hadoop有開源工具hive代替。

(2)Hadoop就是一個分散式計算的解決方案.

hadoop能做什麼？

 hadoop擅長日誌分析，facebook就用Hive來進行日誌分析，2009年時facebook就有非程式設計人員的30%的人使用HiveQL進行資料分析；淘寶搜尋中    的 自定義篩選也使用的Hive；利用Pig還可以做高階的資料處理，包括Twitter、LinkedIn 上用於發現您可能認識的人，可以實現類似Amazon.com的協同過濾的推薦效果。淘寶的商品推薦也是！在Yahoo！的40%的Hadoop作業是用pig執行的，包括垃圾郵件的識別和過濾，還有使用者特徵建模。（2012年8月25新更新，天貓的推薦系統是hive，少量嘗試mahout！）

• 日誌處理
• 使用者細分特徵建模
• 個性化廣告推薦
• 智慧儀器推薦
•    一切以增加企業的商業價值為核心目的、最終目的
  

• hadoop的應用的在我司還屬於研發型專案，擬用日誌的分析來走通一次流程，因為此階段目前來說還不需要資料探勘的專業人員，在資料分析階段即可，而系統有資料庫工程師，Mapreduce有java開發工程師，而分析由我本人介入，而視覺化暫時可由前端JS實現，本來我的調研方案，針對大資料的解決方案是hadoop+R的，但是對於R我們是完全不懂，在公司還沒有大量投入人員的情況下，只有日誌分析目前看來是最容易出成果的，也是可以通過較少人員能出一定成果的，所以選取了這個方向作為試點。