Hadoop及Spark學習路線及資源收納
阿新 • • 發佈：2018-12-09
title: Hadoop及Spark學習路線及資源收納
date: 2018-11-18 16:19:54
tags: Hadoop
categories: 大資料
toc: true
點選檢視我的部落格：Josonlee’s Blog
版權宣告：本文為博主原創文章，未經博主允許不得轉載（https://blog.csdn.net/lzw2016/）
前言
本人大資料專業方向，收集學習一些相關文章，彙總如下。有些資源來源網路，出處不明，如有錯誤請告知，謝謝
- 大資料較活躍的論壇、社群
- About 雲：http://www.aboutyun.com
- About 雲：http://www.aboutyun.com
資源不斷更新中。。。
Hadoop
18.11.18
- 有的舊的官方文件蓋樓：Hadoop 0.18文件
- Hadoop新手學習指導
(出處: about雲開發) - 零基礎學習hadoop到上手工作線路指導（初級篇）
(出處: about雲開發)
- 推薦一個部落格分類博主LanceToBigData：Hadoop
一、學習路線圖
二、程式設計實踐
- Hadoop歷史版本安裝
- 用Maven構建Hadoop專案
- Hadoop程式設計呼叫HDFS
- 用Maven構建Mahout專案
- Mahout推薦演算法API詳解
- 用MapReduce實現矩陣乘法
- 從原始碼剖析Mahout推薦引擎
- Mahout分步式程式開發 基於物品的協同過濾ItemCF
- Mahout分步式程式開發 聚類Kmeans
- PageRank演算法並行實現
三、案例分析
作者：Lincoln
連結：https://www.zhihu.com/question/19795366/answer/24524910
來源：知乎
18.11.20 我來更新了
- 推薦博文、博主
- 小小默’s Blog，分類很亂但是內容確實不錯
- Hadoop MapReduce Tutorial，挺讚的
- 哥不是小蘿莉·部落格園，偏應用吧，概念什麼的不咋地
- 我還搜到一本書，豆瓣上說不錯，《Mapreduce2.0原始碼分析與程式設計實戰》（那個，你們誰有csdn會員啊，csdn上有這個下載，50積分下不起啊。沒找到完整版的，你們有的話分享我一下唄。。。）
18.12.5 我又來更新了
- 《Mapreduce2.0原始碼分析與程式設計實戰》推薦主要講的是MR1.0，買不到了，能搜尋到的資源都缺了第九十章
- 【MapReduce詳解及原始碼解析（一）】——分片輸入、Mapper及Map端Shuffle過程，我自己總結學習的部分
- MapReduce:詳解Shuffle過程
- 深度瞭解mapreduce—MapReduce原始碼分析總結
原作者：適合對mapreduce有一定經驗人來閱讀，對於新手來講，只是閱讀前面會有收穫不少，但是到了後面就會有些看不懂，可以簡單瞭解。如果對mapreduce有了半年的程式設計經驗並且善於思考，或許這是一篇不錯的文章。
-
大資料較活躍的論壇、社群
- About 雲：http://www.aboutyun.com
Spark
18.11.18
- 書籍
- 《Spark快速大資料分析》[美] Holden Karau [美] Andy Konwinski [美] Patrick Wendell [加] Matei Zaharia 著
- 《Spark大資料處理：技術、應用與效能優化》
- 《Spark快速資料處理·美 Holden Karau著》
18.11.20 我來更新了
- 上面推薦的書籍，我一一粗略的翻了一下，最好先看第一本《Spark快速大資料分析》
- 本人是選用scala作為開發語言，最近也在看這門程式語言。說實話，scala寫起來真的是不習慣。。。無語。
- 最近在看廈大林子雨老師的書和視訊——《spark 程式設計基礎·scala版》，書是圖書館借的，挺薄一本講義型別的書，感覺快速上手scala沒問題，他也有配套視訊Spark程式設計基礎。有些資料可以上廈大的官網上找到，總之一句話，挺適合小白
- 慕課網有一門課程《學習Scala 進擊大資料Spark生態圈》，收費的，當然你也懂(要善於使用網路資源)，我個人是支援知識付費的。這門課我也跟進看了，是講的scala語言。我感覺單看書就可以了，視訊太費時間了。
- 部落格資源
- Spark Overview，這是官方文件，最新的2.4.0版本全英文版。一句話比那些書啊、部落格啊好太多了。如果英文不好的話，這裡有Spark Overvoew·中文版
- 就我個人而言，瞭解scala基礎後，在翻完《Spark快速大資料分析》，然後刷文件是非常不錯的
- 18.11.18
最近會停一段時間更新這篇文章，畢竟這麼多東西看也要不少時間。我也會把我理解、學習筆記放上來，先這樣吧。 - 18.12.5
更新了一些自我感覺不錯的博文，雖然Hadoop出來這麼久了，但感覺資源還是少，有些寫的還可以的部落格都是五六年前的了，可以打這個論壇看看 http://www.aboutyun.com ，csdn這邊聊這個的人氣不夠
點選檢視我的部落格：Josonlee’s Blog