學習筆記:從0開始學習大資料-24. 學習小結，轉段
經過半個多月的學習，把課本介紹的大資料工程師相關軟體都涉獵了一遍，主要是下載安裝配置，然後執行一個hello world！對大資料有了個初步認識，算是從門外跨進了門裡，裡面的風光，慢慢再領略。
為了加快進階，下一步開始轉段，從單個軟體的學習向以專案引領，綜合運用轉化，找一些實用的專案，圍繞專案需要的相關元件，邊做邊學，這是最快最實用的學習途徑。
相關推薦
學習筆記:從0開始學習大資料-20. 機器學習spark ml演算法庫應用練習
作為大資料初學者，機器學習演算法的運用，只是hello world知道個123，以後專案需要再深入 Mahout，spark MLlib,spark ML三個演算法庫，根據網上了解比較，採用spark ml演算法庫作為學習物件。 本次學習只是除錯能執行網上的例子 程式碼案例網址： h
學習筆記:從0開始學習大資料-19. storm開發及執行環境部署
一.eclipse strom開發環境 1. eclipse waven開發環境支援storm java程式開發很簡單，只要pom.xml 加入依賴即可 <dependency> <groupId>org.apache.storm</
學習筆記:從0開始學習大資料-18.kettle安裝使用
Kettle是一款國外開源的ETL工具，純java編寫，可以在Windows、Linux、Unix上執行，資料抽取高效穩定。 Kettle 中文名稱叫水壺，該專案的主程式設計師MATT 希望把各種資料放到一個壺裡，然後以一種指定的格式流出。 Kettle這個ETL工具集，它允許你管理來自不同資料庫的
學習筆記:從0開始學習大資料-17.Redis安裝及使用
Redis 是一個高效能的key-value資料庫。 redis的出現，很大程度補償了memcached這類key/value儲存的不足，在部 分場合可以對關係資料庫起到很好的補充作用。 1. 下載 wget http://download.redis.io/releases/redis-5
學習筆記:從0開始學習大資料-16. kafka安裝及使用
kafka是訊息處理服務的開源軟體，高效高可用。可以作為大資料收集的工具或資料的管道。 1. 下載 http://kafka.apache.org/downloads 根據scala版本，我下載的是Scala 2.12 - kafka_2.12-2.1.0.tgz (as
學習筆記:從0開始學習大資料-15. Flume安裝及使用
上節測試了spark 程式設計，spark sql ，spark streaming 等都測試可用了，接下來是資料來源的收集，Flume的安裝使用，其實很簡單，但作為完整，也寫個記錄筆記 1.下載 wget http://archive.cloudera.com/cd
學習筆記:從0開始學習大資料-14. java spark程式設計實踐
上節搭建好了eclipse spark程式設計環境 在測試執行scala 或java 編寫spark程式 ，在eclipse平臺都可以執行，但打包匯出jar，提交 spark-submit執行，都不能執行，最後確定是版本問題，就是你在eclipse除錯的spark版本需和spark-submit
學習筆記:從0開始學習大資料-13. Eclipse+Scala+Maven Spark開發環境配置
上節配置好了spark執行環境，可以通過 spark-shell 在scala語言介面互動執行spark命令 可以參照（ https://blog.csdn.net/u010285974/article/details/81840413 Spark-shell執行計算）
學習筆記:從0開始學習大資料-12. spark安裝部署
為了教學方便，考慮ALL IN ONE，一臺虛擬機器構建整個實訓環境，因此是偽分散式搭建spark 環境： hadoop2.6.0-cdh5.15.1 jdk1.8 centos7 64位 1. 安裝scala環境 版本是scala-2.12.7，官網下載
學習筆記:從0開始學習大資料-11. sqoop安裝部署
環境：centos7 已安裝java和hadoop 1.下載 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.16.0.tar.gz 2.解壓 tar -zxvf sqoop2-1.99.5-cdh5.16.0.t
學習筆記:從0開始學習大資料-10. hive安裝部署
1. 下載 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz 2.解壓 tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz 3. hive的元資料（如表名，列
學習筆記:從0開始學習大資料-9. MapReduce讀並寫Hbase資料
上節的MapReduce計算WordCount例子是從hdfs讀輸入檔案，計算結果也寫入hdfs MapReduce分散式計算的輸入輸出可以根據需要從hdfs或hbase讀取或寫入，如 A.讀hdfs-->寫hdfs B.讀hdfs-->寫hbase C.讀hbase--
學習筆記:從0開始學習大資料-8.直接在Eclipse配置執行MapReduce程式
前面開發hadoop程式是打包成jar，然後在命令列執行 hadoop jar XXX.jar XXXX 的方式提交作業，現在記錄直接在Eclipse IDE執行MapReduce作業的方法，還是用經典的WordCount程式。 1.配置Eclipse 的hdfs環境
學習筆記:從0開始學習大資料-7.hbase java程式設計hello world
上節搭建了hbase啟動環境，本節搭建hbase程式設計環境 1. 準備測試資料，建立表student #hbase shell create 'student','info','address' put 'student','1','info:age','20' put 'studen
學習筆記:從0開始學習大資料-6.hbase安裝
環境:centos7 jdk1.8.0 hadoop2.6.0已安裝好了，單機偽分散式 1.下載hbase安裝檔案 wget http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.16.0.tar.gz
學習筆記:從0開始學習大資料-5.hadoop hdfs檔案讀寫api操作
學習測試，網上下的程式碼，測試通過，助於理解讀寫程式流程 package com.linbin.testmaven; import java.net.URI; import java.text.SimpleDateFormat; import java.util.Date; import or
學習筆記:從0開始學習大資料-4.Eclipse配置hadoop開發環境
Eclipse配置hadoop開發環境 1. 下載 hadoop-eclipse-plugin-2.6.0.jar https://github.com/winghc/hadoop2x-eclipse-plugin/tree/v2.6.0 2. 複
學習筆記:從0開始學習大資料-3.Eclipse安裝
一直使用Visual Studio 開發.net程式，大資料需要使用java 在linux環境，需要使用Eclipse ide環境，安裝過程如下 1.下載 http://download.eclipse.org/eclipse/downloads/
學習筆記:從0開始學習大資料-2.hadoop安裝
在膝上型電腦安裝學習環境，採用all in one的偽分散式，所有都在一臺電腦部署。 1.下載 hadoop wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.0.tar.gz 2. 解壓&n
學習筆記:從0開始學習大資料-1.centos7安裝
其實開始學習有些時間了，但因為中途轉搞雲端計算openstak和中央認證系統cas，這兩個都投入實用後，才有了時間又拿起大資料的學習，為了完整有個學習記錄，方便自己和網友，就從頭開始寫筆記吧。 因為一直都用ubuntu，現在看的幾本大資料的書都是centos平臺環境實驗的，那就用centos吧，