大資料篇：Hadoop叢集統一時間
修改系統時間，將時間改為一致（建議採用本方法）：
1.修改日期
date -s 11/2/20182.修改時間
date -s 20:40:003.檢查硬體（CMOS）時間
clock -r4.這個修改在系統重啟後就失效了，因此為了將這個時間永久生效，需要將修改的時間寫入CMOS。
clock -w相關推薦
大資料篇：Hadoop叢集統一時間
修改系統時間，將時間改為一致（建議採用本方法）： 1.修改日期 date -s 11/2/2018 2.修改時間 date -s 20:40:00 3.檢查硬體（CMOS）時間 clock -r 4.這個修改在系統重啟後就失效了，因此為了將這個時間永久生效，需要
大資料篇：hadoop測試WordCount mapreduce出錯問題
[[email protected] ~]# hadoop jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /data/wordcount /o
大資料篇：hadoop測試WordCount hdfs拒絕連線
18/11/02 11:50:03 INFO ipc.Client: Retrying connect to server: master/192.168.10.251:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCo
大資料篇：叢集 Spark的安裝
叢集安裝Spark 這裡採用3臺機器（節點）作為例項來演示如何搭建Spark叢集，其中1臺機器（節點）作為Master節點，另外兩臺機器（節點）作為Slave節點（即作為Worker節點），主機名分別為Slave1和Slave2。在Master節點機器上，訪問Spark官方下載地址
hadoop叢集本地時間同步操作
測試環境： 192.168.217.130 master master.hadoop 192.168.217.131 node1 node1.hadoop 192.168.217.132 node2 node2.hadoop 一、設定master伺服器時間 檢視
大資料篇：Spark 啟動時，提示 slave1 JAVA_HOME not set
Problem: [[email protected] ~]# start-slaves.sh slave1: starting org.apache.spark.deploy.worker.Worker, logging to /usr/local/spark-1.6.
大資料篇：Hive的安裝詳解
hive是什麼？ 由facebook開源，用於解決海量結構化日誌的資料統計； 基於hadoop的一個數據倉庫工具，使用HDFS進行儲存並將結構化資料檔案對映成一張表，並提供類sql查詢的功能，其底層採用MR進行計算； 本質是將HQL轉化成MR程式。
大資料篇：Spark入門第一個Spark應用程式詳解：WordCount
任務要求 編寫一個Spark應用程式，對某個檔案中的單詞進行詞頻統計。 備註：本文spark的根目錄名：spark-1.6.3-bin-hadoop2.6 #準備工作 cd /usr/local/spark-1.6.3-bin-hadoop2.6 mkdir mycode
大資料篇：Spark-shell的測試及Scala獨立應用程式的編寫與sbt打包
一、在 Spark Shell 中執行程式碼 Spark shell 提供了簡單的方式來學習 API，並且提供了互動的方式來分析資料。你可以輸入一條語句，Spark shell會立即執行語句並返回結果，這就是我們所說的REPL（Read-Eval-Print Loop，互動式直譯器
大資料篇：Linux(Centos7)虛擬機器的安裝
不管是做大資料hadoop、spark等框架，或者初學linux，一臺或幾臺linux系統拿來玩玩是必不可少的。要想裝好Linux虛擬系統，VMware Workstation Pro和CentOs（Linux的一種）必不可少，這裡我裝的是VMware Workstation Pro 1
大資料篇：Spark安裝及測試PI的值
本文執行的具體環境如下： centos7.3 Hadoop 2.8.4 Java JDK 1.8 Spark 1.6.3 一、安裝Hadoop 關於Hadoop的安裝，這裡就不概述了！ 二、安裝 Spark 下載網址http://archive.apa
大資料 ： Hadoop reduce階段
Mapreduce中由於sort的存在，MapTask和ReduceTask直接是工作流的架構。而不是資料流的架構。在MapTask尚未結束，其輸出結果尚未排序及合併前，ReduceTask是又有資料輸入的，因此即使ReduceTask已經建立也只能睡眠等待MapTask完成。從而可以從MapTask節點獲取
大資料：spark叢集搭建
建立spark使用者組，組ID1000 groupadd -g 1000 spark 在spark使用者組下建立使用者ID 2000的spark使用者 獲取視訊中文件資料及完整視訊的夥伴請加QQ群：947967114useradd -u 2000 -g spark spark 設定密碼 passwd
一步一步學習大資料：Hadoop 生態系統與場景
Hadoop概要 到底是業務推動了技術的發展，還是技術推動了業務的發展，這個話題放在什麼時候都會惹來一些爭議。 隨著網際網路以及物聯網的蓬勃發展，我們進入了大資料時代。IDC預測，到2020年,全球會有44ZB的資料量。 傳統儲存和技術架構無法滿足需求 。在2013年出版
大資料：Hadoop新手入門
大資料：Hadoop入門 一：什麼是大資料 什麼是大資料： （1.）大資料是指在一定時間內無法用常規軟體對其內容進行抓取，管理和處理的資料集合，簡而言之就是資料量非常大，大到無法用常規工具進行處理，如關係型資料庫，資料倉庫等。這裡“大”是一個什麼量級呢？如在阿里巴巴每天處理資
大資料的Hadoop叢集環境節點數設定
關於hadoop叢集的硬體資源 大資料是當下最火熱的名詞，但真的大資料落地可行性方案估計更多也就是看幾張報表，寫幾個T－SQL語句罷了，然後開始炒作我們xxx專案利用大資料技術……如是等等。這樣才能跟上時代趕上潮流，自己戴上大資料的帽子。在資本市場宣揚一番，得到更多
大資料篇：Elasticsearch分散式搜尋與分析引擎
Elasticsearch簡介 Elasticsearch是一個實時的分散式搜尋和分析引擎。它可以幫助你用前所未有的速度去處理大規模資料。 它可以用於全文搜尋，結構化搜尋以及分析，當然你也可以將這三者進行組合。 Elasticsearch是一個建立在全文搜尋引擎 Apa
大資料學習——hadoop叢集搭建2.X
1.準備Linux環境 1.0先將虛擬機器的網路模式選為NAT 1.1修改主機名 vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=itcast ### 1.2修改IP 兩種方式： 第一種：通過Linux圖形介面進行修改（強烈推薦） 進入Linux圖形
第123講：Hadoop叢集管理之Namenode目錄元資料結構詳解學習筆記
第123講：Hadoop叢集管理之Namenode目錄元資料結構詳解學習筆記 hadoop-2.x的叢集管理與hadoop-1.x有很大不同 hdfs-site.xml： dfs.replication dfs.namenode.name.dir 存放namenode元資
個人hadoop學習總結：Hadoop叢集+HBase叢集+Zookeeper叢集+chukwa監控（包括單機、偽分佈、完全分佈安裝操作）
環境介紹： 虛擬機器四個： hadoop-marster hadoop-salve1 hadoop-salve2 hadoop-salve3 ===========================1.Hadoop==============================