2. 程式人生 > >5.大資料學習之旅——hadoop-HDFS

5.大資料學習之旅——hadoop-HDFS

阿新 • • 發佈：2019-01-12

NameNode

檢視edits檔案：
hdfs oev -i edits_0000000000000000022-0000000000000000023 -o edits.xml
檢視fsimage檔案：
hdfs oiv -i fsimage_0000000000000000024 -o fsimage.xml -p XML
fsimage_0000000000000000023.md5 — 用於校驗的
VERSION
Namenode:clusterID=CID-e7c4b16d-dc36-4cca-ac67-3d28aac9dfeb
Datanode:clusterID=CID-e7c4b16d-dc36-4cca-ac67-3d28aac9dfeb — 用於進
行標記的。

SecondaryNameNode

在這裡插入圖片描述

合併過程

  1. 將edits和fsimage檔案通過網路拷貝到Secondarynamenode上
  2. 在namenode產生一個edits.new記錄合併期間的操作
  3. 拷貝完成之後，fsimage就會將其中的資料存到secondarynamenode的內
    存中
  4. 將edits的操作更新到secondarynamenode的記憶體中
  5. 更新完成之後，將記憶體中的資料寫到fsimage.ckpt檔案中
  6. 通過網路將fsimage.ckpt拷貝到namenode中
  7. 將fsimage.ckpt重新命名為fsimage，並且將edits.new也重新命名為edits
    合併過程
    SecondaryNameNode只負責進行資料的合併，不是Namenode的熱備，但是
    也能起到一定的備份作用，會產生資料的丟失

Datanode

儲存資料，並且是以資料塊的形式來儲存。
datanode儲存namenode對應的clusterID以確定當前的datanode歸哪一個
namenode管理
datanode每隔一段時間(3s)會主動向namenode傳送心跳資訊（節點狀態，節
點資料）
如果namenode超過了10min沒有收到datanode的心跳，則認為這個datanode
產生lost，那麼namenode就會將這個datanode上的資料copy到其他節點上

HDFS的操作流程

讀取資料

  1. 客戶端發起RPC請求訪問Namenode
  2. namenode會查詢元資料，找到這個檔案的儲存位置對應的資料塊的信
    息。
  3. namenode將檔案對應的資料塊的節點地址的全部或者部分放入一個佇列
    中然後返回
  4. client收到這個資料塊對應的節點地址
  5. client會從佇列中取出第一個資料塊對應的節點地址，會從這些節點地址
    中選擇一個最近的節點進行讀取
  6. 將Block讀取之後，對Block進行checksum的驗證，如果驗證失敗，說明數
    據塊產生損壞，那麼client會向namenode傳送資訊說明該節點上的資料
    塊損壞，然後從其他節點中再次讀取這個資料塊
  7. 驗證成功，則從佇列中取出下一個Block的地址，然後繼續讀取
  8. 當把這一次的檔案塊全部讀完之後，client會向namenode要下一批block
    的地址
  9. 當把檔案全部讀取完成之後，從client會向namenode傳送一個讀取完畢
    的訊號，namenode就會關閉對應的檔案
    在這裡插入圖片描述

寫流程

  1. client傳送RPC請求給namenode
  2. namenode接收到請求之後，對請求進行驗證，例如這個請求中的檔案是
    否存在，再例如許可權驗證
  3. 如果驗證通過，namenode確定檔案的大小以及分塊的數量，確定對應的
    節點（會去找磁碟空間相對空閒的節點來使用），將節點地址放入佇列
    中返回
  4. 客戶端收到地址之後，從佇列中依次取出節點地址，然後資料塊依次放
    入對應的節點地址上
  5. 客戶端在寫完之後就會向namenode傳送寫完資料的訊號，namenode會
    給客戶端返回一個關閉檔案的訊號
  6. datanode之間將會通過管道進行自動的備份，保證複本數量
    在這裡插入圖片描述

刪除流程

  1. Client發起RPC請求到namenode
  2. namenode收到請求之後，會將這個操作記錄到edits中，然後將資料從內
    存中刪掉，給客戶端返回一個刪除成功的訊號
  3. 客戶端收到訊號之後認為資料已經刪除，實際上資料依然存在datanode上
  4. 當datanode向namenode傳送心跳訊息（節點狀態，節點資料）的時候，
    namenode就會檢查這個datanode中的節點資料，發現datanode中的節點
    資料在namenode中的元資料中沒有記錄，namenode就會做出響應，就
    會命令對應的datanode刪除指定的資料

hdfs的操作指令

hadoop fs -put a.txt /a.txt - 上傳檔案
hadoop fs -mkdir /hadoopnode01 - 建立目錄
hadoop fs -rm /hadoop-2.7.1_64bit.tar.gz - 刪除檔案
hadoop fs -rmdir /hadoopnode01 - 刪除目錄
hadoop fs -rmr /a - 遞迴刪除
hadoop fs -get /a.txt /home - 下載
hadoop fs -ls / - 檢視
hadoop fs -lsr / - 遞迴檢視
hadoop fs -cat /a.txt - 檢視內容
hadoop fs -tail /a.txt - 產看檔案的最後1000個位元組
hadoop fs -mv /a/a.txt /a/b.txt - 移動或者重新命名
hadoop fs -touchz /demo.txt - 建立空檔案
hadoop fs -getmerge /a demo.txt - 合併下載

Hadoop外掛的使用：

  1. 將hadoopbin_for_hadoop2.7.1.zip解壓

  2. 複製hadoop-eclipse-plugin-2.7.1.jar 2.

  3. 找到eclipse的安裝目錄，將外掛複製到eclipse安裝目錄下的子目錄plugins
    中

  4. 重啟eclipse

  5. 在eclipse中指定hadoop的安裝目錄
    在這裡插入圖片描述

  6. Window -show view
    在這裡插入圖片描述

  7. 需要新增環境變數：HADOOP_USER_NAME=使用者名稱

HDFS的API操作

import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Test;

public class HDFSDemo {

	@Test
	public void get() throws IOException, URISyntaxException {

		// 建立連線
		// uri - 連線地址
		// conf - 配置
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.60.132:9000"), conf);

		// 獲取讀取檔案的流
		InputStream in = fs.open(new Path("/a/a.txt"));

		FileOutputStream out = new FileOutputStream("a.txt");

		// 讀取資料
		byte[] bs = new byte[1024];
		int len = -1;
		while ((len = in.read(bs)) != -1) {
			out.write(bs, 0, len);
		}

		out.close();
	}

	@Test
	public void put() throws IOException, URISyntaxException, InterruptedException {

		// 建立連線
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.60.132:9000"), conf, "root");

		OutputStream out = fs.create(new Path("/a/c.txt"));

		FileInputStream in = new FileInputStream("c.txt");

		// byte[] bs = new byte[1024];
		// int len = -1;
		// while ((len = in.read(bs)) != -1) {
		// out.write(bs, 0, len);
		// }
		//
		// in.close();
		IOUtils.copyBytes(in, out, conf);
	}

}

MapReduce

概述：

是hadoop中的分散式的計算框架
MapReduce意味著在計算過程中實際分為兩大步：Map過程和Reduce過
程。
在這裡插入圖片描述
案例：統計檔案中每一個單詞出現的次數
WordCountMapper

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

// 案例：統計每一個單詞出現的次數
// KEYIN - 這一行的偏移量 --- 
// VALUEIN - 讀取到這一行的資料
// KEYOUT - 輸出的鍵的型別 --- 這一行中的每一個單詞
// VALUEOUT - 輸出的值的型別 --- 表示這一行中這個單詞出現的次數
public class WordCountMapper extends Mapper<LongWritable, Text, Text, LongWritable >{

	@Override
	// key -- 這一行的偏移量
	// value --- 這一行的資料
	protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context)
			throws IOException, InterruptedException {
		
		System.err.println(value);
		// 獲取到一行資料
		String str = value.toString();
		// 以空格為單位進行切分
		String[] arr = str.split(" ");
		
		for (String s : arr) {
			context.write(new Text(s), new LongWritable(1));
		}
	}
	
}

WordCountReducer

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

// 案例：統計每一個單詞出現的次數
// KEYIN --- 單詞
// VALUEIN --- 次數
// KEYOUT --- 單詞
// VALUEOUT
public class WordCountReducer extends Reducer<Text, LongWritable, Text, LongWritable > {
	
	@Override
	protected void reduce(Text key, Iterable<LongWritable> arg1,
			Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws IOException, InterruptedException {
	
		long sum = 0;
		// 計算總的次數
		for (LongWritable count : arg1) {
			sum += count.get();
		}
		
		// 將單詞以及對應的總次數寫出
		context.write(key, new LongWritable(sum));
		
	}

}

WorldCountDriver

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class WorldCountDriver {
	
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf);
		
		// 需要給當前的job指定執行的入口類
		job.setJarByClass(WorldCountDriver.class);
		
		// 指定要執行的mapper
		job.setMapperClass(WordCountMapper.class);
		
		// 指定mapper執行完成之後的結果型別
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(LongWritable.class);
		
		// 指定要執行的reducer
		job.setReducerClass(WordCountReducer.class);
		
		// 指定reducer執行完成之後的結果型別
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(LongWritable.class);
		
		// 指定讀取的檔案
		FileInputFormat.setInputPaths(job, new Path("hdfs://192.168.60.132:9000/mr/words.txt"));
		// 指定寫出的路徑
		FileOutputFormat.setOutputPath(job, new Path("hdfs://192.168.60.132:9000/result"));
		
		job.waitForCompletion(true);
	}

}

上一篇 5.大資料學習之旅——hadoop-簡介及偽分散式安裝

相關推薦

5.大資料學習之旅——hadoop-HDFS

NameNode 檢視edits檔案： hdfs oev -i edits_0000000000000000022-0000000000000000023 -o edits.xml 檢視fsimage檔案： hdfs oiv -i fsimage_000000000000000002

5.大資料學習之旅——hadoop-簡介及偽分散式安裝

Hadoop簡介 是Apache的頂級專案，是一個可靠的、可擴充套件的、支援分散式計算的開源 專案。 起源 創始人：Doug Cutting 和Mike 2004 Doug和Mike建立了Nutch - 利用通用爬蟲爬取了網際網路上的所有數 據，獲取了10億個網頁資料 - 1

8.大資料學習之旅——hadoop-Hadoop完全分散式配置

Hadoop完全分散式配置 關閉防火牆 修改主機名 配置hosts檔案。將需要搭建叢集的主機全部配置到hosts檔案中 192.168.32.138 hadoop01 192.168.32.139 hadoop02 192.168.32.14

7.大資料學習之旅——hadoop-MapReduce

序列化/反序列化機制 當自定義一個類之後，如果想要產生的物件在hadoop中進行傳輸，那麼需要 這個類實現Writable的介面進行序列化/反序列化 案例：統計每一個人產生的總流量 import java.io.DataInput; import java.io.DataOutp

大資料學習之旅2——從零開始搭hadoop完全分散式叢集

前言        本文從零開始搭hadoop完全分散式叢集，大概花費了一天的時間邊搭邊寫部落格，一步一步完成完成叢集配置，相信大家按照本文一步一步來完全可以搭建成功。需要注意的是本文限於篇幅和時間的限制，也是為了突出重點，一些很基礎的操作就不再詳細

記錄我的大資料學習之旅 ---01.使用VMware安裝CentOs7

前言 從2017年初開始接觸大資料，從一無所知，到慢慢探索，到最後能夠獨立開發大資料專案。為此，趁著專案空閒的時間，分享與記錄一下我的大資料學習之旅。 一.準備資料，下載CentOs 二.新建虛擬機器

13.大資料學習之旅——HBase第三天

LSM-TREE 概述 眾所周知傳統磁碟I/O是比較耗效能的，優化系統性能往往需要和磁碟I/O打交道,而磁碟I/O產 生的時延主要由下面3個因素決定: 1）尋道時間（將磁碟臂移動到適當的柱面上所需要的時間，尋道時移動到相鄰柱面移動所需 時間1ms，而隨機移動所需時間位5~1

12.大資料學習之旅——HBase第二天

HBASE完全分散式安裝 實現步驟 準備三臺虛擬機器，01作為主節點，02、03作為從節點。（把每臺虛擬機器防火牆都關掉，配 置免密碼登入，配置每臺的主機名和hosts檔案。） 01節點上安裝和配置：Hadoop+Hbase+JDK+Zookeeper

11.大資料學習之旅——HBase

一、HBASE概述 官方網址：http://hbase.apache.org/ HBase是一個分散式的、面向列的開源資料庫，該技術來源於Fay Chang 所撰寫的Google論文《Bigtable》一個結構 化資料的分散式儲存系統"。就像Bigtable利用了Google

10.大資料學習之旅——hive2

Hive解決資料傾斜問題 概述 什麼是資料傾斜以及資料傾斜是怎麼產生的？ 簡單來說資料傾斜就是資料的key 的分化嚴重不均，造成一部分資料很多，一部分資料很少的局面。 舉個 word count 的入門例子，它的map 階段就是形成 （“aaa”,1）的形式，然後在redu

9.大資料學習之旅——hive

Hive介紹 Hadoop開發存在的問題 只能用java語言開發，如果是c語言或其他語言的程式設計師用Hadoop，存 在語言門檻。 需要對Hadoop底層原理，api比較瞭解才能做開發。 Hive概述 Hive是基於Hadoop的一個數據倉庫工具。可以將結構

4.大資料學習之旅——Avro

一、概述 Avro是一種遠端過程呼叫和資料序列化框架，是在Apache的Hadoop專案之內開發的。它使用JSON來定義資料類 型和通訊協議，使用壓縮二進位制格式來序列化資料。它主要用於Hadoop，它可以為持久化資料提供一種序列化格 式，併為Hadoop節點間及從客戶端程式到

3.大資料學習之旅——Zookeeper

Zookeeper Zookeeper是開源的分散式的協調服務框架，是Apache Hadoop的子件，適用 於絕大部分分散式叢集的管理 分散式引發問題： 死鎖：至少有一個執行緒佔用了資源，但是不佔用CPU 活鎖：所有執行緒都沒有把持資源，但是執行緒卻是在不斷地

2.大資料學習之旅——紅黑樹

紅黑樹 自平衡二叉查詢樹 — 時間複雜度O(logn) 特徵： 每一個節點非紅即黑 根節點一定是黑色 所有的葉子節點一定是黑色的nil節點 紅節點的子節點一定是黑節點 任意一條路徑中的黑色節點個數一致 插入的節點一定是紅色 修復

1.大資料學習之旅——NIO

Concurrent包 jdk1.5所提供的一個針對高併發進行程式設計的包。 阻塞式佇列 - BlockingQueue 遵循先進先出(FIFO)的原則。阻塞式佇列本身使用的時候是需要指定界限。 ArrayBlockingQueue - 阻塞式順序佇列 - 底層是基於陣列來進

14.大資料學習之旅——HBASE表設計&HBase優化

HBASE表設計 Rowkey設計 Rowkey是不可分割的位元組數，按字典排序由低到高儲存在表中。 在設計HBase表時，Rowkey設計是最重要的事情，應該基於預期的訪問模式來為Rowkey建 模。Rowkey決定了訪問HBase表時可以得到的效能，原因有兩個： 1）R

16.大資料學習之旅——Storm叢集配置&Strom叢集中各角色說明&Storm併發機制*

實現步驟： 安裝和配置jdk 安裝和配置zookeeper 上傳和解壓storm 配置storm安裝目錄conf目錄下的storm.yaml檔案 storm.yaml配置示例： 注意配置項開頭需要有空格，：後面需要跟空格，否則啟動會報錯 5.

19.大資料學習之旅——flume介紹

flume介紹 概述 Flume最早是Cloudera提供的日誌收集系統，後貢獻給Apache。所以目前是Apache下的專案，Flume支援在日誌 系統中定製各類資料傳送方，用於收集資料。 Flume是一個高可用的，高可靠的魯棒性（robust 健壯性），分散式的海量日誌採集、聚合

大資料學習之路91-Hadoop的高可用

我們之前一直沒有配置過hadoop的高可用，今天我們就來配置一下 之前我們的namenode只要一掛，則整個hdfs叢集就完蛋。雖然我們可以通過重啟的方式來恢復，可是我們重啟好之前，我們的hdfs叢集就不能提供服務了。所以它存在單點故障問題。 我們可以設定兩臺namenode ,一臺為a

大資料學習之路-Centos6安裝python3.5

Centos 6.8安裝python3.5.2 因為學習所需，需要用到python3.x的環境，目前Linux系統預設的版本都是python2.x的，還有一些自帶的工具需要用到python2.6版本，所以要求的是python3 和 python2 共存，pip2 和** pip3共存，如何安裝