大資料實戰下筆記——Hadoop NameNode HA的原理
- NameNode高可用整體（HA）框架
- NameNode的主備切換
- NameNode的共享儲存
一．NameNode高可用整體框架
元件：
兩個NameNode，一個在Active上，一個在Standby上。Active為Hadoop提供服務。兩臺NameNode互備，處於Active狀態的NameNode是主，處於standby狀態的NameNode是備，只有主NameNode才能提供對外讀寫服務。
兩個zookeeperFailoverController(ZKFC)是主備切換控制器，作為獨立的程序執行，對Name Node的主備切換進行總體控制，能夠及時檢測Name Node的健康狀況，在主Name Node發生故障時，可以藉助zookeeper叢集實現自動的主備選舉和切換，也支援不依賴zookeeper叢集的手動主備選舉和切換。
一個zookeeper叢集，為主備切換控制器提供自動主備選舉和切換支援
一個共享儲存系統，是實現NameNode高可用性的關鍵，把元資料的資訊儲存在共享儲存系統中。共享儲存系統儲存了NameNode執行過程中所產生的HDFS的元資料，主、備NameNode通過共享儲存實現元資料的同步，在進行主備切換時，新的主NameNode確定元資料完全同步之後才會繼續對外提供服務。
多個DataNode，除了共享系統共享HDFS的元資料資訊之外，主、備NameNode還需要共享HDFS的資料塊和DataNode之間的對映關係，DataNode會同時向主、備NameNode上報資料塊的位置資訊。
二.NameNode的主備切換
NameNode的主備切換流程圖
三 .NameNode的共享儲存
共享叢集框架圖
四.Hadoop 2.0 HA高可用叢集配置待續......
相關推薦
大資料實戰下筆記——Hadoop NameNode HA的原理
NameNode高可用整體（HA）框架NameNode的主備切換NameNode的共享儲存 一．NameNode高可用整體框架 元件： 兩個NameNode，一個在Active上，一個在St
大資料技術學習筆記之Hadoop框架基礎5-Hadoop高階特性HA及二次排序思想
一、回顧 -》shuffle流程 -》input：讀取mapreduce輸入的 &nbs
hadoop 大資料實戰（2）mongodb安裝
mongodb-win32-x86_64-2008plus-ssl-4.0.3.zip 1、下載地址： https://www.mongodb.com/download-center 2、配置 1.建立路徑，C:\mongodb 2.在C:\mongodb下減壓下載的zip檔案，然後在C
大資料入門學習筆記（貳）- 初識Hadoop
文章目錄 Hadoop概述 Hadoop能做什麼 Hadoop核心元件 分散式檔案系統HDFS 分散式檔案系統HDDS 資源排程系統YARN 分散式計算框架MapReduce Had
學習筆記:從0開始學習大資料-4.Eclipse配置hadoop開發環境
Eclipse配置hadoop開發環境 1. 下載 hadoop-eclipse-plugin-2.6.0.jar https://github.com/winghc/hadoop2x-eclipse-plugin/tree/v2.6.0 2. 複
大資料技術學習筆記之Hadoop框架基礎1-Hadoop介紹及偽分散式部署
一、學習建議 -》學習思想 -》設計思想：分散式 -》資料採集
大資料技術學習筆記之Hadoop框架基礎2-MapReduce程式設計及執行流程
一、回顧 -》hadoop的功能？ -》海量資料儲存和海量計算問題 -》分散式檔案儲存框架hdfs和
大資料技術學習筆記之Hadoop框架基礎3-網站日誌分析及MapReduce過程詳解
一、回顧 -》Hadoop啟動方式 -》單個程序 sbin/h
大資料技術學習筆記之Hadoop框架基礎4-MapReduceshuffer過程詳解及zookeeper框架學習
一、MapReduce Shuffle -》MapReduce執行五個階段 input
實戰大資料（讀書筆記）
與線下實體經營輕易對接 1、將電子券傳送到手機上，使用者可以直接拿著手機去消費 2、利用手機上的位置定位功能，公司推出“簽到”服務，可以直接把手機使用者帶到企業活動地點 精準的位置服務 1、移動終端可以隨時隨地為消費者收集、分析資料，讓消費者與身邊的人更好地互
大資料實戰（下）_MapReduce實戰
大綱 演示例項講解 演示編寫MapReduce例項 MapReduce程式碼 建立 linecount Java 專案 程式碼如下： package com.trendwise.java; import java.io.IOExceptio
大資料開發利器：Hadoop（11） Hadoop2 HA(High Availability)
本節主要介紹了HDFS HA(High Availability)的原理、主備切換過程以及基於JournalNode的共享儲存系統。 1. 前言 在當初介紹Hadoop2.0時，我們簡單提到了Hadoop框架中MapReduce的不足與改進。（即
Hadoop NameNode HA模式的搭建以及原理
信息 htm 功能 主從 改變 www 接收 通信 lov 搭建HA（高可用）模式的集群參見（http://blog.cheyo.net/92.html） 轉自：http://www.it165.net/admin/html/201407/3465.html 社區hadoo
elasticsearch 大資料場景下使用scroll實現分頁查詢
es查詢大批量資料的”可能方案” 當使用es來請求大批量資料時，通常有三種辦法，其一：直接查詢獲取全量資料；其二：使用setFrom以及setSize解決；其三：使用es自帶的scroll分頁支援 方案評估 對於上述方案的評估，此處建議大家可以先看看這篇文章
大資料學習記錄（hadoop hive flume azkaban sqoop）
大資料學習記錄（hadoop hive flume azkaban sqoop） 1. hadoop對海量資料進行分散式處理 2. 核心元件：HDFS（分散式檔案系統）、YARN（運算資源排程系統）、MAPREDUCE（分散式運算程式設計框架） 3. HIVE：基於大資料技術（檔案系統+運算框架
大資料入門學習筆記（叄）- 布式檔案系統HDFS
文章目錄 HDFS概述及設計目標 什麼是HDFS HDFS的設計目標 HDFS架構 HDFS副本機制 副本存放策略![在這裡插入圖片描述](https://img-blog.csdnimg.cn/20181
大資料分析學習筆記（Z檢驗，分類器以及Association Rule）
大資料分析學習筆記（Z檢驗，分類器以及Association Rule） Task 1 – Hypothesis Testing To improve student learning performance, a teacher developed two new learning app
大資料入門學習筆記（壹） - 大資料概述
文章目錄 大資料故事 大資料背景 大資料基本概念 大資料定義 大資料4V特徵 大資料要解決的問題 大資料涉及到的技術 大資料帶來的技術挑戰 在技術架構上的挑戰 其他挑戰
【大資料】什麼是hadoop
一、hadoop簡介 Hadoop是使用Java編寫，允許分佈在叢集，使用簡單的程式設計模型的計算機大型資料集處理的Apache的開源框架。 二、hadoop架構設計 ⑴hadoopcommon hadoop基礎設施模組 ⑵hdfs 分散式檔案系統 ⑶mapreduc
大資料實戰（上）——環境搭建
設定 hostname 為hadoop： $hostname hadoop 設定ip地址與hostname關聯：$vim /etc/hosts 新增 IP地址 hadoop 關閉 iptables： $service iptabl