2. 程式人生 > >如何將namenode與SecondaryNameNode分開配置

如何將namenode與SecondaryNameNode分開配置

阿新 • • 發佈：2019-02-15

問題導讀

1.如何將namenode與SecondaryNameNode分開？
2.SecondaryNameNode單獨配置，需要修改那些配置檔案？

3.masters檔案的作用是什麼？





我們這裡假設你已經安裝配置了hadoop2.2，至於如何配置可以參考，hadoop2.2完全分散式最新高可靠安裝文件。
在這個基礎上，我們對配置檔案做一些修改：
1.增加masters檔案
  1. sudo vi masters
複製程式碼

 

這裡面放什麼內容還是比較關鍵的，這裡我們指定slave1節點上執行SecondaryNameNode。

注意：如果你想單獨配置一臺機器，那麼在這個檔案裡面，填寫這個節點的ip地址或則是hostname，如果是多臺，則在masters裡面寫上多個，一行一個，我們這裡指定一個
  1. slave1
複製程式碼  

2.修改hdfs-site.xml
在下面檔案中增加如下內容：（記得下面亦可寫成ip地址，這裡為了理解方便，寫的是hostname）
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
<description>
The address and the base port where the dfs namenode web ui will listen on.
If the port is 0 then the server will start on a free port.
</description>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave1
:50090</value>
</property>

 



3.修改core-site.xml檔案

  1. <property>
  2.   <name>fs.checkpoint.period</name>
  3.   <value>3600</value>
  4.   <description>The number of seconds between two periodic checkpoints.
  5.   </description>
  6. </property>
  7. <property>
  8.   <name>fs.checkpoint.size</name>
  9.   <value>67108864</value>
  10. </property>
複製程式碼  


上面修改完畢，相應的節點也做同樣的修改





下面我們開始啟動節點：
  1. start-dfs.sh
複製程式碼 輸出如下內容：
  1. Starting namenodes on [master]
  2. master: starting namenode, logging to /usr/hadoop/logs/hadoop-aboutyun-namenode-master.out
  3. slave2: starting datanode, logging to /usr/hadoop/logs/hadoop-aboutyun-datanode-slave2.out
  4. slave1: starting datanode, logging to /usr/hadoop/logs/hadoop-aboutyun-datanode-slave1.out
  5. Starting secondary namenodes [slave1]
  6. slave1: starting secondarynamenode, logging to /usr/hadoop/logs/hadoop-aboutyun-secondarynamenode-slave1.out
複製程式碼  



然後檢視節點：
（1）master節點：
  1. [email protected]:/usr/hadoop/etc/hadoop$ jps
  2. 5994 NameNode
  3. 6201 Jps
複製程式碼

 


（2）slave1節點
  1. [email protected]:/usr/hadoop/etc/hadoop$ jps
  2. 5199 SecondaryNameNode
  3. 5015 DataNode
  4. 5291 Jps
複製程式碼

 


（3）slave2節點
  1. [email protected]:/usr/hadoop/etc/hadoop$ jps
  2. 3628 DataNode
  3. 3696 Jps
複製程式碼  





停止節點：
  1. master: stopping namenode
  2. slave1: stopping datanode
  3. slave2: stopping datanode
  4. Stopping secondary namenodes [slave1]
  5. slave1: stopping secondarynamenode
複製程式碼

 

tingzhi.png (10.81 KB, 下載次數: 1)

下載附件  儲存到相簿

2014-6-17 06:25 上傳


相關推薦

如何將namenode與SecondaryNameNode分開配置

問題導讀1.如何將namenode與SecondaryNameNode分開？2.SecondaryNameNode單獨配置，需要修改那些配置檔案？3.masters檔案的作用是什麼？ 我們這裡假設你已經安裝配置了hadoop2.2，至於如何配置可以參考，hadoop2.2完全分散式最新高可靠安裝文件。 在這

基於hadoop2.2的namenode與SecondaryNameNode分開配置在不同的計算機

前段時間由於配置hadoop做實驗，在網上看了許多有關hadoop的配置，但是這些配置多數是將namenode和secondaryNameNode配置在同一臺計算機上，這種配置方法如果是做做實驗的還可以，如果應用到實際中，存在較大風險，如果存放namenode的主機出現問題

Caffe 將train與val分開手動進行

1、問題描述： （1）Linux伺服器上有四塊GTX1080的顯示卡，每塊8G； （2）現在要微調測試模型InceptionBN_21K，即googlenet v2； （5）我在微調網路時，將train階段的batch size設定為32，視訊記憶體佔用為6047MiB

Hadoop-基本模組，執行模式，配置檔案，namenode,datanode,secondarynamenode作用

hadoop模組：     Hadoop Common：支援其他Hadoop模組的常用實用程式。     Hadoop分散式檔案系統（HDFS™）：一種分散式檔案系統，可提供對應用程式資料的高吞吐量訪問。    &nbs

通過mapper包的配置將xml與介面繫結實現查詢

配置檔案中 在標籤中配置package， <?xml version="1.0" encoding="UTF-8"?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config

將tomcat與apache整合並配置叢集方式

本文件介紹瞭如何在linux上將tomcat與apache整合,並使用兩個tomcat做叢集.1.安裝apache下載apache原始碼httpd-2.0.47.tar.gztar -xvzf httpd-2.0.47.tar.gzcd httpd-2.0.47./confi

不能將類模板的宣告與實現分開寫

今天用類模型實現一個linklist，開始是.h和.cpp將類模板的宣告與實現分開寫的，結果總是報錯： 擺弄了半個小時都不知道為啥，結果一百度，原來類模板的宣告與實現是不能夠分開寫的。 《C++程式設計思想》第15章(第300頁)說明了原因： 模板定義

VR全景智慧城市，完美的將虛擬與現實結合

眼鏡 智慧城市 日常 實的 購物 旅遊 說過 這樣的 logs 很多人都粗淺的認為，VR虛擬智慧城市只是簡單的將智慧城市和虛擬現實相結合的產物，這樣的VR虛擬智慧城市看起來更像是個VR內容產品，而非城市建設成果。但是我們換個角度來思考的話，現在很多VR虛擬智慧城市建設理念中

OVS + dpdk 安裝與實驗環境配置

binding exp pidfile *** 掛載 rem 環境變量 rep new ***DPDK datapath的OVS的安裝與實驗環境配置 首先肯定是DPDK的安裝 0：安裝必要的工具 make gcc

FTP(二）ftp部署與防火墻配置

vsftp服務部署 ftp服務與iptables防火墻一、ftp部署繼上文對ftp原理的分析說明，接下實戰部署ftp服務器。1、環境 CentOS6.8 X64 vsftp#yum install vsftpd -y#rpm -qa |grep vsftpd#vsftpd-2.2.2-21.e

#20 ifconfig、route、netstat、ip、ss命令詳解與修改主機名與網卡配置文件

ifconfig、route、netstat、ip、ss命令詳解與修改主機名與網卡配置文件 網絡的結構： 硬件：計算機、互聯設備、網絡設備 軟件：操作系統、協議、應用程序、數據庫 網絡的功能： 資源共享：目的 數據通信：手段 網絡通信模型 ISO/OSI： 應用層

Win2012R2 Hyper-V初級教程04 — 虛擬交換機與網絡配置

hyper-v虛擬交換 虛擬交換 虛擬交換機與網絡配置 在Hyper-V中虛擬交換機如果你有學習過VMware虛擬化的話，其實它們中的虛擬交換機基本相差不大，下面我們簡單介紹一下關於Hyper-V網絡虛擬化的三種虛擬交換機。對於剛剛接觸Hyper-V的童鞋來說，虛擬交換機可能會讓你

Win2012R2 Hyper-V初級教程05 — 存儲與磁盤配置

hyper-v存儲與磁盤配置 hyper-v存儲 hyper-v磁盤配置 在Win2012R2中磁盤的質量管理是我們不得不說的一項好功能，存儲服務質量 (QoS)：使用存儲 QoS，你可以管理虛擬機訪問的虛擬硬盤的存儲吞吐量。使用存儲 QoS，可以針對虛擬機中的每個虛擬磁盤，以每秒

RabbitMQ 集群與高可用配置

rabbitmq 集群與高可用配置RabbitMQ 集群與高可用配置集群概述通過 Erlang 的分布式特性（通過 magic cookie 認證節點）進行 RabbitMQ 集群，各 RabbitMQ 服務為對等節點，即每個節點都提供服務給客戶端連接，進行消息發送與接收。 這些節點通過 RabbitMQ

十年磨一劍，水產寶與升鮮寶即將橫空出世，將正面與市面上的商業軟件競爭。用小米加步槍對洋槍洋炮。升鮮寶將為杭州生鮮配送企業服務，8年的生鮮電商行業沈澱。

不一致 img 管控 賺錢 很難 blog 生鮮電商 不知道 同時 一直堅守著.net開發陣營，一直致力於生鮮配送行業的信息化解決方案。用程序員本來的堅持，在這個行業中，默默的承受著，不斷優化流程。不斷的實踐。 生鮮配送企業的

ansible小結（四）ansible.cfg與默認配置

false 跳過 ans sts host ase sin class 配置 FAILED => Using a SSH password instead of a key is not possible because Host Key checking is en

FastDFS與Nginx的配置說明

data pub 線性 標識 空間不足 服務端 hub types tcp 1.簡介 FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為

weblogic 與jms事例配置

als light ati table ram val 事先 else if null 1.在WEBLOGIC12中配置JMS服務器 參考鏈接:http://blog.csdn.net/gxlstone/article/details/41378949 2.創建java p

Centos7的安裝與網絡配置

centos7的安裝與網絡配置網絡配置命令：vi? /etc/sysconfig/network-scripts/ifcfg-ens33重啟網絡命令：?systemctl ? restart ? network.service一些常用命令?ls命令列出當前目錄下的文件ip add??? ipconfig??獲

VLAN與Trunk的配置及命令（思科）

term mark pre pc機 ace nag -i vpd ble 實驗目的：實現同VLAN之間通信 ；不同VLAN不能通信；實驗步驟：1.先給PC機配置同一個網段的IP地址；因為不同IP網段要加路由器；2.給交換機SW1,SW2創建相應的VLAN；不同設備使用acc