Hadoop 2.x HDFS使用和配置步驟
阿新 • • 發佈：2019-02-15
hdfs-site.xml配置：
1．配置dfs.nameservices：配置叢集唯一名稱，相當於是ZooKeeper的地址
2．配置dfs.ha.namenodes.[nameservicesID]：配置該nameservices下的多個namenode（包括主備namenode）
3．配置dfs.namenode.rpc-address.[nameservice ID].[name node ID]：配置每個namenode的rpc協議監聽地址
4．配置dfs.namenode.http-address.[nameservice ID].[name node ID]：配置每個namenode的http監聽地址
5.配置dfs.namenode.shared.edits.dir：配置JournalNode節點地址，格式為 （qjournal://node1:8485;node2:8485;node3:8485/[nameservice ID]）
6．配置dfs.client.failover.proxy.provider.[nameservice ID]：配置ZKCF，監聽每個namenode的類
7．配置dfs.ha.fencing.methods：當一個NameNode故障之後選擇備NameNode變成主NameNode的選擇策略，可以設定Java類或者指令碼列表（ssh免密碼登陸）
8．配置NameNode故障自動切換：
dfs.ha.automatic-failover.enabled：設定為true啟動自動切換
ha.zookeeper.quorum：配置ZooKeeper的節點地址
1．配置dfs.nameservices：配置叢集唯一名稱，相當於是ZooKeeper的地址
2．配置dfs.ha.namenodes.[nameservicesID]：配置該nameservices下的多個namenode（包括主備namenode）
3．配置dfs.namenode.rpc-address.[nameservice ID].[name node ID]：配置每個namenode的rpc協議監聽地址
4．配置dfs.namenode.http-address.[nameservice ID].[name node ID]：配置每個namenode的http監聽地址
5.配置dfs.namenode.shared.edits.dir：配置JournalNode節點地址，格式為 （qjournal://node1:8485;node2:8485;node3:8485/[nameservice ID]）
6．配置dfs.client.failover.proxy.provider.[nameservice ID]：配置ZKCF，監聽每個namenode的類
7．配置dfs.ha.fencing.methods：當一個NameNode故障之後選擇備NameNode變成主NameNode的選擇策略，可以設定Java類或者指令碼列表（ssh免密碼登陸）
8．配置NameNode故障自動切換：
dfs.ha.automatic-failover.enabled：設定為true啟動自動切換
ha.zookeeper.quorum：配置ZooKeeper的節點地址