1. 程式人生 > >Hadoop_10_HDFS 的 DataNode工作機制

Hadoop_10_HDFS 的 DataNode工作機制

spa desc 單位 rip determine 故障 配置 IV 一個

1.DataNode的工作機制:

  1、DataNode工作職責:存儲管理用戶的文件塊數據

             定期向namenode匯報自身所持有的block信息(通過心跳信息上報)

  (這點很重要,因為,當集群中發生某些block副本失效時,集群如何恢復block初始副本數量的問題)

   2.配置文件:

<property>
    <name>dfs.blockreport.intervalMsec</name>
    <value>3600000</value>
    <description>Determines block reporting interval in milliseconds.</description>
</property>

2.DataNode掉線判定時限:

  datanode進程死亡或者網絡故障造成datanode無法與namenode通信,namenode不會立即把該節點判定為

死亡,要經過一段時間,這段時間暫稱作超時時長。HDFS默認的超時時長為10分鐘+30秒。如果定義超時時間

為timeout,則超時時長的計算公式為:

  timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval 

  而默認的heartbeat.recheck.interval 大小為5分鐘,dfs.heartbeat.interval默認為3秒

  需要註意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的單位為毫秒,dfs.heartbeat.

interval的單位為秒

  舉例,如果heartbeat.recheck.interval設置為5000(毫秒),dfs.heartbeat.interval設置為3(秒,默認)

,則總的超時時間為40秒

<property>
        <name>heartbeat.recheck.interval</name>
        <value>2000</value>
</property>
<property>
        <name>dfs.heartbeat.interval</name>
        <value>1</value>
</property>

3.總結:

  datanode不是一下線就會被namenode認定為下線的,有一個超時時間

Hadoop_10_HDFS 的 DataNode工作機制