1. 程式人生 > >Hadoop HDFS 學習(2)理論

Hadoop HDFS 學習(2)理論

HDFS讀流程
這裡寫圖片描述

客戶端呼叫API的open方法請求NameNode 獲得block的位置資訊,檔案內容儲存的不同的block上,然後返回客戶端。客戶端併發的讀不同的block,然後合併成一個檔案。(不能超大型檔案,磁碟儲存可能不夠)

HDFS寫流程

這裡寫圖片描述

客戶端呼叫API的create方法請求NameNode 並建立一個檔案,然後將檔案的名字,擁有者,大小返回客戶端。計算該檔案分成多少個block,將block寫在dataNode 上,客戶端只寫一次,剩下的副本由第一個dataNode產生執行緒,根據副本建立規則複製到其他的dataName上,不由客戶端建立(優點:速度快)。複製完後返回客戶端一個回饋資訊,同時彙報給nameNode。上傳成功。

HDFS檔案許可權
這裡寫圖片描述

上傳檔案,誰上傳的檔案,那麼這個檔案的擁有者就是誰。HDFS不做密碼認證。

這裡寫圖片描述