1. 程式人生 > >hadoop知識點(常見問題)整理——待更新完善

hadoop知識點(常見問題)整理——待更新完善

1.HDFS讀寫流程
2.namenode的啟動過程
3.HDFS不適合儲存小檔案,如果生成場景中還必須將這些小檔案進行儲存(比如,每天產生的日誌,資料量很小,但是必須儲存)
4.什麼情況下會進入安全模式,安全模式的解決辦法
5.說一下HDFS的可靠性策略
6.HDFS的優缺點
7.datanode宕機後,叢集能否立即將宕機的datanode下線,datanode下線後,叢集將進行什麼工作。
8.HDFS的設計思想
9.namenode的工作職責,datanode的工作職責
10.將一個叢集重新格式化namenode後,使用start-dfs.sh啟動叢集,datanode能啟動起來麼?為什麼?
11.MR的shuffle流程
12.job提交流程
13.如何控制MapTask數量,如何控制ReduceTask數量
14.現塊的大小為128M,現在有一檔案大小為260M,進行spilt的時候,會被分成幾片
15.列舉MR中可干預的元件(詳細說明各元件的原理,ps:combine)
16.兩個類TextInputFormat和KeyValueInputFormat的區別是什麼?
17.分片與分塊的區別?
18.AppMaster是屬於yarn的程序還是屬於MR的程序,AppMaster的生命週期,AppMaster的工作內容
19.resourceManager的工作職責
20.NodeManager的工作職責
21.zookeeper的應用場景
22.闡述zookeeper分散式鎖的實現原理