【圖文詳細】HDFS面試題：介紹Hadoop中RPC協議，以及底層用什麼框架封裝的

阿新 • • 發佈：2018-11-30

用於將使用者請求中的引數或者應答轉換成位元組流以便跨機傳輸。

函式呼叫層：函式呼叫層主要功能是：定位要呼叫的函式，並執行該函式，Hadoop採用了java的反射機制和動態代理實現了函式的呼叫。

網路傳輸層：網路傳輸層描述了Client和Server之間訊息的傳輸方式，Hadoop採用了基於TCP/IP的socket機制。

服務端處理框架：服務端處理框架可被抽象為網路I/O處理模型，她描述了客戶端和伺服器端資訊互動的方式，她的設計直接決定了伺服器端的併發處理能力。常見的網路I/O模型有阻塞式I/O，非阻塞式I/O、事件驅動式I/O等，而Hadoop採用了基於reactor設計模式的事件驅動I/O模型

用於將使用者請求中的引數或者應答轉換成位元組流以便跨機傳輸。函式呼叫層：函式呼叫層主要功能是：定位要呼叫的函式，並執行該函式，Hadoop採用了java的反射機制和動態代理實現了函式的呼叫。網路傳輸層：網路傳輸層描述了Client和Server之間訊息的傳輸方式，Hadoop採用了基

（1）Hadoop 1.0 Hadoop 1.0即第一代Hadoop，由分散式儲存系統HDFS和分散式計算框架MapReduce組成，其中，HDFS由一個NameNode和多個DataNode組成，MapReduce由一個JobTracker和多個TaskTracker組成，對應Hadoop

五個守護程序： SecondaryNameNode ResourceManager NodeManager NameNode DataNode Namenode：主節點，儲存檔案的元資料（檔名，檔案目錄結構，檔案屬性——生成時間，副本數，檔案許可權），以及每個檔案的塊列表

1）、fsimage檔案其實是Hadoop檔案系統元資料的一個永久性的檢查點，其中包含Hadoop檔案系統中的所有目錄和檔案idnode的序列化資訊； 2）、edits檔案存放的是Hadoop檔案系統的所有更新操作的路徑，檔案系統客戶端執行的所以寫操作首先會被記錄到edits檔案中。　

(1) Gzip 壓縮優點：壓縮率比較高，而且壓縮/解壓速度也比較快； hadoop 本身支援，在應用中處理gzip 格式的檔案就和直接處理文字一樣；大部分 linux 系統都自帶 gzip 命令，使用方便. 缺點：不支援 split。應用場景：當每個檔案壓縮之後在 130M

預設是關閉的，需要手動開啟，修改配置 core-site.xml 新增:

這道題目和之前leetcode中的二進位制加法很相似。由於無法使用運算子，我們可以改用對位的操作。如果不考慮進位的話：1+1=0,1+0=1,0+1=1,0+0=0，這剛好是異或計算^。對於進位，正好是按位與&，左移一位之後的結果在將兩者進行異或，之後再計算進

面試題目：地球人都知道，Java有個東西叫垃圾收集器，它讓建立的物件不需要像c/cpp那樣delete、free掉，你能不能談談： GC是在什麼時候，對什麼東西，做了什麼事情？以上算是三個問題，下面逐一分析：問題一回答：什麼時候？ 1.系統空閒的時候。

使用兩個棧實現一個佇列思路一：我們設定s1是入棧的，s2是出棧的。入佇列，直接壓到s1即可出佇列，先把s1中的元素倒入到s2中，彈出s2中的棧頂元素；再把s2的剩餘元素全部倒回s1中。缺點：每次只要出棧一個元素就要將元素倒來倒去，麻煩！！！思路2：入佇列時：如果s1為空，把s

第一部分：Hive原理為什麼要學習Hive的原理 •一條Hive HQL將轉換為多少道MR作業 •怎麼樣加快Hive的執行速度 •編寫Hive HQL的時候我們可以做什麼 •Hive 怎麼將HQL轉換為MR作業 •Hive會採用什麼樣的優化方式 Hive架構&執

自 1970 年以來，關係資料庫用於資料儲存和維護有關問題的解決方案。大資料的出現後，好多公司實現處理大資料並從中受益，並開始選擇像 Hadoop 的解決方案。Hadoop 使用分布式檔案系統，用於儲存大資料，並使用 MapReduce 來處理。Hadoop 擅長於儲存各種格式的龐大的資料

1、好的模型設計事半功倍 2、解決資料傾斜問題 3、減少 job 數 4、設定合理的 MapReduce 的 task 數，能有效提升效能。(比如，10w+級別的計算，用 160個 reduce，那是相當的浪費，1 個足夠) 5、瞭解資料分佈，自己動手解決資料傾斜問題

http請求由三部分組成，分別是：請求行、訊息報頭、請求正文 HTTP（超文字傳輸協議）是一個基於請求與響應模式的、無狀態的、應用層的協議，常基於TCP的連線方式，HTTP1.1版本中給出一種持續連線的機制，絕大多數的Web開發，都是構建在HTTP協議之上的Web應用。

java面試題整理（1） JAVA常考點總結1 目錄

java面試題整理（2） JAVA常考點總結2 目錄 1、

java面試題整理（3） JAVA常考點3 目錄 1. 講下JAVA的執行時區域回答：執行時資料區整體分為兩類執行緒私有和執行

java面試題整理（4） JAVA常考點4 目錄 Set集合如何保證不重複弄清怎麼個邏輯達到元素不重複的，原始碼先上

1、啟動叢集每個節點的程序： 2、建立 topic 3、檢視已經建立的所有 kafka topic 4、檢視某個指定的 kafka topic 的詳細資訊： 4、開啟生產者模擬生成資料：

7.1、Kafka 的 API 分類 1、The Producer API 允許一個應用程式釋出一串流式的資料到一個或者多個 Kafka Topic。 2、The Consumer API 允許一個應用程式訂閱一個或多個 Topi

5.1、Kafka 初體驗單機 Kafka 試玩官網網址：http://kafka.apache.org/quickstart 中文官網：http://kafka.apachecn.org/quickstart.html 5.2、叢集部署的基本流程總結&n

【圖文詳細 】HDFS面試題：介紹Hadoop中RPC協議，以及底層用什麼框架封裝的