1. 程式人生 > >大規模資料處理的難點--記憶體和磁碟

大規模資料處理的難點--記憶體和磁碟

以下內容轉載自《大規模Web服務開發技術》

大規模資料的難點在於無法在記憶體中計算,這是因為:

無法再記憶體中計算的話,就必須搜尋磁碟上的資料

但是磁碟十分緩慢,I/O十分耗費時間

記憶體和磁碟的速度差異--記憶體快10萬-100萬倍

為什麼這麼慢?

因為記憶體是電子產品,其搜尋速度和物料結構基本無關。而磁碟讀取資料需要磁頭移動和碟片旋轉兩種物理移動。記憶體搜尋一次要幾微秒,而磁碟要花費幾毫秒。

傳輸速度和匯流排的速度差異

接下來看看傳輸速度的差異吧。不論是記憶體還是磁碟,都用匯流排與CPU連線。不過這些匯流排也有速度差異啊,連線記憶體的和CPU的匯流排相當快,能達到7.5GB/秒。但磁碟只能達到58MB/秒。因此傳輸過程也要花費時間。資料量越大,磁碟和記憶體的速度差異就越明顯,傳輸速度也是磁碟慢一些。