大規模資料處理的難點--記憶體和磁碟
阿新 • • 發佈:2019-02-13
以下內容轉載自《大規模Web服務開發技術》
大規模資料的難點在於無法在記憶體中計算,這是因為:
無法再記憶體中計算的話,就必須搜尋磁碟上的資料
但是磁碟十分緩慢,I/O十分耗費時間
記憶體和磁碟的速度差異--記憶體快10萬-100萬倍
為什麼這麼慢?
因為記憶體是電子產品,其搜尋速度和物料結構基本無關。而磁碟讀取資料需要磁頭移動和碟片旋轉兩種物理移動。記憶體搜尋一次要幾微秒,而磁碟要花費幾毫秒。
傳輸速度和匯流排的速度差異
接下來看看傳輸速度的差異吧。不論是記憶體還是磁碟,都用匯流排與CPU連線。不過這些匯流排也有速度差異啊,連線記憶體的和CPU的匯流排相當快,能達到7.5GB/秒。但磁碟只能達到58MB/秒。因此傳輸過程也要花費時間。資料量越大,磁碟和記憶體的速度差異就越明顯,傳輸速度也是磁碟慢一些。