1. 程式人生 > >這個產品能支持多大數據量?

這個產品能支持多大數據量?

大數據量 集群 集群規模

技術分享圖片

經常有用戶會問這個問題,你家的產品能處理多大數據量?似乎是這個值越大產品就越牛。

這個問題,其實沒多大意義。


能處理多大的數據量,還有個很關鍵的因素是期望的響應時間,在脫離這個因素單純談大數據產品的數據處理量,就不知道怎麽回答了。

考慮只有單臺機器的簡單情況。如果是希望秒級響應的OLAP式匯總,那麽GB級都是挺大的數據了,幾乎不可能有什麽產品能處理TB級數據(除非有巨大內存)。而如果是數小時內完成的ETL運算,那麽單臺機器處理TB級也不是多大的問題。於是就會發生這樣的現象:同一個產品能夠處理某些場合下的TB級數據,卻處理不了另一些場合下的GB級數據。


不過,討論一個大數據技術能支持的集群規模是意義的。

大集群和小集群的實現技術很不一樣,大集群需要有強容錯能力和統一的管理機制,而小集群則不需要;而把大集群技術用於小集群,又會造成很多資源的浪費。某種技術面向多大規模的集群,一般是在設計之初就確定了的,並不容易隨意改變。

確定了期望的響應時間,以及可能支持的集群規模,這時候再來問某項大數據技術能夠處理的數據量,才是個有意義的問題。


這個產品能支持多大數據量?