1. 程式人生 > >網路層的新技術需求:誰來承擔超大集群系統的資料流量?

網路層的新技術需求:誰來承擔超大集群系統的資料流量?

一個超大集中系統,那麼大的資料流量誰來承擔呢?

從這個角度講,首先是一個自主本地化系統對於規模化集群系統才具有更大的意義,比如螞蟻如果需要每一個動作都需要蟻后進行指揮,那光是通訊成本也會讓蟻群早就不復存在了,如果從外部視角把分散式集群系統比喻成蟻群效應產生的智慧化狀態,那節點必然需要具有良好的自主本地化系統,節點間更需要的是彼此的”訊息”資訊,而非不斷的群體彙報和統一指令集下達,這種狀態已經陷入了過度協作模式中。

一個規模化系統,首先需要有一套完善的本地化工具集來構建自己的專案和系統,本地節點沒有一套自主完善的本地化系統,全域性就存在系統過度協作的問題傾向,而且普遍的惡化。

分散式系統是模組化的節點功能組裝起來的。在整體上呈現1+1>2的功能特性。

微觀的看節點是通過特定的強本地化功能系統來負責將格式化流入資料格式化流出而已。只有分散式系統才能很好的解決資料節點間的過度協作,從而構建更大規模的自協作系統。要進入容器時代,首先需要工具集的本地化,看起來LinuxKit還不錯,但不知道是不是真正剪斷了臍帶開始了自主化,新技術越來越明顯的向容器,openstack,k8s,CAPH的方向演進了,從上往下看起來這是一套規模化架構,從下往上看,這是細胞化節點聯盟下的一個交叉網路,而傳統網路層缺少動態和彈性的弊端正在越來越明顯的成為瓶頸和限制,但SDN又缺少一種成熟的參考模型和技術規範,導致了目前更大的網路層混亂。

無可否認,網路層面的彈性化和動態化是未來應用需求的一部分,這也是更大規模分散式資料中心走向成熟的必要充分條件,現在頻寬基本已經不是問題了,如何實現網路層的簡單配置,自主彈性擴充套件,主機地址動態漂移,才是最重要的問題之一。然而目前看這些技術都處在探索階段;如果說有標準化產品的話,目前看來唯一比較靠譜的還應該是OPENSTACK,因為在最差的情況下,廠商間也需要遵守自由開源公共協議部分,讓你選擇的各個套件之間可以很好的協調工作。

SDN需要更加自由開放,並進行強強聯合發揮自由開源社群的力量;這一點他們應該向LLVM和Gnu/gcc的彼此合作和包容學習。SDN需要一個技術標準化過程,不可否認,大虛擬化應用需求必將面對這些問題,交換機是否白牌化其實並不是一個技術問題,真正的問題其實是交換機都需要具有SDN彈效能力的特性,SDN應該具有TCP/IP協議的普適性,從而完成下一個網路層模型的迭代和成長,自由開源還有一個重要的特點,演化繼承的特點,不極端的革命,也不極端的一位教條繼承。

網路層作為資訊互動的高速通道和節點間資訊互動的羅輯形式,具有普遍性和社會化通用性,這種通用性需求需要廠商間進行妥協和達成共識。規模化系統帶來了網路層的神經網路化連線,不可避免的需要網路層有動態的適應和變化能力,這些新的網路層能力需求需要新的參考模型和方法論及軟體工具集來完成。目前看SDN中那些自由開源協議工具集更靠譜和具有優勢。Linux基金會需要為此承擔更大的擔當,並逐步推廣和發展這些新技術和新工具集的普及。