1. 程式人生 > >阿裏巴巴IPv6應用平臺引領下一代互聯網

阿裏巴巴IPv6應用平臺引領下一代互聯網

互聯 超過 httpdns 優化方案 變更 click 如何 通過 rds

摘要: 據預測,到2020年底我國IPv6終端設備將達到5億,正在快速取代IPv4。阿裏巴巴網絡架構師張先國先生在2018 年GNTC 大會IPv6 專場上分享IPv6應用集團業務(支付寶、淘寶、天貓等)的改造經驗,及賦能企業(政企門戶、廣電傳媒、視頻網站)快速升級IPv6 基礎設施的演進步驟。

在11月15日的GNTC IPv6專場峰會上,阿裏巴巴網絡架構師張先國先生首先分享了“阿裏巴巴IPv6應用平臺引領下一代互聯網”主題演講。演講中講述了阿裏巴巴為何盡早啟動IPv6項目、阿裏巴巴PV6應用平臺實踐、以及阿裏巴巴五大應用及集團各種平臺如何構建在阿裏雲平臺之上。

  • GNTC大會背景
    GNTC 作為全球規模最大的網絡技術盛會之一,是由下一代互聯網國家工程中心主辦,南京市江北新區等單位支持,2018年11月14日-16日在南京火熱開幕。本屆GNTC通過2場全體大會、7場技術峰會、1場測試活動及GNTC Awards頒獎典禮等特別活動,匯集來自20個國家、50余個國際組織、150多位技術專家,2000+位現場觀眾。

阿裏巴巴網絡架構高級專家 張先國
技術分享圖片

以下為大家收錄張先國演講摘要:

阿裏巴巴在2017年6月份就開始啟動IPv6項目,主要原因:1)當時全球有5億以上的IPv6活躍用戶,分布在印度、美國、日本、歐洲這些國家,甚至東南亞也開始了增長。截至現在中國,移動端的IPv6終端已經達到了5億。2)未來五年以內將有500億的物聯網終端進入互聯網,如此大體量是IPv4無法支撐的。3)5G正在快速普及,其高帶寬、低時延、海量接入的特點,無法繼續使用地址轉換、會話保持、單向訪問的技術。

  • 目前IPv6 項目改造進展和成果:
  1. 2018年雙十一:阿裏巴巴的當天交易額總數是2135億,交易峰值每秒49萬筆,淘寶背後有IPv6支撐全棧業務。IPv6的好處是,過去從服務端只能看到用戶的家庭網關或者4G網關,也缺少很多大數據。采用IPv6繞過NAT,可以直接看到終端用戶,進行精準分析和服務。
  2. 高德:導航能力非常專業準確,是DAU過億的應用,雙十一之前抓IPv6 用戶訪問圖,一周數據每天早晚高峰服務非常平順,IPv6在4G或者3G信號比漫遊強,體驗非常流暢。
  3. 優酷:日活過億的應用,世界杯期間就開始了IPv6直播,阿裏巴巴采用了IPv6的應用加速技術,讓用戶的觀看更加流暢,因為省去了NAT轉換流程,並且全國IPv6的網絡是非常通暢的。
  • 總體業務架構與面臨挑戰:

阿裏巴巴總體的IPv6總體業務架構分為接入層互聯網和應用。接入層大多知名品牌終端支持了IPv6。移動端訪問運營商的互聯網,然後進入阿裏巴巴的數據中心。應用側包括三層,網絡、雲、應用。基礎網絡包括接入網、骨幹網、IDC網絡、網關、服務器;另外就是雲平臺、雲網絡包括阿裏巴巴的一些安全系統,CDN、DNS、SLB等,這兩層之上是阿裏巴巴改造的五大應用,運行在雲平臺之上。
技術分享圖片

這其中面臨的挑戰包含:1)阿裏巴巴對接運營商比較復雜,因為在全國多個地域要開通IPv6,而早期網絡對接是不成熟的,到目前為止還有一些問題正在排查解決優化。2)投資量大,因為大量的網絡設備是過去的積累,阿裏基礎設施有上百萬臺服務器,涉及到總的硬件投資大概有幾百億以上。3)工作量大,因為涉及到變更、替換、升級,數百臺的設備,數千條鏈路割接,還有大量的運營工作。

  • 在網絡架構方面,從外向內有五層網絡,接入-廣域-城域-應用網絡-DCN網絡,內網從雙棧向IPv6 only演進,在這演進過程中,阿裏巴巴在這個網絡的升級演進過程相當於開著飛機換引擎,成本及穩定性成為兩大挑戰。另外就是技術方面的挑戰,包含路由爆表、安全規則資源不足、管控適配等等。
    技術分享圖片
  • 在電商業務架構方面,首先移動端PC端都是采用統一接入,可以讓用戶體驗更好,一次連接可以訪問所有的模塊,包括天貓超市、餓了麽這些業務。但是IPv6演進也帶來一些業務風險,包含600個以上的應用及5億以上用戶逐步切換到IPv6的過程以及面臨DDoS攻擊等風險。
  • 在應用體驗方面,因為阿裏巴巴IPv6網絡今年開始大規模的建設改造,包括運營商網絡和企業的網絡都是這樣,這個網絡是不成熟的,也有大量的連接失敗率,及較高的網絡延時。另外回落時間過長,還有大量的MTU導致的丟包問題,對網絡應用都是一個挑戰。

基於以上問題及挑戰,阿裏巴巴也逐漸發展了解決方案。阿裏巴巴的網絡優化方案分成三個層面:1)物理網絡的覆蓋 2)自研虛擬網絡平臺 3)應用調度三個領域。

  • 在物理網絡方面,阿裏在全國超過20個IDC已經支持了IPv6,帶寬每個區域出口達到了2T以上的帶寬,北京、上海、深圳等等出口都超過了2個T。另外CDN在全國各地實現了IPv6的應用加速,可以保證更優質的業務體驗。此外,阿裏巴巴透過全國各地的探測系統、移動端APP實時發現用戶質量問題,把這些質量數據問題送給網絡大腦--活水,活水系統會把這些信息進行大數據分析,分析之後傳送給控制器,再進行網絡層調度和應用層的調度,包括SRTE網絡調度、BGP路由調度,以及應用層DNS方案調度,加上有多個運營商出口,進行同城多出口的調度,也可以進行異地的調度。
  • 在虛擬網絡技術平臺方面,以下這張圖是阿裏巴巴自研的一套網絡平臺,左邊是轉發層面業務,右邊是管控層面系統。主要核心技術包含右邊的Netframe轉發支撐平臺,擁有400G級IPv6的轉發能力,另外就是AliBGP,實現跨廠商路由協議對接,解決了多廠商兼容性的問題;最後是AliGuard可以提供一個T能力的抗攻擊能力,有效的防禦黑產的攻擊。
    技術分享圖片
  • 在應用鏈路和網絡方面,應用層大概分三步,首先左側是APP移動端:
  1. 進行DNS解析,包括PC端方案和移動端的解析方案
  2. 地址解析到靜態加速一個域名,可以進行靜態頁面或者圖片視頻加載,這就指向CDN服務。
  3. 動態業務請求服務指向阿裏巴巴的VIP,實現雲上負載均衡。

技術分享圖片

當後端的業務需要客戶的原始IP時,采用TOA攜帶用戶原始的IP,流轉到阿裏巴巴的Proxy,把IP信息插入HttpHeader,攜帶原始IP傳遞給後端Nginx,可通過X-Forwarded-For方法獲取real-IP。

  • 在應用調度能力方面,因為阿裏巴巴有大量應用都是日活超過一億的,所以必須漸進式切換到IPv6,有兩個方案:
  1. PC端或者瀏覽器端:
    域名請求先走到本地的運營商一般是本省,再向阿裏雲權威DNS。阿裏雲DNS能提供高達1T抗攻擊能力的DNS服務,目前承載了全國1200萬域名服務系統,並在全球18個region部署了Anycast技術。標準DNS也有缺點,因為調度是按省份,一個省全切上去,風險較大,生效較慢。
  2. 移動端HttpDNS:
    需要在終端的APP嵌入SDK,需要域名解析的時候,終端通過Http協議請求,這樣就繞過了傳統Local DNS解析過程。有幾個好處:a)域名精準調度,可以按照更細的百分比,而且還可以加灰度白名單,控制測試用戶先上一些IPv6。b)域名防劫持,以前的標準DNS走UDP協議很容易被劫持,HTTP DNS很難被劫持或者是攻擊。c)域名變更比以前快了很多,過去是五分鐘生效,現在是秒級生效。

技術分享圖片

總結整個阿裏巴巴五大應用和各種平臺,都是構建在阿裏的雲這個平臺之上包括計算、存儲、網絡、數據庫安全,阿裏大體量的應用在一年不到的時間內就可以實現上線的程度,原因是依賴了已經構建好的阿裏雲平臺,雲網絡。阿裏雲IPv6產品和方案已經服務了200個行業的場景。

IPv6項目是一個冷啟動的項目,今年在國家政策推動下加速,各個領域都沒有準備好,阿裏之所以快了一點,早在去年就開始投入。人類智慧發展之所以這麽快,是因為構建在別人的肩膀之上,應用的演進也是這樣的,希望大家可以把自己的應用平臺,構建在雲計算的平臺之上,實現更快的升級叠代。

閱讀原文???????

更多技術幹貨 請關註阿裏雲雲棲社區微信號 :yunqiinsight

阿裏巴巴IPv6應用平臺引領下一代互聯網