Azure Stack技術深入淺出系列1：Azure Stack與Azure的有QoS保證的網絡聯通實現方法和對比測試
源自Azure的Azure stack作為一款業界唯一的和領先的公有雲平臺一致的混合雲平臺，能夠幫助企業客戶從自有數據中心交付Azure雲服務。它作為微軟混合雲戰略中的重頭戲，官方宣稱其將在今年年中GA了。上海儀電集團高度重視這一產品，同時成立了一個專門的團隊來跟蹤最新的Azure Stack技術動態並積極推動Azure Stack在中國落地。在今後一段時間內容，我們將在過去一年間追蹤Azure Stack的技術內容匯總為Azure Stack技術深入淺出系列文章分享給對微軟混合雲產品感興趣的相關人員。
本篇文章作為Azure Stack技術深入淺出系列的第一篇，將描述我們目前在構建基於Azure Stack混合雲業務解決方案方面所面臨的網絡連通困難，以及相關技術人員為解決這一問題所做出的努力及技術探索。
1. ExpressRouter與Site2Site VPN
1.1微軟ExpressRoute服務和Site2Site VPN服務介紹
Express Route（ER）： Azure ExpressRoute 可讓你通過連接服務提供商（這裏是上海電信）擴展到 Azure 雲。使用 ER 可與Azure雲服務建立連接。ER 連接不通過公共Internet 。與通過 Internet 的典型連接相比，ExpressRoute連接提供更高的可靠性、更快的速度、更低的延遲和更高的安全性。
詳細的ER的介紹可以參考微軟官網文檔
S2S VPN： 是一種站點到站點通過VPN技術互聯的azure 服務。詳細介紹可以參考 微軟官網文檔](https://www.azure.cn/documentation/articles/vpn-gateway-howto-site-to-site-resource-manager-portal/
也可參考前面寫過一篇關於ER的博文
1.2 ER+S2S VPN配置設計
1.2.1 站點到站點VPN做為ExpressRoute的故障轉移路徑
可以將站點到站點 VPN 連接配置為 ExpressRoute 的備份。這僅適用於鏈接到 Azure 專用對等路徑的虛擬網絡。對於可通過 Azure 公共線路訪問的服務，沒有基於 VPN 的故障轉移解決方案。ExpressRoute 線路始終是主鏈接。僅當 ExpressRoute 線路失敗時，數據才會流經站點到站點 VPN 路徑,參見下圖。
1.2.2 站點到站點VPN作為ExpressRoute的補充
可以對網絡進行配置，使得部分站點通過站點到站點 VPN 直接連接到 Azure，部分站點通過 ExpressRoute 進行連接。參見下圖。
1.3 ER+S2S VPN混合雲連通實驗
公司的ER+S2S VPN混合雲實驗環境打通了公司的Azure公有雲訂閱和位於紫竹微軟的私有雲環境，詳細的架構圖及網絡規劃如下圖。（這裏非常感謝微軟ER團隊的支持）
Azure公有雲和私有雲環境通過ExpressRoute和站點到站點 VPN方式連通，這種連通方式可以將站點到站點 VPN 配置為 ExressRoute 的安全故障轉移路徑，實現高可用。或者使用站點到站點 VPN 連接到不是通過 ExpressRoute 進行連接的站點，承載一些對網絡延時不敏感的流量。
2. 混合雲實驗環境網絡拓撲
2.1 ExpressRoute架構
Azure ExpressRoute 可讓你通過連接服務提供商所提供的專用連接，將本地網絡擴展到 Azure 雲。使用 ExpressRoute 可與 Azure雲服務建立連接。
ExpressRoute 連接不通過公共 Internet 。與通過 Internet 的典型連接相比，ExpressRoute 連接提供更高的可靠性、更快的速度、更低的延遲和更高的安全性。ExpressRoute的架構參見下圖。
ExpressRoute的優勢如下：
通過連接服務提供商在本地網絡與 Azure 雲之間建立第 3 層連接。可以通過點到點以太網，或通過以太網交換經由虛擬交叉連接來建立這種連接。
跨地緣政治區域中的所有區域連接到 Azure 雲服務。
通過 ExpressRoute 高級版附加組件從全球連接到所有區域的 Azure 服務。
通過行業標準協議 (BGP) 在你的網絡與 Azure 之間進行動態路由。
在每個對等位置提供內置冗余以提高可靠性。
連接運行時間SLA。
2.2 混合雲實驗環境網絡拓撲
測試用混合雲環境依托上海電信的兩條點到點物理線路，將位於南匯的Azure公有雲數據中心和位於紫竹的微軟lab環境做二層打通。在兩條物理線路上運行Azure ExpressRoute服務，實現公有雲和私有雲的連通。詳細的網絡拓撲圖如下。
3. ExpressRoute費用
ExpressRoute費用分為兩部分，電信運營商的費用和Azure ExpressRoute服務的費用。
3.1 電信運營商的費用
這一塊方案都是開兩條線路，兩臺交換機分別做接入，帶寬為兩條線路的帶寬之和，這樣兩條線路相互做備份，實現高可用。
詳細價格可以咨詢上海電信ER業務專員。
3.2 Azure ExpressRoute的服務費用
服務費用分為兩種計費方式，按照帶寬計費和按照流量計費（流量只計算從公有雲下載數據的流量，建議如果下載量不大的情況下，采用按流量計費的方式）。
按照帶寬計費
按照傳出的數據流量計費
詳細Azure ExpressRoute服務的計費細節參見azure 官網的價格表：https://www.azure.cn/pricing/details/expressroute/
4. ExpressRoute的配置方法
下面的步驟說明了預配端到端 ExpressRoute 線路所要執行的任務。
使用 PowerShell 配置 ExpressRoute 線路。詳見Powershell腳本“
ER-Webinar-Script”。從服務提供商訂購連接（中國電信）。此過程根據情況而有所不同。有關如何訂購連接的詳細信息，請聯系你的連接服務提供商。
通過 PowerShell 驗證 ExpressRoute 線路預配狀態，以確保線路預配成功。詳見Powershell腳本“
ER-Webinar-Script”。配置路由域。連接服務提供商管理第 3 層，他們將為你的線路配置路由。
啟用 Azure 專用對等互連 - 只有啟用此對等互連才能連接到部署在虛擬網絡中的 VM/雲服務。
啟用 Azure 公共對等互連 - 如果你想要連接到托管在公共 IP 地址上的 Azure 服務，則必須啟用 Azure 公共對等互連。如果你已選擇為 Azure 專用對等互連啟用默認路由並想要訪問 Azure 資源，則必須執行上述操作。
將虛擬網絡鏈接到 ExpressRoute 線路 - 可以將虛擬網絡鏈接到 ExpressRoute 線路。請按照說明將 VNet 鏈接到你的線路。這些 VNet 可以位於 ExpressRoute 線路所在的同一 Azure 訂閱中，也可以位於不同的訂閱中。
詳細的配置請參見ExpressRoute的Powershell腳本“ER-Webinar-Script”。
詳細的配置方法詳見官網文檔.
5. ExpressRoute測試結果
5.1 網絡延遲測試
下圖是從本機（研究院內網的一臺PC）ping到研究院內網的wiki服務器，看圖延時基本在10ms以內，有一定的抖動。
2.下圖是從本機（研究院內網的一臺PC）ping到宜山機房的一臺服務器，研究院內網和宜山路機房通過一條100M的專線相連接，看圖延時基本在10-30ms左右，抖動較大。
3.下圖是從本機（公司內網的一臺PC）ping到寶山機房的一臺服務器的外網地址，公司內網和寶山機房只能通過外網（WAN）訪問，看圖延時基本在10-30ms左右，抖動較大。圖2是從本機（公司內網的一臺PC）ping到百度服務器，延時基本在30ms左右。
4.最後是從我們Azure共有雲的一臺電腦到微軟私有雲環境的網關地址，兩者通過Azure的ExpressRoute相連，可以發現每個包的反饋時間非常穩定在4ms左右，通過對比，通過Azure ExpressRoute的混合雲方案基本和純內網環境的網絡延時相當。
實驗結論：通過Azure ExpressRoute相連的網絡延時非常小，網絡抖動也很小，網絡的QOS做的非常好，甚至優於我們研究院的內網環境。
5.2 網絡帶寬測試
| Azure公有雲賬號 | → | 微軟測試機器 |
|---|---|---|
| 外網地址：42.159.*.136 | → | 外網地址：183.195.*.76 |
| 內網地址：10.0.1.7 | → | 內網地址：192.168.12.10 |
從Azure共有雲賬戶裏的虛機裏通過ftp傳文件到微軟測試機器中的傳輸速度如下：
| 被測文件 | 時間 |
|---|---|
| 205.16MB | 2分鐘46秒（1.23MB/s） |
| 205.16MB | 2分鐘46秒（1.23MB/s） |
| 205.16MB | 2分鐘46秒（1.23MB/s） |
| 205.16MB | 2分鐘47秒（1.23MB/s） |
| 205.16MB | 2分鐘52秒（1.2MB/s） |
| 1.2GB | 16分鐘39秒（1.23MB/s） |
從微軟測試機器裏通過ftp傳文件到Azure共有雲賬戶裏的虛機中的傳輸速度如下
| 被測文件 | 時間 |
|---|---|
| 205.16MB | 2分鐘46秒（1.23MB/s） |
| 205.16MB | 2分鐘52秒（1.2MB/s） |
| 205.16MB | 2分鐘47秒（1.23MB/s） |
| 205.16MB | 2分鐘47秒（1.23MB/s） |
| 205.16MB | 2分鐘52秒（1.2MB/s） |
| 1.2GB | 16分鐘46秒（1.22MB/s） |
對比S2S VPN傳輸速度：
| 被測文件 | 時間 |
|---|---|
| 205.16MB | 2分鐘9秒（1.59MB/s） |
| 205.16MB | 2分鐘16秒（1.51MB/s） |
| 205.16MB | 2分鐘13秒（1.54MB/s） |
| 205.16MB | 2分鐘10秒（1.58MB/s） |
| 205.16MB | 5分鐘14秒（0.65MB/s） |
| 205.16MB | 2分鐘7秒（1.62MB/s） |
| 1.96GB | 37分50秒（903.6KB/S） |
| 1.2GB | 13分鐘9秒（1.56MB/s） |
測試結論：
ER的物理線路的帶寬為10M，測試下來FTP傳輸數據的速度基本在1.2M/s這個級別，帶寬穩定有保障，而S2S VPN更多的需要看當前網絡環境的情況，在測試過程中還出現了多次FTP傳輸斷掉。
通過實驗我們發現ER線路的帶寬決定於物理線路的帶寬，由於是專線，網絡帶寬穩定，延時也非常小。而S2SVPN的方案更多的取決於當前網路狀況，由於路由到公網，導致網絡帶寬、延時沒有辦法保證。
結合兩種連通方案的特點，將站點到站點VPN做為ExpressRoute的故障轉移路徑是一個非常好的配置方案。
6. 小結與建議
很快，Azure Stack就要發布，相信屆時會有很多的Azure Stack的使用者需要一個可靠的聯通方案來支撐他們的混合雲業務。從上文中的對比測試中可以發現，ExpressRoute作為一種保證網絡帶寬和運行時間的可靠聯通方式，能很好的保證您本地數據中心和Azure公有雲的訪問和數據傳輸。同時，Azure 和 Azure Stack提供和各種各樣的VPN接入方式，如上文中提到的site2site VPN可以實現數據中心和Azure雲平臺的網絡連接，point2site VPN可以解決移動辦公人員的網絡接入問題，vnet2vnet可以實現混合雲數據中心內的虛擬網絡的網絡聯通。
通過ER這種可靠的網絡聯通方式和多種多樣的VPN接入方式，來構建一個靈活可靠的混合雲環境，快速靈活高效的實現我們的業務場景。
如果你對Azure Stack 深入淺出系列文章感興趣，請及時關註我們的相關後續文章。在下篇文章中，Azure Stack產品經理將跟你分享Azure Stack在私有雲領域將如何體現競爭力，適合什麽樣的業務場景，尤其將會在功能和業務方向上與國內火熱的OpenStack系做一個深入的比較，敬請期待。
作者：韓煒（郵箱）
如果對文章內容感興趣請聯系：
儀電（集團）有限公司Azure Stack技術支持團隊( [email protected] / [email protected])
轉載請註明：轉載自Azure Stack Notes博客(http://a-stack.com)
本文出自 “AzureStack系列1” 博客，請務必保留此出處http://azurestack.blog.51cto.com/9896424/1941412
Azure Stack技術深入淺出系列1：Azure Stack與Azure的有QoS保證的網絡聯通實現方法和對比測試