背景描述

如下圖所示,負載均衡做為反向代理,將請求方的請求轉發至後端的服務節點,實現服務的請求。

在nginx中可以通過upstream配置server時,設定weight表示對應server的權重。

若存在多個服務節點時,負載均衡如何通過服務節點的權重進行轉發。

如下詳細說明權重轉發演算法的實現。

用三個後端服務節點為例說明

設定三個後端服務ServerA,ServerB和ServerC,它們的權重分佈是 5,3,1

按照加權負載均衡演算法,在一輪(5+3+1=9次)中ServerA佔5次,ServerB佔3次,ServerC佔1次,從而實現均衡。

如下圖所示:

為了實現這個功能,可以給每一個後端設定對應的權重5,3,1

變數1:後端服務的權重 Weight

變數2:均衡器累計的總的有效權重 EffectiveWeight

變數3:實時統計後端服務的當前權重 CurrentWeight

演算法設計

第一步,向均衡器中增加後端服務標識

  • 將三個後端服務標識和權重Weight增加到負載均衡器列表中。
  • 每次增加後端服務時,累計總的有效權重EffectiveWeight。

第二步,每次獲取一個後端服務標識

  • 對均衡器中的所有後端服務增加自己的權重Weight,即(5,3,1),計算ABC三個服務的當前權重。
  • 選擇當前權重CurrentWeight最大的服務,做為本次期望的後端服務。
  • 將期望的後端服務的當前權重CurrentWeight減小總的權重EffectiveWeight,供下一輪使用。

如下是一個一輪(5+3+1=9次)獲取的權重變化表:

從這個表中可以看到後端服務輪詢的順序是 A B A C A B A B A,其中A出現了5次,B出現了3次,C出現了1次,滿足三個服務的權重Weight設定。

完成9次獲取後,ABC三個服務的權重都歸0,因此下一輪的9次獲取也是均衡的,

演算法實現

按照如上演算法說明,使用Golang實現這個演算法如下

package weightroundrobin

import (
"fmt"
"strings"
) // 每一個後端服務定義
type BackendServer struct {
// 例項權重
Weight int
// 當前的權重,初始為Weight
currentWeight int
// 後端服務名稱
ServerName string
} // 通過權重實現呼叫輪詢的定義
type WeightServerRoundRobin struct {
// 所有有效的權重總和
effectiveWeight int
// 後端服務列表
backendServerList []*BackendServer
} // 建立一個負載輪詢器
func NewWeightServerRoundRobin() *WeightServerRoundRobin {
return &WeightServerRoundRobin{
effectiveWeight: 0,
}
} // 增加後端服務名稱和權重
func (r *WeightServerRoundRobin) AddBackendServer(backendServer *BackendServer) {
r.effectiveWeight += backendServer.Weight
r.backendServerList = append(r.backendServerList, backendServer)
} // 更具權重獲取一個後端服務名稱
func (r *WeightServerRoundRobin) GetBackendServer() *BackendServer {
var expectBackendServer *BackendServer
for _, backendServer := range r.backendServerList {
// 給每個後端服務增加自身權重
backendServer.currentWeight += backendServer.Weight
if expectBackendServer == nil {
expectBackendServer = backendServer
}
if backendServer.currentWeight > expectBackendServer.currentWeight {
expectBackendServer = backendServer
}
}
r.VisitBackendServerCurrentWeight()
// 把選擇的後端服務權重減掉總權重
expectBackendServer.currentWeight -= r.effectiveWeight
return expectBackendServer
} // 列印後端服務的當前權重變化
func (r *WeightServerRoundRobin) VisitBackendServerCurrentWeight() {
var serverListForLog []string
for _, backendServer := range r.backendServerList {
serverListForLog = append(serverListForLog,
fmt.Sprintf("%v", backendServer.currentWeight))
}
fmt.Printf("(%v)\n", strings.Join(serverListForLog, ", "))
}

寫一個單測進行驗證

package weightroundrobin

import (
"fmt"
"testing"
) func TestNewWeightServerRoundRobin(t *testing.T) {
weightServerRoundRobin := NewWeightServerRoundRobin()
weightServerRoundRobin.AddBackendServer(&BackendServer{
ServerName: "ServerA",
Weight: 5,
})
weightServerRoundRobin.AddBackendServer(&BackendServer{
ServerName: "ServerB",
Weight: 3,
})
weightServerRoundRobin.AddBackendServer(&BackendServer{
ServerName: "ServerC",
Weight: 1,
}) expectServerNameList := []string{
"ServerA", "ServerB", "ServerA", "ServerC", "ServerA", "ServerB", "ServerA", "ServerB", "ServerA",
//"ServerA", "ServerB", "ServerA", "ServerC", "ServerA", "ServerB", "ServerA", "ServerB", "ServerA",
}
fmt.Printf("(A, B, C)\n")
for ii, expectServerName := range expectServerNameList {
weightServerRoundRobin.VisitBackendServerCurrentWeight()
backendServer := weightServerRoundRobin.GetBackendServer()
if backendServer.ServerName != expectServerName {
t.Errorf("%v.%v.expect:%v, actual:%v", t.Name(), ii, expectServerName, backendServer.ServerName)
return
}
}
}

執行單元測試,觀察執行結果是否符合演算法設計的預期

=== RUN   TestNewWeightServerRoundRobin
(A, B, C)
(0, 0, 0)
(5, 3, 1)
(-4, 3, 1)
(1, 6, 2)
(1, -3, 2)
(6, 0, 3)
(-3, 0, 3)
(2, 3, 4)
(2, 3, -5)
(7, 6, -4)
(-2, 6, -4)
(3, 9, -3)
(3, 0, -3)
(8, 3, -2)
(-1, 3, -2)
(4, 6, -1)
(4, -3, -1)
(9, 0, 0)
--- PASS: TestNewWeightServerRoundRobin (0.00s)
PASS

參考材料:

https://github.com/phusion/nginx/commit/27e94984486058d73157038f7950a0a36ecc6e35

done.

祝玩的開心~