1. 程式人生 > >一個新的雪花演算法(雪花漂移)

一個新的雪花演算法(雪花漂移)

# IdGenerator ## 介紹 用一種全新的雪花漂移演算法,讓ID更短、生成速度更快。 核心在於縮短ID長度的同時,還能保持每毫秒併發處理量(50W/0.1s),且能保持伸縮能力。 ## 功能說明 1.ID更短,是傳統演算法的幾倍,用50年都不會超過 js Number型別最大值。(預設配置WorkerId是6bit,自增數是6bit) 2.生成速度更快,0.1秒可生成50萬個。(i7筆記本,預設演算法配置6bit+6bit) 3.支援時間回撥處理。比如Linux伺服器時間回撥1秒,本演算法能自動適應生成臨界時間的唯一ID。 4.支援手工插入新ID。當業務需要在歷史時間生成新ID時,用本演算法的預留位每秒能生成5000個。 5.漂移時對外非同步發通知事件。讓呼叫方確切知道演算法漂移記錄,Log併發呼叫量。 6.不依賴任何外部快取和資料庫。(但WorkerId必須由外部指定) 7.目前是C#版,很快會出java、php等版本。 ## 檔案說明 1.SnowWorkerM1.cs 是雪花漂移演算法。 2.SnowWorkerM2.cs 是傳統雪花演算法。 ## 效果 1.js Number 型別最大數值:9007199254740992,本演算法在保持併發效能(5W+/0.01s)和最大64個WorkerId(6bit)的同時,能用70年才到 js Number Max 值。 2.增加WorkerId位數到8bit(128節點)時,15年達到 js Number Max 值。 3.極致效能:500W/1s。 4.所有測試資料均基於8代低壓i7計算。 ## 適用範圍 1.小型、中型、大型需要全域性唯一Id(不用Guid)的專案。 2.分散式專案。 3.不想將 Long 型轉 String 給前端用的專案。(若前端支援bigint,則可不轉型別) ## 大型分散式使用建議 1.可擴大 WorkerIdBitLength 到最多20位,支援 1,048,576 個節點,且不影響上述併發效能(50W/0.1s)。 2.採用中心化 IdGenerator 叢集,給節點生成可用 Id 列表,存入 Redis 佇列供節點消費。此時64箇中心化節點數足夠大型網際網路專案使用。 ## 如何處理時間回撥 1.當發生系統時間回撥的時候,演算法採用過去時序的預留序數(0-5)生成新的ID。 2.預設每秒可生成100個(速度可調整)。 3.回撥生成的ID序號,預設靠前,也可以調整為靠後。 4.允許時間回撥至本演算法預設基數(引數可調,預設大於1年)。 ## 能用多久 1.在預設配置下,ID可用 71000 年不重複。 2.在支援 1024 個工作節點時,ID可用 4480 年不重複。 3.在支援 4096 個工作節點時,ID可用 1120 年不重複。 4.以上所有工作節點,均擁有 50W/0.1s 最大處理速度。 ## 程式碼示例 #### 雪花漂移演算法 ``` var options = new IdGeneratorOptions() { // 設定WorkerId,預設最大2^16-1 WorkerId = 1 }; var newId = new YitIdGenerator(options).NewLong(); ``` #### 傳統雪花演算法 ``` var options = new IdGeneratorOptions() { Method = 2, // 預設1 WorkerId = 1 }; var newId = new YitIdGenerator(options).NewLong(); ``` #### options說明 options引數(Method、StartTime除外)只支援漂移演算法,不支援傳統雪花演算法。 ``` public class IdGeneratorOptions { /// /// 雪花計算方法 /// (1|2) /// public short Method { get; set; } = 1; /// /// 開始時間(UTC格式) /// 不能超過當前系統時間 /// public DateTime StartTime { get; set; } = DateTime.MinValue; /// /// 機器碼 /// 與 WorkerIdBitLength 有關係 /// public ushort WorkerId { get; set; } = 0; /// /// 機器碼位長 /// 範圍:2-21(要求:序列數位長+機器碼位長不超過22)。 /// 建議範圍:6-12。 ///
public byte WorkerIdBitLength { get; set; } = 6; /// /// 序列數位長 /// 範圍:2-21(要求:序列數位長+機器碼位長不超過22)。 /// 建議範圍:6-14。 /// public byte SeqBitLength { get; set; } = 6; /// /// 最大序列數(含) /// (由SeqBitLength計算的最大值) /// public int MaxSeqNumber { get; set; } = 0; /// /// 最小序列數(含) /// 預設11,不小於5,不大於MaxSeqNumber-2 ///
public ushort MinSeqNumber { get; set; } = 11; /// /// 最大漂移次數(含), /// 預設2000,推薦範圍500-10000(與計算能力有關) /// public int TopOverCostCount { get; set; } = 2000; ``` ## 生成的ID 預設配置: ``` WorkerId = 6 (最多64個工作節點) SeqBitLength = 6 ``` ID示例: ``` 129053495681099 (預設配置執行執行1年) 387750301904971 (預設配置執行執行3年) 646093214093387 (預設配置執行執行5年) 9007199254740992 (js Number 最大值) ``` ## 技術支援 開源地址:https://gitee.com/yitter/idgenerator QQ群:64