CosId 通用、靈活、高效能的分散式 ID 生成器

介紹

CosId 旨在提供通用、靈活、高效能的分散式系統 ID 生成器。 目前提供了倆大類 ID 生成器：SnowflakeId （單機 TPS 效能：409W/s JMH 基準測試）、RedisIdGenerator (單機 TPS 效能(步長 1000)：3687W+/s JMH 基準測試)。

更新內容（1.0.0）

  • 增強：支援自定義配置 ClockBackwardsSynchronizer（spring-boot-starter-cosid）。
  • 增強：優化 SnowflakeIdProperties 配置體驗 （spring-boot-starter-cosid）。
  • 變更：重新命名 LocalMachineState 為 MachineStateStorage。
  • 增強：支援自定義 IdDefinition 來開啟 ClockSyncSnowflakeId。
  • 增強：優化自定義配置 epoch 。
  • 增強：支援配置 RedisIdGenerator#offset ，來設定分散式ID起始值。
  • 新增：新增 SnowflakeFriendlyId，生成更具可讀性的 SnowflakeIdState。
  • 增強：自定義配置 Redis#timeout。

SnowflakeId

SnowflakeId 使用 Long （64 bits） 位分割槽來生成 ID 的一種分散式 ID 演算法。

通用的位分配方案為：timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

  • 41 位 timestamp = (1L<<41)/(1000/3600/365) 約可以儲存 69 年的時間戳，即可以使用的絕對時間為 EPOCH + 69 年，一般我們需要自定義 EPOCH

    為產品開發時間，另外還可以通過壓縮其他區域的分配位數，來增加時間戳位數來延長可用時間。
  • 10 位 machineId = (1L<<10) = 1024 即相同業務可以部署 1024 個副本 (在 Kubernetes 概念裡沒有主從副本之分，這裡直接沿用 Kubernetes 的定義)

    例項，一般情況下沒有必要使用這麼多位，所以會根據部署規模需要重新定義。
  • 12 位 sequence = (1L<<12) * 1000 = 4096000 即單機每秒可生成約 409W 的 ID，全域性同業務叢集可產生 4096000*1024=419430W=41.9億(TPS)。

從 SnowflakeId 設計上可以看出:

  • timestamp 在高位，所以 SnowflakeId 是本機單調遞增的，受全域性時鐘同步影響 SnowflakeId 是全域性趨勢遞增的。
  • SnowflakeId 不對任何第三方中介軟體有強依賴關係，並且效能也非常高。
  • 位分配方案可以按照業務系統需要靈活配置，來達到最優使用效果。
  • 強依賴本機時鐘，潛在的時鐘回撥問題會導致 ID 重複。
  • machineId 需要手動設定，實際部署時如果採用手動分配 machineId，會非常低效。

CosId-SnowflakeId 主要解決 SnowflakeId 倆大問題：機器號分配問題、時鐘回撥問題。 並且提供更加友好、靈活的使用體驗。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三種 MachineId 分配器。

ManualMachineIdDistributor

cosid:

  snowflake:

    machine:

      distributor:

        type: manual

        manual:

          machine-id: 0

手動分配 MachineId

StatefulSetMachineIdDistributor

cosid:

  snowflake:

    machine:

      distributor:

        type: stateful_set

使用 Kubernetes 的 StatefulSet 提供的穩定的標識 ID 作為機器號。

RedisMachineIdDistributor

cosid:

  snowflake:

    machine:

      distributor:

        type: redis

使用 Redis 作為機器號的分發儲存。

ClockBackwardsSynchronizer (時鐘回撥同步器)

cosid:

  snowflake:

    clock-backwards:

      spin-threshold: 10

      broken-threshold: 2000

預設提供的 DefaultClockBackwardsSynchronizer 時鐘回撥同步器使用主動等待同步策略，spinThreshold(預設值 10 毫秒) 用於設定自旋等待閾值， 當大於spinThreshold時使用執行緒休眠等待時鐘同步，如果超過brokenThreshold(預設值 2 秒)時會直接丟擲ClockTooManyBackwardsException異常。

MachineStateStorage (機器狀態儲存)

public class MachineState {

    public static final MachineState NOT_FOUND = of(-1, -1);

    private final int machineId;

    private final long lastTimeStamp;

    public MachineState(int machineId, long lastTimeStamp) {

        this.machineId = machineId;

        this.lastTimeStamp = lastTimeStamp;

    }

    public int getMachineId() {

        return machineId;

    }

    public long getLastTimeStamp() {

        return lastTimeStamp;

    }

    public static MachineState of(int machineId, long lastStamp) {

        return new MachineState(machineId, lastStamp);

    }

}


cosid:

  snowflake:

    machine:

      state-storage:

        local:

          state-location: ./cosid-machine-state/

預設提供的 LocalMachineStateStorage 本地機器狀態儲存，使用本地檔案儲存機器號、最近一次時間戳，用作 MachineState 快取。

ClockSyncSnowflakeId (主動時鐘同步 SnowflakeId)

cosid:

  snowflake:

    share:

      clock-sync: true

預設 SnowflakeId 當發生時鐘回撥時會直接丟擲 ClockBackwardsException 異常，而使用 ClockSyncSnowflakeId 會使用 ClockBackwardsSynchronizer

主動等待時鐘同步來重新生成 ID，提供更加友好的使用體驗。

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

SnowflakeId snowflakeId=SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScript 的 Number.MAX_SAFE_INTEGER 只有 53 位，如果直接將 63 位的 SnowflakeId 返回給前端，那麼會值溢位的情況，通常我們可以將SnowflakeId轉換為 String 型別或者自定義 SnowflakeId 位分配來縮短 SnowflakeId 的位數 使 ID 提供給前端時不溢位。

SnowflakeFriendlyId (可以將 SnowflakeId 解析成可讀性更好的 SnowflakeIdState )

cosid:

  snowflake:

    share:

      friendly: true


public class SnowflakeIdState {

    private final long id;

    private final int machineId;

    private final long sequence;

    private final LocalDateTime timestamp;

    /**

     * {@link #timestamp}-{@link #machineId}-{@link #sequence}

     */

    private final String friendlyId;

}


public interface SnowflakeFriendlyId extends SnowflakeId {

  SnowflakeIdState friendlyId(long id);

  SnowflakeIdState ofFriendlyId(String friendlyId);

  default SnowflakeIdState friendlyId() {

    long id = generate();

    return friendlyId(id);

  }

}


        SnowflakeFriendlyId snowflakeFriendlyId = new DefaultSnowflakeFriendlyId(snowflakeId);

        SnowflakeIdState idState = snowflakeFriendlyId.friendlyId();

        idState.getFriendlyId(); //20210623131730192-1-0

RedisIdGenerator

cosid:

  redis:

    enabled: true

    share:

      offset: 0

      step: 100

    provider:

      bizA:

        offset: 10000

        step: 100

      bizB:

        offset: 10000

        step: 100

RedisIdGenerator 步長設定為 1 時（每次生成ID都需要執行一次 Redis 網路 IO 請求）TPS 效能約為 21W/s (JMH 基準測試)，如果在部分場景下我們對 ID 生成的 TPS 效能有更高的要求，那麼可以選擇使用增加每次ID分發步長來降低網路 IO 請求頻次，提高 IdGenerator

效能（比如增加步長為 1000，效能可提升到 3545W+/s JMH 基準測試）。

IdGeneratorProvider

cosid:

  snowflake:

    provider:

      bizA:

        #      epoch:

        #      timestamp-bit:

        sequence-bit: 12

      bizB:

        #      epoch:

        #      timestamp-bit:

        sequence-bit: 12


IdGenerator idGenerator = idGeneratorProvider.get("bizA");

在實際使用中我們一般不會所有業務服務使用同一個 IdGenerator ，而是不同的業務使用不同的 IdGenerator，那麼 IdGeneratorProvider

就是為了解決這個問題而存在的，他是 IdGenerator 的容器，可以通過業務名來獲取相應的 IdGenerator。

Examples

CosId-Examples

安裝

Gradle

Kotlin DSL

    val cosidVersion = "1.0.0";

    implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"

         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <artifactId>demo</artifactId>

    <properties>

        <cosid.version>1.0.0</cosid.version>

    </properties>

    <dependencies>

        <dependency>

            <groupId>me.ahoo.cosid</groupId>

            <artifactId>spring-boot-starter-cosid</artifactId>

            <version>${cosid.version}</version>

        </dependency>

    </dependencies>

</project>

application.yaml

cosid:

  namespace: ${spring.application.name}

  snowflake:

    enabled: true

    #    epoch: 1577203200000

    clock-backwards:

      spin-threshold: 10

      broken-threshold: 2000

    machine:

      #      stable: true

      #      machine-bit: 10

      #      instance-id: ${HOSTNAME}

      distributor:

        type: redis

      #        manual:

      #          machine-id: 0

      state-storage:

        local:

          state-location: ./cosid-machine-state/

    share:

      clock-sync: true

      friendly: true

    provider:

      bizA:

        #        timestamp-bit:

        sequence-bit: 12

      bizB:

        #        timestamp-bit:

        sequence-bit: 12

#  redis:

#    enabled: false

#    share:

#      offset: 0

#      step: 100

#    provider:

#      bizA:

#        offset: 10000

#        step: 100

#      bizB:

#        offset: 10000

#        step: 100

JMH-Benchmark

SnowflakeId

Benchmark                                                    Mode  Cnt        Score   Error  Units

SnowflakeIdBenchmark.millisecondSnowflakeId_generate        thrpt       4093924.313          ops/s

SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate  thrpt        511542.292          ops/s

SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate       thrpt        511939.629          ops/s

SnowflakeIdBenchmark.secondSnowflakeId_generate             thrpt       4204761.870          ops/s

RedisIdGenerator

gradle cosid-redis:jmh


Benchmark                             Mode  Cnt         Score        Error  Units

RedisIdGeneratorBenchmark.step_1     thrpt   25    220218.848 ±   2070.786  ops/s

RedisIdGeneratorBenchmark.step_100   thrpt   25   3605422.967 ±  13479.405  ops/s

RedisIdGeneratorBenchmark.step_1000  thrpt   25  36874696.252 ± 357214.292  ops/s