分布式ID介绍及实际解决方案

2023-05-05 19:58:00 浏览数 (2)

分布式ID介绍及实际解决方案

在分布式系统中,生成全局唯一的ID是一个常见的需求。但是,在分布式系统中,单机生成的ID难以保证全局唯一性,因此需要一种分布式ID生成方案。

分布式ID生成方案

UUID

最早的分布式ID生成方案就是UUID(Universally Unique Identifier),即通用唯一识别码。UUID是由时间戳、节点标识、预留位和随机数共128位组成,其中时间戳和节点标识可以唯一确定一个UUID。UUID具有无序、不连续、信息量大的特点,适合作为分布式系统中的唯一标识符。

Java提供了UUID生成器,通过java.util.UUID.randomUUID()方法可以生成一个UUID。

代码语言:javascript复制
import java.util.UUID;

public class UuidDemo {
    public static void main(String[] args) {
        UUID uuid = UUID.randomUUID();
        System.out.println(uuid.toString());
    }
}

这种方案的缺点是:

  • UUID是128位二进制格式,使用字符串表示时长度较长。
  • UUID生成器需要保证节点标识的唯一性,如果有两个或以上的节点使用相同的标识符生成UUID,则可能出现重复ID。
  • UUID生成的是无序的、不连续的ID,对于需要按照时间顺序生成ID的场景不太适合。

自增ID

另一种常见的方案是使用自增ID。在单机系统中,可以使用数据库的自增ID或类似于Snowflake算法的自增ID生成器。在分布式系统中,可以使用Redis、ZooKeeper等分布式系统作为中心化的自增ID生成器。

这种方案的缺点是:

  • 中心化架构可能造成系统的单点故障。
  • 自增ID单调递增,影响查询性能。
  • 节点之间的时钟可能不同步,导致生成的ID不唯一。

Snowflake算法

另一个常用的分布式ID生成方案是Snowflake算法,具体实现示例如下:

代码语言:javascript复制
public class SnowflakeIdGenerator {
    private long workerId;
    private long datacenterId;
    private long sequence = 0L;
    private long twepoch = 1288834974657L;
    private long workerIdBits = 5L;
    private long datacenterIdBits = 5L;
    private long maxWorkerId = -1L ^ (-1L << workerIdBits);
    private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
    private long sequenceBits = 12L;
    private long workerIdShift = sequenceBits;
    private long datacenterIdShift = sequenceBits   workerIdBits;
    private long timestampLeftShift = sequenceBits   workerIdBits   datacenterIdBits;
    private long sequenceMask = -1L ^ (-1L << sequenceBits);
    private long lastTimestamp = -1L;

    public SnowflakeIdGenerator(long workerId, long datacenterId) {
        if (workerId > maxWorkerId || workerId < 0) {
            throw new IllegalArgumentException("workerId");
        }
        if (datacenterId > maxDatacenterId || datacenterId < 0) {
            throw new IllegalArgumentException("datacenterId");
        }
        this.workerId = workerId;
        this.datacenterId = datacenterId;
    }

    public synchronized long nextId() {
        long timestamp = timeGen();

        if (timestamp < lastTimestamp) {
            throw new RuntimeException("Clock moved backwards. Refusing to generate id for "   (lastTimestamp - timestamp)   " milliseconds");
        }

        if (lastTimestamp == timestamp) {
            sequence = (sequence   1) & sequenceMask;
            if (sequence == 0) {
                timestamp = tilNextMillis(lastTimestamp);
            }
        } else {
            sequence = 0L;
        }

        lastTimestamp = timestamp;

        return ((timestamp - twepoch) << timestampLeftShift)
                | (datacenterId << datacenterIdShift)
                | (workerId << workerIdShift)
                | sequence;
    }

    private long tilNextMillis(long lastTimestamp) {
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) {
            timestamp = timeGen();
        }
        return timestamp;
    }

    private long timeGen() {
        return System.currentTimeMillis();
    }
}

Snowflake算法的优点是:

  • 支持分布式系统。
  • 生成的ID趋向于有序递增,方便查询。
  • 生成的ID长度短,64位二进制格式,对于存储和传输来说较为方便。

实际使用时,可以将workerId和datacenterId配置在外部文件中,通过读取配置来初始化SnowflakeIdGenerator,并且每个应用实例只需要一个SnowflakeIdGenerator进行ID生成即可。具体操作步骤如下:

  1. 定义配置文件(例如config.properties),内容如下:
代码语言:javascript复制
worker.id=1
datacenter.id=1
  1. 在代码中读取配置文件中的值并初始化SnowflakeIdGenerator:
代码语言:javascript复制
Properties properties = new Properties();
try (InputStream inputStream = getClass().getClassLoader().getResourceAsStream("config.properties")) {
    properties.load(inputStream);
    long workerId = Long.parseLong(properties.getProperty("worker.id"));
    long datacenterId = Long.parseLong(properties.getProperty("datacenter.id"));
    SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(workerId, datacenterId);
    // 使用idGenerator生成唯一ID
} catch (IOException e) {
    // 处理异常
}

总结

本文介绍了三种常见的分布式ID生成方案:UUID、自增ID和Snowflake算法,并且详细介绍了Snowflake算法的实现方式。在实际使用中,可以根据具体场景选择合适的方案。对于要求ID有序递增、长度较短的场景,建议使用Snowflake算法。

参考资料

  1. 理解分布式系统中的唯一 ID
  2. Twitter-Snowflake Java实现

0 人点赞