分布式ID介绍及实际解决方案
在分布式系统中,生成全局唯一的ID是一个常见的需求。但是,在分布式系统中,单机生成的ID难以保证全局唯一性,因此需要一种分布式ID生成方案。
分布式ID生成方案
UUID
最早的分布式ID生成方案就是UUID(Universally Unique Identifier),即通用唯一识别码。UUID是由时间戳、节点标识、预留位和随机数共128位组成,其中时间戳和节点标识可以唯一确定一个UUID。UUID具有无序、不连续、信息量大的特点,适合作为分布式系统中的唯一标识符。
Java提供了UUID生成器,通过java.util.UUID.randomUUID()
方法可以生成一个UUID。
import java.util.UUID;
public class UuidDemo {
public static void main(String[] args) {
UUID uuid = UUID.randomUUID();
System.out.println(uuid.toString());
}
}
这种方案的缺点是:
- UUID是128位二进制格式,使用字符串表示时长度较长。
- UUID生成器需要保证节点标识的唯一性,如果有两个或以上的节点使用相同的标识符生成UUID,则可能出现重复ID。
- UUID生成的是无序的、不连续的ID,对于需要按照时间顺序生成ID的场景不太适合。
自增ID
另一种常见的方案是使用自增ID。在单机系统中,可以使用数据库的自增ID或类似于Snowflake算法的自增ID生成器。在分布式系统中,可以使用Redis、ZooKeeper等分布式系统作为中心化的自增ID生成器。
这种方案的缺点是:
- 中心化架构可能造成系统的单点故障。
- 自增ID单调递增,影响查询性能。
- 节点之间的时钟可能不同步,导致生成的ID不唯一。
Snowflake算法
另一个常用的分布式ID生成方案是Snowflake算法,具体实现示例如下:
代码语言:javascript复制public class SnowflakeIdGenerator {
private long workerId;
private long datacenterId;
private long sequence = 0L;
private long twepoch = 1288834974657L;
private long workerIdBits = 5L;
private long datacenterIdBits = 5L;
private long maxWorkerId = -1L ^ (-1L << workerIdBits);
private long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
private long sequenceBits = 12L;
private long workerIdShift = sequenceBits;
private long datacenterIdShift = sequenceBits workerIdBits;
private long timestampLeftShift = sequenceBits workerIdBits datacenterIdBits;
private long sequenceMask = -1L ^ (-1L << sequenceBits);
private long lastTimestamp = -1L;
public SnowflakeIdGenerator(long workerId, long datacenterId) {
if (workerId > maxWorkerId || workerId < 0) {
throw new IllegalArgumentException("workerId");
}
if (datacenterId > maxDatacenterId || datacenterId < 0) {
throw new IllegalArgumentException("datacenterId");
}
this.workerId = workerId;
this.datacenterId = datacenterId;
}
public synchronized long nextId() {
long timestamp = timeGen();
if (timestamp < lastTimestamp) {
throw new RuntimeException("Clock moved backwards. Refusing to generate id for " (lastTimestamp - timestamp) " milliseconds");
}
if (lastTimestamp == timestamp) {
sequence = (sequence 1) & sequenceMask;
if (sequence == 0) {
timestamp = tilNextMillis(lastTimestamp);
}
} else {
sequence = 0L;
}
lastTimestamp = timestamp;
return ((timestamp - twepoch) << timestampLeftShift)
| (datacenterId << datacenterIdShift)
| (workerId << workerIdShift)
| sequence;
}
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
private long timeGen() {
return System.currentTimeMillis();
}
}
Snowflake算法的优点是:
- 支持分布式系统。
- 生成的ID趋向于有序递增,方便查询。
- 生成的ID长度短,64位二进制格式,对于存储和传输来说较为方便。
实际使用时,可以将workerId和datacenterId配置在外部文件中,通过读取配置来初始化SnowflakeIdGenerator,并且每个应用实例只需要一个SnowflakeIdGenerator进行ID生成即可。具体操作步骤如下:
- 定义配置文件(例如
config.properties
),内容如下:
worker.id=1
datacenter.id=1
- 在代码中读取配置文件中的值并初始化SnowflakeIdGenerator:
Properties properties = new Properties();
try (InputStream inputStream = getClass().getClassLoader().getResourceAsStream("config.properties")) {
properties.load(inputStream);
long workerId = Long.parseLong(properties.getProperty("worker.id"));
long datacenterId = Long.parseLong(properties.getProperty("datacenter.id"));
SnowflakeIdGenerator idGenerator = new SnowflakeIdGenerator(workerId, datacenterId);
// 使用idGenerator生成唯一ID
} catch (IOException e) {
// 处理异常
}
总结
本文介绍了三种常见的分布式ID生成方案:UUID、自增ID和Snowflake算法,并且详细介绍了Snowflake算法的实现方式。在实际使用中,可以根据具体场景选择合适的方案。对于要求ID有序递增、长度较短的场景,建议使用Snowflake算法。
参考资料
- 理解分布式系统中的唯一 ID
- Twitter-Snowflake Java实现