分布式唯一ID生成

分布式唯一ID生成

165 次访问
· golang

分布式唯一 ID 生成

唯一 ID 可以标识数据的唯一性，在分布式系统中生成唯一 ID 的方案有很多，常见的方式大概有以下三种：

  • 依赖数据库，使用如 MySQL 自增列或 Oracle 序列等
    • 风险大，容易被外界猜到
    • 读写分离时，只有主节点可以进行写操作，可能有单点故障的风险
    • 分表分库，数据迁移合并等比较麻烦
  • UUID 随机数
    • 采用无意义字符串，没有排序
    • UUID 使用字符串形式存储，数据量大时查询效率比较低
  • snowflake 雪花算法

雪花算法

有这么一种说法，自然界中并不存在两片完全一样的雪花的。每一片雪花都拥有自己漂亮独特的形状、独一无二。雪花算法也表示生成的 ID 如雪花般独一无二

概述

雪花算法生成的 ID 是纯数字且具有时间顺序的。其原始版本是 scala 版

组成

分布式 ID 生成--雪花算法

大致由：首位无效符、时间戳差值，机器(进程)编码，序列号四部分组成。

特点(自增、有序、适合分布式场景)

  • 全局唯一性

    不能出现有重复的 ID 标识，这是基本要求

  • 递增性

    确保生成 ID 对于用户或业务是递增的，有缺陷

  • 高可用

    确保任何时候都能生成正确的 ID

  • 高性能

    在高并发的环境下依然表现良好

  • 时间位

    可以根据时间进行排序，有助于提高查询速度。

  • 机器 id 位

    适用于分布式环境下对多节点的各个节点进行标识，可以具体根据节点数和部署情况设计划分机器位 10 位长度，如划分 5 位表示进程位等。

  • 序列号位

    是一系列的自增 id，可以支持同一节点同一毫秒生成多个 ID 序号，12 位的计数序列号支持每个节点每毫秒产生 4096 个 ID 序号

snowflake 算法可以根据项目情况以及自身需要进行一定的修改

缺点/缺陷

雪花算法在单机系统上 ID 是递增的，但是在分布式系统多节点的情况下，所有节点的时钟并不能保证不完全同步，所以有可能会出现不是全局递增的情况。

Snowflake 算法是完全依赖于时间的，如果有时钟回拨的情况发生，会生成重复的 ID，市场上的解决方案也是非常多的：

  • 最简单的方案，就是关闭生成唯一 ID 机器的时间同步。
  • 使用阿里云的的时间服务器进行同步，2017 年 1 月 1 日的闰秒调整，阿里云服务器 NTP 系统 24 小时“消化”闰秒，完美解决了问题。
  • 如果发现有时钟回拨，时间很短比如 5 毫秒，就等待，然后再生成。或者就直接报错，交给业务层去处理。
  • 可以找 2bit 位作为时钟回拨位，发现有时钟回拨就将回拨位加 1，达到最大位后再从 0 开始进行循环。

推荐使用下文大【索尼算法】

索尼算法

概述

索尼公司的 Sonyflake 对原生的 Snowflake 进行改进，重新分配了各部分的 bit 位：

img

对于时间回拨的问题 Sonyflake 简单暴力，就是直接等待：

func (sf *Sonyflake) NextID() (uint64, error) {
	const maskSequence = uint16(1<<BitLenSequence - 1)
	sf.mutex.Lock()
	defer sf.mutex.Unlock()
	current := currentElapsedTime(sf.startTime)
	if sf.elapsedTime < current {
		sf.elapsedTime = current
		sf.sequence = 0
	} else { // sf.elapsedTime >= current
		sf.sequence = (sf.sequence + 1) & maskSequence
		if sf.sequence == 0 {
			sf.elapsedTime++
			overtime := sf.elapsedTime - current
			time.Sleep(sleepTime((overtime)))
		}
	}
	return sf.toID()
}

使用

import "github.com/sony/sonyflake"

func main() {
	// TODO 机器码
	// var machineID=0
	var st sonyflake.Settings
	// MachineID 返回 Sonyflake 实例的唯一 ID。
	// 如果 MachineID 返回错误，则不创建 Sonyflake。
	// 如果 MachineID 为 nil，则使用默认 MachineID。
	// 默认 MachineID 返回私有 IP 地址的低 16 位。
	//st.MachineID = func() (uint16, error) {
	// MachineID = [InstanceId 6b] [ModelType 10b]
	//	return uint16(machineID), nil
	//}

	sf := sonyflake.NewSonyflake(st)
	id, err := generator.NextID()
	if err != nil {
		return nil, err
	}
	fmt.Println(id)
}

参考资料

https://blog.csdn.net/qq_42403866/article/details/116952843

# golang