目录

分布式唯一ID生成

唯一ID可以标识数据的唯一性,在分布式系统中生成唯一ID的方案有很多,常见的方式大概有以下三种:

  • 依赖数据库,使用如MySQL自增列或Oracle序列等
    • 风险大,容易被外界猜到
    • 读写分离时,只有主节点可以进行写操作,可能有单点故障的风险
    • 分表分库,数据迁移合并等比较麻烦
  • UUID随机数
    • 采用无意义字符串,没有排序
    • UUID使用字符串形式存储,数据量大时查询效率比较低
  • snowflake雪花算法

雪花算法

有这么一种说法,自然界中并不存在两片完全一样的雪花的。每一片雪花都拥有自己漂亮独特的形状、独一无二。雪花算法也表示生成的ID如雪花般独一无二

概述

雪花算法生成的ID是纯数字且具有时间顺序的。其原始版本是scala版

组成

/img/distributed-unique-id-snowflake-sonyflake/0101.jpeg
分布式ID生成--雪花算法

大致由:首位无效符、时间戳差值,机器(进程)编码,序列号四部分组成。

特点(自增、有序、适合分布式场景)

  • 全局唯一性

    不能出现有重复的ID标识,这是基本要求

  • 递增性

    确保生成ID对于用户或业务是递增的,有缺陷

  • 高可用

    确保任何时候都能生成正确的ID

  • 高性能

    在高并发的环境下依然表现良好

  • 时间位

    可以根据时间进行排序,有助于提高查询速度。

  • 机器id位

    适用于分布式环境下对多节点的各个节点进行标识,可以具体根据节点数和部署情况设计划分机器位10位长度,如划分5位表示进程位等。

  • 序列号位

    是一系列的自增id,可以支持同一节点同一毫秒生成多个ID序号,12位的计数序列号支持每个节点每毫秒产生4096个ID序号

snowflake算法可以根据项目情况以及自身需要进行一定的修改

缺点/缺陷

雪花算法在单机系统上ID是递增的,但是在分布式系统多节点的情况下,所有节点的时钟并不能保证不完全同步,所以有可能会出现不是全局递增的情况。

Snowflake算法是完全依赖于时间的,如果有时钟回拨的情况发生,会生成重复的ID,市场上的解决方案也是非常多的:

  • 最简单的方案,就是关闭生成唯一ID机器的时间同步。
  • 使用阿里云的的时间服务器进行同步,2017年1月1日的闰秒调整,阿里云服务器NTP系统24小时“消化”闰秒,完美解决了问题。
  • 如果发现有时钟回拨,时间很短比如5毫秒,就等待,然后再生成。或者就直接报错,交给业务层去处理。
  • 可以找2bit位作为时钟回拨位,发现有时钟回拨就将回拨位加1,达到最大位后再从0开始进行循环。

推荐使用下文大【索尼算法】

索尼算法

概述

索尼公司的Sonyflake对原生的Snowflake进行改进,重新分配了各部分的bit位:

/img/distributed-unique-id-snowflake-sonyflake/0102.jpg
索尼算法

对于时间回拨的问题Sonyflake简单暴力,就是直接等待:

func (sf *Sonyflake) NextID() (uint64, error) {
    const maskSequence = uint16(1<<BitLenSequence - 1)
    sf.mutex.Lock()
    defer sf.mutex.Unlock()
    current := currentElapsedTime(sf.startTime)
    if sf.elapsedTime < current {
        sf.elapsedTime = current
        sf.sequence = 0
    } else { // sf.elapsedTime >= current
        sf.sequence = (sf.sequence + 1) & maskSequence
        if sf.sequence == 0 {
            sf.elapsedTime++
            overtime := sf.elapsedTime - current
            time.Sleep(sleepTime((overtime)))
        }
    }    
    return sf.toID()
}

使用

import "github.com/sony/sonyflake"
func main(){
  // TODO 机器码
 // var machineID=0
  var st sonyflake.Settings
  // MachineID 返回 Sonyflake 实例的唯一 ID。
    // 如果 MachineID 返回错误,则不创建 Sonyflake。
    // 如果 MachineID 为 nil,则使用默认 MachineID。
    // 默认 MachineID 返回私有 IP 地址的低 16 位。
    //st.MachineID = func() (uint16, error) {
            // MachineID = [InstanceId 6b] [ModelType 10b]
            //    return uint16(machineID), nil
    //}

    sf := sonyflake.NewSonyflake(st)
  id, err := generator.NextID()
    if err != nil {
        return nil, err
    }
  fmt.Println(id)
}