Mysql 自增id、uuid与雪花id_mysql自己生成雪花算法id-程序员宅基地

技术标签: 运维  eureka  mysql  hadoop  数据库  

概念介绍

三种主键

自增id :1 2 3 4 5……
uuid :UUID是Universally Unique Identifier的缩写,它是在一定的范围内(从特定的名字空间到全球)唯一的机器生成的标识符。通用唯一标识符的意思,可以以业务实际user id为主键 比如QQ号 手机号等
雪花id :相比UUID无序生成的id而言,雪花算法是有序的(有时间参数),而且都是由数字组成。雪花id最大为64位,符合java中long的长度64位。适用于大规模分布式

聚簇索引与非聚簇索引

在这里插入图片描述

自增id

在这里插入图片描述

自增的主键的值是顺序的,所以Innodb把每一条记录都存储在一条记录的后面。当达到页面的最大填充因子时候(innodb默认的最大填充因子是页大小的15/16,会留出1/16的空间留作以后的 修改):
①下一条记录就会写入新的页中,一旦数据按照这种顺序的方式加载,主键页就会近乎于顺序地记录填满,提升了页面的最大填充率,不会有页的浪费
②新插入的行一定会在原有的最大数据行下一行,mysql定位和寻址很快,不会为计算新行的位置而做出额外的消耗
③减少了页分裂和碎片的产生

优点:
1.自增,趋势自增,可作为聚集索引,提升查询效率
2.节省磁盘空间。500W数据,UUID占5.4G,自增ID占2.5G.
3.查询,写入效率高:查询略优。在数据量大时候 高于uuid插入速度

缺点:
1.导入旧数据时,可能会ID重复,导致导入失败。
2.分布式架构,多个Mysql实例可能会导致ID重复。
3.容易被外界攻破,知道业务实际情况。且例如:显示公告内容indexid=3这样就很容易被人篡改为indexid=2.就可以调到第二条的内容。
4对于高并发的负载,innodb在按主键进行插入的时候会造成明显的锁争用,主键的上界会成为争抢的热点,因为所有的插入都发生在这里,并发插入会导致间隙锁竞争。Auto_Increment锁机制会造成自增锁的抢夺,有一定的性能损失

uuid

缺点看上面

雪花id与应用

面试官: 小伙子,你低着头笑什么呐。开始面试了,你知道订单ID是怎么生成的吗?

我: 还能咋生成?用数据库主键自增呗。

面试官: 这样不行啊。数据库主键顺序自增,每天有多少订单量被竞争对手看的一清二楚,商业机密都暴露了。况且单机MySQL只能支持几百量级的并发,我们公司每天千万订单量,hold不住啊。

我: 嗯,那就用用数据库集群,自增ID起始值按机器编号,步长等于机器数量。
比如有两台机器,第一台机器生成的ID是1、3、5、7,第二台机器生成的ID是2、4、6、8。性能不行就加机器,这并发量der一下就上去了。

面试官:小伙子,你想得倒是挺好。你有没有想过实现百万级的并发,大概就需要2000台机器,你这还只是用来生成订单ID,公司再有钱也经不起这么造。

我: 既然MySQL的并发量不行,我们是不是可以提前从MySQL获取一批自增ID,加载到本地内存中,然后从内存中并发取,这并发性能岂不是杠杠滴。

面试官: 你还挺上道,这种叫号段模式。并发量是上去了,但是自增ID还是不能作为订单ID的。

我: 用Java自带UUID怎么样?

import java.util.UUID;
/**
 * @author yideng
 * @apiNote UUID示例
 */
public class UUIDTest {
    public static void main(String[] args) {
        String orderId = UUID.randomUUID().toString().replace("-", "");
        System.out.println(orderId);
    }
}
输出结果:
58e93ecab9c64295b15f7f4661edcbc1

面试官: 也不行。32位字符串会占用更大的空间,无序的字符串作数据库主键,每次插入数据库的时候,MySQL为了维护B+树结构,需要频繁调整节点顺序,影响性能。况且字符串太长,也没有任何业务含义,pass。
小伙子,你可能是没参与过电商系统,我先跟说一下生成订单ID要满足哪些条件:
全局唯一:如果订单ID重复了,肯定要完蛋。 高性能:要做到高并发、低延迟。生成订单ID都成为瓶颈了,那还得了。
高可用:至少要做到4个9,别动不动就宕机了。 易用性:如果为了满足上述要求,搞了几百台服务器,复杂且难以维护,也不行。
数值且有序递增:数值占用的空间更小,有序递增能保证插入MySQL的时候更高性能。
嵌入业务含义:如果订单ID里面能嵌入业务含义,就能通过订单ID知道是哪个业务线生成的,便于排查问题。

我: 我听说圈内有一种流传已久的分布式、高性能、高可用的订单ID生成算法—雪花算法,完全能满足你的上述要求。雪花算法生成ID是Long类型,长度64位。

在这里插入图片描述
第 1 位: 符号位,暂时不用。
第 2~42 位: 共41位,时间戳,单位是毫秒,可以支撑大约69年
第 43~52 位: 共10位,机器ID,最多可容纳1024台机器
第 53~64 位: 共12位,序列号,是自增值,表示同一毫秒内产生的ID,单台机器每毫秒最多可生成4096个订单ID
接入非常简单,不需要搭建服务集群,。代码逻辑非常简单,,同一毫秒内,订单ID的序列号自增。同步锁只作用于本机,机器之间互不影响,每毫秒可以生成四百万个订单ID,非常强悍。

生成规则不是固定的,可以根据自身的业务需求调整。如果你不需要那么大的并发量,可以把机器标识位拆出一部分,当作业务标识位,标识是哪个业务线生成的订单ID。

面试官: 小伙子,有点东西,深藏不漏啊。再问个更难的问题,你觉得雪花算法还有改进的空间吗?

你真是打破砂锅问到底,不把我问趴下不结束。幸亏来之前我瞥了一眼一灯的文章。

我: 有的,雪花算法严重依赖系统时钟。如果时钟回拨,就会生成重复ID。

面试官: 有什么解决办法吗?

我: 有问题就会有答案。比如美团的Leaf(美团自研一种分布式ID生成系统),为了解决时钟回拨,引入了zookeeper,原理也很简单,就是比较当前系统时间跟生成节点的时间。
在这里插入图片描述
有的对并发要求更高的系统,比如双十一秒杀,每毫秒4百万并发还不能满足要求,就可以使用雪花算法和号段模式相结合,比如百度的UidGenerator、滴滴的TinyId。想想也是,号段模式的预先生成ID肯定是高性能分布式订单ID的最终解决方案。

参考资料:https://blog.csdn.net/murongguofu/article/details/125220736 他的博客似乎都还不错

总结

1、旧系统或者单部署系统,一般都采用自增主键,主要是便捷性考虑。优缺点如下:

优点:自增长字段往往用integer bigint类型,最多占8个字节。索引与外键 所占用的空间连带减少,增删改查 效率高。业务变化,不影响,不需要更新主键。
缺点:无法转移数据库,比如把表中的一批数据 转移 或 附带到 另一个表中,那么由于是自增长字段,那么会导致无法转移,因为另外一个表可能已经存在部分数据,会造成主键冲突。自增长字段的缺陷。业务数据的完整性,无法保证。

2、对于高并发业务型数据表,尤其是分布式部署架构,一般建议尽量使用业务主键,主要是考虑到查询效率、安全性以及分表分库等的情况,优缺点如下:

优点:可以转移数据库,最大化节省了空间,因为并没有多增加一个非业务字段做主键。可以保证业务逻辑的完整性。避免产生垃圾数据,银行就是用业务字段做主键的,虽然效率低,但是安全。
缺点:如果业务发生改变,有可能需要修改主键,举例:国家A表用身份证号做主键,然后其他很多表中的身份证号这列都是来自身份证表A中的主键(即外键),那么如果身份证号升级,比如从1代升级到2代,那么连带的表的外键 的索引 通通都得发生变化,效率极低 因为会连带更新一串用到这个外键的表,可见用业务字段做主键的话,要保证主键不经常变化。

最后

深知大多数初中级Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则近万的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《Java开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

小编已加密:aHR0cHM6Ly9kb2NzLnFxLmNvbS9kb2MvRFVrVm9aSGxQZUVsTlkwUnc==出于安全原因,我们把网站通过base64编码了,大家可以通过base64解码把网址获取下来。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/jiong9412/article/details/126802768

智能推荐

网页播放器(CKplayer)的视频怎么下载——m3u8简单探索_index网站入口m3u8-程序员宅基地

文章浏览阅读6.8w次,点赞8次,收藏22次。简要说明由于最近(2018-12-8)想看一个电影视频(《狗十三》),于是去网上找资源。这个电影本来2013年就已经开始有资源了,但是迟迟没有上映,有许多的原因导致影片没有上映,但是在2018-12-07日,终于开始上映了。(不扯了,,,再说会被认为是影评了)。于是呢,我就在网上找资源,之前是有资源的,但是由于现在正在上映,所以网上各种迅雷链接被屏蔽了,于是我就找 能在线播放的网站,终于找..._index网站入口m3u8

[zt]软件开发金钥匙——写给毕业生的忠告_毕业生有创意想开发软件没实力-程序员宅基地

文章浏览阅读610次。 转自:http://www.cppblog.com/szhoftuncun/archive/2008/09/29/63052.html[zt]软件开发金钥匙——写给毕业生的忠告“又是一年毕业时”,看到一批批学子离开人生的象牙塔,走上各自的工作岗位;想想自己也曾经意气风发、踌躇满志,不觉感叹万千……本文是自己工作6年的经历沉淀或者经验提炼,希望对所有的软件工程师们有所帮助,早日实现自己的人生目标。本文主要是关于软件开发人员如何提高自己的软件专业技术方面的具体建议。  1、 分享第一条_毕业生有创意想开发软件没实力

count/count if函数的基本用法_countif和count一起怎么用-程序员宅基地

文章浏览阅读2.1k次。count函数,用来计算单元格的数的个数,只是用来计数,并且只有只记录数子的个数,文本的个数是不被记录的。但是很少会用到单纯的count函数,往往在工作中计数是带有条件的。就会用到countif函数COUNTIF函数需要注意的点,COUNTIF函数做判断的时候只能判断单元格的前15位,比如:按照常理来说,在A2-A3单元格格的区域内,等于A2单元格的计数数量应该是为2 的,但是COUNTIF函数只能默认拿单元格的前15位数字,超过的部分就不做统计了。如果遇到这样的情况,就需要借用*,这里用了&连_countif和count一起怎么用

【PaddleSpeech】语音合成-男声_fastspeech2_male_zh_ckpt_1.4.0-程序员宅基地

文章浏览阅读1.1k次,点赞10次,收藏9次。使用PaddleSpeech进行语音合成(男声)_fastspeech2_male_zh_ckpt_1.4.0

html编辑器 br 被div,UEditor百度编辑器中各种html标签被过滤掉的解决办法-程序员宅基地

文章浏览阅读449次。在之前的文章编写过程中,插入JS代码后,第一次文章会显示正常,而之后在后台编辑器中再打开看, 发现好多标签竟然被删掉了。后来发现解决办法非常简单。我们在插入代码后,源码模式下,看起来是正常的,但是为什么保存完之后,数据库中正常,但是编辑器中不正常呢?很多富文本编辑器都有两种初始化方式,以UEditor为例,一种是textarea标签,一种是script标签。举例textarea方式:这里写你的初始..._百度富文本编辑器过滤了html标签

Java大厂笔试&&面试集合大全目录,java笔试面试宝典-程序员宅基地

文章浏览阅读661次,点赞6次,收藏20次。最后还准备了一套上面资料对应的面试题(有答案哦)和面试时的高频面试算法题(如果面试准备时间不够,那么集中把这些算法题做完即可,命中率高达85%+)份系统化的资料的朋友,可以添加V获取:vip1024b (备注Java)**(img-0bihoba1-1713545040863)]JAVA相关笔试题,祝各位找到好工作!Java网络安全面试题系列。

随便推点

计算机考研怎么给老师发邮件,考研复试前,手把手教你怎么给导师发邮件!4点要注意...-程序员宅基地

文章浏览阅读504次。考研成绩出来后,第一件事是干什么?当然不只是高兴,而是马上给心仪的导师发邮件,先露个“名字熟”。不要以为初试考了高分或者过线了,一切都稳妥了,一时得意忘形,居然没联系导师,等想起时,导师已经属于他人了。对于一些大佬,热门导师一定要趁早发邮件咨询,一是表示尊重;二是这类老师可能已经没有统招名额,所以越早知道,越有利于下一步计划。但是,在给导师发邮件中,要注意以下4点,不求一步成功,但求先留下个好印象..._跨考计算机怎么给导师发邮件

美国计算机生物学大学,美国计算机大学排名-程序员宅基地

文章浏览阅读287次。作为美国目前就业薪资最高的专业,竞争很激烈,很多学生想要去美国读计算机专业,那么美国计算机专业大学排名情况是怎么样的呢?出国留学网介绍了相关的信息,来看看吧!一、美国计算机专业大学排名二、美国计算机专业分类人工智能结合实际与理论,将计算机科学运用到日常生活中,用电脑智能解决现实问题。适合已经有计算机背景,对该领域有兴趣,掌握编程等计算机技术的申请人。计算机生物科技涉及大量基因组学,生物学,医药学知...

《动手学深度学习(PyTorch版)》笔记4.4_out = net(x) y = y.reshape(out.shape)-程序员宅基地

文章浏览阅读1.7k次,点赞27次,收藏15次。注:书中对代码的讲解并不详细,本文对很多细节做了详细注释。另外,书上的源代码是在Jupyter Notebook上运行的,较为分散,本文将代码集中起来,并加以完善,全部用vscode在python 3.9.18下测试通过。_out = net(x) y = y.reshape(out.shape)

Unity粒子特效系列-龙卷风预制体做好了,unitypackage包直接用!_unity螺旋风特效-程序员宅基地

文章浏览阅读2.2w次,点赞53次,收藏63次。????????即将学会利用粒子系统实现超真实的龙卷风效果。我们要掌握核心科技,提高生产力。其中关键的内容就是旋转,速度,大小变化以及颜色变化。????效果预看视频地址:Unity粒子特效系列-龙卷风效果_哔哩哔哩_bilibili????案例环境Unity 2020.3LTS系列????实践过程首先搞清楚龙卷风分为两部分,从上而下的小部分,从下而上的大部分!接着我们就要分开实现了。上半部分开始之前先确定下思路:需要有旋转 有风就要有速度模块 _unity螺旋风特效

计算机科学与技术的难度大小,计算机科学与技术专业各科难度排行-程序员宅基地

文章浏览阅读1.6k次。该楼层疑似违规已被系统折叠隐藏此楼查看此楼大三下学期NO.1Web数据库技术(3`)专业必修课本学期最难一科,考题是默写程序!填空(通常得不到几分)简答,程序。考前认真复习,课上不上无所谓,最终你还是要背的。重点:第三章:链接herf(填空),登陆表单(html程序题,可以参考习题1)登陆表单验证(JavaScript程序题 P30)第四章:脚本段-表达式-声明-指令的区别(简答),指令元素(简..._编译原理难度排第几

原生小程序 微信小程序 使用ucharts_微信小程序引入ucharts-程序员宅基地

文章浏览阅读2.2k次。一般是uni-app项目使用ucharts在原生微信小程序也是可以使用。方法:## 使用说明请将项目根目录 微信小程序/uCharts-组件/qiun-wx-ucharts/src 下全部文件复制到指定位置,例如该项目的components/qiun-wx-uchart目录下,然后在页面的json配置文件中配置如下:配置好后即可在wxml文件中使用注:示例中uCharts组件仅做演示,实际使用请用码云或者npmjs中最新版本。_微信小程序引入ucharts