Java自学者论坛

 找回密码
 立即注册

手机号码,快捷登录

恭喜Java自学者论坛(https://www.javazxz.com)已经为数万Java学习者服务超过8年了!积累会员资料超过10000G+
成为本站VIP会员,下载本站10000G+会员资源,会员资料板块,购买链接:点击进入购买VIP会员

JAVA高级面试进阶训练营视频教程

Java架构师系统进阶VIP课程

分布式高可用全栈开发微服务教程Go语言视频零基础入门到精通Java架构师3期(课件+源码)
Java开发全终端实战租房项目视频教程SpringBoot2.X入门到高级使用教程大数据培训第六期全套视频教程深度学习(CNN RNN GAN)算法原理Java亿级流量电商系统视频教程
互联网架构师视频教程年薪50万Spark2.0从入门到精通年薪50万!人工智能学习路线教程年薪50万大数据入门到精通学习路线年薪50万机器学习入门到精通教程
仿小米商城类app和小程序视频教程深度学习数据分析基础到实战最新黑马javaEE2.1就业课程从 0到JVM实战高手教程MySQL入门到精通教程
查看: 516|回复: 0

MySQL分表自增ID解决方案

[复制链接]
  • TA的每日心情
    奋斗
    2024-11-24 15:47
  • 签到天数: 804 天

    [LV.10]以坛为家III

    2053

    主题

    2111

    帖子

    72万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    726782
    发表于 2021-5-6 15:22:18 | 显示全部楼层 |阅读模式

    当我们对MySQL进行分表操作后,将不能依赖MySQL的自动增量来产生唯一ID了,因为数据已经分散到多个表中。  

    应尽量避免使用自增IP来做为主键,为数据库分表操作带来极大的不便。

    在postgreSQL、oracle、db2数据库中有一个特殊的特性---sequence。 任何时候数据库可以根据当前表中的记录数大小和步长来获取到该表下一条记录数。然而,MySQL是没有这种序列对象的。

    可以通过下面的方法来实现sequence特性产生唯一ID:
    1. 通过MySQL表生成ID
    对于插入也就是insert操作,首先就是获取唯一的id了,就需要一个表来专门创建id,插入一条记录,并获取最后插入的ID。代码如下:

     

    CREATE TABLE `ttlsa_com`.`create_id` ( 
    `id` BIGINT( 20 ) NOT NULL AUTO_INCREMENT PRIMARY KEY
    ) ENGINE = MYISAM

     

    也就是说,当我们需要插入数据的时候,必须由这个表来产生id值,我的php代码的方法如下:

    <?php 
    function get_AI_ID() { 
        $sql = "insert into create_id (id) values('')"; 
        $this->db->query($sql); 
        return $this->db->insertID(); 
    } 
    ?>

    这种方法效果很好,但是在高并发情况下,MySQL的AUTO_INCREMENT将导致整个数据库慢。如果存在自增字段,MySQL会维护一个自增 锁,innodb会在内存里保存一个计数器来记录auto_increment值,当插入一个新行数据时,就会用一个表锁来锁住这个计数器,直到插入结 束。如果是一行一行的插入是没有问题的,但是在高并发情况下,那就悲催了,表锁会引起SQL阻塞,极大的影响性能,还可能会达到 max_connections值。
    innodb_autoinc_lock_mode:可以设定3个值:0、1、2
    0:traditonal (每次都会产生表锁)
    1:consecutive (默认,可预判行数时使用新方式,不可时使用表锁,对于simple insert会获得批量的锁,保证连续插入)
    2:interleaved (不会锁表,来一个处理一个,并发最高)
    对于myisam表引擎是traditional,每次都会进行表锁的。

    2. 通过redis生成ID

    function get_next_autoincrement_waitlock($timeout = 60){
     $count = $timeout > 0 ? $timeout : 60;
     
     while($r->get("serial:lock")){
     $count++;
     sleep(1);
     if ($count > 10)
     return false;
     }
     
     return true;
    }
     
    function get_next_autoincrement($timeout = 60){
     // first check if we are locked...
     if (get_next_autoincrement_waitlock($timeout) == false)
     return 0;
     
     $id = $r->incr("serial");
     
     if ( $id > 1 )
     return $id;
     
     // if ID == 1, we assume we do not have "serial" key...
     
     // first we need to get lock.
     if ($r->setnx("serial:lock"), 1){
     $r->expire("serial:lock", 60 * 5);
     
     // get max(id) from database.
     $id = select_db_query("select max(id) from user_posts");
     // or alternatively:
     // select id from user_posts order by id desc limit 1
     
     // increase it
     $id++;
     
     // update Redis key
     $r->set("serial", $id);
     
     // release the lock
     $r->del("serial:lock");
     
     return $id;
     }
     
     // can not get lock.
     return 0;
    }
     
    $r = new Redis();
    $r->connect("127.0.0.1", "6379");
     
    $id = get_next_autoincrement();
    if ($id){
        $sql = "insert into user_posts(id,user,message)values($id,'$user','$message')"
        $data = exec_db_query($sql);
    }

    3. 队列方式

    其实这也算是上面的一个解说
    使用队列服务,如redis、memcacheq等等,将一定量的ID预分配在一个队列里,每次插入操作,先从队列中获取一个ID,若插入失败的话,将该ID再次添加到队列中,同时监控队列数量,当小于阀值时,自动向队列中添加元素。

    这种方式可以有规划的对ID进行分配,还会带来经济效应,比如QQ号码,各种靓号,明码标价。如网站的userid, 允许uid登陆,推出各种靓号,明码标价,对于普通的ID打乱后再随机分配。

    <?php
     
    class common {
     
        private $r;
     
        function construct() {
         $this->__construct();
        }
     
        public function __construct(){
         $this->r=new Redis();
         $this->r->connect('127.0.0.1', 6379);
        }
     
        function set_queue_id($ids){
         if(is_array($ids) && isset($ids)){
         foreach ($ids as $id){
         $this->r->LPUSH('next_autoincrement',$id);
         }
         }
        }
     
        function get_next_autoincrement(){
         return $this->r->LPOP('next_autoincrement');
        }
     
    }
     
    $createid=array();
    while(count($createid)<20){
        $num=rand(1000,4000);
        if(!in_array($num,$createid))
            $createid[]=$num;
    }
     
    $id=new common();
    $id->set_queue_id($createid);
     
    var_dump($id->get_next_autoincrement());

    监控队列数量,并自动补充队列和取到id但并没有使用

    4. redis和db结合。

    使用redis直接操作内存,可能性能会好些。但是如果redis死掉后,如何处理呢?把两种结合一下稳定性会更好

     

    function next_id($name){
        try{
            return $this->next_id_redis($name);
        }
        catch(Exception $e){
            return $this->next_id_db($name);
        }
    }

     

    哎...今天够累的,签到来了1...
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|手机版|小黑屋|Java自学者论坛 ( 声明:本站文章及资料整理自互联网,用于Java自学者交流学习使用,对资料版权不负任何法律责任,若有侵权请及时联系客服屏蔽删除 )

    GMT+8, 2025-1-23 00:58 , Processed in 0.060234 second(s), 27 queries .

    Powered by Discuz! X3.4

    Copyright © 2001-2021, Tencent Cloud.

    快速回复 返回顶部 返回列表