保健励志美文体育育儿作文
投稿投诉
作文动态
热点娱乐
育儿情感
教程科技
体育养生
教案探索
美文旅游
财经日志
励志范文
论文时尚
保健游戏
护肤业界

亿级用户大表如何作水平拆分?

  一般面对几千万级的数据,刚开始可能都是把数据放在MySQL的一个单库单表里,但往往这么大量级的数据到后期,数据库查询速度就很慢,因为数据量级太大,导致表的索引很大,树的层级很高,进而导致搜索性能下降,而且能放内存缓存的数据页是比较少。
  所以推荐MySQL单表数据量不超过1000w,最好是在500w内,若能控制在100万以内,那是最佳选择,基本单表100万以内的数据,性能上不会有太大的问题,前提是,只要你建好索引就行,其实保证MySQL高性能通常没什么特别高深的技巧,就是控制数据量不要太大,另外就是保证你的查询用上了索引就行。
  针对该问题,就能分库分表,可选择将该用户大表拆分为比如100张表,那么此时几千万数据瞬间分散到100个表里去,类似user001user002user100
  这样的100个表,每个表也就几十万数据而已。
  其次,可将这100个表分散到多台数据库服务器上去,此时要分散到几台服务器呢?你要考虑两个点,一个是数据量有多少个GBTB,一个是针对用户中心的并发压力有多高。
  互联网公司对用户中心的压力不会高到离谱,因为一般不会有很多人同时注册登录或同时修改自己的个人信息,所以并发不是大问题。
  数据量层面,一般1亿行数据,大致在1几GB之间的范围,和具体你一行数据有多少个字段也有关,所以说你几千万的用户数据,往多了说也就几个GB。这点数据量,对服务器存储空间没压力。
  综上,此时你完全能给他分配两台数据库服务器,放两个库,然后100张表均匀分散在2台服务器。分的时候,注意指定一个字段来分,一般就指定userid,根据用户id进行hash后,对表进行取模,路由到一个表里去,这就能让数据均匀分散。
  至此搞定用户表的分库分表,只要给系统加上数据库中间件技术,设置好路由规则,即可轻松对2个分库上的100张表crud。平时针对某个用户增删改查,直接对他的userid进行hash,然后对表取模,做个路由,就知道到哪个表里去找这个用户的数据了。
  但是这里可能会出现一些问题:用户在登录时,可能不是根据userid登录,而是根据username、手机号,此时你就没有userid了,怎么知道去哪个表里找这个用户的数据判断是否能登录?对此。常规方案是建立一个索引映射表,搞个表结构为(username,userid)的索引映射表,把username和userid一一映射,然后针对username再做一次分库分表,把这个索引映射表可拆分为比如100个表分散在两台服务器。然后用户登录时,就能根据username先去索引映射表里查找对应userid,比如对username进行hash,然后取模路由到一个表里去,找到username对应的userid,接着根据userid进行hash再取模,路由到按照userid分库分表的一个表里,找到用户的完整数据。但这种方式会把一次查询转化为两个表的两次查询,先查索引映射表,再根据userid去查具体的数据,性能有损耗,不过有时为解决分库分表问题,也只能用这种方案。
  另外就是若公司运营团队里,有用户管理模块,需要对公司的用户按照手机号、住址、年龄、性别、职业等各种条件搜索,这咋办?
  没啥好办法,基本上就是要对你的用户数据表进行binlog监听,把你要搜索的所有字段同步到ES,建立好搜索的索引。然后你的运营系统就可以通过ES进行复杂的多条件搜索,ES是适合干这个事儿的,然后定位到一批userid,通过userid回到分库分表环境里去找出具体的用户数据,在页面上展示出来即可。
  这就是一套比较常规和完整的分库分表的方案。

技巧大集合,熬夜总结53个Python使用技巧和攻击方法1。易重构本节对一些Python重整的操作进行对比。1。1有放回随机样本和无放回随机样本私信小编01即可获取大量python学习资源随机导入random。choic……满满干货!20个Python使用的小技巧1。易混淆操作本节对一些Python易混淆的操作进行对比。1。1有放回随机采样和无放回随机采样importrandomrandom。choices(seq,k1)长……2021中国公路学会智慧交通年会发布准全天候通行解决方案12月5日至7日,2021中国公路学会智慧交通年会在广西南宁顺利召开。在广西沙吴路智慧高速现场,会上发布准全天候通行解决方案,该解决方案旨在减少或消除高速公路雾天封路,提升道路……我爱灰太狼观后感900字前几天,我看了新上映的电影《我爱灰太狼II》,情节丰富、搞笑,很吸引人,播放时,大家笑个不停。看电影前,我先买了一杯爆米花,在外面边吃边等。到里面,全都是812岁的小朋友,个个……选择作文范文400字站在车水马龙的十字路口,我看者对面、两旁的人,有的人要左转,有的人要右转,他们都有目标,正要朝自己的。目的地而去,只等信号灯一闪,就能起步前行了,街上人多,有人一脸笑容,也有人……1分钟个性自我介绍激情,工作中不可或缺的要素,是推动我们在工作中不断创新,全身心投入工作的动力。以下是为大家整理的1分钟个性自我介绍,希望对你们有所帮助!篇一:1分钟个性自我介绍我叫张,今……做一个有梦想的人作文500字今天,我在电脑上看了一部电影,名字叫《小小飞虎队》,使我受益匪浅。我最喜欢大壮了,别看他虎头虎脑的,但在八路军叔叔老洪把这个神秘的情报交给他时,他不怕鬼子,还想单独去临城……为什么人类不吃大王酸浆鱿鱼?能吃吗?既然抹香鲸可以吃大王酸浆鱿鱼,那么人类也是可以吃的,但是口感如何这就不知道了。不知道是谁给它们取的名字,貌似口味都体现出来了,酸浆鱿鱼你说好不好吃。大王酸浆鱿鱼属于体型最……珍惜时间的格言1、谁对时间最吝啬,时间对谁越慷慨。要时间不辜负你,首先你要不辜负时间。放弃时间的人,时间也放弃他。2、光阴潮汐不等人。mdash;mdash;缅甸3、光阴有脚当珍……读弟子规有感作文800字《弟子规》具体列举出为人子弟在家、出外、待人接物、求学应有的礼仪和规范,是启蒙养正,教育子弟敦伦尽份、防邪存诚、养成忠厚家风的最佳读物。家里的这本是五年级时爸爸送我的。。……神勇投弹手观后感500字【篇一】最近,我看了一部红色战争片,不过略带搞笑。在大家看来,电影就是让人放松心情的,但是在我看来,电影是能打动人心的。这部电影主要讲述了智商低的傻子在进入了部队后……描写景点的优秀作文6篇篇一:鹤伴山我的家乡是一个山清水秀的小县城,那里最有名的山师鹤伴山。清晨,山上的小河飘着薄薄的雾,天边的晨星和山上的点点灯光隐隐约约的倒影在河水中,银光闪闪,十分动人。……
歌尔股份公司已经积累了AR核心器件模组以及AR整机项目的相关36氪获悉,歌尔股份在互动平台表示,公司看好VRAR行业的未来发展,并在相关领域内进行了相应的人才、技术和产品布局。公司可以为客户提供AR光学器件及模组、AR光机等核心零组件以……那些让我由衷记忆作文路过那多少次曾经迷失的岁月,失去过,那些多少曾经最难释怀的美好,那多少个曾经过后的曾经。一个人走,一群人走,一路的获得,一路的丢失,一路的忘记。回忆都是美好的,记忆都永远是崭新……奶奶看电视声音开很大声都听不清楚,戴上助听器能听见电视的声音你好,估计是你奶奶的听力出现了问题,一般戴上助听器经过康复后是可以听清楚电视的声音,建议带上奶奶去当地的听力机构咨询检查听力。助听器可以帮助老人听到声音,戴上助听器的效果……腾讯优酷和爱奇艺相比,哪个视频软件好?极客谈科技局,全新视角、全新思路,伴你遨游神奇的科技世界。在我们平时的生活中,腾讯、优酷、爱奇艺,是我们平时追剧的三大神器,看电视剧、网剧、电影、综艺等节目,基本都要用到……四年级书信谢谢您,老师亲爱的李老师:您好!今天早上,我在校门口读书,您骑着车子从学校里走过,当我这两个月第一眼看到您的面孔时,心里甚是想念。就在我要写这一封信时,脑海中又浮现出您的模样,……曹晓烨刘东现货互联网交易犯罪的刑事责任研究曹晓烨上海市杨浦区人民检察院副检察长;刘东上海市杨浦区人民检察院第六检察部检察官助理。内容摘要现货互联网交易犯罪涉案人员众多、涉案金额巨大,严重侵害投资者的财……爱护公共设施5月22日早上,刘波波和张俞渝在讲台上读他们写的检查。事情是这样的:昨天下午,他们去上厕所,刘波波看见张俞渝把一个垃圾桶踢到了马桶里,他看见了,也把一个垃圾桶踢了。又踩坏了三个……VR技术现在发展到什么地步了?前段时间热映的电影《头号玩家》,一度引起了人们的热议。除了精彩的故事情节之外,电影中游戏玩家们超级炫酷的VR虚拟世界的游戏体验,引起了大家的热议。人们不禁想问:近几年来就一直频……你看好腾讯微视的未来吗?经过一年多的发展,抖音自2018年春节之后达到了高光时间,至今热度一直不减。此前,关于抖音狙击快手、灭掉微博、杀死朋友圈的报道不断。加上微信、QQ用户同比增幅的下滑,以及……如何看待iPhoneX取消运营商文字显示这件事?据说,新出炉的iPhoneX在刚刚出世就面对很多争议,不仅是头顶上有个刘海,更严重的是,苹果新版的手机取消了电信运营商名称的显示。多家外媒报道,在以往的iPhone或者其……极米投影仪3D眼镜使用说明充电时间:约23小时;开机:按下电源键,绿色LED灯一闪即表示眼镜已开机。关机:长按电源键3秒,绿色LED灯闪烁3次。待机状态:超过5秒无3D信号后,眼镜会自动切换到待机……李礼辉警惕超主权的货币替代10月23日,中国互联网金融协会区块链研究组组长、中国银行原行长李礼辉在2021全球财富管理论坛上表示,近年来,以虚拟货币为主体的去中心化金融快速发展。同时,以Libra(现称……
友情链接:易事利快生活快传网聚热点七猫云快好知快百科中准网快好找文好找中准网快软网