Mycat性能调优指南
JVM调优:
内存占用分两部分:java堆内存+直接内存映射(DirectBuffer占用),建议堆内存
适度大小,直接映射内存尽可能大,两种一起占据操作系统的1/2-2/3的内存。
下面以服务器16G内存为例,Mycat堆内存4G,直接内存映射6G,JVM参数如
下:
-server -Xms4G –Xmx4G XX:MaxPermSize=64M -XX:MaxDirectMemorySize=6G
用mycat console等命令启动MyCAT的,JVM参数都在confwrapper.con文件中,下面是一段实例:
# Java Additional Parameters
wrapper.java.additional.5=-XX:MaxDirectMemorySize=2G wrapper.java.additional.6=-Dcom.sun.management.jmxremote # Initial Java Heap Size (in MB) wrapper.java.initmemory=2048 # Maximum Java Heap Size (in MB) wrapper.java.maxmemory=2048 操作系统调优:
最大文件句柄数量的修改,设置为5000-1万,在Mycat Server和Mysql数据库的机器上都设置。Linux操作系统对一个进程打开的文件句柄数量的限制(也包含打开的SOCKET数量,可影响MySQL的并发连接数目).这个值可用ulimit命令来修改,但ulimit命令修改的数值只对当前登录用户的目前使用环境有效,系统重启或者用户退出后就会失效。
Mysql调优:
最大连接数设置为2000
[mysqld]中有参数
max_connections = 2000
mysql> show global status like "Max_used_connections";
MySQL服务器过去的最大连接数是245,没有达到服务器连接数上限256,应该没有出现1040错误,比较理想的设置是:
Max_used_connections / max_connections * 100% 85%
最大连接数占上限连接数的85%左右,如果发现比例在10%以下,MySQL服务器连接上线就设置得过高了。
Mycat调优:
Conf/log4j.xml中,日志级别调整为至少info级别,默认是debug级别,用于排查错误,不能用于性能测试和正式生产中。
conf/server.xml中 有如下参数可以调整:
1
下面这个参数为每个processor的线程池大小,建议可以是16-64,根据系统能力来测试和确定。
16
System中以下重要参数也根据情况进行调整
processorBufferPool :每个processor分配的Socket Direct Buffer,用于网络通信,每
个processor上管理的所有连接共享,processorBufferChunk为Pool的最小分配单元,每个POOL的容量即为processorBufferPool/processorBufferChunk,默认前者为1024 * 1024 * 16=16M,后者为4096字节。processorBufferPool参数的调整,需要观察show @@processor的结果来确定:
BU_PERCENT为已使用的百分比、BU_WARNS为Socket Buffer Pool不够时,临时创新的新的BUFFER的次数,若百分比经常超过90%并且BU_WARNS>0,则表明
BUFFER不够,需要增大processorBufferPool。基本上,连接数越多,并发越高,需要的POOL越大,建议BU_PERCENT最大在40-80%之间。
conf/schema.xml中有如下参数可以调整:
,checkSQLschema属性建议设置为false,要求开发中,不能在sql中添加数据库的名称,如select * from TESTDB.company,这样可以优化SQL解析。
性能测试的时候,建议minCon=maxCon= mysql max_connections
设为2000左右。
另外,读写分离是否开启,根据环境的配置来决定。
缓存优化调整:
Show @@cache命令展示了缓存的使用情况,经常观察其结果,需要时候进行调整:
一般来说:若CUR接近MAX,而PUT大于MAX很多,则表明MAX需要增大, HIT/ACCESS为缓存命中率,这个值越高越好。重新调整缓存的最大值以后,观测指标都会跟随变化,调整是否有效,主要观察缓存命中率是否在提升,PUT则下降。
目前缓存服务的配置文件为:cacheservice.properties,主要使用的缓存为enhache,enhache.xml里面设定了enhance缓存的全局属性,下面定义了几个缓存:
#used for mycat cache service conf
factory.encache=org.opencloudb.cache.impl.EnchachePooFactory
#key is pool name ,value is type,max size, expire seconds
pool.SQLRouteCache=encache,10000,1800
pool.ER_SQL2PARENTID=encache,1000,1800
layedpool.TableID2DataNodeCache=encache,10000,18000
layedpool.TableID2DataNodeCache.TESTDB_ORDERS=50000,18000
l SQLRouteCache为SQL 解析和路由选择的缓存,这个大小基本相对固定,就是所有 SELECT语句的数量。
l ER_SQL2PARENTID为ER分片时候,根据关联SQL查询父表的节点时候用到,没有用到 ER分片的,这个缓存用不到
l TableID2DataNodeCache,当某个表的分片字段不是主键时,缓存主键到分片ID的关系, 这个是二层的缓存,每个表定义一个子缓存,如"TEST_ORDERS",这里命名为 schema_tableName(tablename要大写),当有很多的根据主键查询SQL时,这个缓存往往需要设置比较大,才能更好的提升性能。
Mycat大数据量查询调优:
1.返回结果比较多
建议调整 frontWriteQueueSize 在系统许可的情况下加大,默认值*3
这个原因是因为返回数据太多
这里做了一个改进,就是超过POOL以后,仍然创建临时的BUFFER供使用,但这些不回收… 这样的情况下,需要增加BUFFER参数
调整 processorBufferPool = 默认值*2
不够的情况下,继续加大。
学习更多JAVA知识与技巧,关注与私信博主(学习)免费学习领取
iOS15。2三小时续航实测,超越上个版本!网友为何差评不断?不知道大家买了手机之后最在意的是什么?外观发热拍照还是续航?相信很多小伙伴都和我一样更关心的是续航,因为外观和发热有问题还可以凑合,但是出门手机没电实在是太难受了。这不前两天苹果就
传音近年业绩情况怎么样?传音控股非洲市场占有率40以上,号称非洲之王,同时在其他新兴市场如巴基斯坦孟加拉印度也有比较高的市场份额,目前传音在海外除了手机产品之外,也有其他产品,如智能配件家电等,并且也在打
社群小圈子让多少人画地为牢从诞生之日起,互联网就寄托着人们对互联互通的一切美好想象。人们曾经坚信现实世界的社交障壁在网上毫无意义,人与人群体与群体之间的隔膜与界限终将成为过去。当互联网刚走进普通家庭时,人们
5000mAh电池只是起步,四款大容量手机盘点,闭眼入手不亏游戏到了关键时刻,可能马上就胜利了,突然弹出来的一个电量不足直接就把游戏玩死了,这是最让人恼火的。还有喜欢拍照的小伙伴好不容易找到一个好的拍摄角度,还没来得及拍下来就关机了,无奈至
iQOO818分钟充电100的游戏手机,120Hz高刷6400万像素性能怪兽iQOO8作为VIVO销量的主力军相信大家一定不陌生,本就是一台专注性价比的手机而且还是官方比赛用机,当你高度用机时体验真的好。游戏手机它搭载一块6。56英寸的三星AMOLED直板
Nova6以后再无Nova优点1。麒麟9904G。目前华为nova系最强的性能(谁能想到6代比7代8代性能强这么多流汗滑稽)2。40W快充。虽然友商都上120W了,但是我从iPhone7换过来,感知非常强受
小米12高清渲染图RedmiK50系列版本曝光最近,陆续有厂商被曝光了旗下新旗舰的相关信息。其中,小米新一代数字旗舰的疑似发布时间在这些消息中更早一些。按照现有的信息来看,全新的小米12系列有望在本月末就正式到来。现在随着爆料
小米12,就长这样了吗?你觉得怎么样?从轻装上阵的小米11,到安卓之光的小米11Ultra,小米去年的数字旗舰承载了其冲击高端的壮志,也承载了许多米粉们的期望。或许是造化弄人吧,各种因素内外交织之下,小米11系列似乎未
智慧农业核心技术之农业信息安全与农业区块链智慧农业核心技术之农业信息安全与农业区块链1农业信息安全重要性及研究方向信息安全不仅是发挥信息革命带来的高效率高效益的有力保证,更是抵御信息侵略的重要屏障。信息安全问题全方位地影响
新药研发有了AI参谋!中关村AI新药研发平台落成12月19日,由中关村生命科学园与角井(北京)生物技术有限公司共同发起建设的中关村AI新药研发平台在北京中关村生命科学园举办落成典礼。该平台于2020年12月正式开始筹建,将利用人
币安在印度尼西亚开发加密货币交易所币安已与由TelkomIndonesia8。3亿美元风险投资部门牵头的财团组建了一家合资企业。币安旨在通过开发新的印尼数字资产交易所来扩展印尼的区块链生态系统。币安在印度尼西亚建立