一： 背景 测试反馈dev环境服务不稳定经常报错，查看没有具体业务报错，很是奇怪，于是看了下机器指标，发现内存使用率极高。二：猜想 会不会是因为频换fullgc导致线程卡顿，服务暂停？？？？，带着这个疑问继续分析。三：验证猜想拿到具体的报错traceId 看大部分都是超时，去查看机器日志也没有业务异常。查看机器指标是否异常 从上边看到 机器在某个时候 内存使用量飙升，内存时不时会高起来很多，基本上内存快使用完了。登陆机器查看相应GC指标 可以看到基本上每5 s 一次full gc（从526到527 ）可以看出这是stop the world过于频繁导致，特别值得注意的是，GC前eden的占用是100%，s0的占用是99%，此时还有Allocation Failure说明old区也满了。eden和s0的对象都无法，通过Full GC回收，年轻代对象继续向old区晋升， 但是old区也满了，导致 Allocation Failure 触发Full GC，而且耗时5.12 secs，这可是STW啊，整个系统都暂停响应了。再看GC后的情况 ，eden和s0的占用量 都还是99% 。说明有大对象还在一直占用着引用，full gc 都回收不掉。使用 jmap -histo:live pid | more 查看存活的类 ，只有如下信息（当时没有截图，下图是个实例，也看不来具体大对象） 后来也没发现什么眉目。不挣扎了，由于没有发生OOM，所有在内存使用率较高的时候自己手动dump下来看下吧jmap -dump:format=b,file=文件名 [pid] 复制代码 dump文件比较大，如果要下载下来可以先 压缩 tar -czvf dump.hprof.zip dump.hprof 复制代码获取到dump文件到本地 解压（6g多），使用MAT工具打开。 有时候线上产生的堆dump文件较大，如果你的hprof文件没有问题的话，使用MAT打开的时候总是抛出 Java Heap Error. 可能是默认的1024m内存不够用了，按照下图调大即可。 具体分析 机器配置是参数： JVM_HEAP=＂-XX:NewSize=2048m -XX:MaxNewSize=2048m -XX:SurvivorRatio=8 -XX:+HeapDumpOnOutOfMemoryError -XX:ReservedCodeCacheSize=128m -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m -XX:InitialCodeCacheSize=128m -XX:NativeMemoryTracking=summary＂ JVM_SIZE=＂-Xmx5g -Xms5g -Xss512k＂ 复制代码 可以看到heap的总的大小是5G，年轻代分了2G，但是图中显示已经使用了4.6G，其中还有一个3.7G 的大对象，具体场景可能还涉及项目场次copy的时候，如果copy的还是原先的那个场次（blocktype 100W➕，剩余的内存肯定不够），这个后边会说，这是具体抽象业务。一般在上边那个图中我们大致可以先 Leak Suspects 入手，这边里会给你提示系统现有存在的问题，其他列功能，可以自行了解。 进去后如下图，看到PerformanceCopyThread-1 线程占用了 81% 的内存 大概就是上边看到的3.7G 点开 查看线程堆栈详情以及具体Details ，都指向blocktype（具体业务类） 一个对象的shallow heap的大小指的是该对象在没有引用其他对象的情况下本身占用的内存大小 retained heap是指对象自己本身的shallow heap的大小加上对象所引用的对象的大小。 换句话说retained heap的大小是指该对象被回收时垃圾回收器应该回收的内存的大小。 复制代码这时候只是定位到是一个copy 业务 有问题，但是具体什么为什么占用这么多内存还是理解，具体深入找线索，查看相应 Dominator Tree ，发现数量很多，不太对为什么copy 一个业务 会生成怎么多blocktype。 再次查看 All Accumulated Objects by Class 的内容 （按照顺序显示其引用的对象） 可以看出当前线程 操作了7个 场次copy ，点开查看就比较直观了 打来发现所有的 copy的都是 项目统一业务id 下有 19240 条数据，同时排除了代码中是否所有重复放blocktype的可能性，考虑线程中使用了ThreadLocal ，是否存在copy完一个业务后， 这个场次的相关数据没有清除，直接被第二个copy出来的使用，如果业务过多一直循环下去。 这里已经能看到具体copy的原始数据了，那原始数据会不会有问题，带着疑问去查下业务Id 2788 下的 19240 业务的的blocktype。 发现数据量为 1048577条，问题答案水落石出，这么多数据放到内存里，批量生成插入语句，就会有前边那个堆栈爆出 来问题，同时这么多数据也是在内存里存储，直到所在代码块执行完。后续又仔细过了下代码，发现问题 分析：BlockType 的copy 传入的是原业务Id，方法里拿着原业务id当作目标场次的id，所以copy的具体业务 插入的永远是原场次的blocktype数据，如果copy的场次比较多就会指数级增加，最后导致oom解决方式 blocktype 表加上唯一键限制。四：总结 此问题最最终的原因就是业务中有大量脏数据，加上相应业务代码用错业务id，导致原先大量的脏数据，被加载到内存中，并且是到一定量的时候才会提交，所以一直会在内存中累加，如果脏数据尽可能多后续就会产生oom。 每个公司都有自己的业务，这里只是提供一个排查问题的思路。
诗意胜地红韵湖南这里山水灵动，风光旖旎，有梯田王国紫鹊界世界溶洞极品梅山龙宫被誉为三湘独秀的湄江国家地质公园这里历史悠久，底蕴深厚，是中国蚩尤故里文化之乡湘军发源地，耕读文化源远流长，梅山文化独树新时代中国调研行非凡十年看优势丨下好全国发展的一盘棋从实施区域协调发展战略看中国特色社会主义制度优势新华社北京10月12日电题下好全国发展的一盘棋从实施区域协调发展战略看中国特色社会主义制度优势新华社记者打开中国地图，960万平方公里的广袤大地上，京津冀长三角粤港澳大湾区高质量发湖南工业大学举行优秀影片展播活动展演现场。红网时刻新闻10月11日讯（通讯员黄松剑）为推进党史学习教育常态化长效化，进一步激发广大师生爱党爱国爱社会主义热情，近日，湖南工业大学组织开展优秀影片展播活动，该活动由学伟大复兴壮丽航程丨新时代中国经济取得举世瞩目成就央视网消息（新闻联播）党的十八大以来，以习近平同志为核心的党中央统筹中华民族伟大复兴战略全局和世界百年未有之大变局，团结带领全党全国各族人民砥砺奋进，攻坚克难，领航中国号巨轮驶向高曼城头号废柴！手球致进球无效点球不进，本赛季13场只进2球欧冠小组赛第4轮，曼城客场00战平哥本哈根，但依然提前出线。本场比赛，31岁的马赫雷斯首发出场，但表现糟糕。首先，他的手球导致罗德里的禁区无效。随后，他又罚丢了可以首开纪录的点球。毛主席参观故宫城墙三次却不踏入半步，是为何？真实原因让人敬佩据曾经担任过故宫博物院保卫科科长的韩炳文回忆，伟大领袖毛主席是的的确确去过故宫的，而且还去过三次，只是每次都只走到了城墙参观，就是没有走进去。其实，早在北平和平解放的时候，周恩来等关羽为何离开曹操呢？除了刘备外，还有1个原因，至今无人相信三国时期可以说是人才辈出的时代，这个乱世之中出现很多英雄豪杰，比较出名的霸主如曹操刘备孙权等人。他们手下能人奇士很多，可谓是谋士成群，战将如云，智谋超群的谋士很多，如诸葛亮司马懿周空间引力波探测星间激光链路构建研究取得进展太极计划通过卫星编队的形式进行空间引力波探测，而构建星间激光链路是其中的关键环节之一。相比应用于星间激光通信重力场测量等领域的传统星间激光链路构建任务，太极计划需应用有限的星上资源1例感染者轨迹公布！北京丰台疾控有交集请立刻报备央视网消息9月30日10月1日10月2日，北京市丰台区1例新冠肺炎病毒感染者曾前往花乡街道陈留村平房区员工宿舍附近陈留公园西侧公厕如厕。具体轨迹为9月30日早上从陈留村平房区员工宿今天1935！央视二选一，北京球迷失望，首钢首战大捷？2022赛季CBA常规赛已经正式开打，今天将迎来一场焦点战，北京对阵福建。上赛季常规赛北京24胜14负排名联赛第7，季后赛首轮02不敌吉林惨遭淘汰。爆冷输给吉林让北京队痛定思痛，刚她是毛主席的机要秘书，曾对邓公恶语相向，文革后被捕全身而退她是毛主席最信任的机要秘书，38岁担任北京市委书记，文革时，她曾带头批判邓公，当面大声叱骂，后来还在大会上公然整周公，文革结束后她被依法逮捕，却又全身而退，安安稳稳活到81岁。她就