作者：云智慧算法工程师 Hugo Guo 运维日志领域研究方向主要包含异常日志检测、日志模式解析、日志内容分类、日志告警等。本篇文章介绍了热门异常检测模型 DeepLog、A2Log 等模型，以及云智慧自研模型 Translog 等。与此同时，在文章最后介绍了未来基于深度学习的运维日志领域主要研究方向。日志研究概述日志任务与数据 日志是运维领域中的必不可少的一种半结构化数据类型，基于此开展的研究任务也多种多样。 日志数据实时处理主要包含以下几方面：Log Compression：在运行时压缩软件日志。Log Parsing：从软件日志中自动提取事件模板和关键参数。Log Mining：提高系统的可靠性，主要关注异常检测。 日志模式解析 海量日志数据之间语义相似性较高，实际需求需要将日志表示化。因此学者期望对日志提取出固定的模版以求代表整个日志数据库。 下方为四个经典的日志模式解析算法：Drain（基于树结构相似度）Spell（最长公共子序列）AEL （常数和变量的发生频率）IPLoM（迭代分区策略，根据消息长度、令牌位置和映射关系等） 下图为日志模版提取过程，从上到下依次是原始日志，解析后的日志模版。 学术前沿工作分享DeepLog DeepLog 是日志深度学习开山之作，采用LSTM编码提取好模板的日志并为给定序列中的下一个模板提供了一个具有概率的排序输出，以此进行异常检测。 A2Log A2Log 采用无监督的方式去寻找正常和异常之间的boundary，基于Attention机制和最新的Transformer框架，对正常的日志输出得分根据阈值去判别boundry。 LogRobust LogRobust 双向LSTM+Attention进行编码分类，对原始日志的模版进行word vector的向量化送入模型进行分类。 HitAnomaly HitAnomaly 是对于日志模版和参数分别采用Transformer进行编码。 Logsy Logsy 测试数据来源于新的系统，同时最后将异常分数加入考虑。 自研模型分享Translog Translog 首次考虑多来源、资源不对齐的日志源异常检测。是基于 Transfer learning 和 Transformer 的全新框架 Pretraining 和 Tuning 的学习范式，通过 Translog 消耗可降低为原来的5%，但是效果达到 SOTA。 Adapter Adapter 的结构十分简单，像一个适配器为大模型的知识流动进行贯通。 下图右所示的是不同的日志源有着相同的异常问题，为迁移学习提供可能性。 云智慧将 Adapter 在三个公开数据集上进行测试，最终 Adapter 算法都获得了SOTA。同时 Adapter 的参数量减少了将近百分之95% 下图左方的试验说明预训练的方式会比直接从头开始训练更快收敛，同时会在较少的step下得到更高的F1分数。下图右方试验说明不同数据源的预训练的模型会产生不同的效果，发现BGL的预训练模型效果更好。 下图试验说明 Translog 在 low-resource 会表现出比正常的更好的结果。说明对于其他分布不均衡的日志源我们的模型也会有一定较好的效果。 LogLG LogLG 是日志 parsing 和 detection 一体的 end-to-end 框架，以弱监督的方式提取日志 raw 语料中的关键词。与此同时，LogLG 是一种全新的日志模版数据结构，提出了模版图的概念。 Motivation 日志中有些关键词之间的联系模型往往忽略，例如warning这个关键词，既存在正常日志中，也存在异常日志。需要建立细粒度的关键词联系。日志的标签获取较难，弱监督或者无监督的方式会更易于用在实际中。以往的日志异常检测对于解析和检测分开，或者没有解析，这都会造成日志信息的冗余或者消失。 Multimodality for AIOps Multimodality for AIOps 是日志(logs)、调用链(traces)、指标（metres）三者相辅相成构成运维领域的多模态问题。任务设计方面输入为多种模态数据，预测下一个template（Next Template Prediction）。模型采用Transformer架构，embedding方式采用bert，最大程度的保存原始多模态信息。 未来研究方向 因日志和运维数据本身的结构特点，预测接下来该领域深度学习研究的痛点和可能发展方向主要为以下三方面：日志本身的标签获取较难，无监督或者弱监督的深度方法将大量涌现，帮助该领域人员在无标签的数据情况下更好的从事实际研究和落地发展。日志领域多模态领域的发展，扩充日志本身的原始信息，因此会出现很多的基于自监督的方法和多种模态数据相结合的方向，朝着运维一体化更好的发展。大规模预训练日志模型被需求，一个学习各种运维知识和日志模式的大模型将在未来充当AIOps的研究典范。更好服务下游各种任务。开源项目推荐 云智慧已开源数据可视化编排平台 FlyFish 。通过配置数据模型为用户提供上百种可视化图形组件，零编码即可实现符合自己业务需求的炫酷可视化大屏。 同时，飞鱼也提供了灵活的拓展能力，支持组件开发、自定义函数与全局事件等配置， 面向复杂需求场景能够保证高效开发与交付。 如果喜欢我们的项目，请不要忘记点击下方代码仓库地址，在 GitHub / Gitee 仓库上点个 Star，我们需要您的鼓励与支持。此外，即刻参与 FlyFish 项目贡献成为 FlyFish Contributor 的同时更有万元现金等你来拿。 GitHub 地址： https://github.com/CloudWise-OpenSource/FlyFish Gitee 地址： https://gitee.com/CloudWise/fly-fish
吉林小伙身患怪病，每到夜晚就发出嘶吼声，医院却检查不出来病因文不言编辑史记鉴赏一名男子在床上不停地翻滚，双手控制不住地用手打头，嘴里不停地吼叫着什么吉林省九台市一名男子每到晚上便会发出奇怪的嘶吼声，多次去医院检查，可就连医生也无法给出具体的统一又近一步，中国加强管控台湾海峡，民进党和国民党一起反对长期以来，美国借着台湾海峡是国际水域为由，在这里大搞所谓的自由航行，对此中方已经多次向美方提出交涉，却被美国选择无视。据环球网报道，美国务院发言人普莱斯在回复一封电子邮件时，再度不6月15日一虎四厅官被通报一法院女院长被曝徇私枉法6月15日，反腐新闻不少。值得关注的有几个方面一是一名大老虎级别的中管干部国家粮食和物资储备局原局长张务锋落马，6月以来前面已有3名中管干部被查，分别是广东省人大常委会党组成员副主与世隔绝的唐山被打女孩！好心人送花去医院，却被神秘看守拒收唐山烧烤店的被打的4位女生牵动了全国人民的心，自从被打后送到医院，这四位女生及其家属就没有任何消息，官方给出的通告只是女孩生命体征平稳，没有死亡。而从被打的视频看一位被打的女孩浑身4050政策又迎新改动？年龄40岁以上且满足条件，或可申领补贴引言大部分大学生毕业后都才2223岁，就算我们从25岁算起，连续缴纳15年，到了40岁就已经满足条件，等到退休后也能领取一定的退休养老金。而如今网上还有人讨论，我国4050政策又迎伍德交易需等到选秀大会完成，6个月后可4年7700万续约TheAthletic记者ShamsCharania报道，火箭将克里斯蒂安伍德交易至独行侠，换回今年的26号签，博班马扬诺维奇斯特林布朗特雷伯克和马奎斯克里斯ESPN薪资专家Bob400亿千金虞书欣和王思聪一晚花20万，参加选秀只为追星？被称为400亿千金的虞书欣，到底有多壕？作为现实版的沪上小公主，上海首富之女刘珈希是她的闺蜜，万达少爷王思聪是她的好友。年仅15岁便拥有4000万身家，家中的资产更是高达400亿。2020年，儿媳成植物人，婆婆拍800条视频记录康复，成网红都知道，婆媳关系不好处，好多人还处成了冤家对头。但今天要说的这对婆媳，却让网友产生新的认知。2020年4月，安徽阜阳女子韩元元突发脑出血，做三次开颅手术，在半年时间里都是植物人状态牛啊，32022世界女排联赛巴西站，迎来一场强强对话，两支夺冠热门之间的较量巴西女排对阵土耳其队女排，最终，巴西队先输一局的情况下31强势逆转，收获了第4场胜利，牛啊！赛后，巴西的球员和现想爱你和想睡你的区别搞笑一刻漫画来自于匡北北文百芜baiwu关注我，每天分享有趣漫画！一个人接近你的目的，从刚开始就已经决定了你们两个最后的结局。不真诚的人，一开始就只为了ta那一点点昭然若揭的小心思慈善家陈光标否认资助唐山被打女孩60万，理由引发网友热议01。hr近日，唐山打人事件牵挂着全国人民的心！目前九位施暴者均已被抓，等待他们的将是法律的制裁和道德的指责！但相比施暴者的结果，网友们更想知道被打女孩是否会选择私下和解！因为如果