FlinkOLAP助力ByteHTAP亮相数据库顶会VLDB
2022 年 9 月 5 日至 9 月 9 日,VLDB 2022 在澳大利亚悉尼举行。字节跳动基础架构研究成果《ByteHTAP: ByteDance’s HTAP System with High Data Freshness and Strong Data Consistency》被 VLDB 2022 接收,并受邀进行现场报告。
VLDB 会议全称 International Conference on Very Large Data Bases,是数据库领域历史悠久的三大顶级会议 (SIGMOD、VLDB、ICDE) 之一,同时也是数据库领域杰出研究和发展成果的实时传播场所,反映了当前数据库研究的前沿方向、工业界的最新技术和各国的研发水平。VLDB 自 1975 年成立,每年吸引全球顶级研究机构投稿,对系统创新性、完整性、实验设计等方面都要求极高。
论文核心贡献
《ByteHTAP: ByteDance’s HTAP System with High Data Freshness and Strong Data Consistency》介绍了字节跳动为应对业务场景而构建的具有高数据新鲜度和强数据一致性的 HTAP 系统。 ByteHTAP 采用独立引擎和共享存储架构,它的模块化系统设计充分利用了字节跳动现有的 OLTP 系统和 OLAP 系统。 ByteHTAP 可以在不到 1 秒的延迟下提供高数据新鲜度,为客户带来许多新的商机,客户还可以根据业务需求配置不同的数据新鲜度阈值。 ByteHTAP 通过其 OLTP 和 OLAP 系统的全局时间戳提供强大的数据一致性,使研发人员不必处理系统中复杂的数据一致性问题。 ByteHTAP 使用 Flink 作为 OLAP 计算引擎,在计算和存储中引入了一些重要的性能优化,例如重构 Flink 作业调度流程以提升查询 QPS,将计算推到存储层,以及使用删除位图来有效地处理删除等。 文章最后分享了字节跳动在生产中开发和运行 ByteHTAP 的经验教训与最佳实践,包括跨 OLAP 数据库查询能力、高效的数据导入、对 Flink 的开发增强等。
核心计算引擎 Flink OLAP
Flink 作为 ByteHTAP 系统的 OLAP 计算引擎,目前已经在公司内部多个业务上线使用。字节跳动 Flink 技术团队为 Flink 引擎支持 OLAP 计算做了大量深入优化,有效提升 Flink OLAP 计算性能。目前1600 核集群,小数据量下128并发简单查询调度 QPS 达到 1000 以上,复杂查询调度 QPS 达到 100 以上;1000 并发 WordCount 查询 Latency 在 100ms 左右。接下来我们会以 https://issues.apache.org/jira/browse/FLINK-25318 为主,陆续将内部优化贡献给社区。 查询优化器。支持 TopN,Aggregate 等算子下推;支持 Plan Cache 和 DAG 并行构建;支持 Cached Catalog。TPC-DS SF100 性能提升 20% 以上。 查询执行优化。支持 ClassLoader 复用和跨作业的 Codegen Cache,降低执行阶段 CPU 使用率和 Meta Space 占用;实现 Runtime Filter 优化 Join 计算性能;异步数据读取和并发度优化等。 资源管理和作业调度。简化查询资源申请和释放流程,优化 JobMaster 与 ResourceManager/TaskManager 节点交互,实现按照 TaskManager 粒度分配作业资源,提升资源申请性能;支持批量部署计算任务,优化部署结构和序列化/反序列化,提升计算任务部署性能。 查询结果管理。实现通过 Websocket 协议提交查询,计算结果返回从 Pull 模式优化为 Push 模式,避免 Pull 轮询等待耗时;通过 Dispatcher 连接复用,减少 JobMaster 和 TaskManager 在查询和计算任务初始化时创建不必要的连接和交互,降低查询 Latency。 内存管理优化。优化 MemoryManager 和 NetworkBufferPool 内存申请和释放管理,减少计算任务启动和停止时的内存交互次数和锁数量;通过减少不必要的 Metrics,增加并行 GC 等优化降低JobManager/TaskManager 节点的 FGC/YGC,提升查询执行性能和生产集群稳定性。 网络管理优化。实现 TaskManager 多作业网络连接复用,优化上下游计算任务 Partition Request 交互流程,减少了网络层频繁初始化损耗和上下游计算任务消息数量,提升计算任务初始化性能。 资源隔离管理。支持按照 TaskManager 维度管理资源组,多租户间查询作业实现物理隔离;实现 TaskManager 内计算任务细粒度调度和执行,支持高负载情况下的小查询优先策略。
字节跳动最佳实践
在字节跳动内部,ByteHTAP 目前已支持 User Growth、电商、幸福里、飞书等业务,共 11 个集群 6000+ Core AP 资源,每天 Query 50w+。
作为 ByteHTAP 核心计算引擎的 Flink OLAP,目前相关能力正逐步上线火山引擎商业化产品-流式计算 Flink 版-火山引擎。作为将字节跳动内部云原生大数据方案整合优化后输出的企业级统一计算引擎,流式计算 Flink 版具备开箱即用、弹性部署、流批一体、OLAP 多模态计算等特性。
点击下载论文原文:「链接」
用了2个月苹果14ProMax,换到vivoX90Pro体验更棒了,只因这5点2个月前花接近九千多入手了iPhone14ProMax,说实话,用起来去年的iPhone13ProMax没感觉有什么提升,所以说苹果这几年一直在挤牙膏,我这个果粉觉得完全有道理,虽
怎么提取伴奏?有什么实用的提取软件?由于我喜欢唱歌,所以在读书时期偶尔会参加学校的一些歌唱比赛或是文艺汇演。而一开始的我没什么经验,练习时都是放着原声带跟唱,但是到了舞台上发现只要有伴奏,一时间卡不到开唱的点,甚是尴
鞍本重组成功,打造国企改革标志性案例日前,鞍钢集团举办了鞍本整合重组一周年线上新闻发布会,宣布鞍本重组成功,构建了中国钢铁产业新格局,成为国企改革三年行动标志性案例。鞍本重组对维护国家五大安全推动钢铁产业布局优化和结
辐射绍兴嘉兴等地!杭州临空经济示范区产业发展规划即将出炉,亮点抢先看!近日,杭州对临空经济示范区管委会体制机制进行调整,按照钱江新城管委会杭州临空经济示范区管委会两个机构一体化合并运营的方式,组成新的杭州临空经济示范区党工委管委会,按照省级支持市级统
钓友八方云集独钓白蕉海鲈中国斗门垂钓大赛庆年鱼千山鸟飞绝,万径人踪灭。孤舟蓑笠翁,独钓寒江雪。唐代诗人柳宗元的江雪人们都耳熟能详,脑海中自然而然会出现一位渔翁身披蓑笠江上垂钓的场面。在南国珠海岭南水乡,大江大海之处,尽管一年中
新型登月火箭和飞船成功,国际空间站不退役,美国航天真衰落了?最近,美国新一代登月飞船猎户座号完成阿尔忒弥斯一号无人绕月任务,成功返回,对小编的触动是比较大的。曾经,我们一次次嘲笑SLS火箭发射延迟,不知当时是否想过如今的结果,美国重返月球虽
数据库行业专题研究关键三问深度解读(报告出品方作者中信证券,杨泽原丁奇马庆刘)报告亮点及创新之处本报告以市场上核心关注的三个数据库行业问题为抓手,创新性的展开对数据库行业的讨论与分析,帮助读者重点理解当前数据库行业
维护药品市场正常秩序!多地出手近日,针对医药物资用品紧缺部分涉疫物资价格异常波动等情况,多地出台措施,全力保障医药物资用品供应,维护药品市场正常秩序。来看经济日报记者在北京海南成都等地的采访报道北京打通药品供应
广州外卖下单后缺骑手配送?平台订单增多,将招募更多骑手12月15日,南都记者帮接到不少广州市民反映,称近日点外卖后一直无骑手接单,平台显示还在召唤骑手,导致送餐时间延长。记者注意到,不少网友也反映遇到类似情况。对此,外卖平台回复记者称
霞浦气象护航山海农业蓬勃发展霞浦县气象局工作人员在海带育苗企业调研天气对海带养殖的影响连日来,受强冷空气影响,气温明显下降,是海带下苗的最佳时段。霞浦县下浒镇养殖户李祖信正忙着将一串串夹着海带苗的苗绳,按一定
神奇的数字全息显微镜作者何炳恩龚湘君显微镜的出现,让人类观察世界的能力得到大幅提升,那些原本无法通过肉眼观察的微小物体从此清晰可见。数字全息显微镜则更进一步,突破传统显微镜的平面成像的限制,实现了物体