《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目，包括技术、学习、实用与各种有趣的内容。本期推荐的BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎。 BitSail是字节跳动开源的基于分布式架构的高性能数据集成引擎。支持多个异构数据源之间的数据同步，提供批量、流式、增量场景下的全局数据集成解决方案。目前，它服务于字节跳动的几乎所有业务线，如抖音、今日头条等，每天同步数百万亿数据。为什么我们使用BitSail BitSail已被广泛使用并支持数百万亿的大流量。同时在火山引擎云原生环境、本地私有云环境等多种场景下得到验证。全局数据集成，涵盖批处理、流式和增量场景分布式云原生架构，支持横向扩展在准确性、稳定性和性能方面成熟度高丰富的基础功能，如类型转换、脏数据处理、流量控制、数据湖集成、自动并行计算等。任务运行状态监控，如流量、QPS、脏数据、延迟等。BitSail使用场景异构数据源中的海量数据同步流和批集成数据处理能力数据湖与仓库一体化数据处理能力高性能、高可靠的数据同步分布式、云原生架构数据集成引擎BitSail的特点低启动成本和高灵活性流批一体化和数据湖仓一体化架构，一个框架覆盖几乎所有数据同步场景高性能、海量数据处理能力DDL自动同步类型系统，不同数据源类型之间的转换引擎独立读写接口，开发成本低实时显示任务进度，正在开发中实时监控任务状态支持的连接 DataSource SubModules Reader Writer Hive Hadoop Hbase Hudi Kafka RocketMQ Redis Doris MongoDB JDBC MySQL Oracle PostgreSQL SqlServer Fake Print 环境设置 先决条件 Bitsail支持在本地IDE上运行集成测试。为此，您需要：JDK1。8maven3。6Docker 正确安装上述所需组件后，我们就可以在您的本地IDE上运行集成测试。 从源代码构建运行构建脚本以嵌入flink进行打包。bashbuild。sh如果你有自己的集群提供的flink包，你也可以不打包。mvncleanpackageplbitsaildistamDmaven。test。skiptrue 构建项目后，输出jar文件位于文件夹中bitsaildisttarget。 项目生产文件结构如下：bitsailarchive｛version｝SNAPSHOTbinbitsailStartupscriptconfbitsail。confbitsailsystemconfigembeddedflinkembeddedflinkexamplesexamplesconfigurationfilesexampledatasexamplesdataFakexxExample。jsonFakesourcetoxxexamplesconfigfilesxxPrintExample。jsonxxtoprintsinkexamplesconfigfileslibsjarlibsbitsailcore。jarenteringjarpackageconnectorsconnectorpluginjarsmappingconnectorpluginconfigfilescomponentscomponentsjars，suchasmetric、dirtycollectorclientsbitsailclientjar部署指南目前BitSail仅支持本地和Yarn上部署。其他平台的部署（例如原生kubernetes）将在不久后支持。 配置Hadoop 为了支持Yarn部署，需要在环境变量中配置HADOOPCLASSPATH。目前有两种方式设置：直接手动设置HADOOPCLASSPATH。设置环境变量HADOOPHOME。此环境变量指向环境中使用的hadoop目录。根据此环境变量，bitsail脚本可生成HADOOPCLASSPATH。if〔nHADOOPHOME〕；thenexportHADOOPCLASSPATH（HADOOPHOMEbinhadoopclasspath）fi 提交到Yarn BitSail目前仅支持flink的yarnperjob模式提交。 你可以使用binbitsail脚本将flink作业提交到yarn上。具体的执行指令如下：bash。binbitsailrunengineflinkconf〔jobconfpath〕executionmoderunqueue〔queuename〕deploymentmodeyarnperjob〔priority〔 上面中括号内的参数说明如下：必需参数：queuename：要提交的yarn队列jobconfpath：作业的配置文件可选参数：yarnpriority：作业在队列上的优先级namevalue：flink运行属性，以Dnamevalue方式添加在flinkrun命令后name：要添加的属性名value：要添加的属性值例如classloader。resolveorderchildfirst 提交一个示例作业 可以使用如下指令提交一个Fake2Print测试作业到default队列。bash。binbitsailrunengineflinkconfbitsailarchive0。1。0SNAPSHOTexamplesFakeProintExample。jsonexecutionmoderunp11deplo 本地提交 假设BitSail的安装路径为：｛BITSAILHOME｝。打包BitSail后，我们可以在如下路径中找到可运行jar包以及示例作业配置文件：cd｛BITSAILHOME｝bitsaildisttargetbitsaildist0。1。0SNAPSHOTbinbitsailarchive0。1。0SNAPSHOT END 开源协议：Apache2。0license 开源地址：https：github。combytedancebitsail
隐入尘烟成功来得猝不及防隐入尘烟这个话题最近几天似乎很火，一帮网红有谈电影内容本身的，也有谈电影商业运作逆袭成功的。做为一个站在市场咨询最前沿的人，如果在与朋友聊天时，还不知道这个话题那就OUT了。电影上王思聪前女友甜仇已领证！秀鸽子蛋钻戒分享恋爱经历，疑奉子成婚别看王思聪长相不咋地，但是他的网友女友多到数不过来，而且个个都长得十分的漂亮。王思聪前女友甜仇已领证！9月3日，王思聪的前女友甜仇在自己的社交平台上开启了一场直播，在这场直播中甜仇真实的新白娘子传奇告诉你白蛇居然命丧许仙之手暑期经典档之一新白娘子传奇是很多人小时候的童年回忆，人妖殊途，至死不渝，千年等待成了大家心中经典的人妖相恋的电视剧，耳熟能详的千年等一回，西湖大雨淋漓下一把油纸伞，白娘子美轮美奂的奥运冠军杨倩状态下滑，原因浮出水面？新身份首次公开，遭遇质疑日前，2020东京奥运会射击女子10米气步枪冠军杨倩先后被聘为高校大学生思政导师及素质教育特聘名师一事，引发网友热议。不久之前，杨倩在全国射击锦标赛暨开罗世锦赛选拔赛中发挥一般，最萨格勒布迪纳摩vs切尔西切尔西状态不佳，欧冠赛场或遭爆冷？北京时间9月7日的凌晨0045，202223赛季的欧冠揭幕战就将打响，率先代表一众豪门登场亮相的，是两次登上最高领奖台的英超豪门切尔西，他们将在客场挑战克罗地亚劲旅萨格勒布迪纳摩。家里电表转得飞快？教你4招，让你电表轻松变慢，省下不少钱大家好，我是每天为你分享生活实用小妙招的圆圆，关注圆圆，每天学会一个生活小妙招，让你的生活更方便快捷。随着生活质量的提高，各种家用电器也越来越多，但我们也会发现电器多了之后，每次交巴萨再对莱万报价，蓝军后防补强援，迪巴拉48小时内确定未来巴萨对莱万提出了新的报价，总额5000w，基本满足了拜仁的要求。这已经是巴萨对莱万的第四次报价了，球队还是很希望莱万能够加盟的。巴萨还明确表示了新赛季球队不再需要德佩，目前已标价2不运动大量喝电解质水身体会发生什么？电解质水是指含有钠离子钾离子钙离子等多种电解质的液体，常见于各种功能性饮料。正常情况下，人体每天通过喝水进食可以获得机体代谢所需的水分和电解质等物质，不需要额外补充。但在剧烈运动大刁蛮公主张娜拉，挣中国的钱打我们的脸，她值得被原谅吗？张娜拉于近日大婚，这位想当年红遍亚洲的韩国女星，大家一定都记得，当时她在中国可谓风光无限，绝不亚于现在的赵丽颖。她与苏有朋合作的电视剧刁蛮公主更是火遍大江南北，成为了8090后的经印度卢布结算令印度央行已于近日正式出台国际贸易的卢比结算机制。规定卢比与其它货币的汇率由市场决定。印度进口商要根据海外卖方的货物或服务供应发票以卢比付款，印度的出口商则从伙伴国代理银行指定的特别中国女排输球仍有三大收获！王媛媛越打越自信，蔡斌慧眼识人中国女排13输给意大利，无缘晋级世联赛八强，这个结果并不令人感到意外，因为在朱婷和张常宁这两名核心球员缺席的情况下，现在的这支中国女排，与以埃格努领衔的这支全主力意大利队相比，确实