数据集成的未来ZeroETL

　　零 ETL 是数据集成的未来，尽管 ETL 工具对于组合来自各种来源的数据和实现跨企业系统的数据集成是不可或缺的。如果没有 ETL，数据集成是不可想象的。
　　• 提取转换和加载 (ETL)
　　• 从ETL到零的转变——ETL
　　• 什么是零 ETL
　　• 零ETL是做什么的？
　　• 如何使用零 ETL
　　提取转换和加载 (ETL)
　　Extract Transform and Load (ETL) 在数据管理中令人难忘和卓越。提取、转换和加载数据是数据管理过程的基本组成部分，是任何大数据项目的第一步。简单来说，ETL 是从一个系统中提取数据，将其转换为不同的结构，并将其加载到另一个系统中的过程。ETL 工具对于企业数据管理至关重要。ETL 工具对于组合来自各种来源的数据和实现跨企业系统的数据集成是必不可少的。
　　如果没有 ETL，数据集成是不可想象的。
　　从ETL到零ETL的转变
　　然而最近数据工程行业已经通过数字化转型进行了转型。随着越来越多的公司采用具有开源和新架构模式（数据网格）的云端数据技术
　　通过这种转变，ETL 工具即将淘汰。
　　相反工程师将学习如何在数据湖、Lakehouse、数据仓库或 Spark 集群和 Python 脚本中处理数据，他们将依赖低代码平台来满足他们的许多需求。ETL 工具正在被淘汰，因为它们无法协同处理数据。新一代的工具让 ETL 变得不再必要。与 ETL 工具相比，近年来出现了低代码或无代码数据工程工具。这种新一代软件让数据工程师有机会做他们最擅长的事情——编程和机器学习——而无需任何编码技能。随着新一代ETL走向低代码、无代码平台，数据管理行业正在出现数据集成的新未来
　　零 ETL——数据集成的未来
　　什么是零 ETL
　　不同的数据集以不同的格式、位置、格式存放。而数据集成将多个数据源的数据被组合成一个数据集，以供分析工具和应用程序使用。这是从必须使用 ETL 工具到数据与代码集成（Python、Spark、SQL 等）再到数据与低代码/无代码平台集成的转型之旅。ETL → 数据与代码集成 → 数据与低/无代码集成 易集成可以帮助减少花在数据管理上的时间。
　　如何以不同的方式进行集成？是否可以完全消除 ETL ？
　　零 ETL → 对不同的数据技术运行联合查询，简而言之在支持跨数据源联合查询的系统上运行分析、BI 和 ML 工作负载。
　　零ETL有什么作用？
　　业务数据通常通过 ETL（提取 - 转换 - 加载）从一个位置移动到另一个位置。这个过程有缺点，因为它需要时间，而且有很多出错的机会。因此零 ETL 旨在通过提供一种安全的方式让数据在不同系统之间移动而无需任何人工干预来消除这些问题。它通过所有连接系统之间的持续联合确保所有数据都是最新的。
　　哪里可以使用零 ETL
　　零 ETL 取得了相当大的进展。
　　• 亚马逊最近宣布了 2 个 ETL 免费集成[1]
　　• Aurora 和 Redshift 之间的无 ETL 集成。
　　• 无 ETL 集成 Amazon Redshift 和 Apache Spark
　　• 谷歌宣布使用Big Query的零 ETL 方法[2]
　　• Databricks 宣布使用 JDBC 直接查询外部系统[3]
　　• Microsft Lake 存储结合 Snowflake / Snowpipe 接近零 ETL 方法
　　• Microsoft Lake Storage上的Delta Live Table
　　引用链接
　　[1]亚马逊最近宣布了 2 个 ETL 免费集成:[https://aws.amazon.com/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/](https://aws.amazon.com/about-aws/whats-new/2022/11/amazon-aurora-zero-etl-integration-redshift/)
　　[2]谷歌宣布使用Big Query的零 ETL 方法:[https://cloud.google.com/blog/products/data-analytics/bigtable-bigquery-federation-brings-hot--cold-data-closer?utm_campaign=62d020da87db1c00018b1e7d&utm_content=62ec11c882f593000145a6b7&utm_medium=smarpshare&utm_source=linkedin](https://cloud.google.com/blog/products/data-analytics/bigtable-bigquery-federation-brings-hot--cold-data-closer?utm_campaign=62d020da87db1c00018b1e7d&utm_content=62ec11c882f593000145a6b7&utm_medium=smarpshare&utm_source=linkedin)
　　[3]Databricks 宣布使用 JDBC 直接查询外部系统:[https://docs.databricks.com/external-data/jdbc.html](https://docs.databricks.com/external-data/jdbc.html)