亚马逊云科技正在让数据价值挖掘变得更简单

　　北京时间2022年11月30日凌晨，亚马逊云科技CEOAdamSelipsky，奉上了re：Invent第二场重磅演讲。
　　作为科技八卦党，在看了一遍视频回放后觉得，今年令人特别惊艳的新东西少了点，更多是对现有产品体系架构的补充。
　　当然，与从零到一的夺人眼球不同，行百里者半九十，这些能解决实际需求的补充和完善同样重要。
　　本文简单梳理一下主要发布的内容，所以，接下来进入看图说话环节：
　　CEO演讲的主题是探索广阔的数据领地（Exploringthevastdatarealm），具体分为合适的工具（Righttools）、数据的集成（Integration）、治理（Governance）和洞察（Insights）四部分。
　　第一部分，合适（正确）的数据工具。
　　合适的工作分成了三个方面，一个是数据库服务，一个是大数据分析服务，另一个是AIML服务。
　　数据库方面，亚马逊云科技有引以为傲的一系列数据库，其特点是类别非常全面，用法上，强调专库专用。之前我也简单梳理过，有兴趣的可以看一下，了解下基本概念和相互间的区别。
　　亚马逊云科技最自豪的数据库肯定就是AmazonAurora，性能吊打开源的MySQL和PostgreSQL，成本比商业版的数据库低，最重要的是，它在亚马逊跟甲骨文的隔空对线中立下了汗马功劳。
　　大数据分析产品家族有七大服务，其中以云上数据仓库AmazonRedshift最为出名，七大服务的功能定位各不相同，绝大部分都以Serverless的方式对外提供服务，除了最后一个。
　　就在强迫症观众快要掀桌子的时候，Adam非常识趣地发布Serverless版的AmazonOpenSearchService（预览版），至此，数据分析家族全是Serverless的了。
　　在AI和机器学习部分，亚马逊云科技从IaaS到PaaS和SaaS全覆盖。IaaS层支持的硬件类型特别多，除了英伟达的显卡和英特尔的HabanaGaudi，还有FPGA和自研的训练芯片Inferentia，PaaS层最值得关注的还是机器学习IDEAmazonSageMaker。
　　第二部分，减少数据集成的痛苦。
　　数据集成部分的新发布将现场气氛推向了一个小高潮，因为Adam喊的是要帮数据工程师跳过ETL，绕过手动构建数据通道的过程，创造一个没有ETL的理想世界。
　　2022年，即使没有操作过也肯定也听过ETL（extract，transform，load）的大名，ETL简直就是痛苦的代名词，重复操作多，操作过程复杂，耗费时间巨多。
　　新发布的服务叫AmazonAurorazeroETLintegrationwithAmazonRedshift，它是怎么做的呢？
　　其实，为了减轻ETL带来的痛苦，亚马逊云科技有两类操作：
　　第一类，让AmazonRedshift和AmazonAthena都支持联邦查询，所谓联邦查询是让数据停在原地，让查询计算引擎跑到数据旁边，从而避免手动ETL；
　　第二类，让数据源跟AmazonRedshift集成，比如AWSDataExchange、SageMaker都是如此，它是自动将数据同步到Redshift里，从Redshift里查数据，而ETL过程无需手动操作；
　　AmazonAurorazeroETLintegrationwithAmazonRedshift大致就就属于后者，用法上，只要你指定Aurora里的表，表里的数据马上就自动地、快速地同步到Redshift里了。
　　AmazonRedshiftintegrationforApacheSpark的原理也是一样，把EMR、Glue和SageMaker的数据同步给AmazonRedshift，然后让Spark去Redshift查数据就行了。
　　第三部分，数据的治理（Governance）。
　　数据治理解决数据价值挖掘过程中的常见问题：数据访问控制的太严了，容易找不到要分析的数据，数据少了，数据价值就没法释放。数据访问控制的太松了，数据出现在不该出现的地方，容易出问题。
　　为了解决这个问题，于是就有了AmazonDataZone，一个专门用来给数据做分类，做数据发现，做数据分享和管理的服务，像是一个给企业准备给的数据门户。
　　个人觉得，AmazonDataZone的重点是帮你发现数据，万一某一个不容易发觉的角落里藏着有价值的数据，没被用上岂不是很亏，实践中，企业可以根据组织架构和业务部门的划分来发现和组织数据。
　　为了帮企业发现和利用数据，AmazonDataZone支持用元数据和机器学习技术来对数据进行分类，分类整理好的数据可以交给工程师、数据科学家、产品经理、分析师和业务人员来使用，在这里开展基于数据的分享和协作。
　　第四部分，更容易获得的数据洞察。
　　这部分主要介绍的是亚马逊云科技的BI服务QuickSight，最早是2015年发布的，它能让非技术人员进行数据可视化，获得洞察。
　　2020年，QuickSight新增了以自然语言进行交互的方式，不过，查询的数据都是当前已有的数据。
　　而现在，MLpoweredforecastingwithQ让QuickSight用自然语言对未来作出预测，比如，你可以用英语说：请告诉我未来12个月的销售情况，然后，系统会立马返回一个预测结果。
　　更有意思的是，你还能追问造成一个现象的原因，比如，你可以问，为什么1月份的销售数据增长了那么多？，而系统会给出一些具体的解释。
　　从技术上来讲，支持中文也完全不是问题，从实际使用来讲，主要是优化非技术人员使用数据的能力。最后，能不能获得好的洞察，得看你会不会问问题了，是不是还挺有意思的？
　　最后，顺便看一眼其他发布
　　除了关于探索广阔的数据领地这一主题，Adam还零星介绍了其他新服务：
　　在安全方面，威胁检测响应服务AmazonGuardDuty新增了对容器运行时环境的检测，这项服务叫做ContainerruntimethreatdetectionforGuardDuty，帮用户发现容器内部的安全威胁。
　　另外一项安全发布叫AmazonSecurityLake，顾名思义，这是一个专门分析安全相关数据的数据湖，用户自己创建数据湖，湖里导入云上和本地环境中的各种安全相关数据，然后，使用常见的各种安全公司的检测分析工具从数据里找出安全问题，提高企业的安全水平。
　　在机器学习方面，发布了新一代的机器学习推理实例Inf2，推理的性能提升4倍，延迟降低了十倍。推理方面没什么可讲太多的，能做推理的芯片很多，重点是提升效率，缩短推理的时间和推理的成本。
　　在高性能计算领域，在原有基于AMD霄龙的Hpc6a的基础上，新推出了两款主机：
　　一个是之前提到过的Hpc7g，采用的是自研的专门为HPC负载优化的Graviton3E处理器和EFA高性能网络，强调计算和网络表现都有较大提升。
　　另一个是强调数据和内存密集型负载的Hpc6id，其特点是性价比比较高，它采用的是英特尔第三代至强可扩展处理器，能用上英特尔在高性能计算领域的优势，比如MKL和AVX512指令集之类的。
　　最后，还发布了几个面向行业场景的新发布：
　　一个运行大规模空间模拟负载的托管服务AWSSimSpaceWeaver，省去了用户做空间模拟任务时，自己管理配置软硬件环境的麻烦。
　　云呼叫中心AmazonConnect新增了三个功能，一个是支持用机器学习来帮助预测和资源规划，一个是做绩效管理的功能，还有一个是面向最终用户的交互页面。
　　供应链管理解决方案AWSSupplyChain，可用来提升供应链的可见性，能给企业提供具有可执行性的洞察和建议，帮助企业缓解供应链方面的风险。
　　面向广告营销场景的AWSCleanRooms，让用户跟合作伙伴分享数据，同时，可以保护数据隐私不泄露。
　　面向生物医疗领域的AmazonOmics，用于存储、查询、分析生物组学数据，并从数据中获得洞察，这是为需要大规模数据分析的生物医疗研发场景准备的。