万亿行数据库已然出现，存储大厂们还顶得住吗？

　　一个新的、大规模分析与存储的时代正在我们面前徐徐展现身姿。Ocient、Imply、VAST Data及WEKA这四家初创公司，都在以几秒之内存储并访问数百PB、也就是数万亿行数据为核心卖点。但他们所宣传的这种大规模并行访问技术，从本质上讲走的是不涉及任何硬件的纯软件性能增长路线。
　　话虽如此，但必须强调一点：VAST Data和Ocient的产品都以NVMe SSD为基本组件，WEKA也在部署中使用到了固态存储设备。
　　好在这类超高速访问需求在结构化和非结构化数据场景中还不算普遍，目前主要集中在少数几个市场——金融交易（VAST和WEKA以此见长）、在线媒体广告展示技术（Ocient的主要业务所在）、高性能计算（WEKA）以及AI/ML模型训练。  AI/ML已成重要驱动因素
　　VAST公司联合创始人Jeff Denworth认为，AI/ML技术的应用终将扩展到常规商业市场。大多数企业都需要把内部生产日志跟外部客户交互结合起来，从数据中查找模式、分析原因并做出最优内外部运营决策。这种最优决策既体现在业务流程的各个细节当中，也将有助于增强企业的整体盈利能力。
　　当前，ML模型已经被实际应用于设备健康扫描、投资交易决策、工厂生产运营、物流交付路径、产品推荐、流程改进与员工效率等场景。根据Denworth的介绍，ML模型的复杂性每年大约翻一番，而且目前的经验基本仍是模型体量越大、训练和后续推理效果越好。
　　Pure正在进军规模更大的数据集市场，高端阵列供应商Infinidat则已经在这一领域有所布局。
　　很明显，这些存储厂商都打算响应这波从PB级到EB级的需求转变，并认定这波浪潮一定会影响到本地及公有云等广泛环境。VAST是一家着眼于本地设施的存储厂商，但未来肯定也会以某种方式跟云设施建立联系。Ocient和WEKA则同时在本地和云端发力。Imply关注的是纯软件，天然具备上云优势。Infinidat同样暂时集中在本地业务。
　　这种对EB级存储需求的认同和布局，也让他们同主流存储厂商形成了显著差异。在Denworth看来，要想真正参与竞争，老牌大厂首先得克服传统架构带来的种种劣势。  Ocient超大规模数据仓库
　　Ocient刚刚推出了其超大规模数据仓库产品。此次亮相的是v19.0版本，而且旧版本在过去一年中已经成功得到部分企业客户的大规模应用。Ocient公司还提到，该产品专门负责给结构化与半结构化数据集，提供性价比极高的复杂与连续分析支持。在这套数据仓库的协助下，客户能够完成以往无法完成的工作负载，并把结果的返回时间由以往的几小时甚至几天、缩短到如今的几分钟甚至是几秒。
　　Ocient还提到，这款软件采用计算相邻存储架构（CASA），也就是将存储与计算资源彼此相邻地放置在行业标准的NVMe固态驱动器上。这不仅将随机读取IOPS成功拉升至每秒数亿次，同时能够支持对多种复杂数据类型同时执行加载、转换、存储、分析等大规模并发处理。整个数据路径都针对需求做出了性能优化。
　　例如，这套数据仓库提供对接NVMe SSD的高吞吐量自定义接口，并提供高并发读取与高队列深度等用于充分发挥硬件性能的设计。其中还包含一个无锁、大规模并发SQL成本优化器，能够确保每项查询计划都能在服务类别之内高效执行，且不会影响到其他工作负载或用户体验。
　　Ocient超大规模数据仓库目前主要以三种方式交付：OcientCloud内的全托管服务，客户自有数据中心的本地解决方案，以及Google Cloud Marketplace中的商业产品。  老牌厂商该向何处去
　　VAST Data即将推出一款重要软件。Denworth表示，VAST已经在硬件阵列、无状态控制器和单层QLC闪存存储方面做出不少探索，接下来的工作重点将转向软件领域。
　　面对重重压力，老牌厂商当然需要做出回应、顶住后起之秀们拿出的新兴技术。单靠全闪存加单层设计当然不够，主流存储商还得调整自身软件家族。这可能意味着投入数年时间，从头开始开发新的软件解决方案。考虑到时间成本，大厂们很可能会直接采购这类技术成果。届时，也许存储领域也会掀起一波类似于英伟达那样的并购浪潮，借他人之力保持自身在AI/ML时代下的市场地位。
　　总而言之，除非戴尔、IBM、HPE、NetApp、Qumulo以及各大对象存储厂商用实际行动证明，他们也能在规模、性能、弹性和成本等指标上正面抗衡那些初创厂商，否则他们必然会在百PB、万亿行级别的结构化/非结构化数据集时代下逐渐边缘化。至少Imply、Ocient、VAST和WEKA都对自己充满信心，也期待着＂彼可取而代之＂的那天。