AI加速宝德一站式服务赋能高等教育改革
为加快推进大数据、人工智能专业人才的培养,教育部陆续在高校增设大数据和人工智能专业,鼓励和指导国内各高校开设大数据、人工智能专业课程。作为新兴的交叉学科,大数据、人工智能相关专业涉及计算机、数学、统计等多学科知识,高校在开设该领域专业/课程时普遍遇到师资、实训环境、教学资源三方面的难题。
为此,宝德面向国内各高校提供大数据人工智能专业自筹建到教学实施的一站式服务;其中,宝德大数据一体机TxData-2/4 AI 推理服务器搭载第二代英特尔至强可扩展处理器,全面支持AnalyticsZoo Cluster Serving分布式推理技术方案;它专为高性能计算、高级人工智能分析任务而设计,具有出色的性能功耗比,提供了一款软硬一体的分布式全栈推理解决方案。
搭建实训环境:专业教学工作的基础
宝德大数据人工智能实验室由宝德大数据一体机TxData,大数据平台TDH和人工智能平台Sophon,教学实训平台TUO组成,实验环境通过虚拟化容器云技术实现,在线一键调取大数据、人工智能实验环境;具备完善的教务管理功能,设有管理员、教务、班主任、教师、学生角色;平台集成有支撑教学使用的理论课程、实训案例、数据集、教材讲义等资源。
以上配置可完美支撑60人 并发大数据人工智能实践教学使用
教学实训平台 TUO
该平台是一款针对高校大数据、人工智能专业教学使用的一站式综合教学实训平台,依托宝德企业级大数据、人工智能平台的技术支撑,为高校的大数据人工智能教学提供实训实验环境,并配套提供支撑教学使用的理论课程、实训案例、数据集、教材讲义等资源,方便高校学生在课堂及实验室外学习并应用大数据人工智能技术,通过线上的自主学习及实战演练,理解大数据科学原理,掌握数据科学体系,并体验真实场景下的大数据建模分析操作与演练过程。
大数据平台TDH
大数据实验底层环境使用宝德企业级大数据平台(简称TDH),为整个实验系统提供大数据处理及分析能力的强力支撑,通过虚拟化容器云技术将服务器集群的多种资源(CPU、内存、存储、网络等)池化,保证服务器集群资源的充分和有效利用。
人工智能平台 Sophon
人工智能实验底层环境使用宝德企业级人工智能平台Sophon,该平台打通了大数据平台和人工智能平台,提供数据清洗、数据分析挖掘、机器学习、深度学习、模型管理、API部署、工作流调度等功能,高校师生可以通过自动建模以及内置 的行业模板轻松构建对应AI模型,从而提升教学和科研的效率与价值。
宝德大数据一体机TxData
Powerleder TxData Appliance(简称TxData)是通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。TxData支持容器技术,可在物理机集群中以极小的系统开销创建多个TDH大数据集群,提供大数据集群的动态伸缩和故障恢复能力。
TxData可将企业所有的数据处理负载性能最大化,包括联机事务处理(OLTP)、数据仓库(DW)和混合工作负载,是海量大数据仓库应用的最佳平台。TxData实施简便,可即时处理最大型关键业务应用,批处理速度是开源Hadoop的10-100倍, 是MPP的5-10倍,可对从GB到PB级的数据量实现复杂的查询和分析。
宝德大数据一体机TxData还支持IntelAnalytics Zoo平台,可直接通过CPU进行分布式训练或推理(不用GPU卡)。
通用双路服务器TxData-2/2G适用于数据量大、深度学习和大数据处理混合负载的双路服务器;TxData-4/4G用于流处理节点以及数据量不太大的数据处理节点, 适用于深度学习和大数据处理混合负载的四子星服务器。
产品规格参数
大数据一体机:为人工智能教育加速
TxData通过软硬件一体化装置实现计算、存储、网络、虚拟化和应用融合的紧密集成的大数据平台。大数据平台的关键组件Nameno- de、分布式一致性服务框架、HMaster服务器以及网络环境已经预配置、预优化、预测试,免去了通常规划、设计、部署大数据平台系统时的复杂性。所有组件无缝集成地工作,不存在影响整个系统的性能瓶颈或单点故障。
TxData在四个方面进行了独特的工程优化,使得TxData性能得到飞速提升。
第一,SSD闪存加速。TxData允许用户将频繁访问的表数据保存在Intel PCIe SSD缓存中,TxData还采用独有专利技术Holodesk,在SSD闪存中实现列式存储,更进一步提高了SSD闪存加速效果,在数据分析和挖掘场景下整体性能提升10倍以上。
第二,网络优化。TxData采用支持Intel的万兆和更高速网卡,针对RDMA进行网络传输优化,使得TxData性能在不同集群规模下提升20%~80%以上,集群规模越大,提升效果越好。
第三,FPGA和协处理器加速,将排序、分类、挖掘算法、深度学习等工作负载优化大大提高了大数据平台的性能。
第四,系统优化,通过中断优化、内核优化、BIOS参数优化、NUMA架构优化,使系统运行状态处于最优化状态。
自动分布式可扩展推理平台:提升深度学习的部署时间
随着深度学习算法的不断创新,越来越多的应用需要对深度学习模型进行大规模和实时的分布式推理服务。为了便于构建和生成面向大数据的深度学习应用程序,英特尔Analytics Zoo 平台提供了统一的数据分析+ AI平台,可将TensorFlow,Keras,Pytorch,BigDl Spark,FlinkRay 和 Ray 程序无缝集成到一个统一的数据分析流水线中,用于分布式训练或预测,方便用户构建深度学习应用。整个流水线可以透明地扩展到运行在由搭载英特尔至强处理器的服务器组成的 Hadoop/Spark 集群上,以进行分布式训练或推理。
AnalyticsZoo Cluster Serving 解决方案总体框架
通过部署基于宝德 TxData-2/4 AI 推理服务器的自动分布式可扩展推理平台,用户能实现如下价值:
·提升深度学习的部署速度
得益于 AnalyticsZoo Cluster Serving +宝德 TxData-2/4 AI 推理服务器的全栈推理解决方案,用户可以节省在平台搭建、软硬件优化与验证等方面的大量时间,快速部署深度学习应用。
·提高系统整体算力
第二代英特尔至强可扩展处理器具备强大 AI 性能,为该解决方案的算力奠定了坚实基础,在组建分布式集群之后,可以应对大型深度学习负载。
·确保面向未来的扩展性
该解决方案不仅在软件层面实现了自动扩展规模,还通过服务器的分布式部署提供了敏捷扩展能力,能够敏捷应对近未来的深度学习对于基础设施的要求。
总结来看,宝德大数据一体机TxData-2/4 AI 推理服务器搭载第二代英特尔®至强®可扩展处理器,全面支持Analytics Zoo Cluster Serving分布式推理技术方案;专为高性能计算、高级人工智能分析任务而设计,作为软硬一体的分布式全栈推理解决方案,具有出色的性能功耗比,而在此基础上宝德搭建的人工智能一体化服务,协助高校从根本上解决师资匮乏、实训环境缺失、教学资源不足等关键问题,助力高校大数据人工智能专业教学工作的顺利开展。