异构IP先进框架，底层创新如何加速AI广泛落地？

　　随着AI在各行各业的广泛应用和快速发展，业界已从各自独立的硬件算力驱动和算法创新驱动进入算法和硬件协同创新的阶段。
　　此外，深度学习参数量增大、网络模型层数增多、硬件芯片类型增多等趋势的出现，使得深度学习的开发和训练难度越来越大。从AI芯片底层、甚至IP层就构建软硬协同的方案，使先进算法与芯片和IP进行更为深度的融合，成为业界当前推动AI落地的共识。
　　日前，在百度＂Wave Summit 2022＂大会上，Imagination宣布加入百度飞桨（PaddlePaddle）及多家合作伙伴共同发起＂硬件生态共创计划＂。通过构建软硬一体平台方案，将百度飞桨的先进算法和灵活性，与Imagination的异构计算IP技术相结合，支持下游芯片及应用开发商快速创建全面优化的解决方案。
　　＂高算力+先进算法＂，打造全面优化的AI方案
　　根据＂硬件生态共创计划＂，双方将基于百度飞桨对未来硬件计算平台的需求，结合Imagination的异构计算IP技术，从算法模型到计算框架再到半导体IP技术进行联合优化。
　　Imagination产品市场总监郑魁介绍，Imagination 2020年就加入了百度飞桨的硬件生态圈，第二代神经网络加速器2NX NNA、工具链NC-SDK都已原生支持飞桨框架，到现在已经发展到了第四代4NX神经网络加速器。目前已有一些模型部署在基于Imagination的4TOPs端侧推理芯片上，双方正在持续进行优化，下半年将针对典型市场应用发布联合优化成果。
　　Imagination计算业务副总裁Shreyas Derashri指出，此次合作是双方良好合作的延续，在算力和算法方面优势的深度融合，可为行业提供更优化的解决方案。双方将联合进行软硬一体协同优化，打磨基础软件栈，为芯片厂商和方案厂商提供设计指导和Benchmark参考。
　　同时，面向行业应用共建的Model Zoo，能够为平台和终端客户提供参考方案。据透露，双方还将面向使用Imagination NC-SDK的飞桨开发者共同开发培训课程，进行联合培训认证,致力于为开发者带来更好的用户体验，帮助AI产业生态繁荣发展。
　　满足高智能需求，大算力异构平台是趋势
　　过去两年，Imagination保持着高于40%的增长。截止目前，Imagination全球芯片累计出货量超过110亿片。
　　Imagination的IP产品包括面向通用计算的GPU、高性能CPU、以及神经网络加速器。这三款IP再加上软件产品，构成了Imagination的多核异构解决方案。针对不同市场应用（如AIoT、手机、智能驾舱/自动驾驶、桌面机、数据中心等），通过多核异构方案，提供高性能、低功耗、灵活可扩展的IP组合。
　　三大处理器IP最新动态如下：
　　神经网络加速器方面，单核架构的3NX系列可以提供1.5TOPS到12.5TOPS算力，主要面向手机、AIoT市场，相关芯片去年已陆续量产；多核架构的4NX系列可以提供12.5TOPS到100TOPS的算力，同时满足车规要求，主要面向ADAS或自动驾驶芯片。
　　基于多核架构的GPU，目前支持8TFlOPS的浮点算力，已经在桌面级应用和自动驾驶领域落地。三大系列GPU分别是：面向高能效比市场的XE，面向高端、高性能应用的XT，以及面向汽车市场、满足汽车功能安全要求的XS。
　　CPU方面已经覆盖了嵌入式应用、高性能应用以及汽车市场。去年底，Imagination宣布推出RISC-V CPU产品系列，这也将成为其异构计算方案中非常重要的通用计算单元。
　　郑魁表示，随着应用的多样化、数据量的大幅增加，以及模型算法结构的发展和复杂度的提升，对未来的计算平台、芯片提出了更多、更新的要求，比如算力、精度、低功耗、可拓展性、灵活性，以及软件部署的效率，而单一架构的计算单元很难满足所有这些需求。应对未来高智能化应用需求，会着重在大算力异构平台方面进行合作部署。
　　举生态之力，打造优势国产计算平台
　　结合自身IP架构特点，Imagination致力于在三大方向进行创新：首先是基于GPU、CPU和神经网络加速器，持续在多核架构方面进行性能、功耗等优化；其次在系统层面，为了消除数据瓶颈，将在内存捕获、端到端的安全特性方面进行优化；第三是软件层面，Imagination提供统一、开放且标准的工具链，支持标准的framework操作，使得开发者可以快速、灵活地在其异构架构上部署相关应用。
　　在与百度飞桨的＂硬件生态共创计划＂中，双方会共同推出深度优化、灵活、且拓展性强的多核异构平台方案，沿着应用部署的路径进行全栈优化。除了offline的部署方式，双方还提供在线部署所需的API，即IMG DNN。
　　作为功能齐全、中国第一的开源深度学习框架，百度飞桨正在推动市场的不断进步和增长；Imagination作为全球领先的处理器技术和IP供应商，在GPU、CPU、AI芯片IP技术方面有深厚积累。双方此次在多个AI领域的合作，将有望利用各自的解决方案和市场经验优势，构建更为先进的深度学习生态系统。
　　郑魁表示，希望更多的芯片客户、合作伙伴共同参与到这一生态计划中，特别是针对主流应用领域，如：自动驾驶、手机、桌面机、数据中心等。希望携手整个生态的力量，在基于飞桨的框架中，共同提供有竞争力的国产计算平台方案。