当AI深入芯片的每一条毛细血管，智能手机体验还能有怎样不同？

　　智东西（公众号：zhidxcom）
　　作者 | 云鹏
　　编辑 | 漠影
　　纵观2022年消费级芯片的发展，我们能够清晰地抓到一个关键词：AI（人工智能）。
　　从英特尔、英伟达发布的面向桌面端的CPU、GPU，再到高通发布的面向移动端的智能手机SoC，几乎所有的旗舰级芯片产品，都开始加深与AI技术的融合。
　　而当我们将视角放的更广，如今全球科技行业的头部玩家，无一例外不在向着AI发力，甚至一些芯片巨头直接称自己为＂AI公司＂。
　　一枚小小芯片在产品中发挥作用，早已告别单纯依赖硬件算力的时代，AI的深度介入，让＂智能设备＂的想象空间得到极大拓展。
　　AI真的如此重要么，我们真的离不开吗？芯片巨头们为何如此钟爱AI技术？
　　事实上，AI早已融入我们生活的方方面面。
　　而作为智能手机芯片头部玩家的高通，自然也深谙AI技术在移动端应用的巨大潜力。在今年的骁龙峰会上，我们能看到，高通第二代骁龙8最核心的一个特点，就是AI技术在芯片各个方面能力中的深度结合。
　　甚至可以说，这是一颗＂AI移动芯片＂。
　　正如高通在峰会上所定义的，这是他们＂首个专为AI打造的移动芯片＂。
　　今天，当深入这枚小小的芯片，深度挖掘其中AI技术对于性能、影像、游戏、通信、音频等各个方面的赋能之后，我们可以很负责任地说，AI技术，或许正是开启移动芯片下个时代的关键钥匙，而移动智能硬件体验，也将被AI技术大幅革新。
　　一、将AI能力做到芯片＂骨子里＂，硬件软件生态一个不能少
　　今天，几乎所有硬件设备都被冠以＂智能＂二字作为命名开头，而相比终端厂商在软件和算法层面做的优化，高通是真的＂把AI做到芯片骨子里去了＂。
　　毕竟，高通是一家做芯片的公司，而这种从芯片底层开始建立的AI技术优势，也正是高通所独有的优势之一。
　　正如前不久发布的第二代骁龙8芯片，首先从芯片本身的AI性能及能效比来看，就十分过硬，这也是实现一切出色AI体验的基石。
　　没有一个芯片做＂好底子＂，体验只能是＂空中楼阁＂。
　　这次在芯片的硬件架构设计层面，高通的AI引擎有着不少技术创新，比如高通在Hexagon处理器中加入了专用的供电系统，进一步提升芯片处理的能效比。
　　此外，Hexagon处理器支持了微切片推理，针对比较复杂的神经网络推理任务，Hexagon处理器可以把单个神经网络拆分成几万个微Tile，然后把它们分别分配到张量、标量、向量加速器上，从而提高整个神经网络的推理速度。
　　高通微切片推理示意图
　　而Hexagon处理器中核心的张量加速器单元则将尺寸翻了一倍。
　　在这些升级点的共同作用下，这一代高通AI引擎的AI性能提升了4.35倍，能效比也进一步提升了60%，可以更加高效地运行Transformer网络，进而提升在计算机视觉、实时转录、情感分析、实时翻译、自然语言处理这些我们几乎每天都要用到的功能中的表现。
　　值得一提的是，这次新一代骁龙AI引擎还首次支持了INT4，与目前行业中能够做到的INT8相比，功耗进一步降低了60%，但性能却提升了90%。
　　根据高通实测，这样的能效比提升，可以明显提升第二代骁龙8在自然语言处理、超分辨率、人脸检测、背景虚化等常用场景中的实际性能表现。
　　除了Hexagon处理器，在高通AI引擎中的传感器中枢里，高通还直接新加入了一个AI处理器，让传感器中枢的整体AI性能翻倍，而日常手机对于我们使用中任何场景的检测、感知，几乎都离不开这一中枢模块。
　　不仅是硬件层面打好了基础，在软件以及开发者生态方面，高通这次也是做足了功课，让这颗AI芯片的能力可以更好地在实际应用中发挥作用。
　　就在今年6月，高通发布了自家首个统一的高通AI软件栈（Qualcomm AI Stack），我们可以形象的将其理解为高通AI开发＂百宝箱＂，需要什么能力，开发者便可以从中快速获取。
　　实际上，高通将所有业务线的AI软件功能访问权限，集成在了一个统一的软件栈中，来提供跨智能网联终端的完整解决方案，来便利开发者进行面向不同智能终端的AI模型和软件迁移以及开发。
　　从丰富的AI模型库和模型开发工具、支持不同类型的框架、支持高通AI引擎Direct、支持不同的runtimes，再到支持分析器和仿真工具，基本上开发者们需要的技术、工具和接口都能在其中找到。
　　用更直观的话来说就是，高通让开发者和客户可以根据自己的实际需求进行模型的开发和优化，＂一次开发，就可以将解决方案跨高通所有产品线进行迁移＂也成为了高通在AI软件领域的独特优势之一。
　　从硬件设计、软件算法到开发者生态，高通在发布会上说的＂专为AI设计的芯片＂绝非虚言，高通这次是铁了心要把AI技术刻在芯片的骨子里。
　　在移动芯片产业技术创新遇到瓶颈的当下，高通选择用AI技术来建立新的移动芯片标准，将技术发展推向了一个新的节点。
　　二、从拍照、游戏、通信到元宇宙，AI已无处不在，无所不能
　　做出一枚性能出色的AI芯片，并为开发者铺平道路之后，AI体验的想象空间就很大了。
　　深入智能手机的各个重要应用场景，我们都能发现，AI技术都扮演了极为重要的角色，甚至可以说是＂不可或缺＂。
　　谈到AI，其实影像场景是普通消费者最能够感知到的。
　　毕竟经过智能手机＂计算摄影＂十余年的发展，消费者对于手机会处理照片这件事已经了然于心，甚至提出了更多略显苛刻的要求，比如处理的＂既要好看又要自然＂。
　　在影像方面，这次高通直接甩出一项大招：通过新增＂Hexagon直连＂技术，直接将Hexagon张量加速器与Spectra ISP进行了物理层面的连接打通，进而形成了业内首个认知ISP，让图像信息处理过程更加集中。
　　在认知ISP的加持下，第二代骁龙8可以实现实时语义分割，简单来说，就是让智能手机可以理解摄像头所看到的世界，能够真正＂认识你＂。
　　在这一过程中，AI神经网络能够让摄像头感知人脸、面部特征、头发、衣服和天空，并进行独立的优化，进而实现＂该优化的优化、该写实的写实＂，避免了图像处理时＂眉毛胡子一把抓＂的尴尬。
　　并且值得注意的是，以往AI神经网络往往是在照片和视频拍摄完成之后才开始运行，这样时延和能效都不够理想，拍照速度也会收到直观的影响。
　　而在这一认知ISP系统的加持下，AI神经网络的运行可以被前置到ISP中进行＂实时处理＂。简单来说，我们可以把＂实时语义分割＂想象成一个＂Photoshop图层＂，但整个修图过程都在ISP里完成。
　　这带来最直观的效果就是，我们终于可以在手机拍照的取景器中看到实时增强的物体画面了。
　　安卓手机一直被诟病的无法＂所见即所得＂的问题，这次从＂根＂上得到了解决。
　　聊完了影像，我们来看看重要性同样排在前列的游戏场景。
　　虽然与游戏体验最直接相关的是手机CPU、GPU的能力，但AI依旧发挥了重要作用，比如针对游戏的调度优化、图像优化以及AI敌人的模拟。
　　在评价游戏体验时，目前业内更多开始关注游戏的稳定性而非峰值帧率，也就是游戏帧数的波动要尽量小。
　　实际上，游戏中的负载并不是固定的，而是实时改变的，因此芯片调度要与负载相匹配，就需要建立模型并且不断优化，实现更好的效果，这背后AI算法的融入会起到事半功倍的效果。
　　而且这种调教优化绝非终端厂商可以靠一己之力完成的，游戏内容商以及高通这样的芯片厂商都需要加入进来，需要靠合力完成。
　　当然，借助AI，厂商还可以做出更加＂真实＂的AI敌人，这种算法模拟出来的＂AI对手＂，通过多个神经模型和数千个神经元进行训练，在Hexagon处理器中进行推理，会随着时间推移变得更智能。
　　不少人都感叹，今天人类要在一些游戏中赢过AI，是越来越难了。
　　除了游戏、影像这样非常容易被感知到的AI体验升级场景，其通信也是AI应用的重要领域，这一点往往容易被忽略。
　　这次高通特别在会上提到，骁龙X70是全球第一个配备5G AI处理器的调制解调器及射频系统。
　　简单来理解就是：高通直接在基带中加入了一个AI处理器！
　　其实很多人都会忽略AI在通信中发挥的重要作用，实际上，不论是上传和下载速度、网络覆盖能力还是低时延和出色的通信能效比，都离不开AI技术的加持。
　　调制解调器内的AI处理器能够实时优化多种关键参数和条件，比如信道状态反馈、毫米波波束成形、天线调谐和其他自适应功能，从而实现网络连接速度、覆盖、时延和电池续航的提升。
　　要知道，今天6G通信技术的研发已经在路上，从3G、4G到5G，不同代际的通信标准、所覆盖的频段都有所不同，而众多因素叠加起来，调制解调器及射频系统需要处理的任务是非常复杂且难以预测的，这需要AI的深度参与才能更加高效地解决。
　　在通信之外，无线音频同样是一个容易被忽略的AI发挥关键作用的场景。
　　这次高通的S5音频芯片和S3音频芯片均内置了AI模块，而它们发挥作用的最典型应用就是由AI驱动的回声消除与噪音抑制，包括我们熟悉的主动降噪功能。
　　今天，几乎所有主动降噪功能都在以＂自适应＂为卖点，而自适应的本质，就是AI算法根据用户使用的不同环境来智能调整降噪效果，从而让听觉体验更自然、更舒服。
　　除了降噪，本身音频音质的提升也需要AI参与，近来厂商们致力于＂千耳千声＂的音频体验，耳机会根据用户耳道形状轮廓去调整声音，从而在保证在不同的耳朵中实现＂尽可能好＂的音质。
　　包括如今大火的＂空间音频＂及同类功能，也涉及复杂的感知、计算过程，这些功能的实现，都离不开AI算法的深度参与。
　　当然，高通音频芯片主要应用的TWS耳机这类产品，还有一个重要功能，就是智能语音助手的服务能力，而其中AI技术的重要性更是不言而喻。
　　最后，面向当下大火的＂元宇宙＂场景，AI能力同样有着不小的发挥空间。
　　比如在高通最新发布的骁龙AR2第一代芯片组中的AR处理器，就包含一颗Hexagon处理器，在手势追踪、图像处理等方面发挥作用，而AR协处理器中内置的AI加速器，则可以在处理眼球追踪、降低高精度输入交互时延等功能时用到。
　　总体来看，AI已经贯穿了各类智能移动设备所用到的各项重要功能，而高通移动芯片凭借其在硬件、软件以及生态方面的优势，显然走到了行业的前列。
　　三、深耕AI十年，从手机走向所有智能设备，生态圈优势凸显
　　从第二代骁龙8芯片背后的AI技术创新，以及高通AI技术在各个领域的应用中我们可以看到，高通已经成为了科技行业中走在移动AI技术创新前沿的巨头企业。
　　而在这背后，是高通十余年来在AI技术领域的深耕。
　　从2007年至今，每一代骁龙芯片都在不断迭代和强化自己的AI能力，去年骁龙8中搭载的AI引擎已经迭代至第七代，这一次高通没有刻意强调＂第几代＂AI引擎，或许也是因为AI技术已经深度融入了芯片的各个部分。
　　根据高通官方数据，高通迄今为止的AI产品出货量已经超过20亿，覆盖了智能手机、PC、可穿戴设备、XR、汽车等各个大类的产品，几乎科技领域的各大行业头部终端厂商都已经成为高通的合作伙伴。
　　如果说过硬的AI硬件软件技术是高通AI业务拓展的基础，那么在行业内＂一呼百应＂的号召力以及生态圈的重要地位则是高通更加隐性的优势。
　　在这次的峰会上，PC圈的生态巨头微软、办公生产力场景中的行业巨头Adobe，以及智能手机领域的头部玩家小米、OPPO、iQOO等都透露了他们与高通在AI领域一些合作的最新进展。
　　比如在今天我们每个人经常遇到的在线办公场景中，微软的Windows PC，就可以将自家Azure中的云端AI能力与高通骁龙芯片Hexagon处理器提供的端侧AI能力相结合，运行包含数十亿个参数和数万亿次运算的算法模型。
　　这种＂端云AI能力相结合、无缝式的智能化办公体验＂，给Windows OS和第三方开发者都带来了不小的想象空间。
　　比如微软的Windows Studio能够利用骁龙芯片的AI引擎来实现视频通话过程中的智能降噪、背景模糊，得益于骁龙芯片的AI能力，这些功能可以在专用神经网络处理器上实时运行，而不再占用CPU和GPU，进一步提升了功能运行的能效。
　　在Adobe这边，其Adobe Sensei的AI技术可以与骁龙AI引擎结合，用户们可以在创意性工作流程和任务中，体验到终端性能的显著增强，比如终端在实现超级分辨率、背景去除、色彩增强、随时随地的内容编辑等功能时会有更好的表现。
　　此外，小米在峰会上特别提到，第二代骁龙8的AI引擎可以实现＂桌面级＂算力，可以让更多庞大且复杂的AI功能可独立于本地端实现，比如本地实时中英文翻译并实时生成双语字幕，这些功能都将在新的旗舰智能手机中落地。
　　可以看到，在长期深入的技术布局之外，生态领导力也是高通AI技术优势中不可忽视的一环，众多行业头部玩家共同参与形成的合力，是建立生态所不可或缺的。
　　而面向未来，高通已经对AI寄予了更大期望。
　　高通将重点放在了＂智能网联边缘＂侧，也就是我们熟悉的端侧AI。
　　在去年11月的高通投资者大会上，高通总裁兼CEO安蒙首次提出了高通接下来将要贯彻的 ＂统一的技术路线图＂。
　　简单来说，高通想把自己在端侧AI、高性能低功耗计算和5G连接等方面的优势进行一次＂统一整合＂，从而更好地为智能网联边缘领域的各类玩家提供技术解决方案，让高通的AI能力可以规模化地扩展到各条行业赛道中。
　　可以预见，在端侧AI高速发展的今天，还会有越来越多的智能设备都将融入高通的AI生态中。
　　今天我们看到的是第二代骁龙8在智能手机端的应用，而凭借这些坚实的技术基础，高通的AI能力势必会进一步拓展到汽车、XR、PC、IoT等业务中，最终实现＂技术的统一＂。
　　结语：AI敲开移动终端体验变革的大门
　　＂AI＂，一个被整个科技产业热捧多年的关键词，如今已经愈发深入地融入了移动芯片技术的各个环节。第二代骁龙8芯片，既是高通在AI技术上的又一次大胆尝试，也是高通在智能终端AI体验侧的一次革新性突破。
　　这背后，高通在软硬件技术及生态层面的积累令人印象深刻，也形成了自身独有的竞争优势。未来，从手机、汽车到XR，高通还将通过＂统一技术路线图＂给自家各条产品线都赋予了AI能力加持的优势。
　　今天，科技巨头们在AI技术领域的竞争愈发焦灼，高通能否在这条赛道上给我们带来更多惊喜，实现更多体验层的＂质变＂性创新，我们拭目以待。