虽然我们一直说我们使用的是＂智能手机＂，但仔细想想我们手上的智能手机真的智能吗？ 它还不能在你准备开会的时候自动进入静音模式； 它还不能在你准备从家里出去看电影时自动帮你打一辆车； 它所谓的智能助手也还不能分清在你对它说＂我不想看到你＂的时候是真的不想看到它还是只是需要它讲个笑话逗你开心…… 这么想，＂智能手机＂好像也挺不智能的。不过，换个角度想，相比功能机时代，那可是智能多了。 而我们对＂智能手机＂在＂智能＂方面的期待，也是整个手机行业的期待，很多科技企业也在朝这个＂期待＂不停地努力。 例如，这些年，高通一直坚持在自家骁龙移动平台中引入并不断升级AI Engine人工智能引擎，来帮助智能手机不断实现此前无法实现的＂智慧功能＂。 而在最新的骁龙865移动平台上，高通的AI Engine已经升级到了第五代。相较于第四代AI Engine，它在哪些地方做了升级，有能为智能手机带来哪些新的AI本领？今天IT之家不妨就带大家一起了解一下。 第五代AI Engine，全面升级的AI能力 关于高通骁龙移动平台的AI Engine人工智能引擎，其实IT之家在此前多篇文章中也曾为大家详细介绍过，例如《骁龙芯片AI性能霸榜，高通的强大生态实力不止于此》一文中，IT之家就为大家介绍了高通AI Engine人工智能引擎的来龙去脉。 简单来说就是涉及到人工智能的AI运算和传统CPU、GPU负责的整数、浮点运算不同，CPU、GPU自己很难搞定，运算速度慢，所以需要专门针对AI运算的功能模块。 这个功能模块可以是专门的AI芯片，也可以是一种整合CPU、GPU等运算资源的功能机制，让SoC更适合处理AI运算，而高通的AI Engine就属于后者。 具体来说，AI Engine人工智能引擎就是就是协调好CPU、GPU和DSP（Hexagon处理器）三种核心的工作内容。 CPU、GPU和DSP（Hexagon处理器）这三种核心各自擅长不同的运算，其中，CPU擅长逻辑控制与串行运算，GPU擅长大规模的并行运算，Hexagon处理器擅长多线程与平行运算，而DSP中的Hexagon张量加速器特别擅长高开销等级的矩阵乘法运算。 AI运算需要融合传统的高性能串行计算和新兴的并行运算，在智能手机这种移动终端中也包含大规模的乘法运算，所以高通骁龙这种异构运算的思路非常契合深度学习的运算需求。 高通在2015年骁龙820处理器上就已经引入了第一代AI Engine，当时叫Zeroth，经过这些年的发展，到目前第五代AI Engine，其无论是AI算力还是AI生态方面都有了巨大的提升。 具体来说，高通骁龙第五代AI Engine人工智能引擎架构由Kryo 585 CPU、Adreno 650 GPU、新一代Hexagon 698处理器、Spectra 480 ISP、高通传感器中枢（Sensing Hub）、安全处理单元、调制解调器，甚至Quick Charge等模块组成，在他们的支持下，第五代AI Engine的AI能力才能实现大跃进。 先看看最重要的三个模块：CPU、GPU和张量加速器Hexagon。其中，骁龙865的Kryo 585 CPU的性能相比上代提升了25%，能效提升25%，而Adreno 650 GPU的性能相比上一代也提升了25%，能效提升了35%；新一代张量加速器Hexagon 698 的TOPS性能是前代张量加速器的4倍，运行能效提升35%。 综合起来，骁龙865移动平台的第五代AI Engine的AI性能相比上一代提升了2倍多 ，具体到体运算力上，可以达到15TOPS，也就是每秒15万亿次运算的水平。 这种AI算力是相当惊人的，也是第五代AI Engine能够帮助智能手机完成更多AI功能的直接支撑。 不仅如此，在第五代AI Engine中，传感器中枢让终端能够以极低功耗感知周围情境，高精度语音侦测确保语音助手能够清晰准确地接受用户指令，而增强的始终开启的传感器和智能声音识别进一步将情境感知AI提升至全新水平。 这意味着什么呢？这意味着，在第五代AI Engine的帮助下，IT之家在文章开头对智能手机的期待的场景，真正有机会成为现实。例如手机怎么知道我即将要开会而自动进入静音模式？关键的一点就是需要能够始终感知我的语言以及周边环境，理解到我下面要进入会议室了，所以就会自行进入静音模式。 高通第五代AI Engine让我们看到这种智慧的能力并不是不可实现的。而在发布骁龙865移动平台时，高通也演示了第五代AI Engine提供实时语音翻译功能的支持，我们接下来也会讲到。 高通第五代AI Engine还支持深度学习带宽压缩技术，可以实现高达50%压缩比的无损压缩，配合全新LPDDR5所带来的30%的带宽提升，可以进一步AI处理能力。 还有就是，高通在第五代AI Engine上也对神经处理SDK、Hexagon NN Direct和AI Model Enhancer工具进行了升级，可以帮助开发者以极高的自由度和灵活性打造更快响应、更智能的应用。 可以看出，骁龙865移动平台的第五代AI Engine是AI能力全面升级的一代，在它的加持下，智能手机又将朝着真正的＂智能＂更进一步，并获得过去我们无法想象的AI能力。接下来，我们不妨就以最近推出的搭载骁龙865移动平台的智能手机为例，实际感受一下第五代AI Engine为智能手机带来的改变。第五代AI Engine，这些手机功能让人惊叹 在这一部分，我们将体验几款骁龙865新机中和AI相关的功能，感受第五代AI Engine可以支持智能手机实现让我们怎样耳目一新的AI功能。 首先是AI翻译的功能。翻译在智能手机上是一个很常见的功能，例如语音翻译、图片识别翻译等等，它需要智能手机拥有一定的AI运算的能力，特别是在语音识别和图片识别的时候，要用到语音和视觉神经网络的运算，听起来好像已经是一项不错的AI应用了。 但是，之前智能手机上的翻译，都是＂命令式＂的，例如语音翻译，手机需要先识别一句话完整的意思，然后处理，然后才给出翻译结果，不能做到现实中真人翻译那样的实时翻译。 而现在，革新的时刻来了，在第五代AI Engine的支持下，智能手机也能像真人一样实时翻译了！ 我们以vivo 在3月10日推出的NEX 3S手机上的翻译机功能为例，打开手机上自带的《翻译机》App，点击右下角的语音标识，可以进入语音翻译的界面。 然后在＂对话＂的栏目中，点击下方的英语按钮，就可以实时将英语语音翻译成中文。 IT之家在这里播放了一条英语的语音，让vivo NEX 3S进行实时的语音翻译，大家可以看一下这个过程： 可以看到，vivo NEX 3S真的是在对一段语音进行实时翻译，并且最终翻译的结果能够让人满意，至少可以让人大概看懂这段英语语音讲的是什么内容。 同时，有一个细节值得关注，就是vivo NEX 3S在实时的翻译过程中，还会不停地根据前后文的语义来调整翻译的结果。例如＂冠状病毒＂，虽然在视频中最后被翻译成了＂电晕病毒＂，但是在实时翻译的过程中，系统确实曾将之纠正为正确的＂冠状病毒＂，由于IT之家播放的是一段不完整的语音，所以当语音暂停时，翻译的结果又变成＂电晕病毒＂。 相信无需IT之家多说，大家也能感受到vivo NEX 3S背后强大的AI能力。实时翻译，它需要模拟人脑的思维方式，实时处理接受到的语音信息，并将之翻译为文本或语音，这个对神经网络运算的运算量、速度都有极为严苛的要求，需要极为强大的算力支撑，更何况还要实时根据上下文调整翻译的结果。 而正如前文所说，高通第五代AI Engine高达15TOPS的算力恰恰能够支撑如此庞大的AI运算需求，再加上传感器中枢对周围环境的感知，以及高精度语音侦测技术的加持，这也是vivo NEX 3S能够做到实时翻译级别的根本原因。 当然，除了实时语音翻译，vivo NEX 3S的翻译机功能还支持图片翻译，IT之家也进行了简单测试，以一张报道高通骁龙移动平台的英文报道截图为例，vivo NEX 3S可以快速将英文翻译成中文，并且成文具有一定的可读性。 说完了翻译功能，我们再看看游戏。 对于智能手机来说，游戏是一项比较吃性能的任务，需要CPU和GPU都具有较高的性能，而要想游戏运行始终如一地流畅，就需要合理地调度CPU和GPU的工作负载了。 经过上面的介绍，你可能会想到，这不正是高通AI Engine在做的事情吗？没错，高通AI Engine可以通过智能调度CPU和GPU工作时的性能资源，来让游戏始终保持在高帧率、高流畅度的状态。 在游戏环节，我们用努比亚红魔5G游戏手机进行测试，在最高画质下玩10分钟的《和平精英》，游戏过程丝滑流畅，测得平均帧率为59.7fps。 通过性能测试软件，IT之家看到了红魔5G游戏手机在运行《和平精英》时CPU、GPU的调度情况： 在游戏过程中，红魔5G游戏手机主要调动的是三颗最高主频2.4GHz的A77性能核心和四颗最高主频1.8GHz的A55效率核心，其中A55效率核心一直稳定输出，而A77性能核心则会根据游戏场景的需要反复波动，与最高主频2.84GHz的A77超级核心相互配合，从而让游戏体验一直稳定。 再看GPU，性能输出相对比较稳定，主要在400MHz的水平。同时可以发现，当游戏进行到复杂场景时，GPU和CPU核心会共同冲高，主要在游戏开始载入和快结束的时间段。 从CPU和GPU的调度图中，可以清晰看到骁龙865移动平台的第五代AI Engine对两者性能实时、合理的调度，正式因为这种将CPU和GPU拧成一股绳的智能调配机制，才让整个游戏测试过程中帧率能够一直保持稳定。 事实上，除了智能调度CPU和GPU，第五代AI Engine在游戏场景中能做到的还有更多。IT之家还是以红魔5G游戏手机为例，在AI Engine的支持下，它可以实现一些特殊的玩法，例如游戏智能插帧和游戏变声等。 首先，红魔5G游戏手机支持Touch Choreographer游戏插帧算法，该算法是在AI的加持下实现的，在红魔5G的AI功能设置中有次介绍。目前支持Touch Choreographer游戏插帧算法的游戏有很多，《巅峰战舰》就是其中之一，IT之家就这款游戏进行了体验。 红魔5G的屏幕刷新率可以高达144Hz，因此游戏插帧也可以插到144fps，在《巅峰战舰》游戏中可以进行设置。 游戏过程中，IT之家用性能测试软件进行了帧数捕捉，从数据上看，游戏过程中的平均帧率可以达到141.5fps，由于是插帧技术，帧率波动大的时候可以达到9帧左右，不过由于本身已经是如此高的帧率，这种波动在游玩过程中是丝毫察觉不到的。 从帧率变化的图赏，我们可以看到AI Engine不停尝试调节游戏帧率的过程，当帧率下滑时，立刻能够补上去，实际的游戏效果也是非常顺滑，可以用＂饱满＂来形容。 关于游戏变声，IT之家则用《王者荣耀》进行了测试，大家可以通过下面的这段短视频感受一下： 实际变声的效果类似QQ上的语音变声功能，小编从男声变成女声，效果平滑自然。这和QQ上发变声语音不同地方在于，这是实时的处理，和前文实时的语音翻译一样，都需要强大的AI算力予以支持。总结：软硬件通力合作，手机才能真正迈向＂智能＂ 其实，让智能手机更智能这件事，是一个＂系统工程＂，需要智能手机产业链上下游的共同合作才能实现 。高通的AI Engine人工智能引擎，相当于为这项工程提供了一个平台，平台建成了，还需要更多应用开发商在上面挥洒创意，实现更多的AI应用，才能逐渐让智能手机真正智能。 具体到骁龙865移动平台的第五代AI Engine，它在AI 算力、系统功能等方面进行了全面升级，驱动智能手机实现了在过去难以想象的AI功能，例如IT之家在上文测试的实时语音翻译、游戏插帧、游戏变声等等。这样一个强大的AI平台，为智能手机往更智能的方向进化提供了沃土。 在此基础上，高通还在和广大应用服务提供商合作，包括谷歌、腾讯、有道、爱奇艺等等，通过硬件底层和软件层面的互相协同，促进，形成生态上的合力，加快智能手机AI化的进程。 而我们期待中的＂智能＂手机，也正在一步步变成现实。