对于联发科，相信很多人首先会想到手机芯片，没错，智能手机市场仍然是半导体行业的重要市场，不过随着技术趋势的演进和市场需求的变化，以往性能为王的时代已经过去。对于联发科而言，过去和竞争对手的竞争局势也在发生着重要变化，而5G时代的靠近和AI技术的火热，正是推动这些变化的重要因素。 在《5G黎明AI破晓，手机厂商的诸神之争》一文中，IT之家曾和大家分析过AI技术未来的应用趋势，其中AI相机将是未来AI在智能手机上应用的关键。而联发科正在努力抓住的，正是AI相机这一重要趋势，希望借此成为未来发展的突破口。 在上面这篇文章中，IT之家已经对联发科在AI相机方面的主要研发方向进行了介绍。5月14日，联发科在北京总部举行了主题为＂真AI相机·还原真实世界＂媒体沟通会。沟通会上介绍了联发科即将上市的Helio P90处理器，具体是如何利用AI技术提升手机相机的效果的。 AI专核相比CPU、GPU等进行AI运算的优势 首先我们知道，智能手机的拍照和单反等相机的拍照，在处理逻辑上是有很多不同的，智能手机的拍照可以说一半靠镜头模组的硬件素质，一半靠算法，而在相机中，机内优化算法仅占很小一部分。这是因为智能手机和相机＂底＂不同造成的。这个＂底＂，就是感光元件，即图像传感器。一般来说，单反相机的图像传感器单位像素面积可达到5-6μm，而智能手机的单位像素面积只有0.8-1.2μm，同时单反相机中全画幅的图像传感器感光面积可以达到智能手机的20-50倍。图像传感器可以说是摄像头拍照的＂灵魂＂，这就是智能手机拍照和单反之间难以逾越的差别。 未来智能手机的体积只会往越来越小越来越薄的方向发展，所以做大感光元件的面积是几乎不可行的，那么就要从另50%中寻找突破手机拍照影像表现的方法。AI技术的不断成熟，恰恰提供了这个可能。说到底，提升手机拍照的基础影像素质，是AI在智能手机拍照应用中最关键的一环。 而联发科基于此，自主研发了一套以AI为核心的图像算法：Imagiq，从Helio X20到Helio P90历经四代，这套算法，主要从三个关键点来提升手机拍照的影像素质，分别是噪点抑制、画面光线对比增强以及动态范围能力的提升。 当然，有AI算法还不够，还需要能够运行AI计算的核心。在Helio P90中，就有一个AI专核APU，也就是APU 2.0。联发科认为，处理AI运算，拥有AI专核是必要的，它的好处是功耗非常低。在设计手机的时候，最重要的挑战就是它所能承受的功耗是有限的，发热是有限的，频宽是有限的，在这种很有限的环境下，想要提供更高的AI性能或者AI的算力，像APU 2.0这样的专门核心就是很好的解决办法。事实上，在APU 2.0的帮助下，Helio P90的AI算力十分强大，在行业内比较认同的AI算力标准来自苏黎世联邦理工学院(ETHZ)的AI-Benchmark榜单，即苏黎世跑分中，Helio P90的跑分为19496，位列第一。 另外，对于AI专核的问题，IT之家在本次活动的问答环节也进行过提问，既然Helio P90已经是采用APU2.0 AI专核的方案，那么在进行AI运算时，是不是只有APU在进行AI运算处理，CPU和GPU或者ISP两脚站开，还是说CPU和GPU也会进行一些协作。对此联发科方面表示，不同的处理器有擅长的运算类别，一般常规的运算用CPU做比较好。APU定位成一个做深度学习网络时候加速的用途，Helio P90会将那样类别的运算放在APU上面，用最有效率、最低功耗的方式来实现。做完处理结果，送到ISP做进一步处理。当然更进一步的数据也会交给CPU或GPU处理。也就是说这个过程彼此是既独立又有协作的，只是让不同的核心来专门处理他们擅长的数据。 再更进一步，IT之家小编问道，APU和相机模块之间的沟通也很重要，联发科是不是也有自己的技术让他们更好地合作。对于这个问题，联发科方面表示他们主要是从平台架构、设计角度来优化不同品牌之间相互作用的效率。和相机模块相关的主要是APU、底层的ISP，当它们在做一些讯息交换的时候，可以尽量做到比较省电。如果在架构设计的时候没有考虑到这个点的话，信息交换时可能会耗费额外的功耗。 Helio P90怎样提升手机拍照影像素质 介绍完硬件，我们回过头来看刚才所说的提升影响素质的三个关键点。首先是噪点抑制。噪点相信大家都了解，由于智能手机感光元件的面积很小，很容易产生信号干扰，形成噪点。而Helio P90的噪点抑制，主要还是通过多帧降噪的技术，在AI算力的帮助下可以实现更好的效果。 所谓光线对比方面的改善，主要是追求拍照画面光线的均衡性。联发科在沟通会上也展示了这一点处理前后样张的变化，在原图中，光线直射的部分亮度充足，而街道背光的部分则是暗成一片，这是我们在拍照中经常遇到的状况。而Helio P90可以通过Imagiq的技术，用global（全局）模型来提升画面的亮度表现，但是这样画面整体又会失去层次感，因此在这个基础上，Helio P90又加入了local（局部）的处理模型，从而让照片画面每一处都有良好的亮度对比，整体亮度均匀的同时也更有明暗的层次感。 动态范围能力的提高，其实就是能够清楚提供画面最高亮度和最低亮度部分细节的范围。人眼的动态范围是很高的，很多时候高亮度和低亮度区域的细节信息我们能同时看到，但是相机ISP经常就很难兼顾，特别是手机的ISP，表现更为糟糕。Helio P90则是希望通过AI技术，让ISP能够尽可能同时处理到高光和暗光部分的信息并呈现出来。事实证明效果不错，在一组咖啡厅的样张中，灯泡里的灯丝亮度是极高的，而吊灯周围的环境亮度则很低，通常手机拍出来的效果是，灯丝部分亮成一坨白光，而周围的环境仍然比较暗，看不到太多细节。在Helio P90的处理下，灯丝部分的高光溢出有很大改善，至少能看清灯丝形状了，同时吊灯周围的环境亮度也提升了不少，可以看清墙壁上的细节了。 有了这三个方面的改进，Helio P90借助APU 2.0，在实际的应用中，对智能手机拍照提升最显著的，其实就是夜间或者暗光拍照的效果。夜间或者暗光环境下的成像一直是限制智能手机拍照的一大难题，在本次沟通会上，联发科通过一系列的实拍样张以及和竞品的对比样张，来介绍Helio P90的AI能力为手机夜间拍照效果带来的增益。IT之家小编在这里挑选几组具有代表性的对比来和大家分析。 在会后的采访环节，联发科表示这些对比的样张都是在手机自动模式下直接拍摄的，没有开启专业模式或者其他功能辅助。 首先是和iPhone XS Max在夜间人像方面的对比。下面两张照片，一张是用iPhone XS Max拍摄，一张是用搭载Helio P90的内部样机拍摄，两张照片乍一看成像素质差不多，只是Helio P90的样张色彩更饱和，对比度也稍高一些。不过放大面部的细节可以看到，iPhone XS Max的样张存在明显的噪点，而Helio P90的样张，人物面部纯净度则要高很多，虽然也有涂抹的痕迹，但观感上仍然自然，细节相较于iPhone XS Max的样张也没有多少丢失。 接下来的这一组也是和iPhone XS Max的对比，环境是在光线昏暗的咖啡屋中，从样张整体来看，Helio P90的样张色调偏冷，清晰度相比iPhone XS Max看起来要高些。放大后就比较明显了，Helio P90样机拍摄的照片纯净度更高，明暗阴影更自然，女模特被灯光直射的发丝细节也更清晰，模特背后，书架上图书，Helio P90的样张能够清晰看出《破晓》书名，而iPhone XS Max样张中书名已经模糊。 随后的这组是和搭载7nm SoC的某款旗舰手机拍照样张的对比。样张中，竞品旗舰的色彩饱和度更高，但是色调有些偏红，可能会更抓眼，只是有些偏离了真实的色彩，而Helio P90的样张色彩更真实一些，同时可以看到，模特眼部的细节，Helio P90的样张明显更丰富一些。 然后是和另外一款7nm竞品旗舰的对比，这两组样张的差别就比较明显了。总体来说竞品的样张细节丢失较多，存在过多涂抹导致画面整体偏＂肉＂，而Helio P90的样张，细节明显更多，也更清晰，画面中木质桌面纹路尤为明显。 除了和手机对比，沟通会上联发科还展示了Helio P90的样张和索尼RX100微单以及佳能5D3单反的对比。当然，无论索尼RX100还是佳能5D3都有更大的感光元件，因此在弱光环境下他们能够更好的整体表现。不过Helio P90通过APU 2.0的辅助，它的意义在于，能够利用AI算法对样片中相机的机内优化能力无法做到的不足处进行完善。 例如在RX100的样张中，女模特的脸稍微有些往背光的一面侧斜，暗光部分就会出现噪点，但是在Helio P90的样张中，这些地方已经被优化和修正。 而在和佳能5D3的对比中，Helio P90的样张也因为AI的优化而获得了更有层次的瞳孔细节以及人物面部更明显的立体光影，同时模特眼前的花瓣、树叶纹路也更清晰。 AI增强的相机能力 除了提升手机拍照的影像素质，真AI相机对手机摄像头其实是整体能力的提升，其一就是脸部侦测的能力，它可以让手机摄像头即使在比较恶劣的环境下也能侦测到人脸，同时具有实时、快速侦测以及低功耗的特点。 在沟通会上联发科也展示了一些具体测试，例如让模特在巨大的摄影灯前，构成强背光的恶劣拍照环境，通常情况下手机包括相机都会将人物拍成剪影，而Helio P90则能准确侦测到人脸，拍出的照片可以看到模特面部清晰的细节，并且背景的摄影灯以及墙壁的内容并没有过曝。这尽管是采用了多帧合成这种简单的技术，但是在此类高强背光的环境下，能够识别到人脸却是最困难的。 在沟通问答的时候，IT之家了解到，这样的场景是在没有进行任何手动测光的情况下拍摄的，也就是拿起手机直接拍照的自动对焦模式。AI无法识别用户内心的意图，所以会优先考虑更大众的拍出人脸细节的需求。如果用户想要拍出剪影的艺术效果，则可以手动选择对焦点。 而在AI脸部侦测的速度方面，联发科也做了测试，将Helio P90和苹果的A12以及另外一款旗舰手机芯片做对比，以中间一张男性人物脸部识别速度为例，A12的识别速度是132ms，未知名竞品旗舰芯片的速度是957ms，而Helio P90的速度是66ms，此外，Helio P90还可以同时识别人脸的性别以及面朝的方向。 还有一项比较有意思的能力，就是ROI视频编码，这主要是用在视频场景，它可以在有限的比特率及带宽下，通过AI自动识别用户可能感兴趣的内容，然后对这部分内容进行编码优化，提高清晰度，从而有效运用资源，提升观看体验。在联发科展示的两个例子中可以看出，例如第一个例子中自拍视频以及拍摄飞机起落的视频，两者的初始清晰度都比较差，而Helio P90能够智能识别和判断人脸、飞机是用户感兴趣的区域，然后对这部分进行编码优化，前后对比可以看到优化后的人脸和飞机清晰度都有提升。 对于AI增强相机的能力，IT之家小编觉得这是一个很有趣，也很有应用前景的技术，毕竟即将到来的5G时代，万物互联是一个大趋势，智能视觉的应用不会局限于智能手机。在问答环节，IT之家小编也询问了联发科在其他智能终端方面的规划。联发科方面表示，他们有不同的事业部，在另外一个事业部在做智能相机，或者智能终端上面加相机，这些应用都会用到AI技术，比方说看电影的时候，让你的视觉更漂亮，影像处理更真实。值得注意的是，以Helio P90为例，这是一个开放的AI平台，有自己的开放协议和接口，所有开发者都可以用。＂几乎世界上开发AI算法的我们都有在合作＂，联发科无线通信事业部营销处处长李俊男如是说，也就是，位于未来万物互联的AI视觉，联发科也已经有所布局。 我们知道，在过去的几年，联发科在智能手机市场的表现其实并不如意，特别是高端智能手机市场，不过即便如此，我们看联发科2019年第一季度的财报，该公司有527.22亿元新台币（约合17亿美元）的营收，年增6.2%，达成预期目标，而税后纯益为34.16亿元新台币，年增34.8%，整体表现仍然不错，原因在于他们通过对未来万物互联时代以及AI技术趋势的预判，找到了自己的发展路线，并能实现品牌稳健增长。而本次的沟通会上，我们能够看到联发科在AI技术方面的专注以及技术研发的功力。 最后，关于Helio P90何时上市的问题，沟通会上也有媒体问及，不过联发科方面并没有给出确切的时间，但是透露很快就会有对应的手机产品上市。