合肥君正从低功耗视频到智能AI攻坚战的背后故事

　　死磕低功耗和启动时间的五年。
　　如今百花齐放的消费类摄像头市场，此前只见国外品牌独美。
　　Arlo的前身Vuezone在2012年以＂纯无线摄像头＂的概念(1基站+N摄像头)开创了低功耗的产品模式，Ring主打配备摄像头的智能WiFi门铃，在2014年被亚马逊收购，纳入其智能家居生态。
　　当消费类摄像头在欧美市场风生水起时，国内市场萌芽未现，技术气候未成。
　　但合肥君正隐约感觉到，中国消费类摄像头，尤其是低功耗的电池类摄像头将撑起一片天。
　　确定了电池类方向的合肥君正，逐步开始了从硬件到软件、从产品到平台的全方位的低功耗攻坚战。
　　2019年北美线上最受消费者喜欢的摄像头类产品中，电池类门铃及低功耗摄像头已占四成以上。
　　技术逐渐攻克，产品持续改进，加之刚需特性，各类低功耗产品出圈，从线上走进一个个寻常百姓家。
　　蛰伏已久的中国队也梯度进场，之中Anker和Wyze的光芒在2020年格外璀璨。
　　而他们的幕后英雄合肥君正，不仅市场预判得到验证，埋首低功耗的上千个日夜也未曾辜负。
　　从新奇物种到寻常可得，转变似乎在不知不觉之间，但推动这一切的企业们，却将时间拆分成无数个呕心沥血的日子，在那些日子里，他们是如何一步步从黑暗走向光明的?
　　雷锋网AI掘金志就此与合肥君正消费类产品线总监李雅崑进行了一次谈话，以探寻背后的故事。
　　苦练低功耗摄像头的内力
　　＂预判容易，投入很难，＂李雅崑表示，＂尽管这一趋势现已被印证，但当时而言，投入周期很长、投入量很大，也难以保证产出，况且，我们接触的客户似乎兴趣不大。＂
　　电池类摄像头的功耗高低，直接影响了产品的核心：体验。
　　而这，也是合肥君正一直以来的宗旨，因而尽管前路迷雾一片，他们坚定了深耕低功耗的决心。
　　绝世武功的修炼，通常离不开基本功。
　　好在君正的低功耗基本功已然十分扎实。
　　对产品功耗的影响，主要来自于两个方面，一个是SOC的内部功耗，另一个是SOC之外的周边器件功耗。
　　SOC内部的功耗与CPU的设计相关，CPU核心技术算得上君正的杀手锏之一。君正是全球范围内少数几个掌握CPU核心自主设计技术的厂商之一。此外ISP(图像处理器)、VPU(视频编码器)、AIE(AI引擎)这几个核心IP模块也都是由君正自主独立设计研发。
　　正如北京君正副总经理黄磊曾对AI掘金志所言，视频领域的真枪实弹，要靠核心技术，自研是必选项。
　　也正是由于君正自研核心技术，才能对SOC内部细节做到精确的功耗优化。
　　如果说电脑是机器、显卡、CPU内存、南北桥等器件，SoC上，这些器件都存在于芯片内部，各个模块的配合是非常庞大的工作。
　　SOC的内部通过时钟信号来驱动每一拍工作，好比人的心跳一样，而芯片内部的低功耗优化是一项要求极高的设计工作，贯穿在每一个IP模块的每一拍细节之中。
　　＂最简单的做法，每次心跳的时候你都干就完了，但是那样功耗大，我们就精细到每一次心跳的时候，谁休息谁干活。＂
　　十几年的浸润，君正已经将低功耗融入骨血之中，在功耗，性能，成本等方面优势明显。
　　在ISP图像处理上，图像处理器Tiziano，保证了安防摄像头级的成像效果。
　　君正的自研Radix系列 VPU，针对H.265格式复杂度的增加和4K实时编码运算量的增加，重新设计了硬件架构，精细设计的开关控制等降低动态功耗，并通过复杂度选择，对编码关键路径进行算法优化和硬件优化等途径，提供低功耗、高性能、高压缩率的视频编解码能力。
　　在AIE，即AI计算引擎上，AIE架构层面兼顾计算效能与灵活性，低比特量化技术则进一步强化了君正AIE的低功耗与低带宽AI计算能力。
　　这种孜孜不倦的愚公自研精神，外化效益是，同等工艺下，君正SOC功耗比友商方案低25%-50%
　　而芯片外部的功耗优化，则是一门机器精细的工艺，也是多维层面的战役。
　　需要软硬件结合，涉及到芯片设计、操作系统层、软件架构层等;需要针对各种场景对运行功耗和待机功耗等做优化，平衡计算各种场景下CPU的运算能力，更好地调度每个单元的工作，从而将功耗降到最低。
　　＂比如调硬件，在PCB板上，电路板密密麻麻的一大片，每一个器件都有供电，有的还不止一个供电，要把每一路电的电阻断开，去接万用表，去测评它的能力。＂
　　与软件调试不同，硬件调试是一件枯燥且耗费精力、时间的环节。
　　虽说硬件层面的结果是一个待机时间，但这一个环节，就是一项大工程。
　　比如平均功耗，瞬间响应的功耗如何降低，降低到一定水平之后，如何保证稳定。
　　这个过程需要精确地控制每一个毫安、每一个部件。
　　＂拿一个板子，飞线，飞好线，然后到测试的地方，把夹子打开，夹上电流表或电源，跑起来，测技术数据。＂李雅崑回忆起测试场景，＂每一路挨个测一遍，这一轮完了，拿下来改一下程序，优化完了之后再测，不同的场景，不同的分辨率，每一路的功耗，逐一测试，基本就是排列组合了。＂
　　合肥君正就这样，一步一个脚印，从芯片的设计到电路板的调试，把芯片内部、外部、PCP在内所有的东西都校准到最精确的位置，最后得到一个300毫瓦的数据。当抬起头来，他们才发现，不知不觉中他们已经站在功耗层面的头部了。
　　泽拉图平台：一群80后工程师的情怀
　　启动时间，是电池类摄像头必须迈过的一座大山。
　　而百毫秒级的启动速度正是合肥君正引以为傲的功勋章。
　　这勋章得益于合肥君正的泽拉图(Zeratul)平台——基于Linux生态的快速启动技术。
　　当下，极少数具有简单处理器的Linux快速启动技术。泽拉图平台，从启动到拿到第一帧稳定图像用时不到300ms。
　　站立于启动时间高峰的合肥君正，身上的风霜也肉眼可见。
　　＂泽拉图这个名字是我起的，＂李雅崑眉眼带笑，＂他是《星际争霸》中的一个角色，你可能会觉得有点随意，不过代表了我们80、90后工程师的情怀。＂
　　这群80、90工程师、程序员，也将他们的青春倾注在这个平台上。
　　泽拉图的核心宗旨，是在合肥君正搭建好各种底层细节的平台之上，品牌商的产品能更好研发并落地。
　　在那之前，合肥君正面临两大主流操作系统RTOS和Linux的抉择。
　　RTOS系统小巧，能实现几百毫秒的启动，但标准化不高，软件生态欠缺。
　　Linux系统生态强大，应用模式简单，标准化程度高，但启动时间慢。
　　合肥君正一开始尝试RTOS，但越到后面路途越发艰难。
　　摄像头本质上具备连通性，与云端、手机端通信，做视频编解码，做安全加密，但RTOS的独一无二性，让这些软件都需重新适配，工作量巨大。
　　＂产品的音视频业务程序将有两倍的工作，甚至我想支持一个新的WiFi都很难，驱动要重头写。＂
　　权衡之下，他们选择了Linux系统。
　　Linux强大的生态让他们在开发难度、扩展性上如虎添翼，为更好的融入AI大潮再添一把火。
　　这同时也意味着他们必须要解决系统启动时间的问题。
　　为什么要死磕启动时间?
　　一是信息的完整性。摄像头待机时，主控芯片CPU处于断电状态，人出现后快速启动并识别，是一个硬性指标。
　　比如PIR(人体红外传感器)触发后，如果是百毫秒级启动，视频可以显示人从进入画面到离开画面的全过程，如果是1秒启动，只能捕捉到人从画面中间到结束的过程，如果是2秒，只能捕捉到一个后腿。
　　二是用户体验。如果启动时间慢，用户远程查看手机体验不佳。
　　与市面上的摄像头十几秒的启动时间相比，当初Alro、Ring的秒内快速启动简直是对前者的降维打击，也让他们一举成为市场标杆。
　　＂虽然都是摄像头，但不同类别在技术和产品方面区别很大，我们开设了专项方案开发低功耗产品。＂
　　他们拆解Alro、Ring的产品，把每一个零件，每一个流程都一一理解、剖析，待机时间、运行机制.....每个部分反复测验。
　　在理解的基础上，他们给自己设置了一个目标：秒启。
　　先以3秒为目标，再以1秒为里程，逐渐往上攀爬。
　　前期的积累得到回报，他们很快实现3秒启动。
　　如果从十几秒到3秒的路是枕席过师，那么3秒到1秒的路就是羊肠九曲，1秒再往后便是阡陌纵横。
　　在实现1秒启动后，他们在传输、唤醒、触发等的每一个细节深究。
　　1秒之内，逐渐攻破了900毫秒，到2017年底，达到600毫秒。
　　而后随着T21、T30、T31芯片的迭代，软件技术的成熟，合肥君正又从600毫秒翻过400毫秒的大山，最后达到200毫秒的山头。
　　短短几句话，概括了他们几年来从十几秒到200毫秒的历程。
　　200毫秒已实属优秀，甚至超过不少欧美品牌的水平，他们并未满足于此，而是提出更高的要求——力图200毫秒以内拿到稳定的图像。
　　这是个无限接近极限的目标。
　　在当下传感器初始化标准耗费时间约100毫秒的背景下，要想使得拿到图像的时间控制在200毫秒以内，需要在以帧为单位的量级上下功夫。
　　而＂稳定的图像＂意味着，在图像出现后，在100毫秒以内对颜色、亮度进行校准、让每一帧的图像更好。
　　＂几毫秒、第一帧的颜色亮暗程度不同，越往后走越细，有些细节不会体现在参数和报告上，但在产品落地的时候，就有问题，你必须去搞定，有点像磨手机壳的感觉。＂李雅崑如此类比。
　　对速度的无限追求，对用户体验的极致提升，或许是他们坚持下去的动力。
　　这如螺蛳壳内的精雕细琢之路，荆棘载途，他们却甘之如饴。
　　启动速度之外的图像收敛(出图像时间)，是另一个极为关键的环节。
　　＂只有启动时间快，你的出图时间才能快，但是图像的收敛稳定时间又是另外一件事。＂
　　翻译下就是，启动速度和出图时间，是一个纬度的两个方面：启动时间快是基础，图像收敛是效果。
　　视频刚开始录像时，前几帧的图像并不是一个恒定的速度，不同产品的图像可能在最开始的几帧亮度不一。
　　与启动时间快慢类似，图像收敛如果效果不佳，即启动后画面太暗或太亮都将难以捕捉到最开始的信息。
　　如此，不仅用户体验感下降，也可能丢失某些关键信息。
　　在启动层面，要将启动阶段内的诸多工作集中在第一时间，进行操作系统的解压、系统的引导，驱动的初始化，图像的初始化，是一项毫秒量级的工作。
　　＂我们也是每个细节跟客户抠，比如某个模块初始化是20毫秒，某个30毫秒，同时还需要加入硬件的加速，软件、系统的高效调度。＂
　　在图像收敛层面，市场大多数摄像头帧数为25帧/秒，一般情况下，摄像头可以20帧左右(即不到一秒)收敛。
　　＂但如果现在开灯，摄像头启动时按照20帧的速度收敛，就太快了，300毫秒到1秒没的画面还是黑的，那就没有意义了。＂
　　图像亮度调节涉及到算法。合肥君正根据具体场景，以及外置传感器的参数，一张一张图像地打磨，将时间细化到600毫秒400毫秒200毫秒，从第一帧抠起，到第二帧，第三帧精确到位，输出正常的图像。
　　＂比如一开始从接近20帧收敛，然后逐渐调节，15帧、10帧、5帧、3帧，直到达到极致。＂
　　配置加速启动的硬件，环节理解的软件到位后，并行度达到极致，而后他们通过一系列精密的调试和设计，最终达到操作系统的快速启动。
　　一旦突破了启动时间的瓶颈，在这条汹涌的河上搭建起一座桥，桥后的路犹如一马平川。
　　在操作系统的核心之下，合肥君正同时提供了可以落地的 Wi-Fi对接技术、基站对接技术、PIR基础、MCU技术。
　　得益于Linux方案，君正泽拉图与常规类摄像头可以共用大部分底层技术及API接口，对于产品方案商相当于维护同一套底层系统，而非两个完全不同的产品形态。
　　合肥君正之所为，无非一个目的，降低产品在SOC底层方案的门槛，让产品商能够把精力、物力、财力放在产品特性及用户体验本身上。
　　每一次理解、设计、调试，过程繁琐，但合肥君正走得踏实，走得坚决。
　　几轮春夏秋冬中，合肥君正不断突破瓶颈，打磨巩固，以至于基于Linux的快速启动技术，逐渐成为合肥君正泽拉图的核心技术。
　　＂我们的核心技术，就是在单核的、简单的处理器上，让Linux在一秒甚至100毫秒以内启动，只有这样这个产品才是成立的。＂
　　目前，Zeratul Linux的启动速度及出图效果已经达到甚至超过RTOS——200多ms得到稳定图像，对强光、弱光、夜市等各场景的适应性都显著增强。
　　在市场的历练场上
　　除了快启和功耗，合肥君正在Wi-Fi方案上颇下了一番功夫。
　　对于Wi-Fi的随机性、网络拥挤、路由器兼容等问题，在实验室反复测试，而后结合方案商、品牌商等多方合作，在不同场景、不同条件下测试，力求均达到稳定状态。
　　如今，他们的Wi-Fi方案适配广泛，适应不同规格不同追求的产品方案。
　　＂这是必过的一关，芯片做得很好，功耗很低，启动时间很快，Wi-Fi方案不成熟，产品照样不能落地。＂
　　从决定投入Wi-Fi低功耗技术，一直到现在，合肥君正都在坚持对Wi-Fi生态的优化，现已进入到稳定期。
　　有人揶揄，如今Wi-Fi市场技术稳定，这些芯片厂商何苦自己如此大费周章。
　　＂如果我给客户一个主控芯片，一个Wi-Fi芯片，虽然搭配起来能解决若干问题，但是他不知道怎么做，我们积累的经验就发挥出来，＂
　　李雅崑平静而坦诚，＂如果我把这份工作推给Wi-Fi厂商，Wi-Fi的问题找他们，主控的问题你来找我，那这个客户大概率还是做不出来。＂
　　揶揄之话确有其理，只是商场较量并非泾渭分明，核心业务高墙要造，底下输水管道要通，而成败，可能就在一个又一个看似不相关，可有可无的项目里。
　　诞生近四年来，泽拉图经历了从经典T20到最新一代T40的几代SoC迭代，配合多个产品落地，方案稳定成熟。
　　已有WYZE、360、Eufy、Toucan等多个国内外品牌基于君正泽拉图平台产品的成功出货。另外一些国内外大品牌相关产品在design in阶段。
　　李雅崑表示，＂泽拉图平台下一步的技术和市场目标是融入端级AI技术，与低功耗技术在产品端深入配合，希望可以进一步优化体验，扩大市场，给消费者带来更好的产品。＂
　　君正为此推出了人形、人脸、宠物、哭声、车型、笑脸、周界等消费类摄像头应用较多的检测和识别深度学习算法，赋能端级AI。
　　遇山开山，遇河渡河
　　在北美市场，House的家庭结构使得家庭摄像头具备一定的刚需，市场也因此最先爆发。
　　近年来Wyze、Eufy等品牌的低功耗产品在海外逐渐打开局面，并迅速取得良好的口碑。
　　国内市场，家门口的安全是家庭安防的第一道关，在后疫情时代，低功耗摄像头将加快进入消费者视野。
　　同时从2017年左右开始，360、鹿客、萤石、小米等领先品牌先后发布电池门铃和猫眼，2020年运营商正式将门铃纳入集采产品，国内的电池低功耗产品市场也正加速发展。
　　免去了复杂的布线，繁琐的设置，以及高额的维护成本，随着更多品牌的加入，电池类纯无线摄像头越来越受欢迎。
　　而这，是时代发展的产物。
　　技术上，低功耗和快速启动技术的发展，低功耗摄像头在分辨率、待机时间、误报率等等技术规格上都不断提升。
　　方案和产品上的各项难题逐渐被攻克，在ID设计，品牌市场推广方面，也在逐步提高。
　　这些都使得在体验、易用至上的C端市场，消费类摄像头的规模将越加壮大。
　　Strategy Analytics相关研究报告预测，到2023年，全球消费级摄像头销量将激增至超过1.11亿台，在消费类摄像头的支出将达130亿美元。
　　在未来，品牌消费类摄像头，有线版摄像头和纯无线电池类摄像头将相互补充，各有应用。
　　高端摄像头市场，电池类摄像头和AI摄像头可能成为新趋势。
　　而合肥君正搭载泽拉图的T40芯片，将在高端消费类摄像头中展露头角。使用了双核Xburst2及增强RISCV协处理器的T40，启动速度、性能、功耗、首帧效果上进一步提升。
　　专业级硬件NPU加持下，T40可提供更智能的误报过滤方案，减少待机时间影响。
　　高端电池类产品的衍生需求4K和双摄，也是T40的看家本领，它还支持高中低多种规格的LCD屏幕接口。
　　眼下，在电池类摄像头，合肥君正已经拿下了市场50%以上的份额，未来将继续向前进发。
　　无论是从无到有，还是从有到优，合肥君正从来慎重抉择，而后便全力以赴，遇山开山，遇河渡河，不急不躁。
　　而技术日精月进、落地稳扎稳打的合肥君正，也一直在路上。