安谋科技商德明端云协同，进入软件定义智能摄像头时代

　　智东西（公众号：zhidxcom）
　　编辑 | 程茜
　　6月30日，由智东西和智东西公开课主办的GTIC 2022全球AIoT智能家居峰会（以下简称AIoT智能家居峰会），在线上成功举办，在全网16个渠道同步直播，线上观看人数达到了90多万人，众多嘉宾的议题都引起了大家热烈讨论。
　　8位行业重磅大咖就AIoT智能家居的技术突破、创新应用和行业展望展开了精彩的深度探讨，直击行业痛点。
　　安谋科技智能网联业务线联合负责人商德明
　　作为安谋科技智能网联业务线联合负责人，商德明以《端云互动，迎接智能摄像头新时代》为主题进行了演讲。
　　随着人工智能和云端技术的发展，越来越多的摄像头具有了AI功能，如何实现端云协同，打通视频数据采集、传输分析、算法提取以及端侧部署的整条链路，更好的发挥摄像头的价值，是业内共同的挑战。
　　软件定义已经成为趋势，商德明认为，软件定义智能摄像头也会成为未来的趋势。
　　随着新趋势的发展，智能摄像头正在不断向边缘计算转移、不断增强的安全关切和支持云原生应用发展。
　　同时，安谋科技也围绕三大趋势提出了针对性的解决方案，包括具体的芯片设计和软件参考实现等。
　　附安谋科技智能网联业务线联合负责人商德明演讲实录
　　商德明：首先感谢主办方的邀请，也多谢各位观众、各位听众的参加，在这里也非常高兴能够跟大家一起交流，关于端云互动在新的时代以及智能摄像头、智能摄像机等在人工智能浪潮下的一些新应用和方式。
　　同时非常感谢前面各位嘉宾的精彩演讲，有很多的新的应用案例，也给了我很多新的启发。
　　安谋科技作为技术基础的使能方，可以和在座各位所在领域产生非常好的互补关系。同时，各位嘉宾也都分享了很多丰富的应用场景，这些应用场景也正好是指引我们现在和未来，对产品、技术进行迭代的方向。
　　所以借着这样一个话题跟大家一起分享一下在端云互动未来摄像头领域中，安谋科技和Arm是如何进行一些基础性工作，并为行业和生态合作伙伴提供更多的工具和底层技术，使得越来越丰富、越来越智能的应用能够走到千家万户。
　　大家都知道，随着科技的进步，软件定义已经发展成为一个趋势，网络连接技术、计算技术和云端存储技术的发展，再加上越来越广泛、统一的操作系统和虚拟技术、容器技术等，使得软件定义更多的应用、产品成为可能。大家也都听到有很多如软件定义汽车等的案例介绍。
　　以手机为例，从硬件来看其形态有很多变化，但我们每天大部分时间使用的都是其所提供的内容，并且通过下载不同的APP就可以提供不同的服务、从事各种操作，我们在软件层面会有更多的投入、开发，然后将这些软件应用在终端设备商，能够产生更多智能的服务。
　　从这样的趋势往下延伸，软件定义智能摄像头也会成为未来的一个趋势，并且有很多先进的公司已经在采用或者正在实践这种方式，包括而且有很多先进的公司已经在采用和正在实践这样的一种方式，包括现在的ITU（国际电信联盟）也都有了ITU标准（国际电信联盟标准），这些都是非常好的趋势演进。
　　今天我就这个话题跟大家分享一下我们的思考和规划，也希望能够跟大家有更多的探讨和交流。
　　我们看到智能摄像头有三大新趋势。
　　首先是不断的向边缘计算转移。以前摄像头就只是一个摄像头，只对影像数据进行收集、存储、送到某个地方由人的眼睛来检查或者送到云端，通过云端算力进行分析。
　　现在摄像头越来越智能化，摄像头拥有更多的智能化处理能力，因此智能摄像头不再是一个简单的傻瓜摄像头，还会包含更多的智能应用，这些内容后面我会详细介绍。
　　第二个趋势是支持云原生应用。前面很多嘉宾也介绍到，企业会在云端进行应用开发、在云端环境进行无限扩展，而且云端提供了很多的这些DevOps、Container（容器技术）等，都使得企业在云端开发应用，并进行广泛部署时不受物理因素的限制，这也成为了非常重要的演进趋势，同时这些应用也正在被广泛实践。
　　在云端开发的应用，如何将这些软件和算法部署到端侧，也是一个非常重要的环节。原因在于，一是端侧更加智能，二是云端和端侧的互动越来越密切。
　　第三个趋势是不断增强的安全关切，比如说我们在云端开发了很多的软件，能够在云端保障其安全，但是把云端开发的产品部署到端侧时，端侧就会有各种各样的硬件限制和不同的安全机制，所以如何在安全性与云端有很大不同的情况下，能够继续实现同等安全级别的保障，是不断增强的安全关切里重点关注的内容，后面我也会详细展开介绍。
　　在向边缘计算转移方面，我们可以看到在生活中，一些产品已经从以下几个方面发生了变化。
　　首先是定位、跟踪以及对人体进行识别，这些都是随着人工智能技术发展，以及有更高算力、更高性能的计算平台支撑，使得其能够进行不同物体、人脸的识别，同时随着不同空间的变化，能够对人的动作进行分析、判断、追踪，这些都是非常重要的应用场景，此外，还支持各种各样的关键点进行检测、判别。
　　第二是自动边界分割，我们在现实生活中常常会遇到一些正在运行的电梯、水池或其他危险地带，我们需要对其进行分界，这样的话，如果有遇到危险的情况就可以及时对用户进行提醒，这些也都是很重要的边界分割能力。
　　第三是在安全方面，我们要求对整个产品的安全得到非常好的保障，比如访问权限的保障、本地推理、模型保护、数据保护、知识产权保护，以及流媒体保护等，这些都是安全相关的要求。
　　最后是不断增强的人工智能，随着人工智能技术的进一步发展，产品可以根据一些人们的行为来进行判断，比如现在有一些安全隐患或安全时间，我们可以通过人工智能模型分析，远处的摄像头就会变成安全部分延伸的千里眼，能够看到一些特殊或比较激烈的行为，提早给安全部门一些提醒和警示。
　　这些都是边缘计算等技术发展带来的。
　　随着不断的安全关切，我们也要在技术上实现突破。
　　首先是安全岛（Secure Enclave）的建立，它会使得整个系统有一个安全的信任根（Root of Trust），也就是一个安全可信的空间。在空间内，你可以实现安全启动，包括对整个设备进行安全检查，使得其不会被黑客袭击或对攻击模型进行分析，同时可以使整个系统里的不同安全级别的软件能够进行隔离，另一个软件不会侵入其它软件中更为敏感的空间，此外，安全存储、固件更新也都能得到保障。
　　如固件更新，后面我们也会谈到，很多产品的升级、更新都是非常重要的。设备更新会经常发生，需要保证固件安全，不会有木马或其他黑客的病毒，并且能够隔绝袭击，另外加密认证等内容，都是安全关切里非常重要的部分。
　　Arm联合很多合作伙伴，提出了PSA Certified安全认证，这个认证和相关架构的提出，将安全模型、攻击模型进行仔细分析，并通过PSA Certified安全认证的方式，使得不管你的设备用什么样的硬件结构搭建起来，都能显著提高设备的安全等级，极大地保障其安全。
　　不仅是国际上有不同的安全标准，国内也有相关标准去保障安全，国内国标《公共安全视频监控联网信息安全技术要求》也分为A、B、C三个不同的等级，尤其C级中，除了安全认证外，还会对视频流进行保护，也就是对视频进行加密，同时对安全的底层硬件提出要求，使得硬件能够快速、实时的支撑视频流的加密、解密过程，这些也都是安全要求及安全技术产生的实现方案。
　　第三个方向是云原生应用，我会通过这张图跟大家展开介绍一下。
　　首先我们可以看到，有底层技术的保障，使得我们可以在云上提供很多服务，云上的应用也可以不断进行开发。
　　未来，我们想要做到软件定义摄像头的趋势，就需要一方面在底层建立更加统一、抽象，并能够与硬件隔离的软件架构，使得上层开发者不再被不同硬件之间的差异所困扰，而能够集中精力去开发不同场景的应用。
　　所以我们可以想象，未来，随着端云互动机制的打通，会有更多开发者面向不同的应用场景来开发云端的应用，使得智能摄像头具备的功能越来越多。就像我们的手机中有上百万个应用一样，都和我们的生活息息相关。随着整个生态系统不断成熟，会出现更多的应用场景和需求，这些开发者也会针对性的根据广大用户的需求进行开发。
　　在智慧家庭中，比如会出现老人摔倒、婴儿看护、监测厨房烟雾等情况，现在这些问题的解决往往是由厂家建立软件团队，做各种各样的模型，未来，其实这些内容都可以形成一个社区，大家根据现在已经有的各种各样的应用场景或未来可能出现的场景或需求，基于底层软硬件技术，使得这些应用能发展起来。
　　所以我们一方面在云端形成了一个虚拟环境，它能开发不同的应用，同时又基于容器技术等底层技术，将这些应用平滑、有效的部署到终端上去。开发者不用再担心其开发的应用在摄像头或者机器人等设备上的部署问题，不用考虑硬件设备之间的差异，充分利用端云互动机制，这一方面也是算法应用部署的一个方向。
　　那么为什么端侧需要更多的智能？因为智能摄像头能手机很多真实的数据，它也最靠近数据，并可以根据这些数据的特点进行训练。
　　一方面，数据在端侧可以进行训练，也能把一些更加复杂的或者需要云端算力训练的数据送到云端，然后进行更细致的训练，使得训练模型更加精准、丰富，接着把训练好的模型再部署到端侧，回到智能摄像头这样的硬件中去，进行算法更新。
　　同时我们也可以看到，容器技术等的支撑下，并行的模型也能够同时进行推理。就像前面嘉宾提到的，像多模态感知，将声音、视觉或其他的感知，通过并行的方式来运行。
　　在图片右侧下方，我们有异构系统，也就是相关的CPU、GPU、NPU、ISP等硬件单元，异构技术的发展，再加上摩尔定律，硬件的发展更加丰富，也需要专门的硬件来处理更多的数据流、更多的应用。
　　所以根据不同的硬件形成了异构系统，并通过前面的软件技术能更好的利用不同硬件，使得这些数据流能够得到更好地处理。这个是整个业界大家在共同推进的话题。
　　以上就是整个行业的趋势以及现状的一些特点。
　　接下来我介绍一下安谋科技在智能摄像头解决方案上的做法，主要有三个方面，我们也在和合作伙伴一起研究更好的解决方案。
　　首先是芯片参考设计。芯片里包含这些所有的处理能力的IP，如何使芯片中不同的子系统和这些系统IP的组合，能够适应智能摄像头里边的高速数据流，并对数据流进行智能分析，提取更多信息，这是芯片参考设计中最主要的一个作用。
　　实现这一目的需要具备更高的性能、完整的功能以及更快速的处理能力，并保持实时性，这也是芯片层面需要解决的问题。
　　第二是硬件仿真平台。我们有几种方式，一方面我们完成了智能摄像头方案设计后，可以在FPGA板上进行调测、验证。同时，我们也可以通过RTL在Testbench上进行测试，发现开发者设计的芯片方案是否在性能上达到要求。
　　尤其是我们不仅仅是要使自己的算法，自己的软件在功能上能够满足要求，同时你要考虑这个性能在哪一个硬件单元上花费了很多时间，同时，你的算法在提升、优化后的实际效果如何，这些都需要进行测试。
　　此外，我还想强调的是Arm提出的Virtual Hardware，这也和我前面提到的云原生和充分利用云上的能力相关，也就是说我们把相关的重要IP，包括我们现在正在规划和开发的智能摄像头解决方案在内的相关重要IP，将其进行虚拟化部署在云端，这样的话包括算法工程师、软件工程师等开发者，就不需要等芯片流片，再到板子上进行测试。
　　事实上，这一过程需要花费很长周期，非常耗时。开发者不需要等待，就可以在Virtual Hardware的虚拟环境中调试智能摄像头的能力。前面嘉宾也提到，有声音、视觉方面的算法以及成百上千的不同应用，都可以在这个平台上进行测试，这是非常重要也是很有价值的一种方式。
　　第三是参考软件栈，这也是非常重要的。我们会从容器技术、安全认证等不同角度来提供底层的协议栈。作为一个平台开发商，软件工作量往往是大于硬件工作量的。
　　所以我们提供软件参考设计或参考软件栈，可以大大缩短产品开发的时间。此外，从生态角度讲，软件栈在生态上实现了统一，广大的开发者和用户就可以享受这一便利，能够开发出更加丰富的底层应用，不需要在底层一些没有差异化的软件栈上投入更多，使得产品、资源都更加聚焦到企业构建差异化优势的产品和应用中。
　　刚刚，我介绍了从硬件、软件、开发环境，以及我们向合作伙伴提供的参考设计图。对不同的企业硬件、软件团队，这张图片可以做一个参考，能够让相关行业的合作伙伴共同探讨，使得整个硬件平台能够更加优化和高效。这个参考设计以Arm的CPU为基础，我们通过一条互联的总线，将不同系统的其他处理单元都能够集成到整个系统中。当然，CPU里面的一些安全机制等，这些同样能为整个产品提供价值。
　　同时，异构系统中有＂周易＂NPU、对流媒体进行有效处理的＂玲珑＂ISP、可以进行数据压缩的＂玲珑＂VPU，这些都是我们整个芯片参考设计中非常重要的部分。然后NPU可以提供神经网络计算，使得智能化进一步得到保障。
　　芯片参考设计中比较有特点的是我们可以集成不同的子系统。如MCU级别的子系统，可以连接一个更低像素的摄像头，也可以部署一个更小配置的设备。
　　就像前面有嘉宾提到的低功耗等场景下，我们会先将一个小的系统，在电池驱动下实现低功耗运行，这样就可以实现数月甚至数年都不需要更换电池，并且进行一些基本的环境监控功能。
　　比如像智能门铃，一旦发现有人进入，或者用户需要观察车辆，就可以通过摄像头唤醒整个系统，在有效的工作时间内进行更高像素、更智能的分析，发挥智能摄像头的相关功能。
　　所以我们希望通过参考设计，能够把核心IP和技术进行集成，交付给客户一个比较完整的参考设计，使得客户能增加一些外围设备或接口，可以很快形成自己新一代摄像头的设计方案，这可以大大缩短产品的开发时间，同时我们的整个参考设计也是经过充分验证的，可以为客户在实现相应功能的基础上，减少时间和研发投入。
　　这里比较关键的模组我们刚刚也提到了，就是安全机制，＂山海＂SPU根据不同的安全等级和对安全处理性能的要求分成不同型号，还有＂玲珑＂ISP，可以提供高质量的图像处理。
　　而视频处理单元VPU，通过软硬件架构，系统级设计，同样能使其性能得到大幅提升。如视频编码标准H.265和ADSP等视频解码标准，都能够通过硬件的时间以非常低的延时完成，这也是智能摄像头中的重要技术。
　　这些过程是标准化的，非常适合用IP的方式来实现，使得我们的客户能够节省研发时间。
　　随着人工智能技术的发展，ML（机器学习）对算力、模型要求越来越高，所以有一个能够处理神经网络计算的NPU是非常重要的。其中，周易就拥有自定义算法能力，使不同的定制算子能够得到支撑。
　　此外，我们也可以通过子系统进行扩展，增加Wi-Fi或者声音当面的子系统。
　　这个产品组合中，最重要的是CPU，摄像头、机器人或者是其他机器视觉方面的产品对CPU的处理能力要求是不一样的，最近Arm推出的新一代CPU能力也在不断提升，安全性上也做了补充和升级。
　　所以，在CPU上，客户可以有很多种选择，NPU也有不同的系列，客户同样可以根据算力需求来选择合适的IP。同样道理，VPU和ISP的IP组合实际上就是产品组合，根据客户的产品定位选择是否带电池或者功耗。
　　根据不同的方式，选择IP组合，通过参考设计形成一个系统级的解决方案，这是我们希望提供给行业的价值，也使这个行业在这一方面能够大大节省研发投入。
　　刚才也有提到，一方面我们在底层通过硬件模拟，使得软件环境能够进行测试和运行，另一方面也在安全方面拥有PSA Certified安全认证。
　　我们正在推出的全球联盟计划SystemReady，国内也已经有很多厂家加入了这个认证，使得硬件能够得到统一。
　　这样的话，操作系统可以在硬件之间有一个抽象，这就是前面所提到的软件和硬件隔离，软件环境就不会受硬件变化的影响，同时，操作系统都是行业中各个社区的开源软件，能够提供很多软件应用和操作系统支撑。
　　Arm就是将相关的IP，集成经过测试并实践过的解决方案，然后提供给合作伙伴。在通过不同客户发现的问题，进一步提升、优化我们的解决方案。
　　无论是ISP、VPU还是NPU，我们都在走同样的路线，使得这个产品能够通过多次迭代提供更多的价值、更好的性能，以此来满足上层应用需求，包括安全机制、机器学习和云原生的相关应用，实现高效支持。
　　通过这种方式，客户的产品在亚马逊、阿里云或其他云上，都可以在软件层面进行平滑部署。
　　这个也只是其中一个应用场景，其实包括前面嘉宾的分享，智能摄像头有非常多的应用场景，我们都是通过这样的流程，将数据流进行接收，然后通过神经网络处理进行判别。
　　这里面最核心的问题就是我们为什么要提出这样一个参考设计？关键在于，我们认为任何一个设计都需要平衡，如何使你的计算资源能满足数据流需求是非常核心的。
　　不论是一个摄像头还是多路摄像头，其分辨率和数据量大小是不一样的，数据流进来以后，如何对其进行拆解、处理，包括数据流需要尽量减少DDR访问，或在RAM里面如何配置，以及如何将碎片化空间利用好，这些都是非常核心的需求。
　　除了单IP非常高效，整个系统设计也需要对数据流进行很好的处理，我们用最有限的硬件配置，就能够实现性能更高的效果。
　　所以这个设计的理念在于，通过不同的Use-case开发来得到保障。
　　除了这些技术和研发成果以外，我们也在积极推动整个生态系统的建设，比如之前我们提到的SystemReady，也有更多的厂家参与进来，包括很多行业的领导者，使得硬件和软件能够更加广泛的在SystemReady基础上，实现统一化，这都是生态建设中非常重要的内容，通过不同的标准让大家实现兼容。
　　在安全方面，我们刚才也介绍了PSA Certified安全认证，使得客户实现不同安全机制的端侧硬件，通过统一的API，在安全方面的调用和硬件机制上得到统一，所以我们的安全软件、安全功能开发，会在更加统一、便利的环境中进行。
　　同时，生态系统中更多的合作伙伴加入，形成方案，其价值在于，第一使得其在安全、云端开发、部署方面都能得到保障。
　　第二就是使更高的能效比和低功耗成为可能，不论是声音还是视觉功能这些在低功耗模式下都能运行。
　　第三是机器学习，NPU部署产品的算力能够得到保障，再加上云端模型的延展性，客户的模型无论大小，都可以根据设备能力，部署相应的算法。
　　第四是，通过我们的参考设计等解决方案，客户可以在云端进行虚拟测试，能够提前进行软件开发、硬件开发。同时，由于有参考设计，也可以缩减硬件开发时间。
　　第五是软件层面，基于容器技术等，这些服务能够得到很好的部署。所以这样的话客户就不会太局限于硬件，不需要针对不同的硬件开发特定的软件，而是通过这个软件进行一次性开发，然后再去大量部署到不同的场景中。
　　通过这样的方式，我们希望能够给行业提供更大的价值，也能够和合作伙伴共同推动智能摄像头的发展，使智慧家庭能够有更好的技术支撑，产生更多丰富的应用，将智能带到千家万户。
　　好的，感谢大家，我就这里。