脱口秀演员搞自动驾驶？不但搞出了成果，还被 Nature 在研究亮点（RESEARCH HIGHLIGHT）专栏报道！ 香港理工大学博士后、深圳某脱口秀俱乐部现役演员廖付友年初八在《自然・电子》上以一作身份发表名为 Bioinspired in-sensor visual adaptation for accurate perception 的文章。文章介绍了一种新型传感器，模仿了人类视网膜工作原理，有效感知范围达到 199dB。 这是什么概念？现在绝大部分智能汽车上的自动驾驶系统在弱光、雨雪条件下能力大打折扣，主要原因之一就是常用的硅基 CMOS 图像传感器通常只有 70dB 的感知范围，远低于自然场景的光强变化范围。而新的类视网膜传感器，直接将感知范围提升 1 万亿倍！大大增强自动驾驶在感知端的准确性。 而且这位业余说脱口秀的廖付友，已被华为收编，确定即将入职继续从事半导体研究 。有效感光范围提升 1 万亿倍！ 在地球普遍环境中，自然光强度的分布超过 280dB，远超民用级别 CMOS 感光元件的 70dB 范围。 具体到自动驾驶上，且不论算法性能，摄像头捕捉的图像数据有效范围就大大缩小，不但是弱光会影响识别，强光也不行。比人眼强，但应付自然光还是不够。 从这个角度看，也能理解特斯拉代表的纯视觉自动驾驶路线，和国内厂商走的激光雷达 + 视觉混合路线的缘由。一个是死磕算法提高图像识别准确度，另一个是通过雷达点云图弥补图像数据的不足。手段不同，但问题根源都在图像捕捉的限制。 而廖付友博士所在的香港理工大学团队，利用二硫化钼作为基础材料，模仿人类视网膜的工作原理，设计出了一种新的光传感器，能够有效感知 199dB 范围的光线。 在实验中，科研人员分别于弱光和强光背景下映出数字＂8＂，再由环境光照射背景板： 之后，将感光信号输入神经网络进行识别： 实验结果表明，ANN 网络对于数字＂8＂的识别准确度稳定在 97% 左右，同等条件下使用 CMOS 传感器的系统几乎无法识别。 上图中有目标识别率有明显的随时间渐变的趋势，这就是所谓＂类视网膜＂的核心。基于二硫化钼的感光阵列无论对于弱光还是强光都会随时间适应，就像人眼会逐渐适应光照强度一样。输出的图像信号也会从刚开始的一团黑或白逐渐清晰显出目标特征。 好了，我知道你们想搞清楚 1 万亿倍是怎么来的，但首先还要解释一下光功率的概念。dB 是指光功率的单位，表示光在单位时间内所做的功。简单理解，光功率大小直接反映了光照的强弱。 一般光功率单位常用为毫瓦 (mw) 和分贝毫瓦 (dBm)，其中两者关系为：1mw=0dBm。但工程学中，dB 是一个纯计数单位，代表两个功率的比值大小，具体数值为 10*log (A / B)。也就是说，工程上 dB 只有加减，实际代表了两个功率相除，得出的结果是增益或减益的倍数。 所以按照这样计算，港理工团队的新型类视网膜传感器，有效工作范围比传统 CMOS 图像传感器提升了 129dB，也就是至少提升 1012 倍。1 万亿倍！会说脱口秀的科研人员果然强。提升 1 万亿倍如何实现？ 人眼的光接收细胞感知范围比较有限，只有 40dB。但是人眼的视觉适应功能让我们可以感知和识别不同光照条件下的各种物体，哪怕是快速在明暗差别很大环境中转换。 人眼应对光线明暗变化的机制，关键是水平细胞和光接收细胞的结构。 其中，视锥细胞在强光条件下敏感度更高，视杆细胞在暗光条件下敏感度更高。所以光照条件发生变化时，视网膜的水平细胞会控制感光点在视锥和视杆细胞之间的转换、以及光色素的产生和消失来适应。 基于此，团队研发出一种基于二硫化钼底栅光电晶体管阵列的仿生视觉适应传感器。 在二硫化钼表面，科研人员有意引入电荷陷阱态，使得光信息的存储成为可能。 （电荷陷阱态：电子被不饱和键所捕获。） 而通过调节栅极电压，这陷阱态可以捕获或释放通道的电子。 （通道：施加电压后，电子会被排斥或吸引从而形成翻转层，导通半导体源级和汲极，形成通道。） 在不同的栅极电压下，通道的电子可以被捕获或释放，这就可以定量地动态调节器件的电导率 。所以光线强弱变化时，只需要调节栅极电压就能实现感光元件的范围调整。 另外，二硫化钼材料本身具有独特性质，根据栅极电压不同，会随时间对电流产生激励或抑制作用。这一点正好模拟了视网膜光色素的产生和消失。 所谓高感光范围的＂人造视网膜＂，核心是利用电荷陷阱态对电子的捉放效应以及二硫化钼本身的＂时间 —— 抑制激励＂作用，从而达到人为控制感光半导体电导率的目的。 在把这项技术应用到自动驾驶的视觉传感器中，无需经过后端图像处理器或云端信息处理，就能大大提升了系统的信息处理效率和识别准确度。 另外人脸识别也是一个重要应用场景，无论是白天的强光还是夜间的黑暗，视觉传感器能根据背景光强度，去调节光灵敏度从而准确识别人脸。 在太空探测领域，把具有视觉适应功能的视觉传感器应用在探测设备上，除了正常光照条件下的感知外，还可以在极端光照条件下（极弱或者极强光）探测外界环境和识别目标。作者介绍 一作廖付友，博士毕业于复旦大学，目前在香港理工大学做博士后。主要研究方向为半导体器件与工艺。他已经确定将入职华为，继续半导体方面研究。 廖付友除了是一名科研工作者，还是一名业余脱口秀演员，在深圳某俱乐部驻场演出。 本文通讯作者柴扬副教授，博士毕业于香港科技大学。主要从事低维材料的电子器件及其在能源领域应用的研究工作，其主要研究方向包括低维材料的可控生长与电子器件，能量转换与存储，以及柔性电子器件。 论文地址： https://www.nature.com/ articles / s41928-022-00713-1