看懂这颗激光雷达芯片，就看懂了索尼汽车

　　索尼真要造车了？
　　就在昨天，索尼在 CES 2022 发布会末尾一口气展出了两款概念车 —— 一个是去年已经露过面的纯电轿车 Vision-S，另一个则是崭新的纯电 SUV Vision-S 02。与去年展示的概念车的内外饰设计不同，今年索尼以视频的形式着重展示了概念车型的智能座舱功能，比如 UI 设计细节，以及手势交互、人脸识别等具体功能。
　　▲ 索尼推出的两款概念车
　　活动现场，索尼 CEO 吉田宪一郎还表示在 2022 年春季会成立索尼出行公司（Sony Mobility），专注于＂探索电动汽车业务的商业化＂。
　　虽然索尼 CEO 没有明说是否会推出索尼牌的智能汽车，但上述表现显然预示着索尼的汽车业务已是箭在弦上。
　　作为全球消费电子和娱乐领域巨头，索尼的影响力和地位有目共睹。但一个关键问题是，索尼造车的底气究竟在哪？
　　答案是传感器。
　　早在 2021 年 CES 期间，索尼谈到 Vision-S 时就表示，希望通过自身的 CMOS 传感器、固态激光雷达、传感器融合等成像、感知技术为消费者带来安全、可靠、舒适的出行体验。
　　2021 年 CES 展出的 Vision-S 上有 33 个传感器，其中大部分是索尼自研或使用了索尼的技术。今年 CES 上，传感器数量升级到了 40 个。
　　这其中有一颗名为 IMX459 的 SPAD（单光子雪崩二极管）激光雷达传感器（激光接收芯片）。依托索尼的双层图像传感器堆叠技术，激光雷达企业可以基于 IMX459 造出等效线数上千的超高清雷达，让汽车看得更远、更清楚（300 米的感知精度为 15cm），并且还能以更快的速度计算出距离信息，生成 3D 点云图像。
　　▲ 索尼 IMX459
　　近几年，激光雷达行业技术革新很快、双棱镜、MEMS、OPA、Flash、FMCW 等各种技术路线不断涌现，新产品层出不穷，但很多都还是围绕光路设计做优化 —— 没有从本质上进行升级。
　　索尼的 IMX459 显然就突破了现在的创新困境，从最底层的激光接收和信号处理层面进行彻底改变，为激光雷达行业发展提供了新的基础。
　　IMX459 只是索尼概念车上的四十分之一，如果其它 39 个传感器也拥有类似的底层创新，再加上索尼在感知和自动驾驶领域的投资布局，大法想造出来一台智能电动汽车根本不是问题。
　　可以说，看懂了 IMX459，你就看懂了索尼造车的底气。01. 采用 SPAD 技术 打造 11 万像素激光传感器
　　激光雷达即将迎来大规模量产上车之时，索尼公布了首颗车规级激光雷达接收传感器 IMX459。这颗传感器最亮眼之处有两点，其一是采用对光感知更敏感的 SPAD（单光子雪崩二极管）技术，其二是这颗传感器的像素数量达到了 11 万，这是当前量产产品难以比拟的。
　　从结构上看，这颗激光雷达接收传感器共有两层，上层采用了 SPAD（单光子雪崩二极管）技术，用于感知反射进传感器的激光；下层则是逻辑芯片，使用直接飞行时间（D-ToF）技术，就能实现测距。在性能上，索尼在 1/2.9 英寸的传感器面积下放进了 11 万个 SPAD 像素，其分辨率为 189x600，呈现出一个矩形区域。而每一个 SPAD 像素的尺寸仅为 10 微米 x10 微米。
　　▲ IMX459 分为上下两层
　　说到索尼 IMX459 的王牌，就是那 11 万像素的 SPAD 传感器，它相较于传统激光雷达传感器共有两大优势。其一是感光能力更强，也就是在使用相同激光发射端的情况下，SPAD 传感器能感知到更微弱的光，感知距离更远；其二是计算距离的延迟更低，索尼做到了 6 纳秒。
　　要理解 SPAD 感光的逻辑，不得不提到照相机。数码照相机 CMOS 上的一个个像素，通过接收大量光子，感知到光线强度，通过控制光子进入的数量，最终实现正确的曝光并成像。
　　激光雷达传感器的感光元件和数码相机近似，每一个像素点需要进入特定波长的大量光子，才能形成激光雷达图像，然后通过一颗计算芯片算出感知距离。
　　无论是数码照相机还是激光雷达传感器，进光量都是＂底大一级压死人＂，但车用激光雷达无论是成本还是体积都非常受限，一味比谁底大并不是最优的解决方案。而 SPAD 方案的兴起，让传感器厂商找到了进光量不足的另一路径。
　　如果进光量不足，加上有干扰光线进入，激光雷达传感器所成的像就会出现噪点。对于人类而言，一张照片中出现噪点，能通过智慧将噪点内容＂脑补＂齐全。因此为激光雷达传感器单独配备一颗 AI 芯片，用于噪点、干扰光线处理就是路径之一。不过，每经过一次处理，都会产生一定时延，如果低时延的优势被慢慢磨去，自动驾驶的安全性就会降低。
　　加入 AI 芯片做信号预处理虽然简单，但实际表现可能并不完美。
　　因此，如果能用微弱的进光量＂代表＂其他光成像，不但能实现更低的延迟，而且通过成像能得到噪点更少的点云图。
　　韩国科学技术研究院（KIST）新一代半导体研究所所长张畯然在一篇文章中阐述了 SPAD 传感器的工作原理。
　　▲ 不同类型图像传感器在接受光子照射时电子放大程度
　　＂当在 SPAD 上施加比击穿电压（breakdown voltage）更高的电压时，会发生碰撞电离现象（Impact Ionization），巨大的电场（electric field）使载流子（carrier）加速运动并与原子碰撞，从而使原子中释放的自由载流子数量急速增多。这种现象被称为雪崩倍增（Avalanche Multiplication），会导致图像传感器点亮的光子产生大量自由载流子。＂他写道。
　　这就意味着即便激光发射单元发射的激光仅有少量反射回来，通过雪崩倍增现象传感器仍旧能够将光子大量增加，并且识别为大量的光子。这就意味着，SPAD 传感器具有非常高的信噪比。
　　同时，SPAD 在接收的光子数量极少的情况下就能完成成像，因此其＂快门速度＂可以做到非常短，提升感知帧率。02. 双层芯片架构 响应速度远超现有产品
　　索尼除了将 SPAD 技术逐步推向量产之外，也使用了已经打磨多年的一项技术 —— 双层图像传感器堆叠，这项技术能够让感知响应速度更快。
　　在去年 2 月的一次演讲中，索尼半导体公司高级经理 Oichi Kumagai 对 SPAD 激光雷达传感器的技术路线进行了详细介绍。
　　▲ 索尼 IMX459 结构和单个 SPAD 传感器
　　其中，逻辑电路放置在芯片底部，每一个像素尺寸为 10 微米 * 10 微米。传感器表面并非完全平整，索尼将每一个像素点做成了一个凸透镜，从而能够实现更高的光折射率，提升激光的吸收效果。根据索尼的测试，这一激光雷达传感器在使用 905nm 波长的激光光源时，光子检测效率能达到 24%。
　　▲ 传统激光雷达传感器点云图（左）SPAD 传感器点云图（右）
　　此外，由于每一个 SPAD 像素都能与下方逻辑电路通过铜-铜（Cu-Cu）组件连接起来，因此只要光子进入 SPAD，就能经过雪崩进入逻辑电路。从感知到光子，到完成数字信号转换，整个过程只需要 6 纳秒，这一表现非常出色。索尼开发了数字时间转换器（TDC），直接能够将光子飞行时间转换为数值，不需要二次计算。
　　▲ 索尼 IMX459 光信号转换电信号仅需 6ns
　　国内 MEMS 激光雷达厂商一径科技的一位产品经理谈到，现在市面上其他技术路线的激光雷达接收传感器的延迟已经能做到比较低，从感知到生成深度数据，基本需要百纳秒到几微秒之间。
　　然而，索尼的 IMX459 则是更进一步，相比此前最优秀的产品，也有大幅提升。
　　IMX459 采用直接飞行时间（D-ToF）的方式测距，张畯然在其文章中说道，当光子进入时，SPAD 阵列会发射数字脉冲（Digital Pulse），因此更容易跟踪光飞时间。不仅如此，SPAD 还能捕捉精确的时差，因此具有精确的深度分辨率（depth resolution），精确程度甚至可以达到毫米级别。
　　▲ 索尼 IMX459 实际测试
　　然而，采用 D-ToF 方式测距带来了一个问题，那就是感知距离短。例如，近两年在 iPhone 和 iPad 上采用的激光雷达，就采用 D-ToF 方式测距，其感知距离大概仅有 5 米。对一款移动设备来说，5 米的感知距离绝对够用，但对自动驾驶来说 5 米不可用。
　　SPAD 技术再一次体现了它的优势，在同样的激光发射功率下，SPAD 传感器仅需微弱的光，也能完成成像，并且其效率不输传统传感器硬件。
　　▲ 索尼 IMX459 在不同条件下的性能表现
　　索尼还公布了其产品在不同温度环境下的性能，其中光子探测效率在-40 摄氏度时为 14%，随着温度增加探测效率不断上升，超过 50 摄氏度后能达到 20% 以上，当温度达到 125 摄氏度时，探测效率有所下降。
　　响应时间上的表现更出色，当在-25 摄氏度时，响应时间为 7 纳秒，为最慢响应时间，其他温度条件下的响应时间还要更快。03. 上千线激光雷达不是梦 行业已有先行者
　　对于激光雷达行业来说，SPAD 技术可以说是革命性的。主要体现在两点，第一是激光雷达等效线数能够实现大幅度提升，第二是点云处理的步骤可以逐渐淡化。
　　目前，业内主流传感器方案是 APD（雪崩光电二极管），随着技术发展，SiPM（硅光电倍增管）和 SPAD 正在进入激光雷达领域。
　　▲ 不同激光雷达技术路线（来自 Oichi Kumagai 演讲）
　　在相机行业中，佳能已经能做到 100 万像素的 SPAD 传感器，并且利用 SPAD 响应更快的优点，实现精准的距离测量。未来，激光雷达接收传感器能够像相机一样，实现＂像素＂数量不断增加。一旦像素数量倍增，激光发射端可以做更高的线数，从而实现更精准的深度信息感知。
　　▲ 佳能 100 万像素 SPAD 相机传感器
　　这样的提升将是 APD、SiPM 等技术路线难以匹敌的。
　　激光雷达还有一大难点就是点云处理，传统点云处理需要一颗芯片实时处理计算。随着线数、频率、角分辨率的提升，计算设备所需算力越来越大，此时还想保证低延迟输出，并且和视觉传感器融合就会愈加困难。
　　然而，SPAD 传感器能够直接输出光子计数，并且输出飞行时间，能够轻松输出深度图像。
　　正因为这两点原因，索尼等 SPAD 传感器供应商如果能实现高像素 SPAD 传感器量产，就能够改变整个行业。
　　实际上，索尼并非业内首家使用 SPAD 技术的传感器厂商。已经实现量产，明年即将上车的 ibeoNEXT 激光雷达，其传感器就采用了 SPAD 技术。
　　▲ ibeoNEXT
　　与 ibeo 公司合作并推动激光雷达量产上车的亮道智能，对这颗传感器有深刻理解。亮道智能一位资深工程师认为，SPAD 技术是纯固态激光雷达技术路线上非常重要的技术架构之一。
　　与此同时，行业内还有多种测距技术路线，但这些技术短期内还无法达到量产节点。
　　据了解，ibeoNEXT 除了能够输出 X、Y、Z 的三维坐标信息，还能够利用能量信息显示环境图像。这个能量信息图与人们常见的黑白照片 / 视频类似，可以和激光雷达的点云信息配合同步输出。最后，配合车上的摄像头等其他传感器，就能够形成信息冗余。
　　不过，ibeoNEXT 的像素点仅有 10240 个，相比索尼 IMX459 的 11 万相差很远。即便索尼用 3*3 进行感知，其分辨率仍然更高。根据前文的分析，像素数量越多，所成的像越清晰，也就是索尼 IMX459 能实现更清晰的成像，这才是激光雷达更重要的意义。
　　实际上，除了索尼基于 SPAD 做激光雷达传感器之外，相机厂商佳能也正在布局 SPAD 传感器，并且做出了 100 万像素的 CMOS 产品。04. 结语：索尼加速智能汽车布局
　　2020 年的 CES 消费电子展上，索尼推出了其电动汽车 Vision S，标志着索尼开始布局智能电动汽车。2022 年 CES 上，索尼推出 Vision S-02，进一步加码智能电动汽车。
　　同时，索尼多年来影像传感器、娱乐系统、声学等领域的布局，在智能汽车时代将有更广阔的发展前景。索尼在此时布局智能汽车正当其时，正在加速汽车智能化实现。