带你了解自动驾驶传感器融合技术
传感器融合技术
简单地说,传感器融合就是将多个传感器获取的数据、信息集中在一起综合分析以便更加准确可靠地描述外界环境,从而提高系统决策的正确性。
传感器各有优劣,难以互相替代,未来要实现自动驾驶,是一定需要多个传感器相互配合共同构成汽车的感知系统的。不同传感器的原理、功能各不相同,在不同的使用场景里可以发挥各自优势。
多传感器融合是人工智能未来趋势
多个同类或不同类传感器分别获得不同局部和类别的信息,这些信息之间可能相互补充,也可能存在冗余和矛盾,而控制中心最终只能下达唯一正确的指令,这就要求控制中心必须对多个传感器所得到的信息进行融合,综合判断。
随着机器人技术的不断发展,智能化已成为机器人技术的发展趋势,而传感器技术则是实现智能化的基础之一。
多传感器融合技术理念
由于单一传感器获得的信息有限,且还要受到自身品质和性能的影响,因此智能机器人通常配有数量众多的不同类型的传感器,以满足探测和数据采集的需要。若对各传感器采集的信息进行单独、孤立地处理,不仅会导致信息处理工作量的增加,而且,割断了各传感器信息间的内在联系,丢失了信息经有机组合后可能蕴含的有关环境特征,造成信息资源的浪费,甚至可能导致决策失误。为了解决上述问题人们提出了多传感器融合技术。
多传感器融合又称多传感器信息融合,有时也称作多传感器数据融合,于1973年在美国国防部资助开发的声纳信号处理系统中被首次提出,它是对多种信息的获取、表示及其内在联系进行综合处理和优化的技术。它从多信息的视角进行处理及综合,得到各种信息的内在联系和规律,从而剔除无用的和错误的信息,保留正确的和有用的成分,最终实现信息的优化,也为智能信息处理技术的研究提供了新的观念。
多传感器融合技术有多精确
简单的传感器融合不外乎就是每个传感器的数据能大致在空间跟时间上能得到对齐。而整个多传感器融合技术的核心就在于高精度的时间以及空间同步。精度到什么量级呢?
举个栗子,比如时间上能得到10的-6次方,空间上能得到在一百米外3到5厘米的误差,这是一个典型的技术指标。
当然,多传感器同步技术的难度与时间和空间的要求是一个指数级的增加。在百米外能得到3cm的空间精度,换算成角度是0.015度左右。
大家也知道在无人驾驶当中,毫米波雷达、相机、激光雷达和超声波都是完全不同的传感器,让他们在时域跟空域上得到这样的精度是非常难的,需要对机器人技术以及机器学习优化技术有非常深的理解。
自动泊车、公路巡航控制和自动紧急制动等自动驾驶汽车功能在很大程度上也是依靠传感器来实现的。
多传感器融合技术使用方式
重要的不仅仅是传感器的数量或种类,它们的使用方式也同样重要。目前,大多数路面上行驶车辆内的ADAS都是独立工作的,这意味着它们彼此之间几乎不交换信息。只有把多个传感器信息融合起来,才是实现自动驾驶的关键。
现在路面上的很多汽车,甚至是展厅内的很多新车,内部都配备有基于摄像头、雷达、超声波或LIDAR等不同传感器的先进驾驶员辅助系统(ADAS)
这些系统的数量将会随着新法案的通过而不断增加,例如在美国,就有强制要求安装后视摄像头的法案。此外,诸如车险打折优惠和美国公路交通安全管理局(NHTSA)、欧洲新车安全评鉴协会(Euro-NCAP)等机构做出的汽车安全评级正在使某些系统成为汽车的强制功能;另一方面,这也助长了消费者对它们的需求。
ADAS如何实现突破限制
目前,大多数路面上行驶车辆内的ADAS都是独立工作的,这意味着它们彼此之间几乎不交换信息。(没错,某些高端车辆具有非常先进的自动驾驶功能,不过这些功能还未普及)。后视摄像头、环视系统、雷达和前方摄像头都有它们各自的用途。通过将这些独立的系统添加到车辆当中,可以为驾驶员提供更多信息,并且实现自动驾驶功能。不过,你还可以突破限制,实现更多功能——参见图1。
ADAS以汽车内单个、独立的功能存在
仅仅通过多次使用相同种类的传感器无法克服每种传感器的缺点。反之,我们需要将来自不同种类传感器的信息组合在一起。工作在可见光谱范围内的摄像头CMOS芯片在浓雾、下雨、刺眼阳光和光照不足的情况下会遇到麻烦。而雷达缺少目前成像传感器所具有的高分辨率。我们可以在每种传感器中找到诸如此类的优缺点。
多传感器融合技术中的"雷达"与"摄像头"
传感器融合这一想法的伟大之处在于获得不同传感器和传感器种类的输入内容,并且使用组合在一起的信息来更加准确地感知周围的环境。
相对于独立系统,这样可以做出更好、更安全的决策。雷达也许不具有光传感器所具有的分辨率,不过它在测距和穿透雨、雪和浓雾方面具有很大优势。这些天气条件或光照不足的恶劣情况不利于摄像头发挥作用,不过摄像头能够分辨颜色(可以想一想街道指示牌和路标),并且具有很高的分辨率。
目前路面上图像传感器的分辨率已经达到1百万像素。在未来几年内,图像传感器的发展趋势将是2百万,甚至4百万像素。
"雷达"与"摄像头"相互融合
雷达和摄像头是两项传感器技术完美融合、互为补充的典范。采用这种方法的融合系统所实现的功能要远超这些独立系统能够实现的功能总和。
使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下,额外提供一定冗余度。这种错误或故障可能是由自然原因(诸如一团浓雾)或是人为现象(例如对摄像头或雷达的电子干扰或人为干扰)导致。
即使是在一个传感器失效的情况下,这样的传感器融合系统也可以保持某些基本或紧急的功能。完全借助报警功能,或者让驾驶员时刻做好准备,从而接管对车辆的控制,系统故障也许就不那么严重了。
然而,高度和完全自动驾驶功能必须提供充足的时间让驾驶员重新获得对车辆的控制。在这段驾驶员接管车辆控制之前的时间范围内,控制系统需要保持对车辆最低限度的控制。
多传感器融合技术中的前融合、后融合
后融合算法典型结构
后融合算法:
1、每个传感器各自独立处理生成的目标数据。
2、每个传感器都有自己独立的感知,比如激光雷达有激光雷达的感知,摄像头有摄像头的感知,毫米波雷达也会做出自己的感知。
3、当所有传感器完成目标数据生成后,再由主处理器进行数据融合。
前融合算法典型结构
前融合算法:
1、只有一个感知的算法。对融合后的多维综合数据进行感知。
2、在原始层把数据都融合在一起,融合好的数据就好比是一个Super传感器,而且这个传感器不仅有能力可以看到红外线,还有能力可以看到摄像头或者RGB,也有能力看到LiDAR的三维信息,就好比是一双超级眼睛。在这双超级眼睛上面,开发自己的感知算法,最后会输出一个结果层的物体。
数据融合的算法
雷达和摄像头是两项传感器技术完美融合、互为补充的典范。采用这种方法的融合系统所实现的功能要远超这些独立系统能够实现的功能总和。
使用不同的传感器种类可以在某一种传感器全都出现故障的环境条件下,额外提供一定冗余度。这种错误或故障可能是由自然原因(诸如一团浓雾)或是人为现象(例如对摄像头或雷达的电子干扰或人为干扰)导致。
即使是在一个传感器失效的情况下,这样的传感器融合系统也可以保持某些基本或紧急的功能。完全借助报警功能,或者让驾驶员时刻做好准备,从而接管对车辆的控制,系统故障也许就不那么严重了。
然而,高度和完全自动驾驶功能必须提供充足的时间让驾驶员重新获得对车辆的控制。在这段驾驶员接管车辆控制之前的时间范围内,控制系统需要保持对车辆最低限度的控制。
谢文颂王国维死于无边的精神寂寞寂寞沙洲冷古今之成大事业大学问者,罔不经过三种之境界昨夜西风凋碧树。独上高楼,望尽天涯路(晏殊蝶恋花)。此第一境界也。衣带渐宽终不悔,为伊消得人憔悴。(柳永蝶恋花)此第二境界也。众
谢文颂纵是苍天一季泪,不止人间一夕离寒雨落泪纷纷雨打枯叶声声急急急声声道别离道别离怎重聚天涯零落各成泥可是苍天垂怜意一夕寒雨断情丝断情丝空余枝来春新叶衬花衣五绝冬雨催发叶落天涯寒雨夜来袭,声声断舍离。高枝从此远,零落
谢文颂再美丽精致的女子,拉的也是臭屎最基本最根本的哲科问题在当前的情势下,朋友聚餐喝酒实属不易。而最近只要举起杯子,席间总绕不开美国大选这一话题。你怎么看美国大选?面对灼灼目光,我沉吟饮酒我不想说一个连参选当事人都尴
谢文颂往事怎追,痴心自留花前月下,莫许白头黄花瘦,黄昏后2018年11月3日晚,聚友畅饮翌日酒醒,白天将息,当晚捉笔由是至今,倏忽两年,填词作记满庭芳早去娇花早去娇花,徒留残叶,疏疏林语凄幽。寒流风骤,催落尽离愁。多少花前
谢文颂缅怀毛洪涛气贯长虹毛洪涛先生死去已经有一段时间了,与他非亲非故,却是念念不忘。在这个娱乐至上成功货币化的时代里,一位官员为了理想信念而以死明志事因难能,所以可贵虽不值得提倡,但令人钦佩,值得
谢文颂可爱的孩子,可怜的童心心怀寥阔带孩子去公园,许是心事上脸。去的路上女儿给我讲云天太阳的孩子是云朵,月亮的孩子是星星照亮天空,是他们在工作消失不见,是他们回家陪孩子。儿子给我讲季节世界是个烤炉,太阳是个火
谢文颂三分而终笑卧龙,道理一统紫气冲谁与争锋朋友给信,人类基本认知原理之大统一理论2021年1月出版问世。剑在手,问天下谁是英雄?写诗填词作日记11月8日谢文颂可爱的孩子,可怜的童心带孩子去公园,许是心事上脸。去的路
谢文颂所为何愁?越不过伟人的沁园春雪事未了,拂衣去笑傲江湖所为何愁?非是悲秋!沁园春雪,关山难越!忍看一骑绝尘,空前绝后?路漫漫其修远兮,吾将上下而求索!沁园春笑傲江湖风云流寒,江山落色,枝叶凋枯。共幽幽菊冷,香残眷
谢文颂有生于无空间与暗能量并不存在碎片化的研究来对付宇宙,不能可能全象1905年被称为爱因斯坦的奇迹年,他写了四篇当时堪称石破天惊的论文,其中就包含狭义相对论。2019年年初,在写完人类基本认知原理之大统一理论正文
谢文颂茅庐谁顾,凄风摇竹宅翁之意何在?知乎邀问,用一个字词总结你的2020。我答宅奋斗。置身宅中,栖心何处?桃源自在丘山倒影云栖湖,戏我游鱼芝兰熏香风摇竹,庇我茅庐诗词吟月酒谈书,访我鸿儒琴瑟鸣和燕穿幕,
谢文颂人类需要重新定义智商长虹贯日彩虹屁振动蝴蝶效应感谢徐中民!看了他的论文,老婆终于放心我搞科学理论研究谢文颂谢齐风摘要既没导师,又没师娘,还没经费支持,肯定是热爱才会搞科学研究,应该是真的在钻研科学问题