暴雨夜间人群密集难倒视频分析,三篇论文攻克难题
近日,由耶鲁-新加坡国立大学学院(Yale-NUS College)副教授 Robby Tan 领导的研究团队,在 2021 年国际计算机视觉与模式识别会议(CVPR)上发表了三项研究,介绍利用计算机视觉技术提高录制时受环境因素影响视频的分析准确度 。
这三项研究分别优化了解决降雨因素、夜间因素和人群密集环境因素 这 3 种视频分析中较常见问题的方法,均可用于改善监控设备、自动驾驶汽车、视频游戏和体育节目转播等与计算机视觉相关的应用性能。
第一项研究介绍科研人员利用帧对齐和深度估计 等方法,实现同时处理雨天录制视频中雨水条纹和雨幕效果这两种主要影响视频清晰度的问题。
该论文题目为《具有传输深度一致性的自对齐视频去降雨影响(Self-Aligned Video Deraining with Transmission-Depth Consistency)》,发表在 2021 年国际计算机视觉与模式识别会议(会议时间 6 月 19 至 6 月 25 日)上。
论文地址:点此查看
第二项研究是研究人员通过训练半监督网络 来增加视频动态范围和抑制光效应,更彻底地解决了夜间视频清晰度问题。
该论文题目为《通过增加动态范围和抑制灯光效果来增强夜间能见度(Nighttime Visibility Enhancement by Increasing the Dynamic Range and Suppression of Light Effects)》,发表在 2021 年国际计算机视觉与模式识别会议上。
论文地址:点此查看
第三项研究同样也是处理环境因素的影响,但不是雨天和夜间这种自然环境因素,而是视频中出现人群密集这种社会场景因素影响。研究人员结合自顶向下和自底向上方法 ,提高了估计视频中 3D 人体姿态准确度,进而提升了视频处理效果。
该论文题目为《基于自顶向下和自底向上网络的单目三维多人姿态估计(Monocular 3D Multi-Person Pose Estimation by Integrating Top-Down and Bottom-Up Networks)》,发表在 2021 年国际计算机视觉与模式识别会议上。
论文地址:点此查看一、计算机视觉分析易受环境影响
计算机视觉技术越来越多地应用于自动监控系统、自动驾驶汽车、人脸识别、护理和社交距离工具等领域。
用户需要准确可靠的视觉信息,才能充分利用视频分析应用程序优势,但是视频数据质量通常会受到环境因素影响 ,例如拍摄时在下雨或处于夜间环境,以及视频图像中存在人群(一个场景中有多个重叠的人的图像)这三种较常见情况。这三种场景在实际中可能单独出现,也可能混合出现。
具体来说,下雨降低视频能见度的原因包括雨水流下产生的条纹和雨水积聚(或称雨幕效果)。
雨水条纹部分会遮挡背景外观,导致视频图像场景看起来模糊。雨水积聚就像出现雾一样,会冲淡场景颜色,降低视频整体对比度并产生遮蔽效果。这两者都会降低场景能见度,因此,要获得更好的视频背景场景视觉信息,人们就需要去除视频中雨水条纹和雨水积聚问题。
而晚上拍摄的视频存在的问题,跟在雨中拍摄的视频存在的问题有差异。
夜晚拍摄会受到光照变化和多个人造光源影响,夜间视频图像不仅存在低光区域,还有辉光灯、眩光灯和泛光灯照射区域,这会严重降低图像可见度。因此,通过提高低光区域强度来增强夜间图像可见性,同时抑制夜间光效应(辉光、眩光)是一项重要任务。
除了下雨和夜间等因素影响,当场景中出现很多人对于视频分析来讲也是一大挑战。
由于其对现实世界应用很重要,基于单目(单个相机拍摄的视频)的 3D 人体姿态估计技术已引起了越来越多关注。但是,这个技术存在挑战,就是当场景中存在多个人时,人多会产生遮挡,导致人体检测错误以及人体关节分组识别不可靠。
为了解决视频分析中遇到的这些影响准确性的环境因素问题,Robby Tan 和来自中国香港城市大学、瑞士苏黎世联邦理工学院和腾讯游戏人工智能研究中心研究人员一起进行了三项研究,分别提高雨天视频、夜间视频和有人群密集场景视频处理准确性。二、研究一:帧对齐和深度估计消除视频中雨水影响
针对雨天录制视频中存在的问题,研究人员先用合成降雨视频(带有地面实况)和真实降雨视频(没有地面实况)来训练对齐网络,然后研究人员使用基于特征的对齐网络去对齐几个连续的输入帧。最后,对齐网络根据相邻帧的对齐特征,删除每一帧中的雨条纹。
处理雨幕问题,研究人员使用了积累网络 ,利用从视频中获得的深度线索,结合去除雨水条纹的图像,最终输出无雨水影响的图像。
▲ 消除下雨环境影响的图像处理流程
从效果上来看三种方法都相较于之前方法有所改进。与现有专注于去除雨水条纹方法不同,新方法可以同时去除雨水条纹和雨幕效果。
▲ 从上到下,第一张图时输入(现有方法),中间图显示去除雨痕的中间输出,第三张是使用研究团队新方法去除雨水痕迹和雨幕效果的最终输出三、研究二:半监督网络被用于优化夜间图像
处理夜间视频目标是,通过同时增加动态范围(以处理低光和过度曝光区域)和抑制光效应(辉光、眩光等)来提高其可见性。
研究人员提出一个半监督网络 ,使用配对图像(高动态范围成像的地面实况)来训练半监督网络以增加动态范围,并使用未配对的图像(没有地面实况)来训练半监督网络以抑制灯光效果,得到两种训练网络。
具体操作是研究人员首先使用线性化网络估计输入夜间图像的逆条件随机场(CRF),获得线性化图像后,将其分解为低频(光场,LF,包含辉光、眩光效果)和高频(同态滤波,HF,包含噪声、纹理等效果)特征图。光场特征图和同态滤波特征图使用训练得到的两个网络来,分别抑制光效应和去除噪声。最后将处理过的光场特征图和同态滤波特征图融合并输出。
▲ 消除夜间环境影响的图像处理流程
夜间视频图像新技术同样解决了以前方法处理不彻底的问题:夜间图像以及视频中因为眩光不能被忽视时对于视频清晰度的影响。
▲ 上面四张图是研究人员采用新方法,抑制光效并产生增强能见度;下面三张图是现有方法,无法处理的光学效果(如眩光),还错误增强了它四、研究三:结合两种 3D 人体姿态估计方法,实现更可靠输出
而针对 3D 人体姿态估计问题,研究人员通过结合两种现有方法(即自顶向下方法和自底向上方法 )来估计视频中的 3D 人体姿态 。
自顶向下网络被用来估计每个检测到的边界框内的人体关节,生成联合热图(heatmap)反馈到自底向上网络,自底向上网络同样也进行估计生成图像。最后研究人员将自顶向下和自底向上网络输出的 3D 估计姿态输入到集成网络中,以获得给定图像序列的最终 3D 姿态估计图像。
▲ 3D 人体姿态估计改进流程
3D 人体姿态新方法则可以产生更可靠的姿态估计,并更稳健地处理个体之间距离(或尺度变化)。
▲ 从上到下,第一张是输入图;第二张是采取自顶向下方法,受人际遮挡影响;第三张是自底向上方法,对尺寸(3D)变化很敏感;第四张是研究人员提出的新方法结语:避免物理环境干扰,是计算机视觉热点
计算机视觉技术在应用时会受到各种各样的影响,不止是下雨、夜晚或者出现人群等情况,比如白天光线过强、摄像头处于逆光角度等因素也会影响计算机视觉技术的处理效果。有时视频中只会有一种环境因素影响分析准确性,有时会混合出现多种,这种情况下针对每个因素都需要分别研究最优方法,最后才能分因素逐步优化视频分析结果。
计算机视觉是人工智能最广泛的技术方向之一,如何减少物理环境对计算机视觉应用方面影响仍是持续性热点话题。
科学技术预测地球命运本世纪将由人类决定的阶段据外媒报道,从流行病到网络攻击再到核毁灭,地球上的生活可能会发生根本性的变化并且很快就会发生。科学家们在2021年4月APS会议的新闻发布会上预测了这颗行星的命运。ldquo我们的
SpaceX预计9月份送4名平民上太空据国外媒体报道,SpaceX载人龙飞船ldquo坚韧号rdquo(Resilience)刚刚于5月2日返回地球,但它已经有了新的任务,即为SpaceX发射第一次平民太空旅游任务。在
SpaceX星际飞船原型SN15成功发射并着陆据国外媒体报道,当地时间周三,美国太空探索技术公司SpaceX的星际飞船原型SN15成功发射并着陆,这使其成为唯一一个在高空飞行测试中幸存下来的星际飞船原型。据悉,SN15是在美国
和平精英号火箭即将发射将携玩家ID飞向宇宙作为目前最火的ldquo吃鸡rdquo类手游,和平精英可谓受到了无数手游玩家的青睐。2019年5月8日,由腾讯光子工作室群自研的打造的反恐军事竞赛体验国产手游和平精英正式开启公测。
专家公布中国重型火箭细节月轨运载能力不小于50吨美国前不久选定SpaceX的火箭登月,预计2024年重返月球。国内也在积极研发载人登月技术,前两天中俄还宣布共同建设月球基地的合作声明。载人登月需要重型火箭,日前在2021中国航天
慕尼黑工业大学设计开发后量子密码学芯片慕尼黑工业大学(TUM)研究人员设计并委托生产了一种旨在实现所谓后量子密码学的芯片。ASIC的设计基于RISCV技术,旨在展示其阻止黑客使用量子计算机解密通信的能力。除了使用协同设
研究3000万年前二氧化碳的减少致使地球气候变冷据外媒报道,布里斯托尔大学领导的一项新研究表明,大约3400万年前,大气中二氧化碳浓度的下降在将地球气候从温暖的温室变成寒冷的冰窖中发挥了重要作用。由于二氧化碳的人为增加,这种转变
NASA朱诺号航天器探测到木星的最高能量的离子木星的行星辐射环境是太阳系中最强烈的。美国宇航局的朱诺号航天器自2016年以来一直比以前的任何任务都更接近木星的轨道,从一个独特的极地轨道调查其最内部的辐射带。该航天器的轨道使我们
科学家利用CRISPR基因编辑工具创造了新的甘蔗品种甘蔗是一种重要的作物,是全球80的糖和26的生物乙醇的来源。但它对环境的影响很大,意味着有很多改进的余地。不幸的是,培育新品种既麻烦又费时,但现在研究人员利用CRISPR基因编辑技
科学家刷新对钻石中的氮原子空缺中心成像分辨率记录利用ldquo自旋锁rdquo射频波,筑波大学的科研人员成功对钻石中的氮原子空缺中心(NitrogenVacancyCenter)进行成像,并刷新了分辨率记录。科研人员通过量子自旋
海底火山玻璃使地质学家能够估计地球内部的温度如果地球上的海洋被完全抽干,它们将显示出一条蜿蜒在地球上的巨大海底火山链。这个庞大的海底山脊系统是地球内部物质翻转的产物,在那里,沸腾的温度可以通过地壳融化和松动岩石,分裂海底并在