华为3D实景地图，30分钟构建超精细数字世界，达到厘米级

　　机器之心专栏
　　作者：黄经纬
　　华为 HDC2022 发布了 3D 实景地图，可以实现任意视角下 3D 物理环境的实景渲染。
　　千百年来，人类都致力于记录和解释身处的物理世界。随着计算机科学的发展，将物理世界数字化重建，不仅是长远的理想，更是千行百业努力的当下工作。真实的数字化重建三维物理环境，进而从任意视角观察重建的环境，是图形学、计算机视觉领域每个人的终极梦想，也是虚拟增强现实、元宇宙等众多未来应用的基石。
　　华为 HDC2022 发布了令人震撼的 3D 实景地图，可以实现任意视角下 3D 物理环境的实景渲染。通过 2500 张照片，仅需 30 分钟就可以构建出 5 平方公里的超精细数字世界，拥有厘米级精细化建筑和真实光照还原能力。
　　华为 3D 实景地图技术由毕业于斯坦福大学、现华为 2012 实验室技术专家黄经纬博士及其团队研发完成。先来看看使用实景渲染技术的室内外效果。
　　1 问题背景
　　从任意视角观察一个三维场景被广泛应用于游戏领域。通过美术师绘制的三维场景加以标准的 CG 渲染管线，用户可以自由的探索场景的每个角落。为了用自动化的手段得到更加真实的场景，计算机视觉从业人员致力于采集真实的物理世界的数据，用以重建一个孪生的三维场景供人预览。然而经过数十年的发展，重建模型的渲染效果仍不足以替代人工生产的场景。为了进一步改善复杂光照场景下的渲染效果，光场重建和渲染技术被提出，并在小场景下得到了惊艳的效果。近些年，神经辐射场（NeRF）的概念，可用于同时重建复杂的几何和光照。然而对于复杂的大场景，这些方案都存在一定的局限性。华为 3D 实景地图整合了各方案的优势，从而可以在复杂大场景下进行高质量的真实重建和快速渲染。
　　2 相关工作的局限与机遇
　　除去很多昂贵的三维重建解决方案，最接近商用的解决方案仍然是基于多视角图片的三维重建。然而，重建技术往往假设表面在各视角下拥有一致的光照，因此无法处理高光、半透明物体的重建。光场重建模型可以根据不同视角采集的光线加权来处理复杂光照，但在表面重建错误的情况下，新视角下的渲染往往存在残影。虽然神经辐射场（NeRF）技术使用复杂的模型能正确的概括真实场景，但恢复模型参数往往需要稠密采集的图片，否则就成为一个欠约束问题，在稀疏采集的大场景下新视角的泛化性尤为欠缺。
　　然而，各个方案亦有他们的优势。基于多视角图片的各向同性光照假设，在大部分情况下都是实用的，基于搜索深度信息的本质使其拥有稀疏视角的高效重建并拥有很好的泛化性，能够很好的弥补光场渲染和神经辐射场渲染的不足。光场渲染可以直接从采集的光线中获取颜色，既保证真实，又无需像神经辐射场那样优化复杂的 MLP 或者球谐函数。神经辐射场作为一个全局模型，改善了传统重建融合局部重建结果无法全局优化的情况，同时引入不透明度下的体渲染增强了模型描述环境的能力。
　　3 解决方案
　　华为 3D 实景地图结合了各家所长，提出了显式辐射场模型，系统模块如下：
　　第一阶段，系统使用传统三维重建方法对环境进行粗略构建，形成三角形网格。针对 3D 数字溪村场景，初始的几何构建能力使系统能使用 500 米高空航拍的 2500 张图片快速构建，并拥有新视角下渲染的泛化性。这个模型是粗模，虽然可以被直接用于渲染，但几何和环境光照的恢复不够真实。
　　在第二阶段，粗模作为环境轮廓，被初始化为显示辐射场。其具体的表达形式是纯几何的，即在粗模表面附近显式的记录不透明度为 1，其他地方不透明度为 0。接下来，系统使用采集的图片和三维重建中获取的图片位姿进一步优化辐射场模型。具体而言，可以对于每个局部区域进行区域增长式优化不透明度，从而过滤重建粗模中的噪音，并补全模型的缺失几何。在此过程中，不同于神经辐射场对光照模型用 MLP 或球谐函数来表达，而是直接使用类似于光场渲染的采样技术，快速获得特定位置和方向上的最佳模型光照。采样中由于使用加权平均的限制，空间中没有表面的点与对应采集图片相应像素比，仍会引起较大的颜色误差。因此，可以使用 L2 损失函数调整不透明度，从而优化几何体。
　　在最终阶段，辐射场模型转化为可用于渲染管线支持的网格模型。使用纹理模型进行光栅化渲染对性能尤为关键。系统将显式的辐射场模型重构回网格，并根据光场渲染压缩技术将表面光照压缩成多个纹理，用于使用着色器进行快速渲染。对于大规模场景，系统对几何进行 LOD 层次化，使模型渲染可以由粗至细加载进行。
　　借此，显式辐射场技术综合百家所长，能够实现良好的视角泛化性、精细的几何和真实光照效果，并以高效的渲染效率处理大规模场景。
　　4 效果展示
　　显式辐射场技术，可以帮助重建的环境获取真实的渲染光照效果。
　　对比传统几何重建（左），辐射场能够更好的恢复精细的桥梁结构（右）。
　　同时，本技术可以恢复复杂的材质（如透明玻璃、高光桌面）效果和复杂的几何体（植物、吊灯）。
　　5 挑战与未来
　　虽然在技术上实现了显著突破，但其商业价值仍需时间去发掘和思考，其主要问题在于环境采集的方式。为了得到优质的环境重建，图像的采集往往需要专业人士或者专业设备来实现。例如，大规模的室外环境可以通过专业的大飞机倾斜摄影完成。航飞场景往往容易遮挡地面，对于地面应用，如高自由度的街景，仍需要地面采集的数据以避免航飞带来的遮挡问题。另外为了保证环境的高覆盖采集，地面的采集往往需要使用全景设备，也为采集带来了额外的成本而不适用于众包生产。
　　从应用来看，未来最广阔的市场仍属于是广大消费者，因此，对于大规模实景地图的云渲染技术至关重要。另外，如何让实景渲染的真实场景与有价值的应用结合带来全新的用户体验，仍然是元宇宙行业需要思考的首要命题。对于 2B 场景，确实有大量的客户需要实景渲染能力，然而其所带来的价值以及生产成本的平衡，需要进一步探索，从而找到技术的真正落地点。
　　6 致谢
　　本技术由华为 2012 实验室技术专家黄经纬，预研算法工程师郭晓阳、时北极，三维重建工程师张彦峰，空三与采集负责人张行航等成员共同完成。更多有关 3D 数字溪村的体验可在 Petal Map 地图应用中搜索松山湖溪村进行体验。 欢迎访问技术负责人主页：https://cs.stanford.edu/~jingweih 或者通过邮件方式联系作者：jingweih@cs.stanford.edu