技术GoogleMap干掉倾斜摄影了？

　　相信这两天大家朋友圈都被Google Map新功能演示刷屏了，视频中介绍说Google Map将在一些城市实现实景渲染，在手机中能够就从不同视角能逼真地浏览城市场景，甚至还能实现从室外到室内的无缝融合。
　　这个视频引发很多讨论，看明白的、看不明白的都在各抒己见，真的非常有意思。有人看到视频中从室外飞到室内，就联想到国内房地产行业做的一些卖房应用，直言房地产公司已经吊打谷歌；也有人看到视频中围绕着威斯敏特大教堂转一圈，就觉得这不就是倾斜摄影，早就烂大街的东西。
　　那正在看这篇文章的读者，你的心里又是什么看法呢？
　　究竟是不是谷歌不行了呢？
　　02
　　Block-NeRF是什么？
　　伟人说过，没有调查就没有发言权。想搞清楚这背后的技术细节，最好的办法就是去看文献。刚好在CVPR 2022会议上就有一篇Google员工发表的论文《Block-NeRF: Scalable Large Scene Neural View Synthesis》，该论文就是Google Map这次产品更新背后的实现技术。
　　单看论文题目，可以知道这篇文章主要介绍一种叫做Block-NeRF的新方法，这个方法可以进行大场景神经视图合成。
　　视图合成，简单来说就是根据已有的视图（也就是图片）来合成一张不同视角下的新图片。举个不恰当的例子，你站在一个人左侧拍了一张照片，又站在一个人的右侧拍了一张照片，这时候你想知道站在这个人正前方拍的照片是什么样的。你在这个人左右两侧拍的照片就是已有的视图，而你想要的正前方的照片就是需要合成的视图。
　　当然，实际操作中一般会拍摄更多的照片，否则就难以达到理想的效果。视图合成并不是什么新概念，早期很多Image Based Rendering方向的论文就是做这个的，比较基础的方法也就是通过对现有图像进行插值来生成新的图像。当然，为了不断地提升合成图像的质量，方法变得越来越复杂。
　　来到AI时代，自然也会有人考虑用AI做视图合成，其中的佼佼者就是NeRF。NeRF 是 2020 年 ECCV 上获得最佳论文荣誉提名的工作，其影响力是十分巨大的。NeRF 将隐式表达推上了一个新的高度，仅用2D的姿态已知的图像作为监督，即可表示复杂的三维场景，在新视角合成这一任务上取得非常好的效果。但是NeRF受限于有限的模型容量，只能重建小尺度场景，比如一个物体、一个房间、一栋建筑等等。
　　Google在NeRF的基础上更进一步，通过将场景分割为多个部分，每个部分单独用一个NeRF进行训练，最后将各个NeRF合成的视图混合，从而实现大场景的视图合成。这就是Block-NeRF最核心的思想。
　　03
　　你还认为Google Map渲染的是倾斜吗？
　　我们现在文章里找找证据。文章在研究现状首先就介绍了大场景三维重建的内容，提到COLMAP、PMVS等知名计算机视觉项目，但同时也提到通过3D重建得到的模型存在很多变形和黑洞，这正是现在倾斜摄影模型存在的严重问题。
　　最后，总结说三维重建更加注重精度，而本文的任务属于新视图合成领域，甚至Block-NeRF算法都没有利用SfM(Structure from Motion)算法来获取相机位姿，仅利用车载传感器读数作为模型训练数据。
　　看到这里，我想大家都知道Google Map渲染的不是倾斜模型了。可是为什么要大费周章地用几百万张图片来训练Block-NeRF模型呢？从视频中不难看出，浏览过程中非常平滑，没有倾斜那种LOD过渡的感觉，而且，合成出来的图像还可以进行光照、天气等效果的调整。
　　当然，肯定还会有人说，现在把倾斜摄影模型导入游戏引擎也能有各种光照和天气效果，但是倾斜摄影模型本身的纹理就已经记录拍摄时的光照信息，即使添加一些游戏引擎的效果，所看到的画面也没有Google Map那么纯净。
　　另外，Block-Neft里还提到在制作训练数据时，把图片中的移动目标（如车和行人）等遮罩掉，使得合成的图像里不会出现车和行人的干扰。相较之下，倾斜摄影模型中的车辆和行人往往需要人工去压平修复。
　　从个人角度来说，我觉得Block-NeRF比倾斜摄影更加优雅。只要根据用户浏览的位置和朝向，就可以在云端实时渲染出一张以假乱真的图片。虽然倾斜也可以走云渲染的路线，但就显示效果和渲染效率来说，目前看到的应用案例也仅仅时刚刚够用而已。至于Block-NeRF会不会取代倾斜摄影，个人觉得目前并不需要此类的担心。