重构三维植被表型，计算呈现自然之美丨智言智语

　　编者按: 智显未来，洞见新知。中科院之声与中国科学院自动化研究所联合开设＂智言智语＂科普专栏，为你介绍人工智能相关知识与故事，从最新成果到背后趣闻，带你徜徉AI空间，看人工智能如何唤醒万物，让世界变得更美好 。
　　你可以想象一个没有植被的世界吗？
　　一花一草勾勒着微妙的时序变化，茂林苍翠营造出别具一格的林下风味。作为一类最常见的自然演变对象，植被在人类生活中无处不在，构成人与自然间亲密的联结，也承载着不言自明的诗意情趣。那么，当我们着力构建一个更加真实的三维虚拟世界时，各式各样贴合场景的花草树木自然也不可或缺。通过构造三维植被表型，我们能够在虚拟世界＂种植＂绿洲与田野，还原大千自然。
　　（图片来自网络）
　　给植物三维重建，我们可以实现什么？
　　其实，当你无论是在欣赏好莱坞三维影片，还是沉浸在逼真的大型游戏中，场景内郁郁葱葱的丛林、如梦如幻的植被、参天的大树、精细逼真的花草树叶，对于提升三维场景的真实感和舒适感都具有至关重要的作用。此外，除了应用于虚拟现实展示和数字娱乐仿真，树木的三维模型在生态环境建设、城乡景观设计、古树名木保护、遥感测绘、国土资源调查以及现代农林业应用等方面，也都发挥重要的作用。
　　游戏中的植被三维重建（图片来自网络）
　　举例来说：
　　在遥感测绘领域，植被建模具有特定的行业规范，植被的三维测量和重建可以极大促进植被覆盖度、森林生物量、森林对气候影响等的计算准确性；
　　在农林业方面，高精度的植物三维结构模型，可以为研究植物种植布局、生理生态影响评价、作物产量评估等提供预演与可视化分析的平台，从而辅助农业决策，以推动决策过程的精准化、自动化和智能化。
　　因此，构造植被三维模型必然成为现实世界场景三维数字化不可或缺的一部分。
　　三维植被建模的难点在哪里？
　　对于自然界分布广泛的植物来说，源于自然演变不是人类设计而造成其种类繁多，形状不一，长势千姿百态，以及结构的不规则性和自相似性，给精准三维建模提出很多难题。主要体现在两个方面：
　　（1）植物外形信息获取困难，一方面树木形体高大，细枝丰富，使用常规的便捷工具很难准确快速测量，另一方面叶片和枝干等器官之间存在严重的遮挡，且器官存在大量重复的几何和纹理结构，因此无论采用基于图像的视觉重建还是三维扫描仪，都会存在大量枝干不可见的情况；
　　（2）植物精细重建和建模困难，这是因为植物形态各异、冠形结构复杂、点云精度不够、遮挡造成信息断开和缺失，采用传统的表面建模方法（如泊松重建、Delaunay三角化）都无法获得令人满意的结果。树木形态的复杂性和多样性决定了大规模树木外形的有效获取、快速重建都具有极大的挑战性。
　　如何进行精细逼真的三维植被建模？
　　中科院自动化所三维可视计算团队的郭建伟副研究员、张晓鹏研究员、严冬明研究员等人，长期致力于三维植被模型的精细重构与表达，从计算机图形学的角度，提出了一系列植被几何建模方法。
　　（1）基于结构形态和生长规则的三维植物虚拟建模。植物生长机理是指植物普遍存在的各种生长特性，包括向光性、向水性、向肥性，顶端优势等，以及单一种类植物的特殊生长性质，例如乔木的主干明显，灌木的主干不明显等。根据植物对生长资源的竞争关系，团队提出了一种基于空间竞争、光照引导、以及生长方程约束的树木过程式建模方法，可以根据当前的空间轮廓限制和光照信息，计算并分配给每个发芽点相应的生长资源，并根据分配结果得到每个发芽点在本轮中的生长量。
　　同时该方法使用Logistic生长方程来控制植物的生长速率以及每一次迭代中的光照和资源分配，可以自动控制最终树木的生长高度。利用此方法，我们可以有效的建立单棵或者多棵树在相互影响竞争下生长的模型以及仿真生长过程，同时，还可以让模型反馈出空间的轮廓限制。
　　模拟5棵虚拟树木模型相互竞争的生长过程
　　（2）基于三维可视数据分析的真实植物重构建模。基于真实数据的植被建模，主要解决树木主干重建的问题。首先，团队采用三维激光扫描单侧数据，提出一种数据驱动的树木建模方法。该方法假设树木具有多级表示，即树木可以分为主干、树枝、细枝和叶片。实验中，对松树等针叶树，青铜等阔叶树，以及有叶、无叶数据进行了树木重建，获得了具有较强真实感、主枝和冠形等形状准确的结果。
　　之后，该团队提出将三维真实数据与植物生长规则相结合，用真实的数据去引导植物的过程式生长建模。该方法我们巧妙地结合了植物过程式建模与数据驱动的植物重建方法，用基于文法规则的机理来自动补充数据缺失部分的枝干，这种结合不仅能够保证模型的精度（与真实数据之间的误差小）和完整度，同时重建的模型满足植物学的生长规则，为植物的逆向过程建模提供了新思路。
　　真实扫描点云驱动的三维植物重构建模
　　（3）基于可视数据学习的三维植物智能建模。植物具有几何与拓扑结构上的重复性和相似性，可以从大量高精度植物测量数据中提取出重复的基本结构单元，学习出共性生长规则及其核心参数，然后基于生长规则构建出植物生长模型，该模型为形态类似但有差异的系列模型。
　　首先，我们提出了一种从具有分枝结构的图像中逆向学习 L 系统语法规则表示的方法。该工作利用图像目标检测任务中的深度神经网络提取出原子结构元素，并得到原子结构的准确控制参数（包括旋转方向和尺度大小），之后将检测到的原子结构组织成一种树形结构。分别在合成数据、用户手绘数据、真实的图片和艺术家创造的图像中验证了该方法的有效性。
　　基于分支结构图像的 L 系统语法规则表示学习
　　之后，团队提出基于GAN网络从单张照片中恢复出三维植物模型 ，主要思路是利用深度神经网络来预测大致的三维形状信息，然后使用过程式建模算法生成精细的树干模型。可以实现通过过程式植物建模方法生成其完整的枝叶细节。用户也可以手绘形状线条来生成特殊的植物造型（如下图）。
　　基于手绘（左）或者输入形状（右）约束的植物造型
　　近期，该团队最近持续探索运用深度学习方法对树木点云进行枝干分解，用于重建出精细的树木模型。该方法主要思路是运用神经网络对点云进行树冠分割和检测分叉结构，并提出一种自适应深度聚类网络来分割枝干。首先我们运用过程式建模生成数据集，训练神经网络对叶子和枝干进行分割。在此基础上，对每个分枝采取广义圆柱近似的假设，利用自主设计的自适应缩放余弦距离和欧式距离相结合，放入深度神经网络进行训练，对枝干部分点云进一步分割和聚类，得到每一个分枝的点云。然后对每一个分枝的点云提取骨架和半径并连接。最后我们根据骨架和半径生成圆柱，再利用分割出的叶子点云生成其完整的枝叶细节。下图展示了我们对于真实数据的树木重建结果。
　　基于深度枝干分解网络的树木建模。从左到右依次为参考图像、输入点云、树冠分割和枝干分解结果、枝干重建结果、最终渲染结果。
　　未来的研究可能在哪里？
　　受到中国科学院人工智能创新研究院AI创新应用方向2035任务的支持，本团队将持续在空间信息汇聚与绘制方面展开研究探索，面向地理测绘和城市管理，不断结合新的机器学习方法，重点研究大规模树木外形快速获取与三维重建、植物生长动态几何模型的构建和表示、以及物理仿真互动，将真实三维植被建模方法和呈现技术，集成于城市大场景建模之中。
　　参考文献：
　　1. Lei Yi, Hongjun Li, Jianwei Guo *, Oliver Deussen, Xiaopeng Zhang, Tree Growth Modelling Constrained by Growth Equations, Computer Graphics Forum, Vol. 37, No. 1, pp. 239-253, 2018
　　2. Xiaopeng Zhang, Hongjun Li, Mingrui Dai, Wei Ma, Long Quan, Data-driven Synthetic Modeling of Trees, IEEE Transactions on Visualization and Computer Graphics (TVCG), Vol. 20, No.9, pp. 1214 - 1226, 2014. SCI.
　　3. Jianwei Guo, Shibiao Xu, Dong-Ming Yan, Zhanglin Cheng, Marc Jaeger, Xiaopeng Zhang. Realistic Procedural Plant Modeling from Multiple View Images. IEEE Transactions on Visualization & Computer Graphics (TVCG), vol. 26, no. 2, pp. 1372-1384, 2020.
　　4. Jianwei Guo, Haiyong Jiang, Bedrich Benes, Oliver Deussen, Xiaopeng Zhang, Dani Lischinski, Hui Huang. Inverse Procedural Modeling of Branching Structures by Inferring L-Systems. ACM Transactions on Graphics (TOG), 39(5), 1-13, 2020.
　　5. Zhihao Liu, Kai Wu, Jianwei Guo*, Yunhai Wang, Oliver Deussen, Zhanglin Cheng. Single Image Tree Reconstruction via Adversarial Network. Graphical Models, 2021.
　　6. Yanchao Liu, Jianwei Guo, Bedrich Benes, Oliver Deussen, Xiaopeng Zhang, Hui Huang. TreePartNet: Neural Decomposition of Point Clouds for 3D Tree Reconstruction. ACM Transactions on Graphics (Siggraph Asia 2021), accept, 2021.