基于高光谱遥感的三维卷积神经网络分析

　　引 言
　　高光谱分辨率遥感是用很窄而连续的光谱通道对地物持续遥感成像的技术。在电磁波谱的可见光、近红外、中红外和热红外波段范围内，采用光谱分辨率高达纳米数量级的光谱仪在几十个甚至数百个波段同时对地物进行成像，获取许多非常窄的连续光谱波段信息，实现了地物空间信息、辐射信息、光谱信息的同步获取，实质为光谱分辨率的不断提高。由于高光谱遥感影像数据具有丰富的光谱波段信息，其应用领域涉及比较广，比如在农业遥感监测方面，可利用高光谱遥感数据可以计算归一化植被指数、叶面积指数、叶绿素含量等信息，可对植物的生长变化、病虫害及其对土壤的污染程度等进行分析与评估，从而促进农业的优质、高效的发展。据有关报道，自然资源部利用高光谱卫星影像数据已经在林业资源变更调查、自然资源审计、灾害应急、地理国情监测以及主要生态功能区植被长势监测等方面开展了大规模的应用示范。由此可见，高光谱遥感技术已被广泛应用于实际工作中，且在其他方面诸如海洋水质监测、地质勘探、林业遥感、现代军事等领域也有着广阔的应用前景。
　　a 全色影像
　　b 多光谱影像
　　c 高光谱影像
　　图1 不同光谱分辨率遥感影像的对比图
　　随着科学技术的不断进步与发展，传统的高光谱影像在地物分类上显现出许多不足，其特征能力表达有限、冗余度高、泛化能力较弱以及分类精度差，已无法满足当下高精度的分类需求。随着深度学习的不断发展，卷积神经网络可以进行监督与非监督的学习，可更深层次处理高光谱遥感影像分类。
　　02 研究目的
　　卷积神经网络是一种以卷积操作为主的神经网络，常用于提取图像特征，可以用作图像分类、语义分割、图像生成等功能。由于卷积神经网络具有局部区域链接、权值共享、降采样的结构特点，使得卷积神经网络在提取特征能力时减少训练权值个数、减少过度拟合以及较高的泛化能力等特点为高光谱遥感影像分类提供强有力技术支撑，卷积神经网络的输入层可处理多维数据，分别为一维卷积神经网络（1DCNN）、二维卷积神经网络（2DCNN）以及三维卷积神经网络（3DCNN）。在一维卷积神经网络中，内核沿一个方向移动，在二维卷积神经中，内核在二个方向上移动，而三维卷积神经网络中，内核是在三个方向移动。因此，本文通过研究输入不同维度的卷积神经网络方法对高光谱遥感影像地物分类进行对比，验证三维卷积神经网络较其他维度的卷积神经网络在高光谱图像分类上其特征提取、冗余度以及分类种类数量上效果更加显著。
　　03 影像分类的方法研究
　　本文主要研究不同维度的卷积神经网络对高光谱遥感图像分类的方法。在卷积神经网络中，常以一维卷积神经网络（1DCNN）来获取高光谱遥感图像的光谱特征，以二维卷积神经网络（2DCNN）来获取空间特征，以三维卷积神经网络(3DCNN)或以一维卷积神经网络加上二维卷积神经网络（1DCNN+2DCNN）来获取光谱与空间特征。利用不同维度卷积神经网络进行高光谱遥感图像特征提取的方法，构建了在不同的数据集中包含1DCNN、2DCNN、(1D+2DCNN、3DCNN) 的方法的模型组。
　　3.1 基于高光谱遥感的一维卷积神经网络(1DCNN)的方法分析
　　在一维卷积神经网络中是将卷积神经网络的输入层图像的所有的像素点会让卷积神经网络组合成一个行向量，即为一维的维度，可用这一维的维度向量来表示光谱信息。通过卷积层对这输入层进行两次卷积之后所提取的像素点，这一过程称之为一维特征提取。图2表示基于高光谱遥感一维卷积神经网络的光谱特征提取过程。将高光谱遥感影像每一个像素点进行卷积、降采样、卷积、降采样这一过程后所提取的的像素点的为光谱特征提取。
　　图2 基于高光谱遥感一维卷积神经网络的特征提取过程
　　3.2 基于高光谱遥感的二维卷积神经网络(2DCNN)的方法分析
　　二维卷积神经网络有着长和宽的两个空间维度，常用来处理图像空间信息。二维卷积层是通过将输入层和卷积核做相互运算，并加上一个标量差来得到的输出。图3表示基于高光谱遥感的二维卷积神经网络空间特征提取的过程，将高光谱影像数据每个局部区域通过重复使用卷积核做相互运算而输出得到在空间维度（宽和长）上某一级的特征。其也可通过二维卷积神经网络来完成图像分类的过程。
　　图3 基于高光谱遥感二维卷积神经网络空间特征提取过程
　　3.3   基于高光谱遥感的联合卷积神经网络(1D+2D CNN)的方法分析
　　联合卷积神经网络是通过输入图像，分别提取光谱特征以及空间特征，经过各种卷积合并在一起进行提取的光谱信息，称之为联合空谱特征提取，图4表示基于高光谱遥感影像联合提取空谱特征的过程。即将输入高光谱影像，分别提取其光谱特征与空间特征，然后合并经过卷积层所提取的空谱特征。
　　图4 基于高光谱遥感影像联合卷积神经网络(1D+2DCNN )提取过程
　　3.4  基于高光谱遥感的三维卷积神经网络(3DCNN)的方法分析
　　三维卷积神经网络有着高度、宽度以及深度的三个空间维度，在三维卷积神经网络中，内核是沿3（图像的高度、宽度、深度）个方向移动的。由于它移动是个3D空间，所以输出值也是按3D空间分布。图5表示基于高光谱影像直接获取空谱特征的 3D CNN 典型模型的过程。即将输入高光谱影像数据，通过堆叠多个连续的像素而组成的立方体，然后在立方体中运用3D卷积核而提取的特征。
　　图5 基于高光谱遥感的三维卷积神经网络(3DCNN)的提取过程
　　04 结果分析
　　利用A、B以及C三个数据集，针对高光谱图像分类进行了实验，每个数据集影像分类方式都包含一维卷积神经网络(1DCNN)、二维卷积神经网络(2DCNN)、联合卷积神经网络(1D+2DCNN)以及三维卷积神经网络(3DCNN)的方法执行。
　　A 数据集由AVIRIS 传感器在某地区松林试验区采集得到 ，该数据集覆盖光谱范围为 0.4-2.5μm，谱分辨率为10nm,可提供224个谱段，空间分辨率为 20m，数据大小为 145*145，通过删除覆盖吸水区域的波段，剩余为200个，它包含16种农作物类别。
　　B 数据集由 ROSIS 光谱传感器在某地城镇集中区采集得到 ，该数据集由 0.43-0.86μm 的 115 个光谱波段构成，每个波段由空间分辨率为 1.3m 的 610 340 的像素组成，其中它有 9 个地物类别经过处理后，剩该数据集有103 个光谱波段。
　　C 数据集由 AVIRIS 光谱仪在某地生态片区采集得到 ，该数据集覆盖光谱范围为 0.4-2.5μm，谱分辨率为10nm,可提供224个谱段，空间分辨率为 18m，每个波段由512 614 个像素构成，共有 13个类别，去掉吸水率和低SNR频段后，剩余 176 个波段。图6、图7、图8为不同维度的卷积神经网络的方法在 A、B 以及 C 数据集上的分类图。
　　图6 三个模型组在 A数据集上的分类图[1]
　　图7 三个模型组在 B数据集上的分类图[1]
　　图8 三个模型组在C数据集上的分类图[1]
　　05 结论
　　针对不同维度的卷积神经网络方法在三个基准数据集上的实验结果进行了比较分析，图6、图7、图8为不同维度的卷积神经网络的方法在A、B以及C数据集上的分类图。在三个数据集分类成果图中，与1DCNN、2DCNN以及1D+2DCNN的分类图相比，3DCNN的分类图不仅包含更加清晰的边缘，且包含更少的噪声，更加接近于真实地物图。通过不同维度的卷积神经网络方法在不同数据集下对应的分类图对比，证明了3DCNN用于高光谱图像特征提取效果更加显著。
　　通过以上分析，可以得出结论，利用不同维度卷积神经网络进行高光谱图像分类的方法相比，三维卷积神经网络（3D CNN）相对其他维度的卷积神经的分类图的冗余度、分类种类、地物特征提取能力都相对较高。因此，利用三维卷积神经网络（3D CNN）的方法进行高光谱遥感图像分类更优。
　　参考资料：
　　[1] 张欣. 基于三维卷积神经网络的高光谱遥感图像分类技术研究[D].中国科学院大学(中国科学院长春光学精密机械与物理研究所),2021.
　　本文所有文字版权均属＂宝略科技＂，更多内容请搜索关注【宝略科技】微信公众号~