华盛顿大学提出高光谱图像分类预测架构，登上Nature子刊

　　作者/文龙
　　相较于传统的光学成像方式，高光谱成像可以提供丰富的信息，而对高光谱成像的分析往往依赖于机器学习的方法。华盛顿大学的研究小组开发了一种通用的深度学习架构，可以在各种高光谱成像上执行正交成像模态的分类、分割和预测。这一新的架构可以促进从遥感、显微镜到医学的多个领域中高光谱成像技术的广泛应用。
　　研究成果于3月11日以「用于高光谱图像的分类和无标签预测的通用深度学习架构」（A versatile deep learning architecture for classification and label-free prediction of hyperspectral images）为题发表在《自然·机器智能》（Nature Machine Intelligence）杂志上。
　　高光谱（HSI）成像技术是一种可以捕获和分析一片空间区域内逐点上光谱的精细技术，由于可以检测到单个对象不同空间位置上的独特光谱「特征」，因此可以获得在视觉上无法区分的物质，充分反映样品内部的物理结构、化学成分的差异。
　　线性分解、相量分析、支持向量机等机器学习方法用于分析高光谱成像数据集已经取得了可喜的成果，然而使用深度学习进行图像处理更具有灵活性，可以在许多不同的成像模态中执行任务。
　　华盛顿大学化学系的研究小组基于U-net开发了一个新的用高光谱图像进行深度学习的架构，命名为U-within-U-net（UwU-Net）。新的架构允许将可调的自由参数专用于频谱信息（外部U）或者空间信息（内部U），使频谱信息由任意数量的传统空间U-Net之外的单独的U型结构处理。
　　与U-net以图像分割为主不同，该架构可执行分类、分割和无标签预测任务，并能够适应于遥感、质谱成像（MSI）以及受激拉曼散射(SRS)显微镜等多种类型的HSI图像。
　　图示：UwU-net架构与传统的U-net架构对比。（来源：论文）
　　该研究小组分别在遥感、MSI和高光谱SRS显微镜三种技术中获取的HSI图像进行实验测试，结果展示了他们的UwU-net架构在印度松树的分类上有着99.48%的总体准确度；将UwU-net模型用于MSI数据，准确地预测了了大鼠肝脏切片中多种药物的位置，凸显了从空间和光谱信息中挖掘MSI数据集相关特征的能力，大大提升了预测速度；通过高光谱SRS显微镜，UwU-net对无标记的细胞器荧光预测进行了显示，预测相关性有了显著改善。
　　尽管论文中只展示了部分有关HSI图像的任务，但是，该论文的作者强调他们的UeU-net架构具有广泛的灵活性和适应性，易于迁移到各种不同的任务中。「我们希望UwU-Net能够广泛适用于任何涉及高光谱成像技术的计算机视觉任务，并有可能在医学成像、显微镜和遥感中使用。」
　　论文链接：https://www.nature.com/articles/s42256-021-00309-y#Tab1
　　项目地址：https://github.com/B-Manifold/pytorch_fnet_UwUnet/tree/v1.0.0