石头用高光谱扫描仪一扫就知道是什么矿物

 矿物填图是许多地质应用及相关工业领域中的重要工具。矿产勘探和采矿业尤其依赖于在不同观测尺度上对目标矿物或指示矿物进行准确的定位和表征。传统的勘探方法面临着后勤和技术挑战，例如需要对数公里的钻芯或遥感数据进行大规模采样，以及肉眼难以区分的矿物。自动化、快速、无损的成像技术是当前发展的最前沿，旨在为地质学家提供支持，以完成这项艰巨的任务。

反射光谱通过分析特定波长范围内反射的光来快速表征矿物样品。高光谱图像由数百个光谱通道组成，可以视为多个像素矢量的堆栈，其中每个像素矢量在一定波长范围内代表一个详细的光谱。随着如此庞大光谱信息的可用性，高光谱图像已被广泛用于研究电磁辐射与感兴趣的对象或矿物之间的相互作用 。

光谱成像传感器通常仅在这些光谱范围的一个或子集中采集数据，部分是由于传感器技术原因，部分是为了在每时期的最大总数据量与空间细节之间进行权衡。商用传感器提供了这种在空间细节、速度和覆盖光谱范围之间不可避免的技术折衷的变体。由此产生的单个传感器设置定义（并限制）可检测矿物的数量、类型和尺度。例如，在较宽的光谱范围内获取光谱分辨率良好的数据通常伴随着较粗的空间分辨率和较慢的采集时间，反之亦然。对多个传感器输出的组合解释提供了一种有前途的解决方法，可以扩展单个传感器的检测能力，从而以更详细的方式返回更多可检测的矿物。然而，传感器特异性的空间分辨率变化不仅对数据配准提出了挑战，还会导致一个像素代表不同的矿物混合物。我们证明了与单传感器方法相比，使用多传感器设置对矿物域分类的准确性有了明显的提高。然而，先前的工作流程仍有改进空间。

在本文中，我们开发了一种高效且有效的多传感器技术，用于融合具有不同空间和光谱分辨率及光谱覆盖范围的多种光学数据集。所提出的处理链全面涵盖了所有阶段，包括数据采集、预处理（包括数据准备、配准和去噪）、特征融合和分类。为了设计提出的多传感器数据融合方法，研究了以下重要因素：(1) 结合机器学习和信号处理领域的进步，以开发可靠的矿物分类和表征方法；(2) 考虑到具有不同光谱覆盖范围和空间分辨率的商用高光谱传感器的进步，用于矿产勘探中的原材料填图；以及 (3) 评估多传感器数据集的可集成性和附加值，以获得所研究应用的最优条件。我们捕获的数据集包含一组地质样品，包括 RGB 图像以及五个在传感器设计、采集速度、空间分辨率和光谱范围方面具有独特规格的高光谱传感器。为了评估我们开发的方法，我们通过基于扫描电子显微镜的矿物解离分析（MLA）和覆盖 0.35 至 15.39 µm 波长范围内完整电磁波谱的光谱点测量来获取矿物学信息。

所采集的数据通过自动提取的关键点进行共同配准。使用具有不同特征的两个样本子集评估了所提出的工作流程的性能：(1) 具有光谱混合但空间高度不平衡的类别，以及 (2) 具有光谱混合但空间平衡的类别。从方法论角度来看，所提出的方法旨在解决以下挑战：

• 缺乏可用于开发监督机器学习融合算法的训练样本：通过所提出工作流程的不同阶段解决了这个问题，使其成为在光谱通道数量多而训练样本非常有限的非良性情况的适用方法。例如，所有预处理（包括去噪）和特征提取步骤都是无监督的，因此算法不需要任何训练样本来进行训练。此外，我们的融合方法随后应用了数据集成和降维，以便在后续基于 SVM 的监督分类任务中平衡提取的特征数量和训练样本数量。此外，SVM 分类器是所提出工作流程中唯一存在的监督阶段，由于其在特征空间中设计超平面以分离不同目标类别方面的有效理论，因此可以使用有限数量的训练样本对多传感器数据集进行分类。

2. 数据采集和预处理

2.1. 实验设置和传感器参数

在实验室中使用了五种高光谱传感器和两个 RGB 摄像头进行光谱分辨的光检测（注意，通过执行校准测量，LWIR 中的反射率是通过将热发射与样品集的热发射分离获得的，即样品的自身发射率），从而能够对选定的地质样品进行表征。通过采用覆盖 400 至 12,000 nm 宽光谱范围的光学成像传感器，我们可以观察到电子、振动和旋转原子跃迁的许多光谱特征，从而对特定矿物类别产生独特的光谱描述。其他对于地质样品扫描应用重要的参数，如空间和光谱分辨率、采集速度和操作模式，通过比较在相似波长范围内运行的不同传感器来评估。最值得注意的实验设置和使用的传感器参数如表 1 所示。由于各种成像传感器空间像素尺寸的差异，通过叠加相邻图像进行简单的配准是不可行的。

                                                                表 1. 用于高光谱传感器和 RGB 摄像头的规格和设置。像素尺寸以二次方像素的长度表示。

我们采用了线阵扫描仪和全画幅成像仪进行反射光谱测量，它们安装在一个系统上，位于一个传送带上方，地质样品集放置在传送带上（示意图见图 1）。为了检测 400 至 2500 nm 范围内可见光-近红外（VNIR）和短波红外（SWIR）的光反射，我们使用了来自 Specim 的四种不同推扫式扫描仪：AisaFENIX（下称 FENIX）、sCMOS-50-V10E（下称 sCMOS）、

FX10 和 FX17。通过覆盖 VNIR 和 SWIR 范围的宽带石英钨卤素灯的线阵列，可以实现对相应成像区域的光谱均匀照明。对于所有线扫描仪，图像是通过样品台的恒定线性移动随时间创建的。

图 1. 采集设置的示意图，包括一个多传感器系统，该系统位于传送带上方。传送带宽度为 500 mm。

Telops 的 LWIR 全帧成像仪 Hyper-Cam（下称 HC）在一个单独的测试台中以静态模式运行；即在扫描过程中样品不移动。HC 设置中的场景由两个陶瓷红外石英辐射器照明。由于样品暴露在红外辐射下的时间很短且样品加热可忽略不计，我们可以在计算反射率时忽略样品发射率的变化。可以找到反射实验条件的更详细描述。高分辨率彩色成像是通过使用两个 Teledyne Dalsa RGB 摄像头（下称 RGB）进行的，它们能够对观察到的场景进行立体重建。

用于验证的矿物相分析是通过扫描电子显微镜（SEM）的矿物解离分析（MLA）进行的。MLA 实验通过结合使用 FEI Quanta 650F 169 扫描电子显微镜、两个 Bruker Quantax X-Flash 5030 能量色散 X 射线光谱仪和 MLA 3.1.4 软件包进行半自动数据采集 。电子束对表面的扫描与根据其 X 射线发射指纹对单个颗粒的自动分类相结合，产生了空间上高度分辨的相图。使用的像素尺寸为 3 µm×3 µm3 µm×3 µm，正确分类的质量阈值设置为 90%。

2.2. 分析的样品

我们研究了一组与当前新矿床勘探项目相关的地质样品。干净、切割的岩石块（表面 4 cm×2 cm4 cm×2 cm）分别来源于一个较大的手标本和一个完整的 1 米长的钻芯（图 2）。我们选择这些样品是因为它们代表了我们在过去几年中，例如通过使用遥感和近场传感方法  广泛研究的矿床的典型岩性特征。因此，我们对两个样品集的矿物学有了全面的了解，这对于验证数据融合算法的结果至关重要。这些样品代表了两种不同的宿主岩和矿物学。它们表现出各种光谱和纹理特征，使其适用于确定我们新开发的用于高光谱反射数据的算法的能力，

MLA 实验显示，RZ2 中主要存在的矿物是方解石、白云母、钠长石和磷灰石，而 TS4 样品主要含有石英、白云母、钠长石和石膏（按降序排列），以及少量存在的矿物。为简化矿物成分，将几种矿物分组，为 RZ2 样品（钠长石、磷灰石、富含纤铁矿、富含方解石、白云母）和 TS4 组（石膏/硬石膏、石英、硫化物、白云母、长石）创建了包含五个矿物类别和一个背景类别的图谱。这个背景类别由 MLA 分类无法进行的低强度区域组成。

图 2. 所分析样品的示意图。（左）选定的代表性钻芯样品块 TS4，（右）来自现场采样活动的样品块 RZ2。

2.3. 预处理

每个数据集都根据其特定的校正工作流程单独进行预处理，以确保最佳数据质量。每种传感器特定的步骤在 [17] 中有详细描述，包括多个传感器和设置特定的几何和辐射校正。从两个 RGB 摄像头对图像进行立体重建，生成一个 2.5D 数据云，从中创建对样品平面的正交投影，并裁剪到 TS4 和 RZ2 的子集。预处理后的数据帧在空间上无失真，并为每个数据像素提供波长特定的反射率信息。为了实现最准确的空间对准，尽管帧的空间分辨率不同，仍应用了自动关键点检测和匹配过程。对齐的数据被裁剪到要分析的样品范围并堆叠以供进一步分析。对齐的数据集和简化的 MLA 图都重新采样以匹配具有最高空间分辨率（0.08 mm）的传感器像素大小。在 MLA 图的情况下，每个结果验证像素随后被标记上丰度最高的矿物类别的名称。由于 MLA 图是从确切的样品表面获得的，因此避免了直接验证。从 MLA 图中，定义了一个地面实况，该实况考虑了每个分类域的典型矿物混合物或伴生矿物。然后，将地面实况划分为不相交的训练集和测试集。在 TS4 的情况下，地面实况是从 MLA 结果中属于 RGB 数据集中现有可见结构区域的样品中选择的。在 RZ2 的情况下，从 MLA 图中，选择矿物学上最纯净的像素（约占所有像素的 50%）作为地面实况。

3. 多传感器方法论

图 3 显示了用于光学传感器融合的提议的填图方法的图形摘要。形态剖面（MP）[26] 用于从 RGB 图像中提取矿物纹理。对于高光谱图像，首先使用 HyMiNoR 和 SSLRA 分别进行去噪和降维。减少后的高光谱特征与从 RGB 中提取的空间特征一起输入到监督分类器（即 SVM）中，以获得最终的矿物填图。所提出的方法论包含四个主要步骤：1—空间特征提取，2—去噪，3—降维，和 4—分类。这些步骤将在下面详细解释。

图 3. 用于矿物填图的光学多传感器数据融合的所提方法（MOSFus）的框架。

3.1. 空间特征提取

与高光谱图像相比，RGB 具有更高的空间分辨率，因此可用于空间特征提取。在这里，可以通过基于数学形态学的空间滤波器来执行场景中存在的空间信息的提取。在这项工作中，我们使用 MP，它们是通过使用不同尺寸的结构元素（SE）顺序应用开运算/闭运算来提取光栅化数据中相邻像素的空间信息（例如，上下文关系）的有效工具（例如，大小、几何形状等）。MP 包含每个像素的“形态谱”，通过顺序应用具有不同尺寸的结构元素（SE）的开/闭运算获得。最终的剖面用于纹理分析。

3.2. 去噪

高光谱数据通常包含不同的噪声源，例如热噪声、散粒噪声和稀疏噪声。高光谱去噪是一项具有挑战性的任务，可以提高低信噪比图像的质量 。在这里，我们利用一种最新的技术来处理高光谱数据中的混合噪声（HyMiNoR [18]）。HyMiNoR 假设信号被高斯噪声和稀疏噪声污染，然后分两步去除混合噪声。首先，高光谱数据通过以下公式建模：

3.3. 降维

使用高光谱传感器生成的谱信号包含冗余信息。已经证明，高光谱集可以用比传感器维度低得多的低维空间（通常称为子空间）来表示 。然而，子空间的维度（秩）是未知的，因此需要进行估计 。此外，在分类应用中，正如本文的目标所示，当训练样本有限时，增加维度会降低分类性能 。这就是所谓的休斯现象 。本文使用的高光谱数据来自五种不同的传感器，因此降维步骤是我们应用中的关键步骤。在这里，我们使用最近开发的一种称为稀疏和平滑低秩分析（SSLRA）的高光谱图像降维技术。SSLRA 利用低秩模型来表示信号，包含少数信息特征，如下式所示：

SSLRA 提取的平滑特征（F）用于分类。在本文中，使用 SVM 进行分类步骤

3.4. 分类

由于其在处理训练样本数量与波段数量不平衡的非良性情况方面的有效能力，SVM 是高光谱数据分类中广泛使用的方法。在这里，选择 SVM 作为光谱分类器，几种广泛使用的基于机器学习的分类技术相比，具有效率高、稳定性好和准确性高等优点。

SVM 在多维特征空间中通过超平面分离两个类别。更详细地说，SVM 搜索超平面以使距离两个类别最近的训练样本（称为支持向量）的间隔最大化。SVM 最初是为处理线性分类问题而引入的。由于分类问题通常是非线性的，可以利用核技巧将数据投影到更高维度的特征空间中，使数据线性可分。

4. 实验结果

4.1. 参数设置

在实验中，所提算法的参数设置如下：对于 MP，选择了一个半径尺寸为 20、50、100 和 200 的圆盘状 SE，使得形态剖面包含 27 个特征（12 个开运算，12 个闭运算，以及输入 RGB 图像）。对于 HyMiNoR，调谐参数选择为 λ=1，使用的默认值是λ=10，因为我们发现 λ=1 中使用的遥感图像更适合近距离成像。增强的参数μ1=μ2=0.5，对于 SSLRA，调谐参数设置为5λ1=λ2=0.05，高光谱图像的特征数量设置为r=10，因此输入 SVM 的最终特征数量为 77（RGB 来自 27 个特征 + 高光谱传感器来自 50 个特征）。对于 RBF 核，最优超平面参数 C 和 RBF 核的扩展γ，分别在C=10−2,10−1,…,104 和 γ=10−3,10−2,…,104 的范围内，使用五折交叉验证选择。

4.2. 结果：TS4 数据集

4.2.1. 融合性能

表 2 报告了为 TS4 数据集上每种矿物类别分类目的所使用的训练和测试样本数量。表 3 比较了对不同传感器和技术应用 SVM 所获得的矿物填图精度。每行中的最高精度以粗体显示，括号中给出用于分类任务的特征数量。

表 2. TS4 数据集分类目的所使用的训练和测试样本数量。

比较显示了与其它技术相比，所提融合方法（下称 MOSFus）在平均精度（AA，即类别精度的平均值）和总体精度（OA，即正确标记样本占总测试样本的比例）方面的优势。更详细地说，MOSFus 的 OA 为 89.53%，比先前开发的方法（OTVCA_Fus [17]）高出 4.33%，比单一传感器获得的最高 OA（即 HC）高出 7.98%。此外，除白云母外，MOSFus 在类别精度（CA）方面优于其他技术。RGB 由于数据集中光谱波段有限而给出了最低的 OA。然而，RGB_MP 将 RGB 的 OA 提高了 11%，这揭示了包含空间信息对矿物填图的好处。结果的其他亮点是 HC 获得的高精度，这将在接下来的小节和第 5 节中讨论。图 4 描绘了使用不同技术的分类结果。为了进行比较，还显示了分类器使用的测试和训练样本以及从 MLA 获得的图谱。通过目视比较，可以观察到 在结构保持和矿物目标检测方面提供了最佳的填图效果。这可以通过将其与高精度的 MLA 填图进行比较来进一步证实。我们应该注意，尽管背景在最终填图中被标记，但它不影响精度评估。只有显示的测试样本影响最终的分类精度。

图 4. 对 TS4 数据集应用 SVM 的不同融合技术和不同传感器的分类图。

表 3. 对 TS4 数据集应用 SVM 的不同融合技术和不同传感器的分类精度。括号中给出使用的特征数量，每行中的最高精度以粗体显示。

4.2.2. 单一传感器性能

图 5 显示了将 SVM 应用于 TS4 数据集的光学传感器光谱波段所获得的精度（百分比）比较。比较揭示了传感器对独特矿物的敏感性。实验结果可以归纳如下：

• RGB 相较于其他传感器提供了最低的类别精度，因为它缺乏区分矿物的详细光谱。然而，有趣的是，对于硫化物，RGB 提供了最高的精度（83.63%）。

• sCMOS、FX10 和 FX17 表现相似，相对于其他传感器，在所有类别上都表现出中等的 CA。FX17 在白云母方面给出了比其他传感器更高的精度，而在硫化物方面给出了最低的精度。另一方面，FX10 在硫化物方面给出了非常高的 CA，并且在此类别上比覆盖相同波长范围的 sCMOS 表现稍好。这可能归因于 sCMOS 更高的空间分辨率，导致更多被 MLA 验证定位在没有硫化物域的脉中的硫化物像素。

• Fenix 在长石方面给出了最高的精度。然而，这可能归因于 HSI 的低空间分辨率以及对像素的过度分类，这可以通过将 Fenix 的填图结果与 MLA 进行比较（如图 4 所示）看出。

• HC 对石英和石膏都提供了非常高的精度，并且与其他传感器相比，对其他三个矿物类别的精度相对较好。此外，单一 HC 传感器给出了 81.55% 的 OA（也见表 3），这与融合技术 OTVCA_fus（85.27%）和 MOSFus（89.57%）相比是相当可观的。因此，HC 可被认为是区分 TS4 中存在的矿物的最合适的传感器。

图 5. TS4 数据集应用 SVM 时不同光学传感器在不同矿物上的性能（以百分比精度表示）。

4.3. RZ2 数据集结果

4.3.1. 融合性能

表 4 给出了用于 RZ2 样本分类的矿物类别的训练和测试样本数量。RZ2 数据集的分类结果见表 5。MOSFus 给出 OA = 86.31%，比 OTVCA_Fus 提高 8.32%。更重要的是，除了磷灰石和纤铁矿外，MOSFus 在表中所述的类别精度方面优于所有其他方法。与 TS4 类似，使用 MP 获得的增益在 OA 方面比从 RGB 图像获得的高出近 10%，这再次证实了提取空间信息对矿物填图的优势。从表 5 中可以看出，HC 的 OA 比 OTVCA_Fus 高出 4.38%；然而，AA 却低了 0.71%。这可以用每类样本数量不平衡来解释。如表 4 所示，测试样本数量不平衡，特别是对于 HC 表现优于 OTVCA_Fus 的第 4 类。大量样本可能对 OA 产生主导影响；然而，AA 表明 OTVCA_Fus 对大多数类别的性能更好。图 6 中给出了将 SVM 应用于不同技术的分类图，以及 MLA 图和训练/测试集。目视评估证实，MOSFus 在结构和与 MLA 的相似性方面都比其他技术提供了更好的填图质量。然而，与 MOSFus 相比，OTVCA_Fus 也提供了不错的结果。例如，它比 MOSFus 更好地检测到样本右上方区域的钠长石，MOSFus 错过了这些样本。

表 4. RZ2 数据集分类目的所使用的训练和测试样本数量。

表 5. 对 RZ2 数据集应用 SVM 的不同融合技术和不同传感器的分类精度。括号中给出使用的特征数量，每行中的最高精度以粗体显示。