岩石是地球物质的主要组成成分，根据成因分为火成岩、沉积岩和变质岩三大类（赖文等，2020）。岩性识别是石油勘探与开发过程中不可或缺的一环。根据岩石特有的颜色、成分、结构等岩性特点，可将储集岩划分为不同的单元，依据相似的岩性，同一单元的储集岩有着类似的地质和成岩条件（付光明等，2017）。这些条件与孔隙度和含油量密切相关，同时也是石油储层特征研究、储量计算和地质建模的前提。薄片鉴定是岩性识别的重要方法之一，在传统岩石薄片的岩性识别与分类中，主要以人眼观察、手工操作和经验分类为主，受人为主观因素的影响大，需要一定的先验知识，专业程度较高，难以普及（宫清顺，2012）。

近年来，大数据与人工智能算法正改变着地质学，作为人工智能算法的核心，机器学习在矿床地质、土壤分析、岩性识别等领域取得了突破性的进展（徐述腾等，2018；周永章等，2018，2021）。因此，将岩石薄片图像与机器学习相结合可以克服上述难题。多层感知机是机器学习中的分支之一。早年，Marmo et al.（2005）对来自不同海洋环境的1000多张碳酸盐岩薄片图像使用多层感知机进行建模分析，该模型使用岩石薄片的灰度图作为输入，得到23个特征值后，用这些特征值进行分类，最终取得了93.3%和93.5%的准确率；Singh et al.（2010）利用多层感知器神经网络对玄武岩岩石薄片的图像进行了分类识别，在测试集上得到90%的识别准确率。但多层感知机存在一定的局限性，随着网络层数的增加，模型变得难以训练，且还伴随着能梯度爆炸、梯度消失等问题，并不适合大型的图像分类任务（He et al.，2016）。随着AlexNet、VGG（Simonyan等，2014）、ResNet（马泽栋等，2022）等深度卷积神经网络的兴起，机器学习的另一子集深度学习逐渐在计算机视觉和自然语音处理中得到广泛应用（盖荣丽等，2021）。与传统机器学习算法，如SVM、随机森林等模型需要对图片进行额外的预处理和特征提取不同，深度学习中的深度卷积神经网络通过卷积核直接提取图片特征；通过卷积运算替换传统的矩阵乘法运算，极大地减少了运算参数；通过残差连接和反向传播在保证网络层数增加的同时，学习任务的精度也随之增加（张珂等，2021）。近年，学者专家逐渐将深度卷积神经网络引入到岩性识别中。张野等（2018）使用Inception V3网络结合迁移学习，将在ImageNet上预训练的权重迁移到花岗岩、千枚岩及角砾岩图片的岩性识别上，测试集的准确率达到85%以上；熊越晗等（2021）使用Inception V3模型与迁移学习相结合，对砂岩、泥岩、泥质砂岩和砂质泥岩进行建模分析，经1000轮迭代后，在训练集、验证集上分别取得了92.77%和76.31%的准确率；许振浩等（2021）使用DSOD算法对图像进行岩石检测，从而建立岩石图像数据集，然后使用ResNet101结合迁移学习，对花岗岩、流纹岩等常见的岩石图像进行特征提取，岩性识别的正确率达90.21%；徐述腾等（2018）设计有针对性的Unet网络（陈国军等，2023）实现对矿相显微镜矿石矿物的分类识别，测试集中的矿物识别准确率达到90%。综上，将机器学习与深度学习引入岩性识别，可以自动识别岩性，降低主观因素的影响，但仍存在数据集不全面和模型参数多的缺点。本文旨在设计一种通用的轻量级模型，实现岩石薄片图像的全自动识别，采用改进的、参数量仅为7.66M的MobileViT模型对岩石薄片图像进行特征提取和识别（Mehta et al.，2021）。为提高模型的训练速度和准确率，引入迁移学习，将在ImageNet数据集中训练好的权重迁移到岩石薄片图像的识别中。经验证，在训练集上的准确率达100%，测试集的准确率达82.9%。

1.   岩石薄片图像岩性自动识别方法

卷积神经网络（刘强等，2022）使用固定尺寸大小的卷积核对图片进行特征提取，使得模型对图片的特征提取是局部的，只能通过大量的网络堆叠进一步获取图片的特征信息，随着网络层数的叠加，极有可能导致梯度消失、梯度爆炸等问题（Dosovitskiy et al.，2020）。Vision Transformer（ViT）中的Attention机制可以对图片进行全局特征提取（Dosovitskiy et al.，2020），但又由于缺少权值共享和稀疏连接的特性，使模型需要大量的参数进行迭代，导致模型的训练时间长，收敛速度慢。因此，本文用卷积与ViT相结合的轻量级模型MobileViT对岩石薄片图像进行特征提取，在兼顾准确率的基础上，减少参数。整体技术路线如图1所示。

图  1  技术路线

Figure  1.  Technical route

下载: 全尺寸图片 幻灯片

首先，为了让模型学习到更多各类岩石所包含的特征，对岩石薄片图像进行随机旋转、翻转、缩放等操作，达到扩充数据集、增加样本量的目的（周志华，2016），并将图片进行归一化处理。其次，将在ImageNet数据集上预训练好的权重迁移到岩石薄片图像的岩性识别中，经MobileViT提取特征。最后，经过Softmax分类器得到各岩石薄片图像各自对应的岩性。

1.1   MobileViT模型

MobileViT模型流程如图2所示，其核心模块为MobileNetV2(MV2)模块（Sandler M等，2018）和MobileViT(MViT)模块。

图  2  MobileViT特征提取流程

a—MV2模块；b—MViT模块

Figure  2.  MobileViT feature extraction process

下载: 全尺寸图片 幻灯片

当卷积步长（Stride）为2时，MV2模块如图2−a所示，包含2个大小为1 × 1的卷积核，用以改变输入特征的通道，一个大小为3 × 3的卷积核，对输入特征进行深度可分离卷积；当步长为1时，为防止输出特征过大导致梯度爆炸、梯度消失等问题，引入残差连接，使网络参数可以跨层传播。首先将输入数据下采样，降低数据维度；然后使用卷积操作提取特征；最后进行上采样，使数据维持输入时的维度操作。MV2模块使用逆操作，首先对输入数据进行上采样；然后使用深度可分离卷积进行特征提取，最后下采样，使数据维持输入时的维度，极大地减少了运算量及参数量。

MViT模块如图2−b所示。由基于卷积的局部特征提取模块、基于Transformer的全局特征提取模块和特征融合模块三部分组成，L代表Transformer的个数。MViT提取图像特征分为以下3步：①使用卷积操作对输入数据进行下采样；②将下采样后的数据进行分块，并将每个小块展平；③从左至右取对应位置的像素点进一步经Transformer提取特征。这样在减少计算量的同时兼顾了全局特征提取。

1.2   MV2模块的改进

在深度学习模型中，为了使模型具备更好的学习能力，必须引入激活函数，使模型具有非线性拟合的能力（Hinton G，2010）。

常规MV2模块采用ReLU6作为激活函数，其形式如公式(1)所示，函数图像如图3所示。

图  3  ReLU6函数图像

Figure  3.  Image of ReLU6 function

下载: 全尺寸图片 幻灯片

当输入数据小于0或大于6时，输出为0。ReLU6通过门控机制对输入数据进行激活，对输入数据的符号和数值大小高度敏感，当且仅当输入数据处于(0,6)范围时，神经元才会被激活，缺乏随机因素。高斯误差线性单位(Gaussian Error Linear Units,GELU)的表达式如公式(2)所示，其图像如图4所示。

图  4  GELU激活函数图像

Figure  4.  Image of GELU function

下载: 全尺寸图片 幻灯片

其中，$X$服从标准正态分布，${P}(X < =\mathrm{x})$是${X}$小于或等于给定值$x$的概率，$\mathrm{\Phi }\left(x\right)$为正态分布的概率函数，表达式如公式(3)所示，其中，$\mathrm{\mu }$和$\mathrm{\sigma }$为均值和方差，都是可优化的参数。

最终可近似为公式(4)。

即为输入数据$x$添加了一个(0,1)范围内的乘数。由于神经网络常使用批量归一化(Bacth Normalization)处理输入数据，使得神经元的输入$x$近似遵循正态分布。所以，随着$x$减小，$\mathrm{\Phi }\left(x\right)$的值也随之减小，被丢弃的可能性则随之增加；反之，随着$x$增加，$\mathrm{\Phi }\left(x\right)$的值随之增加，被保留的可能性也随之增加。相当于在激活函数中添加了随机正则。

与ReLU6不同，GELU随机依赖输入数据实现对神经元的激活，对输入数据的符号和数值大小不再敏感，不易造成神经元死亡，能有效避免梯度消失的问题（Hendrycks et al.，2016）。

1.3   余弦退火算法

由于鞍点的存在，深度神经网络难以训练。如图5所示，灰点所在位置对于x轴来说是最小值，对于z轴来说是最大值。模型进行梯度下降时，该点的梯度为0，模型认为此时已经收敛到最优，不再进行反向传播更新参数，因此陷入局部最优。

图  5  马鞍面及鞍点

Figure  5.  Saddle face and saddle point

下载: 全尺寸图片 幻灯片

为了防止模型陷入局部最优，可以加大模型的学习率，从而加大梯度下降的步长，使模型跳出鞍点（李嘉璇，2017）。但随着学习率的加大，神经网络在进行梯度下降时会在驻点附近震荡，无法收敛至最优。使用余弦退火(Cosine annealing)算法（Loshchilov等，2016）对学习率进行调整可以很好地避免上述问题。

余弦退火算法的原理如公式(5)所示。

式中，${\eta }_{t}$表示当前学习率；$i$代表重启的次数，通过提高学习率实现；${\eta }_{min}^{i}$与${\eta }_{max}^{i}$是学习率的最小值与最大值，用来定义学习率的范围；${T}_{cur}$表示重启后经过的训练轮次(Epoch)；${T}_{i}$表示当前总共训练轮次。

以i等于3，训练轮次等于100为例。设置学习率的范围为(0,1)，学习率随训练总轮次的变化率如图6所示。在开始训练时，学习率首先缓慢降低，经过一段时间后加速降低，最后再次缓慢降低。当降低至最小值时，学习率更新为最大值，近似呈周期变化，在提升模型训练速度的同时，能够有效避免模型陷入局部最优。

图  6  余弦退火算法学习率

Figure  6.  Learning rate for Cosine Annealing Algorithm

下载: 全尺寸图片 幻灯片

1.4   迁移学习

对于深度学习，从零开始训练一个模型往往要耗费大量的人力物力。ImageNet数据库中包含2万多个图像类别，1400多万张图像，是世界上种类最全、数量最多的图像数据库。迁移学习可以利用模型间的相关性，将在ImageNet上预训练好的权重迁移到小样本的深度学习任务中，小样本的学习过程中不必重新提取特征，仅需对主干网络的全连接层和Softmax层进行适当调整，在提升模型训练速度的同时能够有效地提升模型的准确率（Pan et al.，2010）。

2.   实验结果与分析

2.1   实验数据集

本文采用的数据集来自南京大学岩石教学薄片显微图像，岩石薄片图像的种类和数量如表1所示。该数据集非常全面，包含了5种火山碎屑岩、6种砂岩、6种泥页岩和粉砂岩等共计28种699张沉积岩石薄片图像；7种基性岩、7种中性岩、11种酸性岩等共计40种963张火成岩岩石薄片图像；9种片岩、6种片麻岩、3种大理岩等共计40种972张变质岩岩石薄片图像，总计2634张图像。为了使模型更好地学习到各类岩石薄片图像中所包含的独有的特征，随机对图像进行翻转、旋转和缩放，将数据集扩大至原来的2倍（图7）。

表  1  岩石薄片图像种类及数量分布

Table  1.  Types and quantity distribution of rock slice images

岩石 类型	岩性	种类	数量
沉积岩	火山碎屑岩、砂岩、泥页岩和粉砂岩、灰岩、 白云岩、硅质岩、蒸发岩、其他内源沉积岩	28	699
火成岩	超基性（超镁铁质）岩、基性岩、中性岩、 酸性岩、碱性岩及相关岩石	40	963
变质岩	糜棱岩、角岩、矽卡岩、大理岩、蛇纹岩、 云英岩、板岩、千枚岩、片岩、片麻岩、变粒岩、 斜长角闪岩、麻粒岩、榴辉岩、混合岩、 碎裂岩、含变余构造的变质岩	40	972

下载: 导出CSV 

| 显示表格

图  7  图像扩充

Figure  7.  Image expansion

下载: 全尺寸图片 幻灯片

2.2   模型的训练与测试分析

实验分别采用ResNet50、ResNeXt50、VGG、MobileViT和改进后的MobileViT对岩石薄片图像进行建模分析。实验中，以8∶2的比例划分训练集和测试集，训练轮次(Epoch)设置为50轮，Bacth Size的大小为4，优化器为Momentum，改进后的MobileViT采用余弦退火算法自动更新学习率，学习率的范围为[0.00001，0.02]，重启次数i等于3，ResNet50、ResNeXt50、VGG和MobileViT的学习率为固定值0.00001。训练集的准确率和训练时长如表2所示，训练过程的准确率(Accuracy)如图8所示。

表  2  训练集的准确率与训练时长对比

Table  2.  Comparison of training set accuracy and training time

模型	最高准确率	是否迁移学习	训练时长/min
ResNet50	90.2%	否	905.2
ResNeXt50	88.1%	否	988.9
VGG	62.3%	否	1034.0
MobileViT	100%	是	505.4
Improved_MobileViT	100%	是	422.3

下载: 导出CSV 

| 显示表格

图  8  训练过程准确率

Figure  8.  Accuracy plots for the training process

下载: 全尺寸图片 幻灯片

对于准确率，使用了迁移学习的MobileViT和改进后的MobileViT都能达到100%，而未使用迁移学习的VGG、ResNet50和ResNeXt50均未达到100%，且在训练的全过程MobileViT和本文算法的准确率都明显优于其他3种算法。这是MobileViT自身的Attention机制能够捕捉图片的全局信息，使图像的感受野不再受限于卷积核的大小，随着感受野的增加，正确率也随之提升，在此基础上由于改进了激活函数，能够有效避免神经元的死亡，改进后的MobileViT在第15轮的训练中逐渐收敛至最优，而MobileViT在第22轮后的训练中才逐步收敛至最优。对于训练时长，由于VGG、ResNet50、ResNeXt50未使用迁移学习，需要重新开始训练，因此训练时间较长，使用了迁移学习的MobileViT训练时间为505.4 min，较未使用迁移学习的几种算法训练时长几乎缩短了1/2，而改进后的MobileViT较MobileViT训练时长又缩短了83.1 min，可见余弦退火算法能够提升模型的训练速度。

在测试集上，三者的正确率和参数量如表3所示。对于准确率，由于未采用迁移学习且采取固定的学习率，模型容易陷入局部最优，ResNet50、ResNeXt50和VGG在训练集的准确率虽然能达到90.2%、88.1%和62.3%，但在测试集的准确率只有59.8%、56.9%和40.1%，而采用了迁移学习的MobileViT和改进MobileViT在测试集上的准确率为80.2%和82.9%。

表  3  测试集的准确率与模型参数对比

Table  3.  The accuracy of the test set compared with the model parameters

模型	准确率	参数量
ResNet50	59.8%	97.49M
ResNeXt50	56.9%	95.48M
VGG	40.1%	527.79M
MobileViT	80.2%	7.66M
Improved_MobileViT	82.9%	7.66M

下载: 导出CSV 

| 显示表格

由于使用GELU作为激活函数，大量神经元得以存活，改进后的MobileViT对岩性识别的准确率较改进前提升了2.7%。对于模型的参数量，MobileViT和改进后的MobileViT参数量仅为7.66M。因此，综合对比，本文算法性能更好，更能满足岩石薄片图像岩性识别的综合需求。

2.3   模型的鲁棒性验证

为验证模型的鲁棒性，选取源自网络的高清岩石薄片图像：1张橄榄岩、4张辉绿岩、2张蛇纹岩、2张斜长岩、1张长石砂岩、1张麻粒岩、2张长石石英砂岩、3张粗面岩、3张大理岩、4张花岗斑岩、4张珍珠岩、2张霞石正长岩、2张白云母片岩、1张红柱石角岩、1张堇青石角岩、1张糜棱岩共16类34张图像，部分图像如图版Ⅰ所示，用于验证。经验证，模型仅误识别1张长石石英砂岩。模型认为，被误判的长石石英砂岩为沉积石英岩的概率最高，为36.8%；认为为长石石英砂岩的概率次之，为33.6%，二者非常接近。这是因为二者同属沉积岩且皆含石英等矿物，在数据集中，长石石英砂岩的薄片图像与沉积石英砂岩的薄片图像高度相似（图9），而验证集中的长石石英砂岩薄片图像为灰度图，某些纹理更接近数据集中的沉积石英砂，因此模型产生误判。综上，模型能够准确识别数据集外岩石薄片图像的岩性，具有较好的鲁棒性。

图  9  验证图像与数据集中图像对比

a—验证集中的长石石英砂；b—数据集中的沉积石英岩；c—数据集中的长石石英岩

Figure  9.  Comparison between validation and data set images

下载: 全尺寸图片 幻灯片

a~f. 验证图像合集; a.橄榄岩; b.辉绿岩; c.蛇纹岩; d.斜长岩; e.长石砂岩; f.麻粒岩

下载: 全尺寸图片 幻灯片

3.   结　论

本文通过增加岩石薄片图像的数量，采用GELU替换ReLU6，作为MobileViT中MV2模块的激活函数，使用迁移学习将在ImageNet数据集上训练好的参数迁移到MobileViT上，使用余弦退火算法自动更新学习率，实现对108种岩石薄片图像的自动岩性识别，在测试集上的准确率达到82.9%，对数据集以外的图像也能正确识别。得出以下结论。

（1）MobileViT自身的Attention机制可以使模型对图像的感受野更大，能够在短时间的训练中快速提升准确率。

（2）使用GELU替代ReLU6作为MobileViT模型的激活函数能够加快模型的收敛过程。

（3）使用余弦退火算法和迁移学习能够缩短训练周期，避免模型陷入局部最优。

（4）经过改进的MobileViT模型在保持参数不变的情况下能够有效提升岩性识别的准确率。

（5）模型已充分学习到各类岩石薄片所特有的特征，具有较好的鲁棒性。

致谢：审稿专家对文章提出了宝贵的意见和建议，在此表示衷心感谢。