石油勘探与开发 >

2023 , Vol. 50 >Issue 1: 167 - 173

DOI: https://doi.org/10.11698/PED.20220370

油气田开发

采用带注意力机制3D U-Net网络的地质模型参数化技术

  • 李小波 , 1, 2 ,
  • 李欣 1, 2 ,
  • 闫林 1, 2 ,
  • 周腾骅 1, 2 ,
  • 李顺明 3 ,
  • 王继强 3 ,
  • 李心浩 1, 2
展开
  • 1.中国石油勘探开发研究院人工智能研究中心，北京 100083
  • 2.中国石油天然气集团有限公司勘探开发人工智能技术研发中心，北京 100083
  • 3.中国石油勘探开发研究院油田开发研究所，北京 100083

李小波（1980-），男，湖南涟源人，博士，中国石油勘探开发研究院高级工程师，主要从事油藏数值模拟技术和油气开发领域的人工智能技术应用等方面的研究工作。地址：北京市海淀区学院路20号，中国石油勘探开发研究院人工智能研究中心，邮政编码：100083。E-mail：

收稿日期: 2022-05-28

  修回日期: 2022-12-28

  网络出版日期: 2023-01-12

基金资助

国家油气重大专项(2016ZX05010-003)

中国石油天然气股份有限公司科技攻关课题(2019B1210)

中国石油天然气股份有限公司科技攻关课题(2021DJ1201)

收起

A 3D attention U-Net network and its application in geological model parameterization

  • LI Xiaobo , 1, 2 ,
  • LI Xin 1, 2 ,
  • YAN Lin 1, 2 ,
  • ZHOU Tenghua 1, 2 ,
  • LI Shunming 3 ,
  • WANG Jiqiang 3 ,
  • LI Xinhao 1, 2
Expand
  • 1. AI Research Center, Research Institute of Petroleum Exploration and Development, PetroChina, Beijing 100083, China
  • 2. Artificial Intelligence Technology R & D Center for Exploration and Development, CNPC, Beijing 100083, China
  • 3. Department of Oilfield Development, Research Institute of Petroleum Exploration and Development, PetroChina, Beijing 100083, China

Received date: 2022-05-28

  Revised date: 2022-12-28

  Online published: 2023-01-12

Fold

摘要

针对卷积神经网络增强的主成分分析技术（CNN-PCA）这种地质模型参数化技术在油藏复杂地质特征刻画精度和泛化能力方面存在的问题，不使用预训练好的C3D视频动作分析模型来提取三维模型风格特征，而使用新的损失函数并引入一种带注意力机制的3D U-Net网络来补全主成分分析方法（PCA）降维过程中丢失的地质模型细节信息，并以一个复合河道砂体油藏为例进行了应用效果分析。研究表明，与CNN-PCA技术相比，采用带注意力机制的3D U-Net网络能够更好地补全PCA降维过程中丢失的地质模型细节信息，在反映原始地质模型的流动特性方面具有更好的效果，并能改善油藏历史拟合的技术效果。

关键词： 油藏历史拟合; 地质模型参数化; 深度学习; 注意力机制; 3D U-Net网络

本文引用格式

李小波 , 李欣 , 闫林 , 周腾骅 , 李顺明 , 王继强 , 李心浩 . 采用带注意力机制3D U-Net网络的地质模型参数化技术[J]. 石油勘探与开发, 2023 , 50(1) : 167 -173 . DOI: 10.11698/PED.20220370

Abstract

To solve the problems of convolutional neural network-principal component analysis (CNN-PCA) in fine description and generalization of complex reservoir geological features, a 3D attention U-Net network was proposed not using a trained C3D video motion analysis model to extract the style of a 3D model, and applied to complement the details of geologic model lost in the dimension reduction of PCA method in this study. The 3D attention U-Net network was applied to a complex river channel sandstone reservoir to test its effects. The results show that compared with CNN-PCA method, the 3D attention U-Net network could better complement the details of geological model lost in the PCA dimension reduction, better reflect the fluid flow features in the original geologic model, and improve history matching results.

Key words： reservoir history matching; geological model parameterization; deep learning; attention mechanism; 3D U-Net

0 引言

油藏历史拟合的计算量会随着地质模型精细化、不确定因素的增加以及研究问题的深入而显著增加[1-2]。解决上述问题的途径之一是使用代理模型[3]来提升油藏历史拟合过程中的计算速度；另一途径是采用地质模型参数化技术将相关性强的模型参变量从高维空间映射到低维空间，达到大幅降低油藏历史拟合计算量的效果。该技术的主要挑战在于尽可能降低原始地质模型参变量维度的同时，保留足够精细的原始模型地质特征信息。
截至目前，油藏历史拟合领域已发展了3大类地质模型参数化技术：第1类是基于一些传统数学变换方法来降低原始地质模型参变量维度，比如主成分分析（PCA）及其变种、离散小波变换（DWT）、离散余弦变换（DCT）、水平集函数（Level-Set）等[4⇓⇓⇓⇓-9]。这些方法各有其优缺点，其中最为常用的PCA方法通过矩阵的特征值排序来实现线性降维，其缺点在于协方差不能够直接处理具有多点统计特征的地质模型。第2类是利用深度学习网络模型将原始地质模型参变量转换为网络模型内部的低维隐变量，比如自编码器（AE）、变分自编码器（VAE）、深度信念网络（DBN）、生成对抗网络（GAN）等[10⇓⇓-13]，这类方法普遍存在数据依赖性强、可解释性差等缺点。第3类是将传统数学变换方法特别是其中的PCA方法与深度学习模型结合起来使用，比如CNN（卷积神经网络）-PCA和PCA- Cycle-GAN等[9,14 -15]，这类方法先利用PCA方法进行降维，然后利用训练好的深度学习模型对PCA降维过程中丢失的地质特征信息进行补全，从而弥补PCA方法不能够直接处理具有多点统计特征地质模型的不足。
Liu等[9,14]提出了一个用于三维复杂地质模型参数化的CNN-PCA技术框架。该技术在PCA降维基础上，引入残差网络模型ResNet来补全PCA降维过程中丢失的模型细节信息。在具体实现中，Liu等[9,14]在模型训练中还使用了一个综合地质图像内容、风格和井点硬数据的损失函数来定量评估网络模型训练效果，其中地质图像风格使用预训练好的C3D网络模型来针对地质模型逐层提取。本文针对三维复合河道砂体油藏模型的进一步研究发现：采用ResNet网络模型对PCA降维模型进行细节补全后，河道走向和河道砂体边缘仍存在较大的损失；在网络模型训练中采用预训练好的C3D网络模型逐层提取图像风格特征，存在可解释性差和后期针对复杂沉积环境下地质模型进行迁移应用时有风险的问题。
针对上述问题，本文不使用预训练好的C3D网络模型来提取三维模型风格特征，而采用新的损失函数，并引入一种带注意力机制的3D U-Net网络模型来更好地补全PCA降维过程中丢失的模型细节信息。以一个复合河道砂体油藏为例，对比分析CNN-PCA和本文技术的应用效果。

1 带注意力机制的3D U-Net网络模型及相应的损失函数

3D U-Net网络模型是生物医学图像智能化领域应用较为成功的三维图像分割网络模型之一[16-17]，该网络包含了1个卷积部分和1个上采样部分。其中，卷积部分由3个编码块组成，并且卷积部分和上采样部分的网络层具有一一对应的关系。因此，可以将对应的特征层通过拼接的方式连接在一起进行计算，从而将输入模型在下采样过程中丢失的语义特征传递到上采样层，融合了多尺度的特征，使得每层的特征都得到了有效计算，图像分割能力显著提升。本质上，3D U-Net网络模型仍是一种基于编码器-解码器模型框架（Encoder-Decoder）的神经网络模型，同样存在该框架的固有问题，即所有输入对中间语义向量的影响都相同，没有区分重点，在持续输入过程中前期的输入容易丢失很多细节信息。鉴于此，引入注意力机制提升3D U-Net网络模型性能成为众多学者关注的焦点[18⇓-20]。
经过对比研究，本文采用Oktay等[19]提出的“门控信号”注意力机制来提升3D U-Net网络模型预测精度。具体每个层级的通道数分别为64、128、256、512和1 024，每个层级编码器与对应的解码器进行特征拼接前，通过一个“门控信号”注意力模块调整编码器的输出，从而提升网络的预测精度。实验表明，这种“门控信号”注意力机制对3D U-Net网络模型结构的改动工作量少，可明显提高网络对重要特征的关注度，并抑制对不相关特征的学习，从而提升3D U-Net网络模型的灵敏度和准确度。
“门控信号”注意力机制如图1所示，g为门控信号，xl为输入信号，Wg，Wx，ψ为卷积核。g将信息尺度较为粗糙的信息叠加到xl来消除跳跃连接中相关性较弱的特征响应并突出重要特征，从而学习得到注意力系数α，再与xl相乘得到用于拼接的特征向量 x ^ l。
图1 “门控信号”注意力机制
Liu等[9,14]在训练ResNet网络模型时使用了预训练好的C3D网络模型来逐层提取三维地质模型图像的风格特征，并且为了改善训练效果还另外生成一些扰动模型参与训练。经过实验研究发现，该做法的训练效率和技术效果需要进一步改进，此外存在C3D网络模型的可解释性差以及后期迁移应用有风险等问题。为此，本文放弃使用预训练好的C3D网络模型，使用综合Tversky损失和硬数据损失两者的损失函数来完成3D U-Net网络模型训练，该损失函数具体表达式为：
L = γ t L t m gm , i , f w m pca , i + γ h L h m gm , i , f w m pca , i
进一步考虑了模型的地质概念，将模型纵向按地质层分段计算Tversky损失[20]后求和，兼顾了精确度和召回率，在实验中表现出了良好的性能。具体有：
L t m gm , i , f w m pca , i = ∑ j T j T j + α t F n , j + 1 − α t F p , j
其中 T j = m gm , i , j f w m pca , i , j
F n , j = m gm , i , j 1 − f w m pca, i , j
F p , j = 1 − m gm , i , j f w m pca , i , j
经过多次实验，选择了一组效果较好的网络模型超参数组合，具体为：每层通道数分别取64，128，512，1 024，并令注意力门中的中间通道数取对应通道数的1/2，损失函数权重取γt=500，γh=80，Tversky损失中系数取αt=0.5。上述超参数取值使得Tversky损失和硬数据损失在训练起步时数值接近，并有足够的数量级，降低陷入局部最优的风险。针对本文算例进行10轮模型训练，训练过程共耗时4 h，损失函数变化情况如图2所示，训练后期函数变化满足收敛要求。
图2 损失函数值随迭代轮数变化图

2 算例分析

本文使用1个复合河道砂体油藏算例进行对比研究。该算例包括6口生产井（P1，P4，P5，P11，P12，P15）的岩石相和孔隙度、渗透率、饱和度等硬数据，结合物源方向、河道展布特征等地质认识，采用商业建模软件随机模拟得到总数为3 000个的砂-泥两相复合河道砂体油藏地质模型集合，每个模型包含42 560（76×112×5）个网格，纵向上1—3层为1个地质层段，4—5层为1个地质层段，油藏流体包含油气水三相，其中1个具体油藏模型如图3所示。图中色标表示岩相，0代表泥岩相，1代表砂岩相，不等于0或不等于1代表信息在降维过程中有丢失，原来为1的位置降维后为0也表示信息有丢失，需要用神经网络补全修复。
图3 复合河道砂体油藏地质模型示例
采用PCA对原始的复合河道砂体油藏地质模型进行降维处理后，得到如图4所示的图像，此时河道砂体的展布信息变得模糊。显然，PCA降维会导致原始地质模型细节信息的丢失，需要进一步利用CNN模型来进行丢失信息的补全。
图4 PCA降维后的复合河道砂体油藏地质模型
采用Liu等[9,14]提供的残差网络模型对PCA降维后的复合河道砂体油藏地质模型进行信息补全后的结果如图5所示。与原始模型相比，河道宽度（边缘）与河道走向等关键信息仍然存在较大损失，均方差为696.30。
图5 采用残差网络模型补全后的地质模型及其与原始模型的偏差
使用不带注意力机制的3D U-Net网络对PCA降维后的复合河道砂体油藏地质模型进行补全后的结果如图6所示。可以发现，补全后的模型中河道砂体缺失、不连续，均方差为428.94。
图6 采用不带注意力机制的3D U-Net模型补全后的地质模型及其与原始模型的偏差
采用带注意力机制的3D U-Net网络对PCA降维后的复合河道砂体油藏地质模型进行补全后的结果如图7所示。可以发现，相比前两者，带注意力机制的3D U-Net在保持河道连续性、修补河道边缘方面能够获得更好的效果，均方差为395.58，与采用残差网络模型补全后的地质模型相比降低幅度超过40%。
图7 采用带注意力机制的3D U-Net模型补全后的地质模型及其与原始模型的偏差
采用带注意力机制的3D U-Net模型补全后的地质模型与原始模型仍然存在一定的偏差，考虑到历史拟合过程中会在此基础上结合生产动态进一步调整模型，因此判断地质模型参数化技术效果更为关键的指标是降维后的模型是否能够完整反映原始地质模型流动特性。具体对本算例的3 000个原始模型而言，本文利用PCA提取模型特征降维后，分别采用残差网络模型和带注意力机制的3D U-Net模型进行补全后，只用300个模型即可反映原始3 000个随机模型的流动特性（见图8），从而达到大幅降低油藏历史拟合计算量的效果，本文300个模型的历史拟合用时为12 h。对比两种不同的深度学习网络模型，从图9中P10，P50，P90曲线吻合程度可看出采用带注意力机制的3D U-Net模型补全后的地质模型在反映原始地质模型的流动特性方面具有更好的效果。
图8 分别采用残差网络模型和带注意力机制的3D U-Net模型补全后的地质模型流动特性统计
在前文研究基础上，进一步结合多数据同化集合平滑算法（ES-MDA）[21]对油藏18年的生产动态进行历史拟合，在相同拟合控制参数条件下，带注意力机制的3D U-Net模型获得了更好的拟合效果，单井拟合结果的均方差降低了80%（见图9）。
图9 分别采用残差网络模型和带注意力机制的3D U-Net模型补全后的地质模型进行历史拟合的效果对比

3 结论

采用带注意力机制的3D U-Net网络能够更好地补全PCA降维后丢失的地质模型信息，本文算例的补全结果均方差降低了40%。还能够改善油藏历史拟合的技术效果，本文算例使用300个模型代替3 000个模型完成拟合，单井拟合结果的均方差降低了80%。
使用新的损失函数代替预训练好的C3D网络模型来提取三维模型风格特征，同样能够评估深度学习网络模型对于三维地质模型特征的补全效果，且将CNN-PCA模型迁移到不同沉积环境下地质模型应用时有更好的潜在价值。下一步可基于本文提供的地质模型参数化技术进一步探索其对不同沉积环境下地质模型的具体应用效果。
符号注释：
fw——表征对降维模型中丢失的地质特征信息进行补全操作的函数；g——门控信号；i——油藏地质模型序号；j——地质层段序号；I——输入图像的边长，m；l——降维后的变量维度；L——损失函数；Lt，Lh——Tversky损失和硬数据损失；mgm——原始油藏地质模型；mpca——原始油藏地质模型经过主成分分析方法降维得到的模型；P10，P50，P90——概率分布曲线上累计概率为10%，50%，90%时对应的参数值；Wg，Wx，ψ——注意力机制的3个卷积核；xl——注意力机制的输入信号； x ^ l——用于拼接的特征向量；α——注意力系数；αt——根据实际需求设置的损失系数，0≤αt≤1；γt，γh——Tversky损失和硬数据损失对应的损失函数权重因子。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
闫霞, 李阳, 姚军, 等. 基于流线EnKF油藏自动历史拟合[J]. 石油学报, 2011, 32(3): 495-499.

DOI

YAN Xia, LI Yang, YAO Jun, et al. Automatic history matching of reservoirs using the streamline-based EnKF method[J]. Acta Petrolei Sinica, 2011, 32(3): 495-499.

DOI

[2]
于金彪. 油藏数值模拟历史拟合分析方法[J]. 油气地质与采收率, 2017, 24(3): 66-70.

YU Jinbiao. History matching analysis method on reservoir numerical simulation[J]. Petroleum Geology and Recovery Efficiency, 2017, 24(3): 66-70.

[3]
SHAHKARAMI A, MOHAGHEGH S. 智能代理在油藏建模中的应用[J]. 石油勘探与开发, 2020, 47(2): 372-382.

SHAHKARAMI A, MOHAGHEGH S. Applications of smart proxies for subsurface modeling[J]. Petroleum Exploration and Development, 2020, 47(2): 372-382.

[4]
OLIVER D S. Multiple realizations of the permeability field from well test data[J]. SPE Journal, 1996, 1(2): 145-154.

[5]
LU P B, HORNE R N. A multiresolution approach to reservoir parameter estimation using wavelet analysis[R]. SPE 62985-MS, 2000.

[6]
JAFARPOUR B, GOYAL V K, MCLAUGHLIN D B, et al. Compressed history matching: Exploiting transform-domain sparsity for regularization of nonlinear dynamic data integration problems[J]. Mathematical Geosciences, 2010, 42(1): 1-27.

[7]
PING J, ZHANG D X. History matching of fracture distributions by ensemble Kalman filter combined with vector based level set parameterization[J]. Journal of Petroleum Science and Engineering, 2013, 108: 288-303.

[8]
INSUASTY E, van den HOF P M, WEILAND S, et al. Low-dimensional tensor representations for the estimation of petrophysical reservoir parameters[R]. SPE 182707-MS, 2017.

[9]
LIU Y M, SUN W Y, DURLOFSKY L J. A deep-learning-based geological parameterization for history matching complex models[J]. Mathematical Geosciences, 2019, 51(6): 725-766.

[10]
CANCHUMUNI S A, EMERICK A A, PACHECO M A. Integration of ensemble data assimilation and deep learning for history matching facies models[R]. OTC 28015-MS, 2017.

[11]
CANCHUMUNI S W A, EMERICK A A, PACHECO M A C. Towards a robust parameterization for conditioning facies models using deep variational autoencoders and ensemble smoother[J]. Computers & Geosciences, 2019, 128: 87-102.

[12]
CANCHUMUNI S W A, EMERICK A A, PACHECO M A C. History matching channelized facies models using ensemble smoother with a deep learning parameterization[R]. Barcelona:16th European Conference on the Mathematics of Oil Recovery, 2018.

[13]
AZEVEDO L, PANEIRO G, SANTOS A, et al. Generative adversarial network as a stochastic subsurface model reconstruction[J]. Computational Geosciences, 2020, 24(4): 1673-1692.

[14]
LIU Y M, DURLOFSKY L J. 3D CNN-PCA: A deep-learning-based parameterization for complex geomodels[J]. Computers & Geosciences, 2021, 148: 104676.

[15]
CANCHUMUNI S W A, CASTRO J D B, POTRATZ J, et al. Recent developments combining ensemble smoother and deep generative networks for facies history matching[J]. Computational Geosciences, 2021, 25(1): 433-466.

[16]
GUAN S, KHAN A A, SIKDAR S, et al. Fully dense UNet for 2-D sparse photoacoustic tomography artifact removal[J]. IEEE Journal of Biomedical and Health Informatics, 2020, 24(2): 568-576.

DOI PMID

[17]
ÇIÇEK Ö, ABDULKADIR A, LIENKAMP S S, et al. 3D U-Net: Learning dense volumetric segmentation from sparse annotation[C]// OURSELIN S, JOSKOWICZ L, SABUNCU M R, et al. Medical image computing and computer-assisted intervention 2016. Cham: Springer, 2016: 424-432.

[18]
HU J, SHEN L, SUN G. Squeeze-and-excitation networks[R]. Salt Lake City:2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018.

[19]
OKTAY O, SCHLEMPER J, LE FOLGOC L, et al. Attention U-Net: Learning where to look for the pancreas[EB/OL]. (2018-05-20) [2022-05-16]. https://arxiv.org/abs/1804.03999

[20]
SALEHI S S M, ERDOGMUS D, GHOLIPOUR A. Tversky loss function for image segmentation using 3D fully convolutional deep networks[C]// WANG Q, SHI Y H, SUK H I, et al. Machine learning in medical imaging. Cham: Springer, 2017: 379-387.

[21]
EMERICK A A, REYNOLDS A C. Ensemble smoother with multiple data assimilation[J]. Computers & Geosciences, 2013, 55: 3-15.

Options
文章导航

/

〈 〉

版权所有：《石油勘探与开发》编辑部；《石油勘探与开发（英文）》编辑部
地址：北京市海淀区学院路20号，中国石油勘探开发研究院数据中心605室　

京ICP备15044687号    技术支持：北京玛格泰克科技发展有限公司