由于单机部署服务器的处理能力有限, 当业务增长到一定程度的时候, 单机的硬件资源将无法满足业务需求^{[11, 12, 13]}。考虑油、气、水井生产数据总量巨大、增长速度快、计算机性能扩展与成本等方面的原因, 本文选用Hadoop的分布式文件存储系统（HDFS）和并行计算框架（MapReduce）作为本系统的基础支撑架构。利用Hadoop大数据平台, 结合分布式数据仓库（Hive）、多维分析引擎（Apache Kylin）、分布式实时数据仓库（HBase）等技术构建油气生产多维分析系统（见图1）。采用多维分析技术保证秒级响应, 实现36× 10⁴余口油、气、水井生产大数据的集中存储与管理; 基于油、气、水井全样本数据分析, 开展油区生产运行跟踪、重点油田生产预警、低产井和长停井现状、分类油藏开发规律等分析研究工作; 在集团公司层级进行统一的生产多维分析, 并实现集团公司、油气田公司、油气田、区块、单井信息的逐级追溯, 满足实时掌握油气生产动态的需求。

图1

	Figure Option ViewDownloadNew Window
	图1 油气生产多维分析架构图

1.2.1 MapReduce并行计算框架

MapReduce是一种并行计算框架, 适用于大规模数据集的并行运算^{[14, 15, 16, 17, 18, 19]}。它的设计思想是将一个大的计算任务分为多个小的任务, 然后把这些小的任务分配到各个工作节点进行计算, 每个子节点完成自己的计算任务后, 把各个子节点的结果进行聚合操作, 从而算出最后的结果（见图2）。

图2

	Figure Option ViewDownloadNew Window
	图2 并行计算过程

1.2.2 Hive数据仓库

Hive是基于HDFS和MapReduce实现的, 是一种构建于Hadoop平台上的数据仓库^{[20, 21, 22]}。Hive的设计思想是应用简单的类SQL（结构化查询语言）来取代复杂的MapReduce编程过程, 从而让业务人员熟练使用。

Hive给用户提供访问数据仓库的手段, 通过客户端提供的指令, 控制台检索数据仓库中的数据; Hive同时也提供应用程序接口进行访问查询。

Hive数据仓库的服务端和客户端之间的通信方式基于Thrift框架实现。通信框架也负责把客户端的类SQL语句发送给Driver解析器并同时返回解析器的处理结果。

1.2.3 Kylin多维分析引擎

Apache Kylin是一个开源的分布式多维分析计算引擎。Kylin是联机分析技术（OLAP）在Hadoop上的一个应用实例, 可以提供基于HDFS多维数据的分析能力, 本身数据处理计算的能力已经达到PB（1× 2⁵⁰字节）级别, 能够在亚秒范围内查询数据仓库中的信息。

Kylin设计的基本思想是多维数据的预计算, 以存储空间来换取查询响应时间^[23]。Kylin本身并不存储实际数据, 数据都存储在HDFS上。该引擎使用数据仓库中的数据作为其数据输入源, 当一批数据进入后, 它会计算出高维数据所有维度组合下的数据, 并将预计算完成后的数据存储在数据立方体中, 最后以键值对的方式存储在HBase数据库中。当操作人员进行数据访问时, 查询服务就会转换成HBase数据库上的扫描过程, 免除多表连接、聚合运算等高耗时的计算任务, 提高查询响应速度。

1.2.4 HBase实时查询数据库

HBase是基于列式存储的非关系型数据库, 解决了HDFS随机读写访问延时大的问题, 其本身具备了HDFS的高容错特点, 适合用于大数据的实时查询服务。

HBase作为NoSQL（非关系型数据库）存储系统, 本身可以存储结构化和非结构化的数据。HBase提供了简单的数据库操作方式。数据类型只有字符串一种类型, 并且存储表格可以设计得很大, 行数可达1.0× 10⁸以上, 列数可达1.0× 10⁶以上^[24]。

油气生产大数据多维分析主要包括油区生产运行跟踪、重点油田生产预警、低产井和长停井现状、分类油藏开发规律分析等主题（见表1）。每个主题的数据都是多维的, 需要从不同的角度进行分析。本文以油区生产运行跟踪分析主题的采出井生产数据分析为例, 介绍Hive数据仓库的建模过程。

表1

表1

表1 油气生产多维分析主题表 主题 分析目标 油区生产运行 跟踪分析 跟踪油田开发生产动态, 分析研判公司开发形势 重点油田生产 预警分析 监控重点油田生产动态, 及时预警提出对策建议 低产、长停井 现状分析 聚焦油田开发重点问题, 开展关键问题专题研究 分类油藏开发 规律分析 掌握不同类型油藏开发规律, 实行油藏分类管理

表1 油气生产多维分析主题表

采出井生产数据分析主要研究采出井及油气生产单元的生产运行情况, 它涵盖的数据包括采出井基础数据、采出井生产数据、采出井状态数据、采出井措施数据、采出井机采数据、关井数据等。

多维模型主要包含事实表和维度表。事实表在数据仓库结构中处于多维模型的中央, 包含维度、与维度关联的外键和度量值。维度表是某一个维度属性的集合, 属性的集合构成一个维。维度是用户分析问题时的一个重要工具, 也是重要属性, 通过改变维度来改变观察数据的角度, 更容易获取知识。通常对于简单的数据模型, 一个事实表就可以表示一个主题, 一个事实表对应多个维度表。

采出井生产数据分析的主要维度包括日期、井别、驱动类型、采出方式、油气品种、井型、油藏类型、油气单元、组织机构等（见表2）。

表2

表2

表2 采出井维度表的维度层次描述 维度 维度层次描述 日期 年、季度、月、旬、日 井别 采油井、采气井 驱动类型 一次采油、水驱、化学驱、稠油热采等 采出方式 自喷、抽油机、电泵、螺杆泵、射流泵、气举等 油气品种 稀油、稠油、常规天然气、煤层气、页岩气 井型 直井、水平井 油藏类型 中高渗透砂岩、低渗透砂岩、砾岩、稠油等 油气单元 油气田、油气藏、区块、层 组织机构 油气田公司、采油厂、采油矿、采油小队

表2 采出井维度表的维度层次描述

与采出井生产数据分析相关的主要生产指标包括基础数据、生产数据、状态数据、机采数据、措施数据、关井数据等105项关键指标（见表3）。

表3

表3

表3 采出井生产事实表 主题 事实表 数据分类 具体指标 采出 井生 产数据分 析 基础数据 开钻日期、井位坐标、目的层等 生产数据 生产时间、井口产液量、井口产油量、井口产水量、 井口产气量、放空气量、核实产液量、核实产油量、 核实产水量、工业产气量、含水率、气油比等 状态数据 油嘴、电泵电流A、电泵电流B、电泵电流C、电泵 电压、回油温度、掺液压力、掺液温度、油压、 套压、回压、关井油压、关井套压等 机采数据 泵效、泵径、转排量、冲程、冲次、转数、 动液面、静液面、理论排量、静压、流压等 措施数据 措施名称、起始日期、完工日期、主要措施、次要措施、起效年月、失效年月、措施前沉没度、措施前泵效、 措施前产量、初日增产量、初月增产量、增产量等 关井数据 关井起始时间、关井原因、关井结束时间、关前 日产油量、关前日产液量、关前日产气量等

表3 采出井生产事实表

采出井生产数据多维分析属于密集型计算, 星型模型的优点是数据集中运算速度快并且布置相对简单, 但存在数据冗余度较高的缺点, 采用MapReduce并行计算正好可以改善数据冗余度问题, 因此本文采用星型模型。该模型中事实表与所有维度表相连, 事实表占据中间位置（见图3）。

图3

	Figure Option ViewDownloadNew Window
	图3 采出井分析数据模型

将大庆、吉林、西南等16个油气田公司A2数据库中的油、气、水井生产数据加载到Hive数据仓库中。将事务型数据转变为面向油气生产主题的数据（见图4）。

图4

	Figure Option ViewDownloadNew Window
	图4 数据处理流程

16个油气田公司数据库中数据量巨大, 抽取数据时需要设置一个数据缓存区, 将数据一次性地从数据库中读取出来。在数据抽取过程中, 先将数据抽取到临时数据存储区, 然后进行数据的转换和清洗。转换工作是将生产数据中格式不一致、单位不统一的数据进行规整处理; 清洗的工作主要是删除重复信息、纠正存在错误的数据^[25]。

本次作业流程中包括了日期、井别、驱动类型、采出方式、油气品种、井型、油藏类型、油气单元、组织机构等维度与油气生产事实表。这里对每个维度都进行相应的定义, 如时间维度, 如果原数据是一个日期字段, 要进行拆分, 最小粒度为天, 将时间拆分为年、季度、月、日。而其他维度按照上述规则, 进行度量统一、空值处理、类型转换等操作。经过作业流程和转换流程的协同工作, 最后形成星型模型。

数据预聚合主要是对Hive数据仓库中的油气生产数据进行数据预聚合处理操作, 以满足OLAP查询请求中较高响应速度的要求。该模块在Kylin引擎的基础上进行二次开发实现, 通过Kylin对外提供的接口来使用其内部功能, 并在原有功能的基础上进行系统功能扩展, 以满足对自动化运行、管理、监控和报警等方面的需求。

多维立方体作为OLAP数据分析的重要对象, 它是逻辑上的一种数据组织形式, 本文采用四元组（D, M, A, F）来对一个多维立方体进行定义。四元组中的不同元素从不同角度对该立方体的特征进行描述, 其定义如下：

\[\left\{ \begin{align} & D=\left\{ {{d}_{\text{1}}}, \ {{d}_{\text{2}}}, \ \cdots , \ {{d}_{n}} \right\} \\ & M=\left\{ {{m}_{\text{1}}}, \ {{m}_{\text{2}}}, \ \cdots \ , \ {{m}_{n}} \right\} \\ & A=\left\{ {{a}_{\text{1}}}, \ {{a}_{\text{2}}}, \ \cdots , \ {{a}_{n}} \right\} \\ & F=D\to A \\ \end{align} \right.\ （1）\]

约束条件：①\(D\bigcap M=\varnothing \), 表示维度集和测度集不会有交集; ②\({{\forall }_{i, j}}\)且\(i\ne j\), \(f\left( {{d}_{i}} \right)\bigcap f\left( {{d}_{j}} \right)=\varnothing \), 表示任意两个维度的属性集不会相交。

采出井生产数据多维立方体（Cube）的数据分析模型可定义为（D_i, M_i, A_i, f_i）, 其中维度集D包括日期、井别、驱动类型、采出方式、油气品种、井型、油藏类型、油气单元、组织机构9个维度; 测度集M包括井口产液量、井口产油量、井口产水量等生产动态数据; 属性集A包括年、季度、月、旬、日、采油井、采气井、一次采油、注水驱、化学驱、稠油热采、自喷、抽油机、电泵、螺杆泵、射流泵、气举等属性; f表示维度的层次。

Kylin的数据来源是Hive数据仓库, 当生产数据导入到Hive后, 同时需要在Kylin中建立一个数据模型, 并且与数据仓库中的数据模型一致。模型中包括了一个事实表和任意多个维度表, 以及事实表和维度表的关联关系。

当模型设置完成后, 开始构建Cube引擎, 读取Hive中的数据, 插入到一个临时的扁平表中。大量的油气生产数据全部存储在Hive中, 为了更好地管理数据, 提高数据的查询效率, Hive采用分区的方式, 将数据按照时间存放。Kylin框架进行Cube计算的时候, 也是根据时间安排进行运算, Cube的分区列和Hive表的分区列相同, 都是时间列。这样, Hive可以跟着分区迅速找到需要进行计算的数据, 而不需要扫描所有的数据。

MapReduce的计算完成后, 数据直接加载到HBase中。数据是以键值对结构存储在HBase中, 在查询的时候可以直接从HBase中读取数据。

可视化是在数据分析中直观展示数据关系的重要方式。本文采用ASP.NET、Echarts3.0、WebGIS等可视化接口技术将分析结果展示给用户, 最终实现油、气、水井生产大数据分析, 满足实时掌握油气生产动态的需求。

实时跟踪油区的总体生产运行情况, 预判生产趋势并提前发现生产异常（见图5）。分析日产油、新井日产油、措施日增油、月平均含水、日注水、综合递减、自然递减等指标, 预判生产趋势, 及时发现生产异常, 并逐级向油田、区块、生产井进行追溯, 快速、精准定位目标区块, 分析偏离生产计划的原因, 提出开发调整对策。

图5

	Figure Option ViewDownloadNew Window
	图5 油区生产运行跟踪分析图

建立定量化预警机制, 实现一个人即可监控全部油田的生产动态。主要对日产油、含水上升速度、开井率等主要开发指标进行月度对比分析（见表5）。同时建立定量化油田开发动态预警监控机制, 通过收集油田生产动态信息, 跟踪指标变动趋势, 评价油田开发风险动态, 向决策层发出预警信号, 提前采取预控对策。系统监控对象已覆盖集团公司全部油田, 实现全方位、多角度开发监控, 全程跟踪各油田生产形势, 对生产指标异常的油田或区块及时监控预警, 提出整改建议, 及时指导生产。

表5

表5

表5 油田生产动态预警表 油田 分类 日产油/t 日注水/104 m3 1月 2月 3月 1月 2月 3月 油田1 运行 26 900 27 200 27 600 12.43 12.93 12.53 实际 26 865 24 059 25 901 12.37 12.19 12.48 预警 一般 特别严重 严重 一般 严重 一般 油田2 运行 11 200 11 200 11 200 12.41 13.05 13.32 实际 10 787 9 784 10 751 12.31 11.49 12.45 预警 一般 特别严重 一般 一般 特别严重 严重

表5 油田生产动态预警表

分析低产井、长停井现状和治理效果, 共享治理经验, 利用大数据技术筛选出潜力井。目前大部分油田开发进入中后期, 低产井、长停井数呈逐年上升的趋势。采用该系统可实现低产井生产现状、历史变化趋势及长停井关停原因等分析（见图6— 图8）, 并可利用大数据技术筛选出治理效果显著的潜力井, 为集团公司低产和长停井治理、盘活油井资产利用率等提供借鉴。

图6

	Figure Option ViewDownloadNew Window
	图6 不同开发方式低产井多维分析图

图7

	Figure Option ViewDownloadNew Window
	图7 不同举升方式低产井多维分析图

图8

	Figure Option ViewDownloadNew Window
	图8 不同井型低产井多维分析图

在集团公司内实现不同油区、相同类型油藏开发指标类比, 对标高效开发方式, 充分挖掘油藏资源潜力。实时跟踪中高渗透砂岩、低渗透砂岩、砾岩、稠油、特殊岩性油藏等的油、气、水井生产情况, 从已开发油藏中筛选出“ 双高油藏（综合含水大于等于80%, 可采储量采出程度大于等于60%的开发单元）” 、“ 双低油藏（采油速度小于等于0.5%、地质储量采出程度小于等于10%的开发单元）” 和“ 双负油藏（双高和双低油藏中利润与现金流均为负值的开发单元）” 。针对每类油藏, 统计分析其开发方式、分布状况、生产效果等, 总结经验, 支撑分类油藏治理工作（见表6）。

表6

表6

表6 分类油藏开发规律分析统计表 油藏 分类 开发 单元/个 采油 井数/口 注水 井数/口 地质储量/ 104 t 可采 储量/t 日产 油量/t 日注水量/ 104 m3 双 高 中高 渗透 5 969 459 7 987 3 382 120 779 低渗透 4 50 23 470 114 3 22 稠油 2 230 18 796 238 13 85 小计 11 1 249 500 9 253 3 734 136 886 双低 3 247 73 2 091 339 21 134 双负 2 123 36 1 046 170 10 67

表6 分类油藏开发规律分析统计表

大数据分析系统实现了36× 10⁴余口油、气、水井生产数据的集中管理, 为在集团公司层级实施油、气、水井全样本分析提供了技术支撑, 同时也为数据挖掘奠定了基础, 将来通过整合油气田开发、数据挖掘和人工智能等技术, 定可深入透视分析油气生产数据背后潜在的有用信息, 提升数据资产的价值, 更好地为油气生产与科研服务。