• / 8
  • 下载费用:5 下载币  

NoSQLt在数字化油田中的应用

关 键 词:
NoSQLt 数字化 油田 中的 应用
资源描述:
时历史数据云在数字化油田暨油气场站智能化中的运用海口诺塞克西海数据科技有限公司二〇着计算机科学的进步,互联网技术的进步,计算机设备的数据处理能力越来越强,数据传输也越来越方便,不知不觉,世界逐渐进入大数据时代和云计算时代。而另一方面,在摩尔定律的指导下,计算机性能不断增强的同时,价格却不断走低,部署也越来越容易,大规模计算集群不再是少数行业的专利,各行各业的企业用户,均可以以低廉的成本,搭建属于自己的“私有数据云” 。再者,数字电路,探测技术越来越发达,探测器件效能越来越高,价格也不断降低,大规模构建探测网络不再是难事,物联网技术逐步成熟,人们使用计算机的习惯,逐渐从“人机交互”改变为“机机交互” ,无数与我们生产、生活紧密相关的数据被实时采集,实时传送,实时存储,实时处理,构建出庞大的“地下数据暗河” ,在人们几乎没有感觉的情况下,默默地为我们的生产经营行为服务,起到了数据保障的作用。因此,在大数据和云计算时代,传统的行业面临着一场几乎全新的“大数据革命” ,产品生产过程中,人们越来越关注 “随时生产,随时采集观察数据,随时进行数据挖掘分析,随时进行生产效能调优、保障安全” ,实现“大数据化智能生产过程管理” 。在石油行业也面临这样一种变革,近几年石油系统如火如荼的数字化油田建设,油气场站生产管理自动化、数据化、智能化,都体现出对这种大数据变革的适应,以大数据、云计算思想指导油田生产的上中下游,将成为未来油田的主流方式。油田的建设是一个长期漫长的过程,期间很多场景都面临大数据问题,特别需要能支持海量大并发数据的高效处理手段。如地球物理勘探,采用爆轰波进行地震勘察,一次爆炸作业,短短几分钟内就会产生大量的数据,这些数据变化很快,需要高频探测,尽可能详细地记录下来,供后期精确处理解释,这需要现场数据处理核心具有高速“吞吐数据”的能力,能以毫秒级的速度记录下所有数据,并确保数据不丢失。在钻井、勘探过程中,井场重型设备很多,安全生产是大问题,这很大程序取决于设备是否正常。在一个钻井周期,重要设备 7*24 小时连续运转,需要实时监控设备的运行数据,对井深,泥浆注入量等做精确控制和监视;后勤上,必须跟踪钻头和钻杆的维护程度,为每根钻杆建档,记录每一次超声波探伤的记录,跟踪其生命周期,对于即将报废的钻杆提出预警,及时淘汰,避免出现生产事故。这些都需要长时间海量的大数据存储计算能力。在采油环节,大部分井场、油气场站和输送管道都在野外,人工驻站成本很高,且有很大安全风险。但“磕头机” 、各级泵站全天候连续运转,需要监控维护。这就需要建立能7*24 小时连续稳定运行的数据处理中心, ,不断采集跟踪设备的参数,挖掘其实时历史数据,分析其健康情况,提前预警,避免设备损坏影响生产。而这,必须依赖处理实时采集的和历史存储的海量大数据,挖掘计算,及时提出预警。当油气进入管道,必须长期监视管道的腐蚀情况,对于陈旧的管道即时预警,提出更换,避免漏油造成类似山东黄岛之类的恶性爆炸事故。另外,管道偷油是石油的老大难问题,需要实时监控管道压力,计算剪刀差,并且高速响应,在几秒内提出预警,才能通知警方及时出警,抓获偷油贼,避免损失。这需要高速的大数据响应能力。进入炼油环节,炼厂设备众多,运转复杂,安全风险很高,必须 7*24 小时不间断监控生产各个环节的数据,避免事故。这尤其需要具有高效实时历史大数据的处理能力。即使到了成品油销售环节,也离不开大数据,油气罐车、加油站属于高危作业,必须随时予以高度监控,避免出现天津港爆炸之类的重特大恶性事故。这些都需要连续不断的高效处理海量实时和历史数据,进行跟踪分析。目前我们石油系统正在“走出去” ,在国外进行探采输作业,但由于国外政局不稳,安全风险很高。某些极端情况,作业人员会撤离,现场生产设备会毁坏。而灾后重建时,设备购买安装容易,但是长期积累的生产数据丢失,才是重大损失,严重的数据丢失甚至会导致生产无法恢复。因此,把外面的数据远程传回国内,进行安全保存,是刚需。这需要油田数据系统必须具有远程、劣质链路的传输能力,能适应有线、无线甚至卫星链路的传输特点,将数据安全、高效地传输到国内数据中心。综上所述,石油行业是最需要大数据的行业,大数据贯穿于油田生产的始终。油田生产是一个综合性多科目合作的复杂项目,单一设备、场站的生产实时数据,不足以描述生产的全部,需要将全域数据整合计算,甚至还包含长期的历史数据分析,才能得出生产决策结论,实现优化投资和资源配置,生产效能不断调优,保障安全生产。但目前在数字化油田建设中,生产大数据的管理和使用还不尽人意,各种 统由不同厂商生产,数据格式不统一,各自闭环运行,很少考虑油田全域范围的数据汇聚, “数据孤岛”现象非常严重。以设备、场站为核心的建设思想,对数据传输链路的安全性和稳定性考虑不够,数据传输中效率不高,损失较大。各实时系统缺乏长期的数据保存,无法对油田全生命周期的历史数据做深度挖掘分析,无法实现“计划和管理水平”再上新台阶。所以,数字化油田建设必须在传统的设备采购和基建之外,专门搭建自己的综合、大型、基于全域全生命周期的“生产实时历史数据云”系统,实现生产数据的采集、传输、存储、计算、供给、辅助决策。由一群具有多年工业现场数据服务经验的专业人才构成的高科技创新型企业,核心团队成员曾多年服务于工业自控领域和流程型企业的生产过程数据管理领域,具有丰富的生产现场实时历史数据处理经验。在 2010 年,西海数据核心团队看到了工业大数据革命趋势,展开研发,于 2013 年推出了自己的《时历史数据云》系统,针对各行各业用户,特别是石油、航天、气象、煤炭、交通等大行业用户,提供高效可靠的工业级实时历史数据云搭建方案,满足这些企业用户对生产过程数据在线、实时管理分析的需求。时历史数据云,是完全国人自主研发,自主全部知识产权的平台型软件产品,专门用于处理工业生产现场时域测量型数据,可高效压缩、存储、供给海量实时和历史数据,支持高速统计、高速历史趋势线、高速历史数据批量回放等数据挖掘应用,提供平行扩容,异地容灾能力,可帮助企业用户轻易搭建生产过程数据云。时历史数据云一经推出,即受到军方客户的关注,参与了某部气象大数据中心的建设,获得了用户的好评,并即将进入核心业务层继续为用户服务。西海数据和石油系统有着很深的渊源,团队的几位核心创始人为石油行业出身,曾长期奋战在石油一线。因此在研发过程中,西海数据团队非常关注石油大数据的需求,先后用了近两年的时间,走访了一些设计院,大的系统集成商,摸需求,找问题,并一一对标,在 时历史数据云中予以支持实现。时历史数据云可向石油用户提供生产现场原始数据采集之后的,数据实时传输、实时压缩、实时存储、实时计算、实时同步、实时供给等一系列数据服务,帮助用户搭建广域范围内的“油田生产大数据云” ,用户可以在任何网络可达之处,就近获取数据,计算数据,并反馈显示,实现高效,高自由度的数据统计和挖掘计算,帮助用户实现石油生产辅助决策,实现油气场站和管线的生产调优和安全生产。时历史数据云可有效支持数字化油田,油气场站智能化全域的,长达几十年的全生命周期数据管理。其核心特点如下:气场站现场各子系统多种多样,分属不同厂家,数据接口不同,格式不同,这首先要求 时历史数据云具有灵活多变的接口策略,多样化的 一的数据格式,以方便用户定制接口程序,实现用户数据操作。为了满足这一需求,统采用了工业界广为使用的时域数据格式作为基本格式,即“时间戳+采样值 +质量码” ,这一设计原则贯穿于 时历史数据云的设计始终。可以说,数据一进入 统,即被统一为一种格式,不再改变,方便用户的后续使用和开发。时间戳允许精确到毫秒,“真”毫秒系统,即每个 秒允许存储 1000笔数据。这在物探爆炸探测作业时非常有用,每个测点均可以存储每个毫秒的数据变化,构建完整的“数据图像” ,使处理解释更精确。质量码用于描述数据采集质量,只有标定为 数据才会参会后续的计算,其他由用户自定,可描述设备的额外信息,帮助用户更好管理设备。采样值允许 格式,可以精确描述油田自动化生产的开关量和模拟量,另外,还允许存储字符串,可以作为日志记录,或记录某些不易数字化描述采样值,如现场拍摄的大量视频、照片,以为其编目,和其他数据记录进行联动回放,实现更有效的展示。统直接提供 口程序,以适应数字化油田广泛使用的 议。用户可以很方便地将数据导入数据库。而对于非标协议,供 C、C++、C#、供接口 程模板,尽量减少用户的开发工作量。另外,采集还包含了数据传输,置 供“劣质链路发送后不管”的服务品质,同时,置 据库间同步网络,具有完善的传输设计,所有的传输均自动适应断网、掉电甚至灾难的情况,自适应劣质链路。在前期军方测试中,000 千米的传输试验,且支持 延容忍网络,数据传输不丢不乱,满足用户的需求。所以,一旦采用 统,石油用户无需关注底层数据导入和传输细节,所有传输汇聚工作交由 成,用户仅需关注业务,做针对性开发即可,这减少了大量的开发工作量和开发难度。字化油田,现场有成千上万的探测器件,这些器件都是周期性产生数据,很多都是秒级,这要求 统必须具有极高的效率, “吞下” 生产现场的海量数据,且还能同时支持大量业务端的读取,计算等请求。实际中还不止于此,劣质链路远程传输中,断网掉电是常态,当某个节点断网,其数据在内部缓存,一旦网通,会立即进行历史数据补全,这个补全动作会和新的实时数据同步进行,这说明,统除了能处理当前生产的实时数据,还必须保留足够的余量,能“吞下”由历史补全造成的峰值流量。因此,时历史数据库做了特别的优化,提供出业界领先的高效性能:• 并行存储速度最大:无压缩 129,999 数据值/ 秒,平均存储时间 <140 并发读取速度最大:1,000,000 实时值/秒,平均读取时间<320 并发读取速度最大:1,000,000 历史原貌值/秒,平均读取时间<110• 最大 500 并发客户端/服务器( 此限制) 。• 步速度:150,000 记录/ 秒(无压缩) 。 经过和油田用户对标,时历史数据云的性能完全满足油田生产的数据效率需求。田生产从勘探、到钻井、采油,是个漫长的过程,一个油田的地质资料、钻井数据、设备采购运行情况,其他基础资料,往往需要保留几十年,以便随时查询。在进入采油环节以后,采油设备、油气管线可能也会几十年的长时间运行,这些设备会老化、腐蚀,究竟什么时候会损坏、泄漏、爆炸,这是关系油田安全生产的生命线问题,必须高度关注。所以,油田生产是一个特别需要长期历史数据积累和挖掘分析的行业,必须随时监视每台设备,每根管线的每个探测量,设定阀值,寻找其微小的数据变化,以便判定腐蚀情况,预测其爆管或损坏时间,提出预警,这也是石油生产的一个常态。另外,海量数据中有很多冗余、无用数据,必须对数据进行一定的清洗、过滤、压缩,以降低存储量,降低油田用户的使用成本。时历史数据云适应这个需求,实时数据到来,会根据用户预设,进行过滤,清洗无用数据,另外,据库内置高效的“波形无损压缩算法” ,可以对数据进行高效压缩存储,压缩比甚至高达 1:几万。另外,行“收支两条线”原则,即存入数据的数量和实际可供给数据无关,即使经过高效压缩,置的插值算法,仍然可以以每个毫秒为精度,向外还原数据。这个插值算法效率很高,用户甚至感受不到和真实存储数据的时间差。经过层层优化,一套 时历史数据库即可存储 20 万测点长达几十年的数据,经过网络部署的 时历史数据云,则无上限,用户可以任意部署,实现海量数据存储。油行业是国民经济的基础行业,是重要的民生行业和工业基础,很多时候,石油生产甚至是国家安全的保障。因此,石油内部的数据,对数据的存储安全和访问安全均具有较高要求。时历史数据库,是完全国人自主知识产权的软件产品,西海数据也通过了军方的认证,是军品的合法供货商。开发过程中,强调产品质量,通过了长达 18 个月的严酷高压测试,并在军方客户连续运行 24 个月以上。具有极高的稳定性,每套 据库均自带看门狗,支持 7*24 小时无人值守运行模式,关键事件日志记录,可以满足石油工业现场严格的运行标准。置“以组鉴权”的权限管理策略,数据的写入、读取、管理、步均可以精确到每个 义,满足用户灵活多变的使用需求,特别是 循“防区外安全采集”原则,野外无人值守的采集站点,其数据权限最小,仅能写入数据,黑客无法通过破解采集站的程序,侵入系统读取其他关键信息。时历史数据云,支持核爆模式下的异地容灾策略,支持空地 络,具有极高的生存能力,最大限度保证数据安全。即使发生山东黄岛爆炸这类严重的安全事故,现场数据存放在远端,不会丢失,用户可以轻易利用 放当时的数据场景,尽快检查出问题点,并制定相应策略,快速重点检索其他类似的油气场站的数据,预防类似事故的发生。时历史数据库,内置高效的历史趋势线算法,单库每秒钟能输出 1000 个 用户联动分析,这种高效性在石油工业数据挖掘分析中非常有用。另外,支持多个客户端多批次 过去某个时间点的面板数据回放,回放效率高效并行,支持电影级的帧进帧退操作,这在黄岛爆炸这类事故分析场合非常有用,用户可以逐个毫秒的进行数据分析,找出问题点。这些功能都是石油 用功能,据库直接提供 低了用户的开发工作量和成本。据云的 络,均支持国内常见的网闸穿越模型,可以无缝将指定数据从生产区安全转移到办公区,供管理使用。在 署现场,以及数字油田和油气场站自动化、智能化安装部署现场, “对点”都是一个很繁重的工作,施工人员必须耗费大量时间成本将现场的每个采样测点和数据库、的 签一一对应,使之能正确运行。很多时候,甚至要专门开发对点程序来完成。虑到这一实际需求,面支持基于 件对点,以及数据导入导出,且支持 件自动生成,大大加快了对点工作,用户仅需在 格中编辑 件,对点数据即可快速上传数据库,将过去几个月的对点时间,缩短到短短几周,甚至几天完成。据云所有组件均支持 7*24 小时无人值守运行,提供易用的全功能图形化管理工具,用户无需安排专门的运维人力,节约了用户成本。字化油田的建设是个长期的过程,随着技术的进步,会不断添加新的业务内容,这要求数字化油田的数据核心必须具有足够的弹性和扩展性,能适应未来发展的需求。分考虑未来移动互联网,复杂链路,海量数据终端等应用场景,对油气场站无人值守,自动巡检,移动巡检,北斗地理信息跟踪等需求做了很多适应工作,以便适应油田用户未来的需求。如 个 许定义经纬度坐标,支持 用。如在物理勘探中,可以在一个区域内以网格方式部署测点,进行地震探测,每个测点具有北斗坐标属性,数据可以被描述为 2D 或 3D 数据图像,实现精确的解释分析。供多种 且数据云中任何一个节点 全相同,用户程序一处开发,处处使用,可提高开发能效,降低成本。时历史数据云,是由 据库作为节点,以 纽带构建的庞大数据集群,系统本身逻辑不设限,基于工业 签的存储模式,数据之间无耦合,用户可以任意平行扩容,用户搭建的云大小,仅仅受限于用户的需求和预算。术提供 干同步链路和 形汇聚链路,均支持断网缓存和历史数据自动补全,符合油田的数据管理模型,用户仅仅通过简单的 置项,即可实现数据同步,远程备份和异地容灾。且所有的 路均支持无限级联,用户可以部署任意多的层级,实现纵向的弹性扩容。时历史数据云,可以作为油气场站智能化、数字化油田乃至整个石油工业的“数据核心” ,生产实时数据采集上来,第一时间规整格式,进入 ,并根据一定的安全和业务规则,自动同步到需要的远端,实现汇聚和分发。数据在用户看不见的“地下” ,默默流动、存储、备份、异地容灾,形成看不见的“地下大数据暗河” 。在用户需要的地方,可以随时从 据云最近的节点处,高效获取数据,进行计算或显示,用户需关注业务本身,无需考虑数据存储、传输、安全性、完备性等一系列问题。在权限允许的情况下,用户可以调阅油田全域设备,在过去几十年中任意一个毫秒的数据,并能在几个毫秒内得到响应,获得数据。大数据的汇聚,油田用户可以更加方便的查阅数据,总结数据规律,寻找合适的阀值,更加精确的监测某个场站设备,某个油气管线的腐蚀,运行情况,预测其毁坏时间,发出安全预警,避免事故。基于稳定可靠的 据云,所有的用户业务程序均可以 7*24 小时不间断运行,实时获取数据,实时计算统计,实时挖掘分析,实时输出预警或统计结果,实现油田安全生产和能效调优的自动化、智能化。时历史数据云,实际上是为石油工业提供出一套勘探、钻井、采油、传输、炼制、销售的全域全生命周期 “生产大数据内核” ,依托这个数据内核,用户生产、管理、安全等工作将非常方便,成本低廉,运行可靠。使大数据真正成为油田的“资产” ,并不断积累增值,实现石油生产计划和管理水平再上新台阶,为石油工业做出越来越大的贡献。
展开阅读全文
  石油文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:NoSQLt在数字化油田中的应用
链接地址:http://www.oilwenku.com/p-18234.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们
copyright@ 2016-2020 石油文库网站版权所有
经营许可证编号:川B2-20120048,ICP备案号:蜀ICP备11026253号-10号
收起
展开