K8凯发(中国)天生赢家·一触即发

基于python的测井数据校验对比
栏目:k8凯发集团 发布时间:2025-11-11
 农学专业毕业,专注农业基层技术的推广工作,分享自己的一些工作体会和收集的资料,为祖国的三农建设贡献自己的光和热  内容提示:A CADE MIC RE SEA RCH 学术 研究 基于Python的测井数据校验对比 摘要 :在 油田的测井数据应用中,发现两个数据库的部分数据不一致 ,给地质研工作带来不 便 。本文采用Python开发简洁高效的脚本,对不同存储方式的10万余个测井w Is数据文件

  农学专业毕业,专注农业基层技术的推广工作,分享自己的一些工作体会和收集的资料,为祖国的三农建设贡献自己的光和热

  内容提示:A CADE MIC RE SEA RCH 学术 研究 基于Python的测井数据校验对比 摘要 :在 油田的测井数据应用中,发现两个数据库的部分数据不一致 ,给地质研工作带来不 便 。本文采用Python开发简洁高效的脚本,对不同存储方式的10万余个测井w Is数据文件进行校验 对比,节省了大量时间和精力。 关键词 :测 井数 据 ;Python;数据 校验 引言 测井数据在长庆油 田油气藏地质研究 中发挥 着重要作 用 ,2003年长庆油 田开始建设测井数据库 ,其数据库管理 系统库为Oracle lOg。近两年长庆油 田又建成了数字化油气 藏决策支持平台 ,其后台数据库为Oracle llg ,并通过触发 器 、DBL INK 、...

  A CADE MIC RE SEA RCH 学术 研究 基于Python的测井数据校验对比 摘要 :在 油田的测井数据应用中,发现两个数据库的部分数据不一致 ,给地质研工作带来不 便 。本文采用Python开发简洁高效的脚本,对不同存储方式的10万余个测井w Is数据文件进行校验 对比,节省了大量时间和精力。 关键词 :测 井数 据 ;Python;数据 校验 引言 测井数据在长庆油 田油气藏地质研究 中发挥 着重要作 用 ,2003年长庆油 田开始建设测井数据库 ,其数据库管理 系统库为Oracle lOg。近两年长庆油 田又建成了数字化油气 藏决策支持平台 ,其后台数据库为Oracle llg ,并通过触发 器 、DBL INK 、数据增量迁移工具 ,实现两个数据库的数据 同步。 用户在应用测井数据过程中,发现数字化平 台中部分测 井数据 ( WIS格式 ) 读取存在问题 ,对 比两个系统相同井的 W IS文件 ,发现大小不一致 ,说明数字化平台在同步数据时 出现 了问题 。测井数据库的WIS文件 以BLOB方式存储 ,而 数字化平 台在数据表中保存文件路径 ,以F TP方式存储实际 文件 。目前测井WIS文件数达到10万个 ,若没有程序的批量 校验处理,需要的时间和精力可想而知。 由于Python语言的简洁、易读 ,开发效率高,具有丰富 和强大的类库 ,十分适合工程技术、科研人员处 理实验数 据 、制作 图表。数据库操作采用CX Oracle库 ,FTP文件读取 采用urllib2库 ,利用这些扩展库可以快速开发简洁高效的脚 本程序,大幅提高工作效率【】】。 本文实现了批量快速校验两个Oracle数据库中的测井 曲 线数据的一致性 ,笔者深深体会~1]Python语言的简洁强大, 全部代码只有短短100行 。 一、 基~ Python的测井数据校验分析 要校验对 比两个数据库的测井数据,首先需要分别读取 同一 口井的测井数据文件大小,而同一 口井可能存在多个测 井数据的情况,分析两个表的关键字 ,可知通过井号和文件 标识可以定位一个WIS文件。 测井数据库中的BLOB字段可以通过Oracle自带的BLOB 工具包dbms lob q~的函数getlength来获取文件大小 ;而数字 化平台的测井数据 ,先从表 中读取文件路径 ,再用urllib2建 立FTP连接 ,获取文件大小 ,再 比较大小是否一致 ,将不一 致的井号 、文件标识 、文件大小记录到文件。 二、性能优化 为了提高程序性能 ,在urllib2建立FTP 网络请求时,使 142 信息 系统 工程 I 2014.6 20 ◆ 李 良 用HEAD方法可以只读取FT P应答头信息 ,其 中的content. 1ength~ 为文件大小 ,这样就不用下载文件本身 ,可 以节省 时间和网络资源。 opener urllib2.build_ opener() request = urllib2.Request(ur1) r equ est.get_method :lambda :H E A D response:opener,open(request) response. read() return dict(response.headers).get(content-length。,0) 由于Oracle数据库能够并行处理多个查询 ,并且FTP服 务部署在高性能服务器上 ,考虑使用Python的多线程技术来 并行处理查询和F TP连接 ,而不是在一个线程 中按顺序执行 操作。所以这里用到Python的threading和Queue库 ,将所有井 号+文件标识放入队Yl JQueue中,在线程 中实现读取BLOB和 FTP文件大小的功能,在主线程 中根据CPU核心数建立多个 线程并行执行。 fhle=open(”d:\\cjWjcompare.CSV”,w) }i}记录校验结果 jhqu = Queue.Queue() ifn a m e一= =r emain_ _: forX in range(4) : 群四核CPU curl=dbh.cursor() #测井数据库连接 cur2=dbhx.cursor() 数字化平台连接 th.append(MyThread(jhqu,X,cur1,cur2,f l ale)) tl1[X】.start() 三、结论 最后 ,笔者应用此脚本程序发现2000余个问题数据 ,并 重新迁移解决数据不一致问题 。油 田专业数据管理过程 中, 经常遇到各种数据的校验对比工作 ,这些数据量大且分布在 不同库中,本文抛砖引玉 ,给出基于Python实现测井数据的 校验分析的过程 ,为科研人员和数据管理人员提供参考。 聃 参考文献 ⋯ 丘恩.Python; tt~ 心编程(第 2 版)[M].人民邮电出版社,2008. ( 作者单位:中国石油长庆油田勘探开发研究院 )

  k8凯发集团