一、现状分析 伴随着信息高速公路的飞速建设,油田的各项勘探开发数据都做到了及时准确入库,数据库中数据量日益增加。以其下属的胜利采油厂为例,数据量已达到2000M,各种数据库表更是多达1千多个。
与此同时,又生了一个新的问题,那就是虽然各种生产数据都已入库,但是由于数据量巨大,造成查询速度非常缓慢。 下面以油井日度数据表(dba01)为例进行说明,该表是最基础的开发数据,天天每一口井都有记录进入到数据库中。油田规定,该数据15个月内必须保存在线,15个月下来这个表就997890条记录。 这接近100万的记录大大增加系统开销,在用户提交查询后,经常需要等待五六分钟才能得到结果,有时甚至查不出数据,给用户的感觉是仿佛处于"死机"状态。 二、常规解决办法 为了提高速度,解决大表查询速度缓慢的问题,我们最初的对策是在后台创建很多中间表。 例如:要得到采油厂生产日数据汇总情况,了解全厂天天的油井开井数,水井开井数,日产油量,注采比等重要数据,其缺点主要有两个: 1、中间表的建立会占用大量表空间,也就是说查询速度的提高是以牺牲服务器空间为代价,造成了巨大的资源浪费。 2、随着各种应用的不断开展,中间表的数量也越来越多,这就人为加大了数据治理和维护的工作量。 因此,要从根本上解决大表存在的查询速度缓慢的问题,必须找到更为有效的方法。 三、采用分区功能解决问题 1、分区的定义 分区将表分离在若干不同的表空间上,将大的表和索引拆分成小的易于治理的数据片段,用分而治之的方法来支撑无限膨胀的大表,给大表在物理一级的可治理性。将大表分割成较小的分区可以改善表的维护、备份、恢复、事务及查询性能。针对我厂大量的油水井日度数据,可以推荐使用Oracle8的分区功能。 2、分区的优点 首先,能够成倍提高查询速度:进行分区治理后,服务器可以进行智能的分区检测。 跳过与查询无关的分区访问,并跳过不在线的分区。 其次,增强系统可用性:假如表的一个分区由于系统故障而不能使用,其余好的分区仍然可以使用。 不同分区可以跨表空间存储, 降低了磁盘损坏带来的数据不可用性。 四、分区的治理 1、建立表的各个分区的表空间 下面是创建2001年第一季度表空间的操作语句,指定所建立表空间的名字,所用数据文件的名称、大小和存放目录,并由存储字句指定在该空间中所建立对象的缺省存储参数。 CREATE TABLESPACE ts_dba01_2001q1 DATAFILE '/home2/oracle/test/dba01_2001q1.dat' SIZE 200M DEFAULT STORAGE (INITIAL 30m NEXT 30m MINEXTENTS 3 PCTINCREASE 0); 2、建立分区表 下面是建立dba01表的操作语句,指定表名、列名及列的数据类型等。这些都于常规创建表的语句相同。 CREATE TABLE dba01 (jh varchar2(16) not null, rq date not null, cyfs varchar2(3), dwdm varchar2(11), ...... PARTITION BY RANGE (rq) PARTITION dba01_2000q4 VALUES LESS THAN (TO_DATE('2001-01-01','YYYY-MM-DD') TABLESPACE ts_dba01_2000q4, PARTITION dba01_2001q1 VALUES LESS THAN (TO_DATE('2001-04-01','YYYY-MM-DD') TABLESPACE ts_dba01_2001q1) 这是创建分区的语句,这里指定按照日期进行分区,例如: 日期>='2001-01-01'并且<'2001-04-01'(即2001年第一季度)的数据放在dba01_2001q1分区内。其他分区也依次原则建立。 3、分区表的扩充 在2001年年底,我们向表中加入2002年的表空间,同样是每季度一个表空间,预计每个分区为200M,下面是创建2002第一季度表空间的操作语 句,指定表空间名称,数据文件名称及大小等 。 CREATE TABLESPACE ts_dba01_2002q1 DATAFILE '/home2/oracle/test/dba01_2002q1.dat' SIZE 200M DEFAULT STORAGE (INITIAL 40m NEXT 40m MINEXTENTS 3 PCTINCREASE 0) 其他季度表空间也如此建立。 4、为表添加表空间 操作语句如下: ALTER TABLE dba01 ADD PARTITION dba01_2002q1 VALUES LESS THAN (TO_DATE('2002-04-01','YYYY-MM-DD') TABLESPACE ts_dba01_2002q1; 5、删除不必要的分区 采油厂规定:必须保存15个月的日度数据在线。到2002年,必须把2000年3季度的数据备份,将该分区删除,使空间空出来供后续数据循环使用。
删除分区 ALTER TABLE dba01 DROP PARTION dba01_2000q3; 利用操作系统工具删除这个分区所占用的文件 oracle$ rm /home2/oracle/test/dba01_2000q3.dat 6、查看分区信息 可通过对数据字典USER_EXTENTS进行查询,操作如下: SVRMGRL >SELECT * FROM user_extents WHERE SEGMENT_NAME='dba01'; 显示内容如下: 7、卸出分区 ORACLE8的EXPORT 工具可卸出分区并导出数据,例如到2002年,我们可将2000年的数据按分区卸出。 例如:要卸出2000年3季度的数据,操作如下: oracle$ exp tycx/*** tables=dba01:dba01_2000q3 file= dba01_2000q3.dmp 在语句中要指定用户名、口令、需要卸出的表名及分区名、卸出文件名称等。 8、导入分区 ORACLE8的IMPORT工具可导入分区并加载数据,例如在2002年,用户要查看2000年的数据,我们必须导入该年数据。 (1)建立该表2000年的四个表空间和相应的分区 (2)下面是导入2000年3季度分区数据的操作语句: oracle$ imp tycx/*** file = dba01_2000q3.dmp tables= (dba01: dba01_2000q3) 五、实施效果 1、能够成倍提高查询速度 进行分区治理后,服务器可以进行智能的分区检测,跳过与查询无关的分区访问,跳过不在线的分区。 2、增强系统可用性 假如表的一个分区由于系统故障而不能使用,其余好的分区仍然可以使用。 不同分区可以跨表空间存储, 降低了磁盘损坏带来的数据不可用性。 以油井日数据表为例: 不采用分区技术时,若表空间文件受到破坏,会影响到所有数据都无法使用,必须将该表全部记录(多达100万条)重新恢复,工作量很大,恢复期间用户根本无法查询数据,完全不能使用。 而采用分区技术后,由于整个表已按季度拆分为6个分区,因此当某一个表空间文件被破坏,则仅是该分区表空间所对应的季度数据无法使用,其他季度数据仍然可以正常使用,对用户的查询以及其他应用影响不大。 六、总结 通过合理应用oracle8的分区功能,就可以大大改善系统的性能,降低大表数据治理和维护的工作量,对大表的查询、增加、修改等操作可以分解到表的不同分区来并行执行,可使运行速度更快。对促进无纸化办公,辅助生产有积极的推动作用。
|