标签：oralce his 数据库 导出 索引 exp table eg 亿条

 

2018-08-18 16:58 无腿鸟 阅读(331) 评论(0) 编辑 收藏

问题：当一个表的数据量超过一亿条，要删除其中的5000w条，如何处理。

如果直接使用delete语句，会涉及到到大量的磁盘IO，并产生大量的数据库日志，效率很低，删除速度慢，可能导致事务中断，甚至有服务器硬盘空间撑爆的可能。

本文提供的思路是先将数据表需要保留的数据不带索引导出，然后导入一个新表中 ，对新表重建索引后将老表、新表进行重命名，这样就完成了删除操作，效率有了很大提升。

主要分为三步，1.数据导出2. 数据导入 3.表以及索引重命名 。下面脚本是运行在oracle数据库上。

具体步骤如下：

1.数据导出：

进入数据库：sqlplus ，输入用户名与密码。进入sql运行界面。

创建虚拟目录：create or replace directory exp_dir as '/home/oracle/';

给目录授权，若失败继续：grant read,write on directory exp_dir to oracle;

提交：commit;

退出数据库：exit;

导出全量数据： expdp user/passwd@sername  dumpfile=exp_table_eg_his_bak.dmp directory=exp_dir  tables= exp_table_eg_his  compression=all

dumpfile是指明dump文件名，directory是上面建立的虚拟目录，tables指明要导出的表。compression说明要对数据进行压缩，减少磁盘占用。数据量比较大，导出时间长，建议后台运行。

如果没有数据库用户密码，可使用操作系统oracle的权限以管理员身份进行导出。脚本如下：

         expdp \'/ as sysdba \'   dumpfile= exp_table_eg_his.bak .dmp directory=exp_dir tables= user.exp_table_eg_his compression=all

注意，exp_table_eg_his前要加user.，用以说明是哪个用户的表。导出全量的数据只是为了备份而已。

导出保留数据 :

         expdp user/passwd123@sername  dumpfile=exp_table_eg_his_new.dmp directory=exp_dir tables= exp_table_eg_his Query=\"where plat_number like \'2018%\'\"  exclude=index

这里需要注意，query查询条件中的“”，‘’都要用\进行转义，否则会报错，exclude参数用来排除索引，oracle的索引是全局的，相同的索引名只能存在一个，为了后续方便导入，需要导出时把索引排除。

2. 数据导入：

impdp user/passwd123@sername  directory=exp_dir dumpfile=exp_table_eg_his_new.dmp remap_table= exp_table_eg_his: exp_table_eg_his _new

remap_table用来将导入时将dump的表映射为新的表名。

进入数据库：进入toad

重建索引：

create unique  INDEX exp_table_eg_his_ix_new ON exp_table_eg_his_new    (plat_number)  。

关于建索引，最好将原表的的索引创建脚本导出，修改下索引名字与表名，这样可以保证索引的参数一致。

 

3. 重命名表与索引：

表重命名：alter table exp_table_eg_his rename to exp_table_eg_his _bak

          alter table exp_table_eg_his _new rename to exp_table_eg_his

索引重命名：

      alter index exp_table_eg_his_ix rename to exp_table_eg_his_ix_bak

      alter index exp_table_eg_his_ix_new rename to exp_table_eg_his_ix

如果代码中没有显式用到索引名字，在数据库表重命名后索引也可以不用重命名。

删除原his表：drop table exp_table_eg_his_bak。备份表已无用，可以删掉了。

标签：oralce,his,数据库,导出,索引,exp,table,eg,亿条
来源： https://www.cnblogs.com/lcword/p/11553117.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。