Chinaunix首页 | 论坛 | 博客
  • 博客访问: 416844
  • 博文数量: 105
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 889
  • 用 户 组: 普通用户
  • 注册时间: 2016-01-23 21:45
个人简介

目前在一家电信公司就职报表开发工程师,2010年开始从事运维方面的工作,期间从事过业务维护工程师、自动化运维工程师,2016年转为报表开发工程师。有耐心,抗压力、爱折腾,喜欢研究自动化工具。

文章分类

全部博文(105)

分类: Oracle

2018-03-02 16:56:33

利用Oracle中的Spool缓冲池技术可以实现Oracle数据导出到文本文件;
SPOOL是SQLPLUS的命令,不是SQL语法里面的东西。
对于SPOOL数据的SQL,最好要自己定义格式,以方便程序直接导入,SQL语句如:
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task; spool常用的设置
set colsep' ';    //域输出分隔符
set echo off;    //显示start启动的脚本中的每个sql命令,缺省为on
set feedback off;  //回显本次sql命令处理的记录条数,缺省为on
set heading off;   //输出域标题,缺省为on
set pagesize 0;   //输出每页行数,缺省为24,为了避免分页,可设定为0。
set termout off;   //显示脚本中的命令的执行结果,缺省为on
set trimout on;   //去除标准输出每行的拖尾空格,缺省为off
set trimspool on;  //去除重定向(spool)输出每行的拖尾空格,缺省为off

---------------------------------------------------------------------------------------------------------------------

如果trimspool设置为on,将移除spool文件中的尾部空 ,trimout同trimspool功能相似,只不过对象是控制台。使用glogin.sql或login.sql使得设置跨session生效。
If trimspool is set to on, it will remove trailing blanks in spooled files. See also trimout which does the same thing to the output to the console (terminal).
Storing settings across sessions
Settings (such as sqlpluscompatibility) can be stored accross sessions with the glogin.sql and/or login.sql file.

-----------------------------------------------------------------------------------------------------------------------------------------

导出文本数据的建议格式:
SQL*PLUS环境设置
SET NEWPAGE NONE
SET HEADING OFF
SET SPACE 0
SET PAGESIZE 0
SET TRIMOUT ON
SET TRIMSPOOL ON
SET LINESIZE 2500
注:LINESIZE要稍微设置大些,免得数据被截断,它应和相应的TRIMSPOOL结合使用防止导出的文本有太多的尾部空格。
但是如果LINESIZE设置太大,会大大降低导出的速度,另外在WINDOWS下导出最好不要用PLSQL导出,速度比较慢,
直接用COMMEND下的SQLPLUS命令最小化窗口执行。对于字段内包含很多回车换行符的应该给与过滤,形成比较规矩的文本文件。
通常情况下,我们使用SPOOL方法,将中的表导出为文本文件的时候会采用两种方法,如下述:

方法一:采用以下格式脚本 
set colsep '|' --设置|为列分隔符   
set trimspool on   
set linesize 120   
set pagesize 2000   
set newpage 1   
set heading off  
set term off
set num 18
set feedback off   
spool 路径+文件名   
select * from tablename;   
spool off

方法二:采用以下脚本
set trimspool on   
set linesize 120   
set pagesize 2000   
set newpage 1   
set heading off   
set term off   
spool 路径+文件名   
select col1||','||col2||','||col3||','||col4||'..' from tablename;   
spool off

比较以上方法,即方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割,方法二将分隔符拼接在SELECT语句中,
即手工控制输出格式。在实践中,发现通过方法一导出来的数据具有很大的不确定性,这种方法导出来的数据再由sqlldr导入的时候
出错的可能性在95%以上,尤其对大批量的数据表,如100万条记录的表更是如此,而且导出的数据文件狂大。而方法二导出的数据文
件格式很规整,数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时,出错的可能性很小,基本
都可以导入成功。因此,实践中我建议大家使用方法二手工去控制spool文件的格式,这样可以减小出错的可能性,避免走很多弯路。


自测例:将ssrv_sendsms_task表中的数据导出到文本(数据库Oracle 9i  操作系统 SUSE LINUX Enterprise Server 9)

spool_test.sh脚本如下: 
#!/bin/sh 
DB_USER=zxdbm_ismp                               #DB USER 
DB_PWD=zxin_smap                                 #DB PASSWORD 
DB_SERV=zx10_40_43_133                           #DB SERVICE NAME

sqlplus -s $DB_USER/$DB_PWD@$DB_SERV< # -s 参数屏蔽打印到屏幕上的其他信息,只显示sql执行后从DB中查询出来的信息,过滤掉spool函数执行时在文件中写入的其他信息。
set trimspool on 
set linesize 120 
set pagesize 2000 
set newpage 1 
set heading off 
set term off 
spool promt.txt 
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool off 
EOF


执行./spool_test.sh后生成sp_test.txt,内容如下: 
83|115|1|20080307 
85|115|11|20080307 
86|115|10|20080307 
84|115|2|20080307 
6|5|14|20080307 
7|5|12|20080307 
9|5|15|20080307


注:上面自测例中,spool promt.txt中的目标生成文件promt.txt,在HP-UNX环境下的shell脚本中调用Oracle的spool函数,如果将上述逻辑代码封装为一个function,然后来调用这个function的话,则在shell脚本中最终是不会生成promt.txt文件的。只能直接执行逻辑代码,封装后则spool函数失效。
对于promt.txt在相对路径下,下面2中方法在shell环境中执行时,两者只能择一,两者并存则spool函数会失效。假设promt.txt文件生成的路径为:/home/zxin10/zhuo/batchoperate/spoolfile
方式[1] 
echo "start spool in shell.."

sqlplus -s zxdbm_ismp/zxin_smap< set pagesize 0 
set echo off feed off term off heading off trims off 
set colsep '|' 
set trimspool on 
set linesize 10000 
set trimspool on 
set linesize 120 
set newpage 1 
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt 
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off 
EOF 
echo "end.." 
方式[2] 
echo "start spool in shell.." 
cd /home/zxin10/zhuo/batchoperate/spoolfile 
sqlplus -s zxdbm_ismp/zxin_smap< set pagesize 0 
set echo off feed off term off heading off trims off 
set colsep '|' 
set trimspool on 
set linesize 10000 
set trimspool on 
set linesize 120 
set newpage 1 
spool promt.txt 
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off 
EOF 
 

转自:http://wallimn.iteye.com/blog/472182

 

sql plus set常用设置

SQL>set colsep' ';     //-域输出分隔符

SQL>set echo off;     //显示start启动的脚本中的每个sql命令,缺省为on

SQL> set echo on              //设置运行命令是是否显示语句

SQL> set feedback on;       //设置显示“已选择XX行”

SQL>set feedback off;     //回显本次sql命令处理的记录条数,缺省为on

SQL>set heading off;   //输出域标题,缺省为on

SQL>set pagesize 0;      //输出每页行数,缺省为24,为了避免分页,可设定为0。

SQL>set linesize 80;     //输出一行字符个数,缺省为80

SQL>set numwidth 12;     //输出number类型域长度,缺省为10

SQL>set termout off;     //显示脚本中的命令的执行结果,缺省为on

SQL>set trimout on;   //去除标准输出每行的拖尾空格,缺省为off

SQL>set trimspool on;  //去除重定向(spool)输出每行的拖尾空格,缺省为off

SQL>set serveroutput on; //设置允许显示输出类似dbms_output

SQL>set serveroutput on size 100000; //打开DBMS_OUTPUT,另外也将默认缓冲区大小设置得尽可能大

SQL> set timing on;          //设置显示“已用时间:XXXX”

SQL> set autotrace on;    //设置允许对执行的sql进行分析

SQL> set verify off;           //可以关闭和打开提示确认信息old 1和new 1的显示.

阅读(2354) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~