用bcp命令装载SQL SERVER大量txt文本数据！

bcp命令是SQL Server提供的一个快捷的数据导入导出工具。使用它不需要启动任何图形管理工具就能以高效的方式导入导出数据。bcp是SQL Server中负责导入导出数据的一个命令行工具，它是基于DB-Library的，并且能以并行的方式高效地导入导出大批量的数据。bcp可以将数据库的表或视图直接导出，也能通过SELECT FROM语句对表或视图进行过滤后导出。在导入导出数据时，可以使用默认值或是使用一个格式文件将文件中的数据导入到数据库或将数据库中的数据导出到文件中.

　　1. bcp的主要参数介绍

　　bcp共有四个动作可以选择。
(1) 导入。
这个动作使用in命令完成，后面跟需要导入的文件名。
(2) 导出。
这个动作使用out命令完成，后面跟需要导出的文件名。
(3) 使用SQL语句导出。
这个动作使用queryout命令完成，它跟out类似，只是数据源不是表或视图名，而是SQL语句。
(4) 导出格式文件。
这个动作使用format命令完成，后而跟格式文件名。
下面介绍一些常用的选项：
-f format_file
format_file表示格式文件名。这个选项依赖于上述的动作，如果使用的是in或out，format_file表示已经存在的格式文件，如果使用的是format则表示是要生成的格式文件。
-x
这个选项要和-f format_file配合使用，以便生成xml格式的格式文件。
-F first_row
指定从被导出表的哪一行导出，或从被导入文件的哪一行导入。
-L last_row
指定被导出表要导到哪一行结束，或从被导入文件导数据时，导到哪一行结束。
-c
使用char类型做为存储类型，没有前缀且以"\t"做为字段分割符，以"\n"做为行分割符。
-w
和-c类似，只是当使用Unicode字符集拷贝数据时使用，且以nchar做为存储类型。
-t field_term
指定字符分割符，默认是"\t"。
-r row_term
指定行分割符，默认是"\n"。
-S server_name[ \instance_name]
指定要连接的SQL Server服务器的实例，如果未指定此选项，bcp连接本机的SQL Server默认实例。如果要连接某台机器上的默认实例，只需要指定机器名即可。
-U login_id
指定连接SQL Sever的用户名。
-P password
指定连接SQL Server的用户名密码。
-T
指定bcp使用信任连接登录SQL Server。如果未指定-T，必须指定-U和-P。
-k
指定空列使用null值插入，而不是这列的默认值。

　　2. 如何使用bcp导出数据

　　(1) 使用bcp导出整个表或视图。

　　bcp AdventureWorks.sales.currency out c:\currency1.txt -c -U"sa" -P"password" --使用密码连接或bcp AdventureWorks.sales.currency out c:\currency1.txt -c -T --使用信任连接
　　下面是上述命令执行后的输出结果
　　Starting copy...
　　105 rows copied.
　　Network packet size (bytes): 4096
　　Clock Time (ms.) Total : 10 Average : (10500.00 rows per sec.)
　　下面是currency1.txt的部分内容
　　AED Emirati Dirham 1998-06-01 00:00:00.000
　　AFA Afghani 1998-06-01 00:00:00.000
　　... ... ...
　　... ... ...
　　ZWD Zimbabwe Dollar 1998-06-01 00:00:00.000
　　在使用密码登录时需要将-U后的用户名和-P后的密码加上双引号。
　　注：bcp除了可以在控制台执行外，还可以通过调用SQL Server的一个系统存储过程xp_cmdshell以SQL语句的方式运行bcp。如上述第一条命令可改写为
　　EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency out c:\currency1.txt -c -U"sa" -P"password"'
　　执行xp_cmdshell后，返回信息以表的形式输出。为了可以方便地在SQL中执行bcp，下面的命令都使用xp_cmdshell执行bcp命令。

　　(2) 对要导出的表进行过滤。

　　bcp不仅可以接受表名或视图名做为参数，也可以接受SQL做为参数。通过SQL语句可以对要导出的表进行过滤，然后导出过滤后的记录。
　　EXEC master..xp_cmdshell 'bcp "SELECT TOP 20 * FROM AdventureWorks.sales.currency" queryout c:\currency2.txt -c -U"sa" -P"password"'
　　bcp还可以通过简单地设置选项对导出的行进行限制。
　　这条命令使用了两个参数-F 10和-L 13，表示从SE
　　EXEC master..xp_cmdshell 'bcp "SELECT TOP 20 * FROM AdventureWorks.sales.currency" queryout c:\currency2.txt -F 10 -L 13 -c -U"sa" -P"password"'
LECT TOP 20 * FROM AdventureWorks.sales.currency所查出来的结果中取第10条到13条记录进行导出。

　　3. 如何使用bcp导出格式文件

　　bcp不仅可以根据表、视图导入导出数据，还可以配合格式文件对导入导出数据进行限制。格式文件以纯文本文件形式存在，分为一般格式和xml格式。用户可以手工编写格式文件，也可以通过bcp命令根据表、视图自动生成格式文件。
　　EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency format nul -f c:\currency_format1.fmt -c -T'
　　上述命令将currency表的结构生成了一个格式文件currency_format1.fmt，下面是这个格式文件的内容。
9.0
3
1 SQLCHAR 0 6 "\t" 1 CurrencyCode SQL_Latin1_General_CP1_CI_AS
2 SQLCHAR 0 100 "\t" 2 Name SQL_Latin1_General_CP1_CI_AS
3 SQLCHAR 0 24 "\r\n" 3 ModifiedDate
　　这个格式文件记录了这个表的字段（共3个字段）类型、长度、字符和行分割符和字段名等信息。
bcp还可以通过-x选项生成xml格式的格式文件。
　　EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency format nul -f c:\currency_format2.fmt -x -c -T'
　　xml格式文件所描述的内容和普通格式文件所描述的内容完全一样，只是格式不同。

　　4. 如何使用bcp导入数据

　　bcp可以通过in命令将上面所导出的currency1.txt和currency2.txt再重新导入到数据库中，由于currency有主键，因此我们将复制一个和currency的结构完全一样的表。
　　SELECT TOP 0 * INTO AdventureWorks.sales.currency1 FROM AdventureWorks.sales.currency
　　将数据导入到currency1表中
　　EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency1 in c:\currency1.txt -c -T'
　　导入数据也同样可以使用-F和-L选项来选择导入数据的记录行。
　　EXEC master..xp_cmdshell 'bcp AdventureWorks.sales.currency1 in c:\currency1.txt -c -F 10 -L 13 -T'
　　在导入数据时可以根据已经存在的格式文件将满足条件的记录导入到数据库中，不满足则不导入。如上述的格式文件中的第三个字段的字符长度是24，如果某个文本文件中的相应字段的长度超过24，则这条记录将不被导入到数据库中，其它满足条件的记录正常导入。

 

 

例如，Northwind 数据库内有表 Jane's Orders，该表由用户 Jane Doe 所拥有。若要使用登录 Jane Doe 和密码 go dba 将该表从 Northwind 数据库大容量复制到 Orders.txt 文件，请执行下列命令之一：

 

bcp "Northwind.Jane Doe.Jane's Orders" out "Jane's Orders.txt" -c -q -U"Jane Doe" -P"go dba"

bcp "Northwind.[Jane Doe].[Jane's Orders]" out "Jane's Orders.txt" -c -U"Jane Doe" -P"go dba"

若要指定包含空格或引号的数据库名称，必须使用 -q 选项。

 

 

 

 

在本地数据库测试成功的语句：

userinfo.txt的文件格式：

....
wangshigeyao|XXXXXX?

....

 

bcp dwdb.dbo.test in userinfo.txt -c -t"|" -q -S"ADVIL\SQLEXPRESS" -T

 

运行结果：

 

总结：

 

 a.数据库设置要允许远程调用。

 b.用户对表具有权限，而且具有远程登陆的权限。

 

  如下图所示，单击服务器右键->属性,  

 

选择安全性，选择SQL Server和Windows身份验证模式(S)：->确定

 

c.参数要指定 -c -t -S -T（具体的含义请参考以上的文章）

 d.注意测试语句的提示。