3.LOAD TABLE多线程装载方式及使用
IQ中装载数据的最快方法是使用LOAD TABLE,而在执行期间分为单线程装载和多线程装载两种方式。多线程装载的速度要快与单线程装载,特别是对于宽表(即表的所有字段长度相加,其值越大表明表越宽)的性能提升。
采用多线程装载需要具备两个条件:
(1) 数据文件中记录行的最后一个字段值的后面也需要有列分割符
(2) LOAD TABLE语句需要改写
下面,结合一个例子说明多线程装载。
--数据文件片段,custmer.dat
1000000|Haskell|Molland|M|1937 W 169th St|Columbia|MO|65201494|3144743086|
1000001|Carter |Ilmonen|M|21314 Lassen St|Chamblee|GA|30341054|4044553649|
......
说明:上面是customer.dat数据文件的片段,我们看到每行记录的最后一个字段值的后面也跟有列分割符('|')
--load table语句
LOAD TABLE customer
(
customer_key '|' ,
customer_first_name '|' ,
state '|' ,
postal_code '|' ,
phone_number '|'
)
FROM 'c:\load\customer.dat'
ESCAPES OFF
QUOTES OFF
NOTIFY 100000
ROW DELIMITED BY '\n'
WITH CHECKPOINT ON;
阅读(2768) | 评论(0) | 转发(0) |