2011年(9)
分类: Mysql/postgreSQL
2011-03-26 11:01:17
近日有一文本文件,数据格式是以tab分割。数据量有数千万条数据,需要导入mysql数据库中,通过传统的方式进行拷贝到数据库中,需要花费很多天时间,中间也会出现很多错误,未必能导入成功。
使用:load data local infile "本地路径" into table 表名命令方式进行导入,10w条数据也只需要花费几秒钟时间,可中文无法导入。
仔细分析了一下:
建库时采用utf8编码,表也是utf8编码。对中文应该是支持的。排除数据库的问题。
只能从要导入的文本文件考虑,将其编码用ultraEdit转换编码为utf8后,进行导入,成功导入。数据也没有出现错误。