Chinaunix首页 | 论坛 | 博客
  • 博客访问: 5590343
  • 博文数量: 1638
  • 博客积分: 18684
  • 博客等级: 上将
  • 技术积分: 15237
  • 用 户 组: 普通用户
  • 注册时间: 2010-06-02 10:28
文章分类

全部博文(1638)

文章存档

2021年(13)

2020年(43)

2019年(27)

2018年(44)

2017年(50)

2016年(47)

2015年(15)

2014年(21)

2013年(43)

2012年(143)

2011年(228)

2010年(263)

2009年(384)

2008年(246)

2007年(30)

2006年(38)

2005年(2)

2004年(1)

分类: LINUX

2011-06-27 10:31:07

1.下载

2.下载

3.解压 2

4.复制3里hadoop-core-0.20.2-CDH3B4.jar到sqoop的lib下

5.在某处复制mysql-connector-java-5.1.10.jar到sqoop的lib下

6.修改configure-sqoop

注释掉hbase zookeeper检查:
#if [ ! -d "${HBASE_HOME}" ]; then
# echo “Error: $HBASE_HOME does not exist!”
# echo ‘Please set $HBASE_HOME to the root of your HBase installation.’
# exit 1
#fi
#if [ ! -d "${ZOOKEEPER_HOME}" ]; then
# echo “Error: $ZOOKEEPER_HOME does not exist!”
# echo ‘Please set $ZOOKEEPER_HOME to the root of your ZooKeeper installation.’
# exit 1
#fi

7.运行:
列出mysql所有的表:

./sqoop list-tables –connect jdbc:mysql://127.0.0.1/operation –username root –password 123

导入mysql表到hive:

./sqoop import –connect jdbc:mysql://192.168.100.52/operation –username root –password 3487e498770b9740086144fc03140876 –table active_uuid –hive-import

导入需要表里有主建,还要注意不要使用127.0.0.1,因为map出去不一定在哪个节点执行。

如果曾经执行失败过,那再执行的时候,会有错误提示:

ERROR tool.ImportTool: Encountered IOException running import job: org.apache.hadoop.mapred.FileAlreadyExist***ception: Output directory xxx already exists

执行 $HADOOP_HOME/bin/hadoop fs -rmr xxx 即可

8.验证:

bin/hive
show tables;多了一个表

9.经验:
sqoop做了一些mysqldump时的map reduce,所以速度会比单纯的dump后load快。

 

转:

阅读(1420) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~