Chinaunix首页 | 论坛 | 博客
  • 博客访问: 513644
  • 博文数量: 102
  • 博客积分: 950
  • 博客等级: 准尉
  • 技术积分: 1094
  • 用 户 组: 普通用户
  • 注册时间: 2010-07-28 16:07
文章分类

全部博文(102)

文章存档

2020年(2)

2016年(5)

2015年(15)

2014年(25)

2013年(18)

2012年(19)

2011年(18)

我的朋友

发布时间:2016-08-19 15:29:22

http://ama2000.iteye.com/blog/1290763注意转义注意mapper 和 reducer 不能用head ,more 等中断后续数据处理的程序,直接的命令行 不支持管道关于管道:不要在streaming里mapper和reducer中使用管道,会出现”java.io.IOException: Broken pipe”错误。关于程序文件:如果使用的是非she.........【阅读全文】

阅读(1743) | 评论(0) | 转发(0)

发布时间:2014-05-07 12:06:09

    jstat看内存分配对象,内存区域的状况 首先在young Genaration ,然后 Old Genaration。   持久层存放的是各自类,不会变化的东西   Eden -》From-》To 对象拷贝15次会   大的对象直接放到Old Genaration 分配线程和上层应用同时进行 .........【阅读全文】

阅读(1026) | 评论(0) | 转发(0)

发布时间:2014-04-27 18:13:16

grep -r deprecated ~/hadoop/bin//home/hd/hadoop/bin/hadoop-config.sh:  echo "Warning: \$HADOOP_HOME is deprecated." 1>&2于这个警告问题,解决方法如下: 1.注释掉hadoop-config.sh里的上面给出的这段if fi配置(不推荐)2.在当前用户home/.bash_profile里增加一个环境变量:expor.........【阅读全文】

阅读(1638) | 评论(0) | 转发(0)

发布时间:2014-04-27 17:54:25

1. 总的默认的Xmx是1000M    在hadoop启动脚本里    JAVA_HEAP_MAX=-Xmx1000m2. 改 这个文件也可以改总的Xmx ~/hadoop/conf/hadoop-env.sh    # The maximum amount of heap to use, in MB. Default is 1000.   # export HADOOP.........【阅读全文】

阅读(1502) | 评论(0) | 转发(0)

发布时间:2014-04-27 17:29:16

一定注意整个hadoop相关系统的编码,统一使用UTF-8 ,否则你会遇到很多麻烦,无论是导入hadoop集群还是hive查询还是sqoop等导出、导入都会碰到编码问题。hive命令文件$HIVE_HOME/bin/hive里加入:点击(此处)折叠或打开export LANG=en_US.UTF-8export HADO.........【阅读全文】

阅读(1027) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

flb_20012010-09-25 07:52

回复  |  举报
留言热议
请登录后留言。

登录 注册