Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1179304
  • 博文数量: 259
  • 博客积分: 10
  • 博客等级: 民兵
  • 技术积分: 2518
  • 用 户 组: 普通用户
  • 注册时间: 2012-10-13 16:12
个人简介

科技改变世界,技术改变人生。

文章分类

全部博文(259)

分类: HADOOP

2015-11-04 18:22:26

近期业务需求使用ambari安装了新的hadoop群集,大概30台服务器,安装比较顺利,但是群集安装后,job运行的很慢,但可以完成,

反复查找问题,hadoop参数调整优化,代码开发检查,反复的测试,群集的本地读写能力,就是慢,

经过几天的奋战,终于找到问题的原因,竟然是有各别的datanode节点网络有问题,scp数据的时候每秒才5M,正常的话是85~110M左右,

后来dd个4G的数据,逐一排查服务器,scp scp scp,终于找到3台服务器网络问题,原来是水晶头问题,重新做了水晶头,恢复正常了。

原来40分钟的job10分钟执行完了。

记录下,提醒朋友们,hadoop部署前已经要好好检查底层的基础环境,不然就会遇到各种问题,不断的排查了。
阅读(1492) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~