Chinaunix首页 | 论坛 | 博客
  • 博客访问: 781859
  • 博文数量: 247
  • 博客积分: 166
  • 博客等级: 入伍新兵
  • 技术积分: 2199
  • 用 户 组: 普通用户
  • 注册时间: 2012-11-15 16:10
文章分类

全部博文(247)

文章存档

2017年(1)

2015年(63)

2014年(80)

2013年(94)

2012年(9)

发布时间:2014-11-02 21:53:49

转载自:http://www.cnblogs.com/beanmoon/archive/2013/01/05/2845579.html         由于hadoop主要是部署和应用在linux环境中的,但是目前鄙人自知能力有限,还无法完全把工作环境转移到linux中去(当然还有点小私心啦,windows下那么多好用的程序到linux下用不了还真有点.........【阅读全文】

阅读(1685) | 评论(0) | 转发(0)

发布时间:2014-10-16 22:23:37

       hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,但是在/tmp路径下的存储是不安全的,因为linux一次重启,文件就可能被删除。           先说说,场景,在开发环境中,.........【阅读全文】

阅读(2848) | 评论(0) | 转发(0)

发布时间:2014-10-07 22:59:21

1.hadoop的伪分布安装1.1 设置静态ip地址执行命令: setup 进入选network configuration 配置ip,子网掩码,默认网关,保存退出执行service network restart(重启网卡)验证:ifconfig1.2 设置主机名 执行命令:(1)hostname centos (仅对当前会话有效,重启则失效)     &nbs.........【阅读全文】

阅读(713) | 评论(0) | 转发(0)

发布时间:2014-04-10 18:58:27

刚刚看到一篇文章对 hadoop1 和 hadoop  2  做了一个解释 图片不错 拿来看看Hadoop 1.0[size=0.76em]从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路:首先用户程序 (Job.........【阅读全文】

阅读(794) | 评论(0) | 转发(0)

发布时间:2013-12-19 07:00:07

有人问我,“你在大数据和Hadoop方面有多少经验?”我告诉他们,我一直在使用Hadoop,但是我处理的数据集很少有大于几个TB的。他们又问我,“你能使用Hadoop做简单的分组和统计吗?”我说当然可以,我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘,看起来这些数据并非样本数据,由于一.........【阅读全文】

阅读(741) | 评论(0) | 转发(0)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册