全部博文（247）
发布时间：2014-11-02 21:53:49
转载自：http://www.cnblogs.com/beanmoon/archive/2013/01/05/2845579.html 由于hadoop主要是部署和应用在linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还真有点.........【阅读全文】
发布时间：2014-10-16 22:23:37
hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。 先说说,场景,在开发环境中,.........【阅读全文】
发布时间：2014-10-07 22:59:21
1.hadoop的伪分布安装1.1 设置静态ip地址执行命令: setup 进入选network configuration 配置ip，子网掩码，默认网关，保存退出执行service network restart（重启网卡）验证:ifconfig1.2 设置主机名 执行命令:(1)hostname centos （仅对当前会话有效，重启则失效） &nbs.........【阅读全文】
发布时间：2014-04-10 18:58:27
刚刚看到一篇文章对 hadoop1 和 hadoop 2 做了一个解释 图片不错 拿来看看Hadoop 1.0[size=0.76em]从上图中可以清楚的看出原 MapReduce 程序的流程及设计思路：首先用户程序 (Job.........【阅读全文】
发布时间：2013-12-19 07:00:07
有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是我处理的数据集很少有大于几个TB的。他们又问我，“你能使用Hadoop做简单的分组和统计吗？”我说当然可以，我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘，看起来这些数据并非样本数据，由于一.........【阅读全文】
