效字当先,以质为本。测试开发入行十余年,辉煌过,迷茫过,持续探寻人生的激情和前进的步伐!好好生活,认真工作!
发布时间:2013-11-12 18:59:20
一、环境准备阶段:假设你需要配置集群的设备有5台:分别为master,slave1,slave2,slave3,slave4;1、每台机器都创建一个账户hadoop;2、修改每台机器的主机名:/etc/sysconfig/network 如master的机器:NETWORKING=yesHOSTNAME=master(这个名字可以随便起,方便记忆)slave1:NETWORKING=yesHOSTNAME=slave1.........【阅读全文】
发布时间:2013-09-02 14:25:03
首先确定hdfs分布式文件系统目前很多大公司都在用,例如百度、腾讯、淘宝等。相信网上也有很多关于这方面的文档,我写这篇文章只是为了自己更加深刻的学习和理解,或者帮助一些不会搭建的童鞋们!有问题请加群234086986讨论!以前我搭建的是hadoop-0.20.2、hbase-0.90.4、hbase自带的zookeeper,但是经过与开发测试后,用.........【阅读全文】
发布时间:2013-09-02 13:59:23
linux平台下有个ls指令,大家都很熟悉:① ls | grep 2008 查询文件名包含2008的文件(这其实就是一个map,找到需要的数据)② ls | grep 2008 | wc -l 计算上述指令查询文件个数(这其实就是一个reduce,对找到数据进行汇总聚合) 再来一个例子,关于SQL:select * from device&nb.........【阅读全文】