全部博文（2759）
发布时间：2013-10-24 11:47:52
部署完成Hadoop/Hbase集群之后，开始测试Sleuthkit，结果发现tpkickoff.sh运行时不断提醒zookeeper的连接错误：Session 0x0 for server。网上大部分的资料说问题出在DNS的解析上，需要去修改/etc/hosts文件，但是之前部署分布式的时候这个文件就已经设置好了，所以问题应该不是在这里。于是考虑这个奇.........【阅读全文】
发布时间：2013-10-17 08:59:32
在单机上部署好hadoop与hbase之后，现在终于要开始在集群上来部署了。一路配置下来，个人觉得其实分布式配置与单机配置差不多，但是修改了配置文件中的一些参数适应分布式。当然这只是简单地配置部署，如果真的要作为一个实际系统来使用，考虑性能稳定性等其他因素的时候当然就没有这么简单了，但是今.........【阅读全文】
发布时间：2013-10-08 00:32:34
我们接着分析，上一章节中讲到了，allocator将满足特定frameworkID的资源列表offerable，发送给了Master::offer（）函数，我们就来看看offer函数做了什么工作：点击(此处)折叠或打开void Master::offer(const FrameworkID& frameworkId, .........【阅读全文】
发布时间：2013-10-08 00:32:26
本篇我们就来介绍一下，Mesos是如何支持Hadoop计算框架的。对于Mesos的安装和配置，以及Hadoop的安装和配置，这里就不再多说，前面的博文中有详细的介绍和说明。让Hadoop支持Mesos的计算框架，其实对于Hadoop用户来讲，实现起来并不是非常的困难，但是前提是你的hadoop是MR1的，因为最新的hadoop版本基于MR2来实现的，其中.........【阅读全文】
发布时间：2013-09-29 13:27:38
有人问我，“你在大数据和Hadoop方面有多少经验？”我告诉他们，我一直在使用Hadoop，但是我处理的数据集很少有大于几个TB的。他们又问我，“你能使用Hadoop做简单的分组和统计吗？”我说当然可以，我只是告诉他们我需要看一些文件格式的例子。他们递给我一个包含600MB数据的闪盘，看起来这些数据并非样本数据，由于一.........【阅读全文】
