雄关漫道真如铁，而今迈步从头越。
全部博文（348）
发布时间：2015-04-20 14:32:52
博主在安装HBase1.0的过程中参考了很多网上的资料进行配置安装，得到的一个结论就是太坑嗲了，按照我看到的所有安装部署文档都走了一遍都存在这样或者那样的问题，最后浪费了大把的时间也没有搞定。建议后来者在搭建HBase分布式环境时多参考一下官方资料或者按照我整理的文档进行搭建（注释：以下操作步骤博主均默认为您已经完成hadoop和zookeeper安装和配置，若没有完成请参考博主大数据专栏的hadoop和zookeeper的安装博文进行搭建后再实施hbase的相关部署工作）。......【阅读全文】
发布时间：2015-04-17 17:29:44
为了满足监管和企业发展的需求，我们的核心业务系统需要实现对资金流水进行实时监控并对数据进行实时的异地保存，所以我们迫切需要一种实时数据复制和同步的方案来解决目前遇到的问题。经过对比测试选择了IBM的CDC数据实时复制和同步解决方案。由于CDC软件由厂商进行部署，所以本文的重点在于讲解在上线CDC后实施数据库变更操作的思路和方法而非安装指导之类的问题......【阅读全文】
发布时间：2015-04-11 23:11:53
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。其是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。
我们知道再使用Hadoop的另一个组件NoSQL数据库Hbase时需要ZooKeeper作为协调，所以在本文中我们需要先安装ZooKeeper.OK话不多说，下面那么我们就来看一下如何一步一步的按装、配置zookeeper~......【阅读全文】
发布时间：2015-04-09 12:03:46
Hadoop2.0之后的版本的Shell命令与之前的版本存在很大差异，所以在适应旧版本的管理模式之后，再使用新版本的hadoop会让很多运维工程师感到沮丧。本文旨在解决和分享hadoop2.0之后的相关hadoop的shell管理命令。虽然hadoop在2.0之后其管理命令出现了一些一些变化但是大多数dfs shell命令的行为和Unix Shell命令是类似的。所以只要我们理解了其工作的原理，当我们再使用新版的hadoop时也不会感到太多的困惑和不便。对于其与Unix shell的不同之处会在下面介绍各命令使用详情时指出。......【阅读全文】
发布时间：2015-04-08 17:32:36
本博文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令，在此分享出来供大家参考学习~博主也是刚刚接触hadoop不久，如有问题欢迎批评指正~非常感谢......【阅读全文】
