效字当先，以质为本。
发布时间：2017-11-27 18:30:31
最近有个需求，就是对视频日志中的部分URL提取出来，并随机挑选五条。由于线上日志比较大，而且需要每天执行一次，如果单纯的用python即便是多线程性能也会大大折扣。于是考虑到用hadoop的MR去实现。准备工作：1、hadoop集群；2、mapper和reducer划分；初步把提取url的操作划分为mapper中执行，随机挑选5条由reducer去.........【阅读全文】
发布时间：2015-08-08 21:48:36
本来想着很简单的一个安装，结果花费了一天时间才搞定，中间遇到很多问题，最终安装成功，记录下。
安装步骤简单说下(网上有很多安装详细步骤，这里不详细说明，主要是中间的问题解决)：
一、安装jdk1.7，配置环境变量；
二、下载cygwin并安装，记得记得选择openssh包的安装；
三、配置ssh；......【阅读全文】
发布时间：2014-10-22 18:35:06
自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -.........【阅读全文】
发布时间：2014-09-25 16:18:28
为满足公司程序运行环境，hadoop集群由原来的1.0版本升级到CDH5版本，又一次集群安装经历，分享给有需要的人。一、机器准备 Linux版本CentOs 5.8，x86_64，如果你的linux版本是6.x，也可以参照下面步骤安装；本人此次安装共准备了5台机器：192.168.32.70（master），192.168.32.71（slave.........【阅读全文】
发布时间：2014-09-11 14:36:48
错误：hive> show tables; FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validating class(es) : Specified key was too long;.........【阅读全文】
