hadoop集群运行python mapreduce程序错误及其解决办法

加油！

首页　| 　博文目录　| 　关于我

dsy851009

博客访问： 2136894
博文数量： 103
博客积分： 206
博客等级：入伍新兵
技术积分： 1819
用户组：普通用户
注册时间： 2012-09-12 10:24

个人简介

效字当先，以质为本。

文章分类

全部博文（103）

质量（0）
web前端（1）
Java自动化（6）
性能测试（4）
pig学习（1）
软件测试面试题（2）
持续集成（4）
软件测试（5）
测试BUG部分记录（2）
hadoop学习（13）
python学习（52）
linux学习（13）
未分配的博文（0）

文章存档

2019年（2）

2018年（4）

2017年（7）

2016年（3）

2015年（14）

2014年（33）

2013年（31）

2012年（9）

我的朋友

最近访客

推荐博文

hadoop集群运行python mapreduce程序错误及其解决办法

发布时间：2014-10-22 18:35:06

自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -.........【阅读全文】

阅读(9833) | 评论(3) | 转发(1)

正则中的sub用法---Python小例子

发布时间：2014-10-16 00:20:49

需求：把字符串"http://item.taobao.com/item.htm?spm=a1z10.3.w4002-974223810.27.dWFJGI&id=41266236365" 转换为http://item.taobao.com/item.htm?id=41266236365就是把中间的spm=a1z10.3.w4002-974223810.27.dWFJGI&去掉；代码：点击(此处)折叠或打开import re.........【阅读全文】

阅读(2352) | 评论(0) | 转发(0)

软件测试面试---如何理解自动化测试等

发布时间：2014-10-10 01:06:29

下面是阿里的一个面试，当然很多公司都会问到。下面都是个人观点，仅供讨论使用，希望各位多多回复，交流下。一、如何理解自动化测试？工作中做任何事情首先问问你做的目的，自动化测试能给你的测试工作带来什么，目前认识的几点：1、重复冗余的操作步骤，最常见的是回归测试，当你同一个动作.........【阅读全文】

阅读(9765) | 评论(0) | 转发(1)

hadoop cdh5安装

发布时间：2014-09-25 16:18:28

为满足公司程序运行环境，hadoop集群由原来的1.0版本升级到CDH5版本，又一次集群安装经历，分享给有需要的人。一、机器准备 Linux版本CentOs 5.8，x86_64，如果你的linux版本是6.x，也可以参照下面步骤安装；本人此次安装共准备了5台机器：192.168.32.70（master），192.168.32.71（slave.........【阅读全文】

阅读(19207) | 评论(2) | 转发(1)

安装hive 运行show tables命令时报错

发布时间：2014-09-11 14:36:48

错误：hive> show tables; FAILED: Error in metadata: MetaException(message:Got exception: javax.jdo.JDODataStoreException An exception was thrown while adding/validating class(es) : Specified key was too long;.........【阅读全文】

阅读(6352) | 评论(0) | 转发(0)