Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2131341
  • 博文数量: 103
  • 博客积分: 206
  • 博客等级: 入伍新兵
  • 技术积分: 1819
  • 用 户 组: 普通用户
  • 注册时间: 2012-09-12 10:24
个人简介

效字当先,以质为本。

文章分类
文章存档

2019年(2)

2018年(4)

2017年(7)

2016年(3)

2015年(14)

2014年(33)

2013年(31)

2012年(9)

发布时间:2014-07-22 12:25:00

一、pig官方下载地址: http://pig.apache.org  ,Project — Releases 选择最新版本或者你需要的版本下载,存放到本地,本人习惯存在于这样的目录:/opt/hadoop/pig-0.13.0/二、配置环境变量    vim /etc/profile/       增加:export PATH=$PATH:/opt/hadoop/pig-0.........【阅读全文】

阅读(2211) | 评论(1) | 转发(0)

发布时间:2014-06-16 21:52:42

    上一篇也简单提到了Hadoop中的MapReduce(下面都简写为MR)是一种分布式计算模型,起初由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,用户只需要实现Map()和Reduce()两个函数,即可实现分布式计算,这两个函数的形参是key、value对,表示函数的输入信息.........【阅读全文】

阅读(2599) | 评论(0) | 转发(0)

发布时间:2014-06-09 00:41:18

1、基础了解        先说说Hadoop是个什么玩意儿,一个分布式系统基础架构,由apache基金会所研发,用户可以利用集群的威力高速运算和存储数据;        Hadoop实现了一个分布式文件系统(Hadoop Distributed Flie Syste.........【阅读全文】

阅读(5601) | 评论(1) | 转发(0)

发布时间:2014-05-10 21:49:19

当管理数以十计或者更多的系统时,常常需要在多台机器上执行相同的命令。pdsh即可实现。首先必须在管理节点和每台目标机器上都安装pdsh软件包。pdsh可以在指定的一组机器上执行同一个命令。例如需要管理下列机器,机器名分别为srv1,srv2,srv3,srv4,srv5。命令格式如下:pdsh -w [SSH_OR_RSH]:USERNAME@srv[1,2-4,5] [COM.........【阅读全文】

阅读(2249) | 评论(0) | 转发(0)

发布时间:2014-04-15 10:22:03

[root@master conf]# vim /etc/hadoop/conf/core-site.xml<property>        <name>fs.trash.interval</name>    <value>1440</value>    <description>save one day(1440 min---60*24)</description>  </property>注释:value值为保存时间,默认是0,单位.........【阅读全文】

阅读(3201) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

aishiyue2014-06-17 12:05

路过 学习了

回复  |  举报

dsy8510092013-08-29 16:49

电影vs程序员:学习了,留下脚印

我新手,多多支持哦~~~~

回复  |  举报

电影vs程序员2013-08-28 17:21

学习了,留下脚印

回复  |  举报
留言热议
请登录后留言。

登录 注册