pig安装_dsy851009-ChinaUnix博客

加油！qq395085498，欢迎探讨

首页　| 　博文目录　| 　关于我

dsy851009

博客访问： 2174967
博文数量： 104
博客积分： 206
博客等级：入伍新兵
技术积分： 1829
用户组：普通用户
注册时间： 2012-09-12 10:24

个人简介

效字当先，以质为本。测试开发入行十余年，辉煌过，迷茫过，持续探寻人生的激情和前进的步伐！好好生活，认真工作！

文章分类

全部博文（104）

大模型应用（1）
质量（0）
web前端（1）
Java自动化（6）
性能测试（4）
pig学习（1）
软件测试面试题（2）
持续集成（4）
软件测试（5）
测试BUG部分记录（2）
hadoop学习（13）
python学习（52）
linux学习（13）
未分配的博文（0）

文章存档

2024年（1）

2019年（2）

2018年（4）

2017年（7）

2016年（3）

2015年（14）

2014年（33）

2013年（31）

2012年（9）

我的朋友

最近访客

推荐博文

pig安装

发布时间：2014-07-22 12:25:00

一、pig官方下载地址： http://pig.apache.org ，Project — Releases 选择最新版本或者你需要的版本下载，存放到本地，本人习惯存在于这样的目录：/opt/hadoop/pig-0.13.0/二、配置环境变量 vim /etc/profile/ 增加：export PATH=$PATH:/opt/hadoop/pig-0.........【阅读全文】

阅读(2270) | 评论(1) | 转发(0)

Hadoop MapReduce篇（更新）

发布时间：2014-06-16 21:52:42

上一篇也简单提到了Hadoop中的MapReduce（下面都简写为MR）是一种分布式计算模型，起初由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce,用户只需要实现Map()和Reduce()两个函数，即可实现分布式计算，这两个函数的形参是key、value对，表示函数的输入信息.........【阅读全文】

阅读(2658) | 评论(0) | 转发(0)

hadoop基础理论篇（不断更新）

发布时间：2014-06-09 00:41:18

1、基础了解先说说Hadoop是个什么玩意儿，一个分布式系统基础架构，由apache基金会所研发，用户可以利用集群的威力高速运算和存储数据； Hadoop实现了一个分布式文件系统（Hadoop Distributed Flie Syste.........【阅读全文】

阅读(5746) | 评论(1) | 转发(0)

集群管理小工具介绍-pdsh -------转载

发布时间：2014-05-10 21:49:19

当管理数以十计或者更多的系统时，常常需要在多台机器上执行相同的命令。pdsh即可实现。首先必须在管理节点和每台目标机器上都安装pdsh软件包。pdsh可以在指定的一组机器上执行同一个命令。例如需要管理下列机器，机器名分别为srv1,srv2,srv3,srv4,srv5。命令格式如下:pdsh -w [SSH_OR_RSH]:USERNAME@srv[1,2-4,5] [COM.........【阅读全文】

阅读(2364) | 评论(0) | 转发(0)

hadoop集群垃圾回收站

发布时间：2014-04-15 10:22:03

[root@master conf]# vim /etc/hadoop/conf/core-site.xml<property> <name>fs.trash.interval</name> <value>1440</value> <description>save one day(1440 min---60*24)</description> </property>注释：value值为保存时间，默认是0，单位.........【阅读全文】

阅读(3269) | 评论(0) | 转发(0)