ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： iOS 网络安全 H3C Java 敏捷 数据库 Hyper-V FTP
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 361 条
【HADOOP】 hadoop日常管理
hxl | 2014-10-29 11:29:13 | 阅读(0) | 评论(0)
1.查看目录[hadoop1@node1 ]$ hadoop fs -ls .    //跟目录[hadoop1@node1 ]$ hadoop fs -ls /user/hadoop1/input  //具体某个目录【阅读全文】
【HADOOP】 hadoop集群运行python mapreduce程序错误及其解决办法
dsy851009 | 2014-10-22 18:35:06 | 阅读(9830) | 评论(3)
自己用python写了个mapreduce程序，结果运行时候一直报错；运行命令：点击(此处)折叠或打开hadoop jar /usr/lib/hadoop-0.20/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -mapper /Application/lianshuchengjin/MR/map.py -reducer /Application/lianshuchengjin/MR/reduce.py -...【阅读全文】
【HADOOP】 Hadoop 伪分布式下更换默认hadoop.tmp.dir路径
圣剑蓝骑士 | 2014-10-16 22:23:37 | 阅读(2860) | 评论(0)
       hadoop.tmp.dir是hadoop文件系统依赖的基础配置，很多路径都依赖它。它默认的位置是在/tmp/{$user}下面，但是在/tmp路径下的存储是不安全的，因为linux一次重启，文件就可能被删除。           先说说,场景,在开发环境中,...【阅读全文】
【HADOOP】 基于hadoop的mapreduce理解初步
liuzan_abc | 2014-10-11 14:31:06 | 阅读(1120) | 评论(0)
     mapreduce的缺陷        (1)只能做简单的统计计算，很多复杂的算法没法表达        (2)mr的过程中做了很多无效的排序,其他的计算模型获取可以省去这些无效的计算        (3)mr启动任务需要花费时间，对于一些小当量的计算,还不如拉回...【阅读全文】
【HADOOP】 hadoop cdh5安装
gagagixi | 2014-09-29 21:06:52 | 阅读(2040) | 评论(0)
为满足公司程序运行环境，hadoop集群由原来的1.0版本升级到CDH5版本，又一次集群安装经历，分享给有需要的人。一、机器准备    Linux版本CentOs 5.8，x86_64，如果你的linux版本是6.x，也可以参照下面步骤安装；本人此次安装共准备了5台机器：192.168.32.70（master），192.168.32.71（slave...【阅读全文】
【HADOOP】 hadoop集群和网络
lorine168 | 2014-09-26 14:35:04 | 阅读(690) | 评论(0)
深入理解Hadoop集群和网络本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：2014WOT全球软件技术峰会北京站 课程视频发布 云计算和Hadoop中网络是讨论得相对比较少的领域。本文原文由Dell企业技术专家Brad He...【阅读全文】
【HADOOP】 hadoop cdh5安装
dsy851009 | 2014-09-25 16:18:28 | 阅读(19210) | 评论(2)
为满足公司程序运行环境，hadoop集群由原来的1.0版本升级到CDH5版本，又一次集群安装经历，分享给有需要的人。一、机器准备    Linux版本CentOs 5.8，x86_64，如果你的linux版本是6.x，也可以参照下面步骤安装；本人此次安装共准备了5台机器：192.168.32.70（master），192.168.32.71（slave...【阅读全文】
【HADOOP】 Hadoop ：实践环节–故意造成数据块丢失
zzjlzx | 2014-09-19 16:41:23 | 阅读(2560) | 评论(0)
Hadoop ：实践环节–故意造成数据块丢失分类： Hadoop2014-01-21 16:19 311人阅读 评论(0) 收藏 举报目录(?)[+]使用以下步骤连续杀死3个DataNode：使用下列命令重启所有节点： $ start-all.sh...【阅读全文】
【HADOOP】 Hadoop初探之Stream
niao5929 | 2014-09-11 15:04:57 | 阅读(750) | 评论(0)
一、原理        Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）        $HADOOP_HOME/...【阅读全文】
【HADOOP】 Hadoop初探之Stream
Larpenteur | 2014-09-11 11:24:30 | 阅读(900) | 评论(0)
一、原理        Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）        $HADOOP_HOME/...【阅读全文】
【HADOOP】 Hadoop初探之Stream
scq2099yt | 2014-09-10 19:14:32 | 阅读(5580) | 评论(1)
一、原理        Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本文件作为Mapper和Reducer，例如：采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reducer）        $HADOOP_HOME/...【阅读全文】
【HADOOP】 Hadoop WordCount解读
humengez | 2014-09-03 11:06:30 | 阅读(1230) | 评论(0)
转自http://a123159521.iteye.com/blog/1226924点击(此处)折叠或打开package org.frame.base.hbase.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;...【阅读全文】
【HADOOP】 Hadoop 类AggregateWordCount源代码注释
humengez | 2014-09-03 11:04:52 | 阅读(1910) | 评论(0)
点击(此处)折叠或打开package org.apache.hadoop.examples;   import java.io.IOException; import java.util.ArrayList; import java.util.StringTokenizer; import java.util.Map.Entry;  ...【阅读全文】
【HADOOP】 hadoop wordmean源码及注释
humengez | 2014-09-03 11:01:51 | 阅读(2840) | 评论(0)
wordmean是用来统计单词平均长度的程序点击(此处)折叠或打开package org.apache.hadoop.examples;//求单词长度的平均数/** * Licensed to the Apache Software Foundation (ASF) under one * or more contrib...【阅读全文】
【HADOOP】 Hadoop Streaming编程
梦醒潇湘love | 2014-08-17 13:11:35 | 阅读(2560) | 评论(0)
Hadoop Streaming编程一、概述    Hadoop Streaming是Hadoop提供的一个编程工具，它允许用户使用任何可执行文件或者脚本作为Mapper和Reducer，例如：    采用shell脚本语言中的一些命令作为mapper和reducer（cat作为mapper，wc作为reduce）$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/...【阅读全文】
【HADOOP】 Hadoop shell的学习
梦醒潇湘love | 2014-08-17 11:44:20 | 阅读(0) | 评论(0)
Hadoop shell的学习    HDFS（Hadoop Distributed Filesystem）提供一个类似于Unix Shell的命令接口FSShell，用于client和HDFS进行数据交互。调用FSShell命令的方式：        其中，$HADOOP_HOME指hadoop所在的目录。所有的FS shell命令使用URI路径作为参数。 &nbs...【阅读全文】
【HADOOP】 hadoop测试
sujianl | 2014-08-14 17:19:39 | 阅读(3000) | 评论(2)
环境：Ubuntu12.04+hadoop2.4.0,部署模式，分布式部署，2个node，1个master，一个slave。问题1、web查看节点总提示只有1个node，查询hdfs报错，http://192.168.0.55:50070/dfshemanager-banana-ThinkPad-R60.outhadoop@apple-ThinkPad-R60:/usr/local/hadoop/sbin$ hdfs dfsadmin -report14/08/14 17:07:51 WARN util....【阅读全文】
【HADOOP】 hadoop通过多硬盘降低io的一点记录
lorine168 | 2014-08-11 11:02:14 | 阅读(920) | 评论(0)
1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然必须确认slave的多块硬盘没有做任何形式的raid。二...【阅读全文】
【HADOOP】 Hadoop计算中的Shuffle过程
willick | 2014-08-07 11:38:51 | 阅读(0) | 评论(0)
Hadoop计算中的Shuffle过程作者：左坚 来源：清华万博 时间:2013-07-02 15:04:44.0　　Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反...【阅读全文】
【HADOOP】 hadoop shuffle机制中针对中间数据的排序过程详解（源代码级）
double_lq | 2014-08-05 12:41:50 | 阅读(1560) | 评论(0)
在所有公开资料中，很少有对Hadoop 中间数据的sort过程进行详细介绍的。如果想要深入了解hadoop对中间数据的排序机制，只有通过阅读源代码才能达到。而hadoop的这段代码本身具有非常大的迷惑性，如果不注意细节，很容易会发生错误的理解。 本篇文章从原理上详细介绍了hadoop针对中间数据的排序机制，并且对一些重要的源代...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务