ChinaUnix首页 | 论坛 | 博客
博客首页 博客专家 往日推荐 博客文集
热搜： 系统运维 C++ 敏捷 Oracle LINUX 高性能 信息 移动开发
博客首页 〉搜索结果
按类别查询搜索结果
操作系统 程序设计 数据库 热点技术 综合 架构与运维 移动开发与应用 Web前端
关于关键词 的检测结果，共 82 条
【HADOOP】 Hadoop MapReduce二次排序原理
double_lq | 2014-08-01 10:22:10 | 阅读(0) | 评论(0)
关于二次排序主要涉及到以下几个东西：在0.20.2以前使用的是：   setPartitionerClass  setOutputKeyComparatorClass  setOutputValueGroupingComparator在0.20.2及以后使用的是：  job.setPartitionerClass();  job.setSortComparatorClass();  job.setGroupingComparatorCl...【阅读全文】
【HADOOP】 Hadoop框架排序和分组的理解
double_lq | 2014-07-21 13:15:59 | 阅读(0) | 评论(0)
MapReduce框架会确保每一个Reducer的输入都是按Key进行排序的。一般，将排序以及Map的输出传输到Reduce的过程称为混洗（shuffle)。每一个Map都包含一个环形的缓存，默认100M，Map首先将输出写到缓存当中。当缓存的内容达到“阈值”时（阈值默认的大小是缓存的80%），一个后台线程负责将结果写到硬盘，这个过程称为“spill”...【阅读全文】
【HADOOP】 在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数
double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)
最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】
【HADOOP】 eclipse里无法上传文件到hadoop的解决办法
niao5929 | 2014-07-16 11:25:21 | 阅读(500) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...【阅读全文】
【HADOOP】 eclipse里无法上传文件到hadoop的解决办法
hxl | 2014-07-15 14:50:40 | 阅读(9830) | 评论(0)
今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml【阅读全文】
【HADOOP】 深入理解Hadoop集群和网络
zzjlzx | 2014-07-14 10:41:26 | 阅读(1560) | 评论(0)
深入理解Hadoop集群和网络2012-11-08 14:47 Brad Hedlund csdn 字号：T | T本文将着重于讨论Hadoop集群的体系结构和方法，及它如何与网络和服务器基础设施的关系。最开始我们先学习一下Hadoop集群运作的基础原理。AD：WOT2014：用户标签系统与用户...【阅读全文】
【HADOOP】 hadoop基础理论篇（不断更新）
dsy851009 | 2014-06-09 00:41:18 | 阅读(5640) | 评论(1)
1、基础了解        先说说Hadoop是个什么玩意儿，一个分布式系统基础架构，由apache基金会所研发，用户可以利用集群的威力高速运算和存储数据；        Hadoop实现了一个分布式文件系统（Hadoop Distributed Flie Syste...【阅读全文】
【HADOOP】 集群管理小工具介绍-pdsh -------转载
dsy851009 | 2014-05-10 21:49:19 | 阅读(2260) | 评论(0)
当管理数以十计或者更多的系统时，常常需要在多台机器上执行相同的命令。pdsh即可实现。首先必须在管理节点和每台目标机器上都安装pdsh软件包。pdsh可以在指定的一组机器上执行同一个命令。例如需要管理下列机器，机器名分别为srv1,srv2,srv3,srv4,srv5。命令格式如下:pdsh -w [SSH_OR_RSH]:USERNAME@srv[1,2-4,5] [COM...【阅读全文】
【HADOOP】 看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考
Aquester | 2014-04-19 11:33:41 | 阅读(3120) | 评论(0)
为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】
【HADOOP】 查看HDFS集群信息
Aquester | 2014-04-19 10:42:14 | 阅读(3530) | 评论(0)
clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】
【HADOOP】 hadoop 工作原理
吟风_骋 | 2014-04-09 19:22:46 | 阅读(0) | 评论(0)
hadoop 工作原理【阅读全文】
【HADOOP】 Hadoop并行计算原理与分布式并发编程
吟风_骋 | 2014-04-09 16:59:36 | 阅读(0) | 评论(0)
Hadoop并行计算原理与分布式并发编程
【阅读全文】
【HADOOP】 mapreduce理解--（转载自heipark的日志）
buaaedifier | 2014-01-26 22:55:18 | 阅读(2600) | 评论(0)
linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008   查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合） 再来一个例子，关于SQL：select * from device&nb...【阅读全文】
【HADOOP】 Hadoop添加节点datanode
zzjlzx | 2013-11-28 15:21:41 | 阅读(1110) | 评论(0)
Hadoop添加节点datanode 浏览(2607)|评论(0)   交流分类：Java|笔记分类: hadoop 1.部署hadoop和普通的datanode一样。安装jdk，ssh2.修改host和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves添加新增...【阅读全文】
【HADOOP】 增加Hadoop datanode启动异常：UnregisteredDatanodeException datanode没全启动起来
zzjlzx | 2013-11-28 15:19:44 | 阅读(1150) | 评论(0)
 Hadoop启动异常：UnregisteredDatanodeException datanode没全启动起来分类： hadoop2013-03-04 16:17 199人阅读 评论(0) 收藏 举报启动Hadoop集群测试HBase时候，发现三台DataNode只启动成功了两台，未启动成功的那一台日志中出现了下列异常： 写...【阅读全文】
【HADOOP】 协同推荐相关资料
jiangwen127 | 2013-11-13 14:50:26 | 阅读(2560) | 评论(0)
http://blog.fens.me/hadoop-mapreduce-recommend/用Hadoop构建电影推荐系统，其中包括Netflix的数据下载【阅读全文】
【HADOOP】 DataNode,NameNode,JobTracker,TaskTracker用jps查看无法启动解决办法
double_lq | 2013-10-15 16:32:48 | 阅读(4120) | 评论(0)
将hadoop伪分布模式配置完后，使用jps查看，发现总是有一些没有启动，非常郁闷，在多番研究后发现有两个原因，一个是在/tmp目录下有以前使用的版本留下的文件没有删除，二个是因为端口被占用了解决方法：一.删除/tmp下的所有文件       hadoop@liuqin-VirtualBox:~$ ...【阅读全文】
【HADOOP】 mapreduce理解--（转载自heipark的日志）
dsy851009 | 2013-09-02 13:59:23 | 阅读(2140) | 评论(0)
linux平台下有个ls指令，大家都很熟悉：① ls | grep 2008   查询文件名包含2008的文件（这其实就是一个map，找到需要的数据）② ls | grep 2008 | wc -l 计算上述指令查询文件个数（这其实就是一个reduce，对找到数据进行汇总聚合） 再来一个例子，关于SQL：select * from device&nb...【阅读全文】
【HADOOP】 Hadoop安装手册4-添加与删除Hadoop节点
houselong | 2013-08-08 09:39:00 | 阅读(470) | 评论(0)
3、HDFS添加节点现有环境如下：192.168.30.203 hdnode1192.168.30.204 hdnode2192.168.30.205 hdnode3其中hdnode1是namenode，hdnode2和hdnode3是datanode我们要新增加两个datanode：192.168.30.206 hdnode4192.168.30.207 hdnode5那...【阅读全文】
【HADOOP】 中联办主任：“占领中环”会害了香港年轻人
cie938sds | 2013-07-17 10:10:04 | 阅读(120) | 评论(0)
中联办主任张晓明　　中新社香港7月16日电 (记者 赵建华)中央人民政府驻香港特别行政区联络办公室(中联办)主任张晓明16日说，坚决反对“占领中环”行动。　　作出上述之前，这位中联办负责人刚刚出席了香港立法会午宴。这也是香港特区成立16年来，中联办负责人和立法会各派别议员的第一次聚会。　　宴会结束后...【阅读全文】

盛拓传媒简介 | 关于IT168 | 合作伙伴 | 广告服务 | 使用条款 | 投稿指南 | 诚聘精英 | 联系我们 | 法律声明 | 网站导航 | 往日回顾

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年人举报专区
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员

网络110 报警服务