搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS Windows cISCO 嵌入式 Oracle 数据库 ubuntu FTP

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 230 条

【HADOOP】 eclipse里无法上传文件到hadoop的解决办法

niao5929 | 2014-07-16 11:25:21 | 阅读(500) | 评论(0)

今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Pu...【阅读全文】

【HADOOP】一个经典的MapReduce模板代码,倒排索引(ReverseIndex)

ichenxiaohu | 2014-07-15 18:21:22 | 阅读(730) | 评论(0)

一个经典的MapReduce模板代码,倒排索引(ReverseIndex) 【阅读全文】

【HADOOP】 eclipse里无法上传文件到hadoop的解决办法

hxl | 2014-07-15 14:50:40 | 阅读(9840) | 评论(0)

今天部署好了eclipse在hadoop中的开发环境,在ide环境下可以浏览到hadoop上的目录和文件，但是无法创建目录和上传文件，解决办法是在hdfs-site.xml中添加红色部分的参数.[hadoop1@node1 conf]$ more hdfs-site.xml【阅读全文】

【HADOOP】自定义inputformat系列之一

double_lq | 2014-07-13 13:47:58 | 阅读(0) | 评论(0)

1. 集群测试数据 2.希望以Text，Point的格式读取数据代码如下： package yuu;import java.io.DataInput;import java.io.DataOutput;import java.io.DataOutputStream;import java.io.IOException;import java....【阅读全文】

【HADOOP】一个经典的MapReduce模板代码,倒排索引(ReverseIndex)

tingfengjushi | 2014-07-12 19:55:51 | 阅读(3440) | 评论(0)

一个经典的MapReduce模板代码,倒排索引(ReverseIndex) 【阅读全文】

【HADOOP】自定义OutputFormat系列之二

double_lq | 2014-07-12 18:29:42 | 阅读(0) | 评论(0)

在这里自定义OutputFormat,以wordCount为背景，将其中的word作为文件名保存相应信息。具体代码如下: //自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.IOException;import java.io.UnsupportedEnco...【阅读全文】

【HADOOP】自定义OutputFormat系列之一

double_lq | 2014-07-12 16:33:42 | 阅读(0) | 评论(0)

在看了WordCount实例和TextOutputFormat的源码后，决定自定义一个OutputFormat，主要实现的功能就是将WordCount的最后输出结果中的Tab空格键转换为^^^^。具体代码如下：//自定义outputFormatpackage yuu;import java.io.DataOutputStream;import java.io.I...【阅读全文】

【HADOOP】 terasort与map reduce的性能分析

shenyanxxxy | 2014-07-11 10:42:56 | 阅读(3810) | 评论(0)

bin/hadoop jar hadoop-examples-1.1.2.jar teragen 80000000 terasort/1-input对teragen产生的数据进行排序，方法如下所示：bin/hadoop jar hadoop-examples-1.1.2.jar terasort terasort/1-input terasort/1G-output1一个reduce任务在一台机器上运行。hadoop默认只开启一个reduce任务，运行完整个任务，时间在14min左...【阅读全文】

【HADOOP】 HBase的伪分布式部署

double_lq | 2014-05-21 15:40:16 | 阅读(0) | 评论(0)

HBase 全称Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。本篇要介绍下怎么部署安装Hbase的伪分布式模式，在安装hbase前，首先得保证你的hadoop环境已经安装好，并且可以正常使用，因为hbase底层存储使用的是HDFS，所以...【阅读全文】

【HADOOP】 Hbase -- 表的设计

laoliulaoliu | 2014-04-28 21:03:24 | 阅读(1400) | 评论(0)

文章来源：http://my.oschina.net/breakjoa/blog/155186本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况...【阅读全文】

【HADOOP】 ZooKeeper学习记录

linlinhust | 2014-04-28 17:02:53 | 阅读(600) | 评论(0)

起初，看了几篇文章，按照zookeeper使用和原理探究（一）所述，在一台linux服务器上搭建了包含3个server的伪集群。这个时候还没理解zk的原理，尤其是文章里说的Server、Client，后来自己琢磨加上问人，文章里的Server指的不是zk本身，而是在zk系统里创建Node的程序(服务、应用)，Client是去操作（主要是get、watch等）Serve...【阅读全文】

【HADOOP】 Sqoop工具使用(三)--把HDFS中的数据导入到Oracle

Larpenteur | 2014-04-20 11:43:09 | 阅读(1580) | 评论(0)

sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种：(1)insert mode:生成insert语句然后执行，这是默认的方式(2)update mode:生成update语句，替换数据库中的记录(3)call mode:调用存储过程处理每一条记录：Common argumentsArgument Description--connect <jdbc-uri...【阅读全文】

【HADOOP】看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

Aquester | 2014-04-19 11:33:41 | 阅读(3130) | 评论(0)

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】

【HADOOP】 SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因

Aquester | 2014-04-19 11:00:10 | 阅读(5600) | 评论(0)

该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析

niao5929 | 2014-04-18 22:17:45 | 阅读(940) | 评论(0)

Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.4.0是data目录，实际上这个信息已经由...【阅读全文】

【HADOOP】启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析

Aquester | 2014-04-17 19:55:26 | 阅读(14780) | 评论(2)

【HADOOP】 “hdfs dfs -ls”命令的使用

Aquester | 2014-04-17 18:58:34 | 阅读(3780) | 评论(0)

“hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“hdfs dfs -ls”要求默认端口为8020，如果配置成9000，则需要指定端口号，否则不用指定端口，...【阅读全文】

【HADOOP】 Sqoop工具使用(三)--把HDFS中的数据导入到Oracle

hexel | 2014-04-17 11:39:01 | 阅读(9080) | 评论(0)

【HADOOP】 Storm的wordCounter计数器详解

Aquester | 2014-03-31 22:56:37 | 阅读(5100) | 评论(0)

原文：http://www.maoxiangyi.cn/index.php/archives/362作者：毛祥溢发布：2013-08-26 18:19 分类：BigData, Storm 阅读：676次抢沙发 Storm的wordCounter计数器详解，这篇文章主要是介绍原理和实现 Demo拓扑package cn.jd.storm; import...【阅读全文】

首页
<<
2
3
4
5
6
7
8
9
10
11
>>
末页

网络110 报警服务