ChinaUnix首页
|
论坛
|
博客
博客首页
博客专家
往日推荐
博客文集
博文
博主
热搜:
Windows
存储
.net
C语言
C++
LINUX
HADOOP
移动开发
博客首页 〉
搜索结果
按类别查询搜索结果
操作系统
程序设计
数据库
热点技术
综合
架构与运维
移动开发与应用
Web前端
LINUX
|
BSD
|
WINDOWS
|
其他UNIX
|
AIX
|
SOLARIS
|
C/C++
|
Java
|
Python/Ruby
|
项目管理
|
Web开发
|
嵌入式
|
C#/.net
|
PHP
|
Delphi
|
PERL
|
Erlang
|
Verilog
|
敏捷开发
|
Mysql/postgreSQL
|
Oracle
|
DB2/Informix
|
Sybase
|
数据库开发技术
|
SQLite/嵌入式数据库
|
SQLServer
|
NOSQL
|
虚拟化
|
云计算
|
大数据
|
HADOOP
|
高性能计算
|
IT业界
|
IT职场
|
信息化
|
网络与安全
|
系统运维
|
服务器与存储
|
架构设计与优化
|
Android平台
|
iOS平台
|
Windows平台
|
其他平台
|
Html/Css
|
JavaScript
|
jQuery
|
HTML5
|
关于关键词 的检测结果,共
194
条
【HADOOP】
一个经典
的
MapReduce模板代码,倒排索引(ReverseIndex)
tingfengjushi
| 2014-07-12 19:55:51 | 阅读(3440) | 评论(0)
一个经典的MapReduce模板代码,倒排索引(ReverseIndex)
【阅读全文】
【HADOOP】
terasort与map reduce
的
性能分析
shenyanxxxy
| 2014-07-11 10:42:56 | 阅读(3820) | 评论(0)
bin/hadoop jar hadoop-examples-1.1.2.jar teragen 80000000 terasort/1-input对teragen产生的数据进行排序,方法如下所示:bin/hadoop jar hadoop-examples-1.1.2.jar terasort terasort/1-input terasort/1G-output1一个reduce任务在一台机器上运行。hadoop默认只开启一个reduce任务,运行完整个任务,时间在14min左...
【阅读全文】
【HADOOP】
HBase
的
伪分布式部署
double_lq
| 2014-05-21 15:40:16 | 阅读(0) | 评论(0)
HBase 全称Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 本篇要介绍下怎么部署安装Hbase的伪分布式模式,在安装hbase前,首先得保证你的hadoop环境已经安装好,并且可以正常使用,因为hbase底层存储使用的是HDFS,所以...
【阅读全文】
【HADOOP】
Hbase -- 表
的
设计
laoliulaoliu
| 2014-04-28 21:03:24 | 阅读(1420) | 评论(0)
文章来源:http://my.oschina.net/breakjoa/blog/155186本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容:表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况...
【阅读全文】
【HADOOP】
Sqoop工具使用(三)--把HDFS中
的
数据导入到Oracle
Larpenteur
| 2014-04-20 11:43:09 | 阅读(1580) | 评论(0)
sqoop export工具把HDFS中的数据导入到rdbms系统中,实现方式有三种:(1)insert mode:生成insert语句然后执行,这是默认的方式(2)update mode:生成update语句,替换数据库中的记录(3)call mode:调用存储过程处理每一条记录:Common argumentsArgument Description--connect <jdbc-uri...
【阅读全文】
【HADOOP】
看两种截然不同
的
设计理念:分布式文件系统支持大和小文件
的
思考
Aquester
| 2014-04-19 11:33:41 | 阅读(3130) | 评论(0)
为何Google GFS设计成对大文件友好,而像腾讯的TFS(Tencent File System)和淘宝的TFS(Taobao File System)却设计成对小文件友好了?这一点非常好理解,两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗?答案是否。实际中TFS也在努力支持大文件,GFS也要支持小文件。...
【阅读全文】
【HADOOP】
SecondaryNameNode中
的
“Inconsistent checkpoint fields”错误原因
Aquester
| 2014-04-19 11:00:10 | 阅读(5620) | 评论(0)
该错误原因,可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon...
【阅读全文】
【HADOOP】
查看HDFS集群
信
息
Aquester
| 2014-04-19 10:42:14 | 阅读(3550) | 评论(0)
clusterID:集群ID,必须保持一致1)在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...
【阅读全文】
【HADOOP】
启动Hadoop HDFS时
的
“Incompatible clusterIDs”错误原因分析
niao5929
| 2014-04-18 22:17:45 | 阅读(940) | 评论(0)
Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前,没有清空DataNode节点的data目录。 网上一些文章和帖子说是tmp目录,它本身也是没问题的,但Hadoop 2.4.0是data目录,实际上这个信息已经由...
【阅读全文】
【HADOOP】
启动Hadoop HDFS时
的
“Incompatible clusterIDs”错误原因分析
Aquester
| 2014-04-17 19:55:26 | 阅读(14800) | 评论(2)
Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前,没有清空DataNode节点的data目录。 网上一些文章和帖子说是tmp目录,它本身也是没问题的,但Hadoop 2.4.0是data目录,实际上这个信息已经由...
【阅读全文】
【HADOOP】
“hdfs dfs -ls”命令
的
使用
Aquester
| 2014-04-17 18:58:34 | 阅读(3780) | 评论(0)
“hdfs dfs -ls”带一个参数,如果参数以“hdfs://URI”打头表示访问HDFS,否则相当于ls。其中URI为NameNode的IP或主机名,可以包含端口号,即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“hdfs dfs -ls”要求默认端口为8020,如果配置成9000,则需要指定端口号,否则不用指定端口,...
【阅读全文】
【HADOOP】
Sqoop工具使用(三)--把HDFS中
的
数据导入到Oracle
hexel
| 2014-04-17 11:39:01 | 阅读(9100) | 评论(0)
sqoop export工具把HDFS中的数据导入到rdbms系统中,实现方式有三种:(1)insert mode:生成insert语句然后执行,这是默认的方式(2)update mode:生成update语句,替换数据库中的记录(3)call mode:调用存储过程处理每一条记录:Common argumentsArgument Description--connect <jdbc-uri...
【阅读全文】
【HADOOP】
Hadoop并行计算原理与分布式并
发
编程
吟风_骋
| 2014-04-09 16:59:36 | 阅读(0) | 评论(0)
Hadoop并行计算原理与分布式并发编程
【阅读全文】
【HADOOP】
Storm
的
wordCounter计数器详解
Aquester
| 2014-03-31 22:56:37 | 阅读(5110) | 评论(0)
原文:http://www.maoxiangyi.cn/index.php/archives/362作者:毛祥溢 发布:2013-08-26 18:19 分类:BigData, Storm 阅读:676次 抢沙发 Storm的wordCounter计数器详解,这篇文章主要是介绍原理和实现 Demo拓扑package cn.jd.storm; import...
【阅读全文】
【HADOOP】
怎
么
用java从hadoop中读数据
xyaxlz
| 2014-03-24 16:25:08 | 阅读(3460) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...
【阅读全文】
【HADOOP】
怎
么
用java向hadoop中写数据
xyaxlz
| 2014-03-24 16:15:57 | 阅读(3630) | 评论(0)
如果用eclipse 连接hadoop测试 一定要把core-site.xml hdfs-site.xml 放到和包test同目录下 不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...
【阅读全文】
【HADOOP】
Hadoop学习笔记(五):一些关于HDFS
的
基本知识
lingshaohusoft
| 2014-03-19 09:46:30 | 阅读(1680) | 评论(0)
From:http://www.cnblogs.com/beanmoon/archive/2012/12/08/2809315.html当某个数据集大大小超出单个物理机的存储能力时,我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入,相应的问题也就出现了,例如其中最重要的一个问题就是如何保证在某个节点...
【阅读全文】
【HADOOP】
Hadoop初探之配置IDE开
发
环境
Larpenteur
| 2014-03-03 08:50:14 | 阅读(1030) | 评论(0)
这里的开发环境是指:Hadoop集群安装在Linux下,本地开发环境在Windows下用Hadoop-eclipse-plugin,远程连接Linux运行job。一、安装 Hadoop集群安装配置请参看这里,Java与Eclipse的安装配置请参看这里,下面介绍Hadoop-eclipse-p...
【阅读全文】
【HADOOP】
Windows with Eclipse For hadoop开
发
环境搭建
hnynes
| 2014-02-28 16:29:31 | 阅读(2600) | 评论(0)
Hadoop在windows上的安装见另一篇文章: http://blog.chinaunix.net/uid-11209572-id-4126436.html本文主要介绍使用Eclipse进行hadoop计算的开发, 比较粗浅,还请见谅.Eclipse下载到官网下载最新版本即可. http://www.eclipse.org/downloads/注意选择对应的系统.下载完后,解压到本地路径,注意eclipse的全路...
【阅读全文】
【HADOOP】
Hadoop在Windows环境下
的
部署
hnynes
| 2014-02-28 15:46:17 | 阅读(3610) | 评论(1)
安装JDK1.下载JDK http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html2.解压 或者直接运行.exe安装后面根据项目的实际需要来进行调整。安装...
【阅读全文】
首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页