搜索博文结果_ChinaUnix博客

基于Hadoop0.20.2版本的namenode与secondarynamenode分离实验[日期：2015-02-18]来源：Linux社区作者：xiaojiafei[字体：大中小]我们在Hadoop配置集群时，经常将namenode与secondarynamenode存放在一个节点上，其实这是非常危险...【阅读全文】

【HADOOP】 Hadoop集群部署时候的几个问题记录

niao5929 | 2015-02-19 16:54:07 | 阅读(540) | 评论(0)

Hadoop集群部署时候的几个问题记录[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]本章部署一个Hadoop 集群由于Hadoop 2.5.x 已经出来有好几个月了，网上配置类似架构的文章也有很多，所以在这里重点...【阅读全文】

【HADOOP】 Hadoop中HDFS读取文件的原理剖析

niao5929 | 2015-02-19 16:50:26 | 阅读(510) | 评论(0)

Hadoop中HDFS读取文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]上一篇文章中简单介绍了一下Hadoop文件存储的一些逻辑与简单原理（见 http://www.linuxidc.com/Linux/2015-02/113638.htm），既...【阅读全文】

【HADOOP】 Hadoop中HDFS写入文件的原理剖析

niao5929 | 2015-02-19 16:48:46 | 阅读(450) | 评论(0)

Hadoop中HDFS写入文件的原理剖析[日期：2015-02-18]来源：Linux社区作者：snwz[字体：大中小]要为即将到来的大数据时代最准备不是，下面的大白话简单记录了Hadoop中HDFS在存储文件时都做了哪些个事情，位将来集群问题的排查提供...【阅读全文】

【HADOOP】使用命令行编译打包运行自己的MapReduce程序(2.4.1)

cheyo | 2015-02-13 21:43:16 | 阅读(330) | 评论(0)

使用命令行编译打包运行自己的MapReduce程序(Hadoop 2.4.1)【阅读全文】

【HADOOP】详细的HBase讲解

zmj27404 | 2015-02-13 14:32:12 | 阅读(930) | 评论(0)

原文地址:http://jiajun.iteye.com/blog/899632【阅读全文】

【HADOOP】 Hadoop输入的问题

ningbohezhijun | 2015-02-04 17:41:34 | 阅读(560) | 评论(0)

我是在试验代码的时候发现的这个问题，具体代码见http://yunpan.cn/cK8hUEaq4Vcw2 访问密码 56d3例如类KPIBrowser和KPIIP的输出都恰巧放在了输入的文件夹下。然后我发现当我先运行KPIBrowser后，再去运行KPIIP，hadoop就跑异常了目前不太明白为什么。暂时的解释是，hadoop输入文件夹下必须都是文件，有文件...【阅读全文】

【HADOOP】使用ChainMapper和ChainReducer的MapReduce程序

ningbohezhijun | 2015-01-23 15:47:50 | 阅读(580) | 评论(0)

点击(此处)折叠或打开import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.FileInputFormat;...【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(520) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【HADOOP】大数据发展及未来建设

sittc2 | 2014-12-30 14:57:01 | 阅读(350) | 评论(0)

大数据时代已经悄然来临【阅读全文】

【HADOOP】如何在hadoop中控制map的个数

gray1982 | 2014-12-27 17:11:07 | 阅读(3210) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size ...【阅读全文】

【HADOOP】 [白皮书翻译]Apache Hadoop的MapR发行版

cxmfyl | 2014-12-17 22:04:45 | 阅读(1550) | 评论(0)

白皮书业内最可靠的Hadoop平台Apache Hadoop的MapR发行版——简单、可靠、快速的Hadoop内容目录概述战略性的Hadoop完整、先进、拥有强力支持的Hadoop发行版易用的Hadoop从批处理转向实时数据流内建数据压缩机制多集群支持筹划、搭建和...【阅读全文】

【HADOOP】 hbase返回上一个版本的值

hxl | 2014-11-20 14:01:54 | 阅读(0) | 评论(0)

点击(此处)折叠或打开package com.hxl;import com.hxl.ConnectDB;import com.hxl.SortTest;import java.io.BufferedReader;import java.io.File;import java.io.Fil...【阅读全文】

【HADOOP】在hive创建跟hbase互联的表

hxl | 2014-11-12 16:14:38 | 阅读(0) | 评论(0)

1.在hive中创建如下表CREATE TABLE hive_table_test(key int, id int,name string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,info:id,info:name") TBLPROPERTIES ("hbase.table.name" = "hbase_table_test");2.在hbase...【阅读全文】

【HADOOP】通过hive访问hbase中的表

hxl | 2014-11-12 14:38:26 | 阅读(10750) | 评论(0)

在hbase中创建表后,我们只能在hbase shell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下:1.这里hbase中的表oss_user_label_action_data已经存在=> #hbase(main):067:0> scan 'oss_user_label_action_data',L...【阅读全文】

【HADOOP】 Windows上使用Eclipse远程连接Hadoop进行程序开发

圣剑蓝骑士 | 2014-11-02 21:53:49 | 阅读(1710) | 评论(0)

转载自：http://www.cnblogs.com/beanmoon/archive/2013/01/05/2845579.html 由于hadoop主要是部署和应用在linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还真有点...【阅读全文】

【HADOOP】基于hadoop的mapreduce理解初步

liuzan_abc | 2014-10-11 14:31:06 | 阅读(1140) | 评论(0)

mapreduce的缺陷 (1)只能做简单的统计计算，很多复杂的算法没法表达 (2)mr的过程中做了很多无效的排序,其他的计算模型获取可以省去这些无效的计算 (3)mr启动任务需要花费时间，对于一些小当量的计算,还不如拉回...【阅读全文】

首页
<<
1
2
3
4
5
6
7
8
9
10
>>
末页

网络110 报警服务