搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜：存储 C语言 C++ PHP 嵌入式 WINDOWS AIX ubuntu

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 63 条

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最领...【阅读全文】

【HADOOP】如何在hadoop中控制map的个数

gray1982 | 2014-12-27 17:11:07 | 阅读(3210) | 评论(0)

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。原因是mapred.map.tasks只是一个hadoop的参考数值，最终map的个数，还取决于其他的因素。为了方便介绍，先来看几个名词：block_size ...【阅读全文】

【HADOOP】 hive中创建udf

hxl | 2014-11-21 09:49:27 | 阅读(0) | 评论(0)

在hive中我们可以根据自己的需要自定义创建udf,如下是一个例子:1.chu点击(此处)折叠或打开package com.hxl;import org.apache.hadoop.hive.ql.exec.UDF;public class helloUDF extends UDF { ...【阅读全文】

【HADOOP】通过hive访问hbase中的表

hxl | 2014-11-12 14:38:26 | 阅读(10720) | 评论(0)

在hbase中创建表后,我们只能在hbase shell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下:1.这里hbase中的表oss_user_label_action_data已经存在=> #hbase(main):067:0> scan 'oss_user_label_action_data',L...【阅读全文】

【HADOOP】 HDFS中JAVA API的使用

humengez | 2014-09-03 11:10:43 | 阅读(1350) | 评论(0)

转自http://www.cnblogs.com/liuling/p/2013-6-17-01.html点击(此处)折叠或打开package com.hdfs;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import org.apac...【阅读全文】

【HADOOP】在mapreduce程序中实现输出压缩

double_lq | 2014-08-09 13:04:30 | 阅读(0) | 评论(0)

hadoop-0.20.2 有时候需要将map的输出和reduce端的输出进行压缩，压缩代码如下：map端压缩： conf.setBoolean("mapred.compress.map.output", true);conf.setClass("mapred.map.output.compression.codec", GzipCodec.class, CompressionCodec.class);reduce端的压缩： ...【阅读全文】

【HADOOP】 Hadoop计算中的Shuffle过程

willick | 2014-08-07 11:38:51 | 阅读(0) | 评论(0)

Hadoop计算中的Shuffle过程作者：左坚来源：清华万博时间:2013-07-02 15:04:44.0　　Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反...【阅读全文】

【HADOOP】 hadoop shuffle机制中针对中间数据的排序过程详解（源代码级）

double_lq | 2014-08-05 12:41:50 | 阅读(1570) | 评论(0)

在所有公开资料中，很少有对Hadoop 中间数据的sort过程进行详细介绍的。如果想要深入了解hadoop对中间数据的排序机制，只有通过阅读源代码才能达到。而hadoop的这段代码本身具有非常大的迷惑性，如果不注意细节，很容易会发生错误的理解。本篇文章从原理上详细介绍了hadoop针对中间数据的排序机制，并且对一些重要的源代...【阅读全文】

【HADOOP】在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数

double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】

【HADOOP】 Sqoop工具使用(三)--把HDFS中的数据导入到Oracle

Larpenteur | 2014-04-20 11:43:09 | 阅读(1580) | 评论(0)

sqoop export工具把HDFS中的数据导入到rdbms系统中，实现方式有三种：(1)insert mode:生成insert语句然后执行，这是默认的方式(2)update mode:生成update语句，替换数据库中的记录(3)call mode:调用存储过程处理每一条记录：Common argumentsArgument Description--connect <jdbc-uri...【阅读全文】

【HADOOP】 Hadoop-2.4.0中HDFS文件块大小默认为128M

Aquester | 2014-04-19 14:34:32 | 阅读(5180) | 评论(0)

134217728 / 1024 = 131072 / 1024 = 128【阅读全文】

【HADOOP】 SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因

Aquester | 2014-04-19 11:00:10 | 阅读(5600) | 评论(0)

该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3530) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】 Sqoop工具使用(三)--把HDFS中的数据导入到Oracle

hexel | 2014-04-17 11:39:01 | 阅读(9080) | 评论(0)

【HADOOP】中天節目惹議 NCC要開諮詢

yiwddd | 2014-04-10 13:23:34 | 阅读(100) | 评论(0)

台北市女性權益促進會等婦女團體今天譴責中天電視台物化女性；NCC說，10天內召開諮詢會議討論節目內容是否違規。...................................................................................................................................................................................................【阅读全文】

【HADOOP】怎么用java从hadoop中读数据

xyaxlz | 2014-03-24 16:25:08 | 阅读(3450) | 评论(0)

如果用eclipse 连接hadoop测试一定要把core-site.xml hdfs-site.xml 放到和包test同目录下不然会报错程序会报File not found错误点击(此处)折叠或打开package test;import java.io.*;import java.util.*;import java.net.*;...【阅读全文】

【HADOOP】怎么用java向hadoop中写数据

xyaxlz | 2014-03-24 16:15:57 | 阅读(3620) | 评论(0)

【HADOOP】【用户不在sudoers文件中】问题解决

落尘2012 | 2014-03-11 15:55:09 | 阅读(1530) | 评论(0)

昨天在机房呆了一天，忙活着部署hadoop分布式节点。在网上查了一些部署的资料，其中有一步是为所有的节点创建同样的用户'hadoop'，并且加入到%admin组中。自己在做的时候提示%admin组不存在，其实Ubuntu系统中可以使用usermod username -g root的方式加入到管理组中，不晓得为什么自己的机器上使用%ad...【阅读全文】

【HADOOP】查看HADOOP中一个文件有多少块组成及所在机器ip

zzjlzx | 2013-11-29 14:50:29 | 阅读(4530) | 评论(0)

看文件信息hadoop fsck /user/filename更详细的。 -racks 是显示机架位置hadoop fsck /user/filename -files -blocks -locations -racks -files 文件分块信息，-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具...【阅读全文】

【HADOOP】一个.java文件是否一定要和文件中的类名相同呢？一个.java文件中可以包含多个类吗？

double_lq | 2013-10-17 10:05:45 | 阅读(1780) | 评论(0)

这可以算做是一个java笔试题回答这个问题，首先要回答第二问。一个.java文件当然可以包括多个类了。但这些类有一个特殊的类与其它的不同，,这个类是带public 属性的类。一个.java类文件中仅有一个public属性的类。而且这个类与文件名相同。一个.java文件是否一定要有一个public&...【阅读全文】

首页
<<
1
2
3
4
>>
末页

网络110 报警服务