搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： Android iOS 系统运维 C语言 AIX Hyper-V HADOOP 信息

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 40 条

【HADOOP】 sqoop-export计算结果同步到mysql

hxl | 2017-04-17 17:42:19 | 阅读(0) | 评论(0)

#!/bin/shdatabase="terminal"sourceDataPath="/dmsdk/data/heartbeat/"tableName="exter_terminal_heartbeat"tmp_table="t_audit_out_heartbeat"terminal_table="t_audit_heartbeat"load_data(){ for day in `hadoop fs -ls $1|awk -F '/' '{print $5}'` ...【阅读全文】

【HADOOP】 Ubuntu安装Hadoop进行namenode格式化出现Format aborted in path

神域风云再起 | 2016-02-11 16:26:22 | 阅读(1660) | 评论(0)

在使用hadoop namenode -format进行namenode的格式化时候，出现错误Format aborted in path出现错误的原因是：在对namenode格式化之前，要确保dfs.name.dir参数指定的目录不存在（hdfs-site.xml文件）。hadoop这样做的目的是防止错误的将已存在的集群格式化了。解决方法：关闭hadoop服务将上面参数指定的文件夹删除，...【阅读全文】

【HADOOP】 HBase的FlushLargeStoresPolicy多例族支持

Aquester | 2015-11-18 11:43:09 | 阅读(3860) | 评论(0)

HBase的FlushLargeStoresPolicy.pdf众所周知，HBase的一个例族flush时，会导致所有例族都跟着被flush。在HBase-0.94的官方说明（http://hbase.apache.org/0.94/book/number.of.cfs.html）也明确HBase不能很好的支持一个以上的例族。 HBase-2.0.0和HBase-1.1.0（https://issues.apache.org/jira/browse/HBAS...【阅读全文】

【HADOOP】 hive 结合执行计划分析 limit 执行原理

Helianthus_lu | 2015-10-16 23:36:30 | 阅读(6050) | 评论(0)

hive计划执行【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

douyaqiang123 | 2015-06-30 16:38:43 | 阅读(1970) | 评论(0)

在完成创建HBase数据库后我们后续最重要的工作就是如何设计和构建出合理高效的hbase表。那么接下来本文就将介绍一下如何设计及优化HBase数据库的表。OK，废话不再多说，接下来我们进入今天的正题吧~【阅读全文】

【HADOOP】合理设计及优化HBase数据库表入门

fengzhanhai | 2015-04-21 11:33:03 | 阅读(3990) | 评论(0)

【HADOOP】上海市信息技术培训中心Cloudera Hadoop认证培训

sittc2 | 2015-04-16 10:12:57 | 阅读(770) | 评论(0)

作为大数据核心技术，Hadoop为企业提供了高扩展、高冗余、高容错、和经济有效的“数据驱动”解决方案，针对企业目前普遍缺乏海量数据技术人员的现状，上海市信息技术培训中心Cloudera Hadoop认证培训系列课程，为企业经理、CTO、架构师、技术带头人、系统管理员、数据管理员、数据/商务分析元和应用开发人员带来了业内最...【阅读全文】

【HADOOP】 2015年上海市信息技术培训中心hadoop课程开班啦

sittc2 | 2015-02-26 10:14:03 | 阅读(660) | 评论(0)

2015年上海市信息技术培训中心hadoop课程开班啦【阅读全文】

【HADOOP】上海市信息技术培训中心Cloudera Hadoop管理认证培训

sittc2 | 2015-01-04 14:54:20 | 阅读(510) | 评论(0)

【HADOOP】 shell调用hive执行汇总统计

hxl | 2014-11-28 17:32:10 | 阅读(0) | 评论(0)

点击(此处)折叠或打开#!/bin/shcurrent_sysdate=`date +"%Y-%m-%d %H:%M:%S"` dutyno=100statedate=$1month=`echo $statedate|cut -c1-6`year=`echo $...【阅读全文】

【HADOOP】 hadoop通过多硬盘降低io的一点记录

lorine168 | 2014-08-11 11:02:14 | 阅读(920) | 评论(0)

1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然必须确认slave的多块硬盘没有做任何形式的raid。二...【阅读全文】

【HADOOP】 Hadoop计算中的Shuffle过程

willick | 2014-08-07 11:38:51 | 阅读(0) | 评论(0)

Hadoop计算中的Shuffle过程作者：左坚来源：清华万博时间:2013-07-02 15:04:44.0　　Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反...【阅读全文】

【HADOOP】多次格式化之后 datenode起不来

lorine168 | 2014-07-28 19:24:04 | 阅读(420) | 评论(0)

多次格式化后，datanode启动不了1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid；[root@dubai2 current]# cat VERSION #Mon Jul 28 19:10:39 CST 2014namespaceID=1346791803cTime=0storageType=NAME_NODEl...【阅读全文】

【HADOOP】在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数

double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】

【HADOOP】基于hive的日志数据统计实战

double_lq | 2014-07-19 11:04:59 | 阅读(0) | 评论(0)

基于 hive 的日志数据统计实战一、 hive 简介 hive 是一个基于 hadoop 的开源数据仓库工具，用于存储和处理海量结构化数据。它把海量数据...【阅读全文】

【HADOOP】 MapReduce的多路径输入

double_lq | 2014-07-16 16:14:12 | 阅读(2690) | 评论(0)

目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入：FileInputFormat.addInputPath(job, new Path(args[2]));MultipleInputs.addInputPath(job, new Path(args[0]), TextInputFormat.class,EmpMapper.class);【阅读全文】

【HADOOP】 Hbase -- 表的设计

laoliulaoliu | 2014-04-28 21:03:24 | 阅读(1400) | 评论(0)

文章来源：http://my.oschina.net/breakjoa/blog/155186本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，可参考：淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容：表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况...【阅读全文】

【HADOOP】看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

Aquester | 2014-04-19 11:33:41 | 阅读(3120) | 评论(0)

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。...【阅读全文】

【HADOOP】查看HDFS集群信息

Aquester | 2014-04-19 10:42:14 | 阅读(3540) | 评论(0)

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56...【阅读全文】

【HADOOP】 Hadoop并行计算原理与分布式并发编程

吟风_骋 | 2014-04-09 16:59:36 | 阅读(0) | 评论(0)

Hadoop并行计算原理与分布式并发编程
【阅读全文】

网络110 报警服务