搜索博文结果_ChinaUnix博客

博客首页博客专家往日推荐博客文集

热搜： iOS JavaScript 存储 C# LINUX AIX 高性能移动开发

博客首页〉搜索结果

按类别查询搜索结果

操作系统程序设计数据库热点技术综合架构与运维移动开发与应用 Web前端

虚拟化| 云计算| 大数据| HADOOP| 高性能计算|

关于关键词的检测结果，共 12 条

【HADOOP】 HDFS块文件和存放目录的关系

Aquester | 2017-05-19 09:29:25 | 阅读(3930) | 评论(0)

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != ...【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

wenlong_he | 2017-05-11 11:35:21 | 阅读(270) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

小新786 | 2017-03-22 10:55:41 | 阅读(1190) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

sun363587351 | 2016-01-08 14:21:19 | 阅读(1050) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 hive job 提示Invalid sync和无法分配内存报错处理

levy-linux | 2015-12-29 11:48:29 | 阅读(3930) | 评论(0)

近期发现分析部门同事告知，hive处理原始数据的时候总是不能执行完成，报错如下，这个问题是avro的文件不完整：Diagnostic Messages for this Task:Error: java.io.IOException: java.io.IOException: org.apache.avro.AvroRuntimeException: java.io.IOException: Invalid sync! &n...【阅读全文】

【HADOOP】如何优化YARN和MapReduce内存

levy-linux | 2015-11-25 14:52:17 | 阅读(2080) | 评论(0)

This section describes how to manually calculate YARN and MapReduce memory allocation settings based on the node hardware specifications.YARN takes into account all of the available resources on each machine in the cluster. Based on the available resources, YARN negotiates resource requests...【阅读全文】

【HADOOP】 redis 虚拟内存工作方式简介

超人学院1 | 2015-05-11 17:37:00 | 阅读(620) | 评论(0)

当vm-max-threads 设为0 时（阻塞方式）换出主线程定期检查发现内存超出最大上限后，会直接以阻塞的方式,将选中的对象保存到swap文件中，并释放对象占用的内存空间，此过程会一直重复直到下面条件满足1.内存使用降到最大限制以下2.swap 文件满了。3.几乎全部的对象都被交换到磁盘了换入当有客户端请求已经被换出的v...【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

Larpenteur | 2014-08-01 22:48:30 | 阅读(960) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

niao5929 | 2014-07-31 12:00:48 | 阅读(1380) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】 Yarn简单介绍及内存配置

bl竹子 | 2014-07-31 02:04:45 | 阅读(30320) | 评论(0)

YARN、资源配置、container【阅读全文】

【HADOOP】在Hadoop中重写FileInputFormat类以处理二进制格式存储的整数

double_lq | 2014-07-21 13:04:11 | 阅读(0) | 评论(0)

最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用场景为例：对按照二进制格...【阅读全文】

【HADOOP】 Hadoop分布式文件系统和OpenStack对象存储有何不同？

zzjlzx | 2014-02-18 17:19:31 | 阅读(950) | 评论(0)

Hadoop分布式文件系统和OpenStack对象存储有何不同？“HDFS (Hadoop分布式文件系统)和OpenStack对象存储(OpenStack Object Storage)似乎都有着相似的目的：实现冗余、快速、联网的存储。什么样的技术特性让这两种系统因而不一样?这两种存储系统最终趋于融合是否大有意义?”...【阅读全文】

网络110 报警服务