Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4223858
  • 博文数量: 528
  • 博客积分: 13065
  • 博客等级: 上将
  • 技术积分: 9440
  • 用 户 组: 普通用户
  • 注册时间: 2008-03-26 16:44
个人简介

https://blog.csdn.net/Aquester https://www.cnblogs.com/aquester https://github.com/eyjian http://aquester.blog.chinaunix.net

文章分类

全部博文(528)

发布时间:2017-05-19 10:25:55

一次机房搬迁中,原机房hadoop版本为2.7.2,新机房版本为2.8.0,采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同,操作过程搞混过hdfs-site.xml,因为两种不同的机型,hdfs-site.xml不便做到相同,导致了NameNode报大量“missing block”。然而依据NameNode所报信息,在DataNode能找到那些被标记为“miss.........【阅读全文】

阅读(5032) | 评论(0) | 转发(0)

发布时间:2017-05-19 09:29:25

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下,则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){    if (argc != .........【阅读全文】

阅读(330) | 评论(0) | 转发(0)

发布时间:2017-05-04 16:39:59

如果DataNode的dfs.datanode.data.dir全配置成SSD类型,则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误:2017-05-04 16:08:22,545 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 3 to reach 3 .........【阅读全文】

阅读(854) | 评论(0) | 转发(0)

发布时间:2016-10-28 18:14:09

HDFS支持两种RESTful接口:WebHDFS和HttpFS。WebHDFS默认端口号为50070,HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端和DataNode直接交互,HttpFS是一个代理模式。如果HDFS是HA方式部署的,则只能使用HttpFS模式。HttpFS是独立的模块,有自己.........【阅读全文】

阅读(530) | 评论(0) | 转发(0)

发布时间:2015-11-27 10:44:44

进入hadoop-hdfs-project/hadoop-hdfs/src目录,执行cmake以生成Makefile文件。如果遇到如下的错误:~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i.........【阅读全文】

阅读(1440) | 评论(0) | 转发(0)

发布时间:2014-05-15 10:06:54

HDFS Federation.pdf目录目录11. 前言12. 背景13. 解析1 1. 前言Federation翻译成中文是联盟或联邦的意思,网上有很多介绍HDFS Federation的文章,官网上的Federation.html也做了专门的介绍。本文试图画蛇添足,以更通俗的方式重复一遍,以帮助对HDFS.........【阅读全文】

阅读(2540) | 评论(1) | 转发(2)

发布时间:2014-04-19 14:34:32

134217728 / 1024 = 131072 / 1024 = 128......【阅读全文】

阅读(2280) | 评论(0) | 转发(0)

发布时间:2014-04-19 11:33:41

为何Google GFS设计成对大文件友好,而像腾讯的TFS(Tencent File System)和淘宝的TFS(Taobao File System)却设计成对小文件友好了?这一点非常好理解,两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗?答案是否。实际中TFS也在努力支持大文件,GFS也要支持小文件。.........【阅读全文】

阅读(1301) | 评论(0) | 转发(0)

发布时间:2014-04-19 11:00:10

该错误原因,可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger    :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon.........【阅读全文】

阅读(3241) | 评论(0) | 转发(0)

发布时间:2014-04-19 10:42:14

clusterID:集群ID,必须保持一致1)在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56.........【阅读全文】

阅读(1370) | 评论(0) | 转发(0)
给主人留下些什么吧!~~

Aquester2014-12-11 21:29

lojunren:强烈希望博主将mooon项目迁往github

https://github.com/eyjian/mooon

回复  |  举报

Aquester2014-03-24 12:51

lojunren:强烈希望博主将mooon项目迁往github

嗯,建议不错

回复  |  举报

lojunren2014-03-20 14:56

强烈希望博主将mooon项目迁往github

回复  |  举报

Aquester2014-01-15 11:02

yuanxy2013:LZ,你的基于C++的纯面向对象的通用高性能大并发TCP-SERVER/CLIENT开发框架实践系列之《前言篇》,《基础篇》写得非常棒,但是《服务器篇》、《客户端篇》却找不到,恳请楼主赐读。

已经实现一个server框架,并有相关技术文档,在mooon中,你可以svn下载代码看看,文档在doc子目录下

回复  |  举报

yuanxy20132014-01-14 14:48

LZ,你的基于C++的纯面向对象的通用高性能大并发TCP-SERVER/CLIENT开发框架实践系列之《前言篇》,《基础篇》写得非常棒,但是《服务器篇》、《客户端篇》却找不到,恳请楼主赐读。

回复  |  举报
留言热议
请登录后留言。

登录 注册