强制DataNode向NameNode上报blocks_Aquester-ChinaUnix博客

一见aquester.blog.chinaunix.net

博客访问： 8140253
博文数量： 594
博客积分： 13065
博客等级：上将
技术积分： 10324
用户组：普通用户
注册时间： 2008-03-26 16:44

个人简介

推荐: blog.csdn.net/aquester https://github.com/eyjian https://www.cnblogs.com/aquester http://blog.chinaunix.net/uid/20682147.html

文章分类

全部博文（594）

maven（0）
flink（1）
gRPC（2）
go（2）
Kubernetes（1）
微服务（4）

skywalking（3）
Docker（1）
raft（1）
微码分享（2）
一致性协议（1）
iptables（0）
crontab（9）
python（1）
svn（1）
redis（42）
java（4）
json（2）
nginx（1）
海量服务（1）
微信编程（0）
js&html（2）
github（1）
andriod（1）
互联网金融（0）
thrift（10）
推荐转载（5）
原创推荐（16）
平淡生活（22）
生活与设计（3）
hadoop（51）

kafka（3）

hue（1）

hive（1）

hbase（8）

spark（2）

zookeeper（4）

hdfs（13）

storm（1）
有感而发（19）
mooon（28）
下载（1）
TCP/IP（3）
MYSQL（26）
question（4）
linux（89）

LVS（1）

性能（11）

WEB服务器（8）
转载（15）
C/C++（162）

汇编（3）
OO（4）
UML（1）
常用脚本（45）
未分配的博文（10）

推荐博文

强制DataNode向NameNode上报blocks

发布时间：2017-05-19 10:25:55

一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，因为两种不同的机型，hdfs-site.xml不便做到相同，导致了NameNode报大量“missing block”。然而依据NameNode所报信息，在DataNode能找到那些被标记为“miss.........【阅读全文】

阅读(9401) | 评论(0) | 转发(0)

HDFS块文件和存放目录的关系

发布时间：2017-05-19 09:29:25

详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != .........【阅读全文】

阅读(3945) | 评论(0) | 转发(0)

Failed to place enough replicas

发布时间：2017-05-04 16:39:59

如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：2017-05-04 16:08:22,545 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 3 to reach 3 .........【阅读全文】

阅读(5000) | 评论(0) | 转发(0)

配置HDFS HttpFS和WebHDFS

发布时间：2016-10-28 18:14:09

HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。如果HDFS是HA方式部署的，则只能使用HttpFS模式。HttpFS是独立的模块，有自己.........【阅读全文】

阅读(3831) | 评论(0) | 转发(0)

编译hadoop的libhdfs.a

发布时间：2015-11-27 10:44:44

进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i.........【阅读全文】

阅读(4409) | 评论(0) | 转发(0)

HDFS Federation

发布时间：2014-05-15 10:06:54

HDFS Federation.pdf目录目录11. 前言12. 背景13. 解析1 1. 前言Federation翻译成中文是联盟或联邦的意思，网上有很多介绍HDFS Federation的文章，官网上的Federation.html也做了专门的介绍。本文试图画蛇添足，以更通俗的方式重复一遍，以帮助对HDFS.........【阅读全文】

阅读(4814) | 评论(1) | 转发(2)

Hadoop-2.4.0中HDFS文件块大小默认为128M

发布时间：2014-04-19 14:34:32

134217728 / 1024 = 131072 / 1024 = 128......【阅读全文】

阅读(5228) | 评论(0) | 转发(0)

看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

发布时间：2014-04-19 11:33:41

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。.........【阅读全文】

阅读(3177) | 评论(0) | 转发(0)

SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因

发布时间：2014-04-19 11:00:10

该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon.........【阅读全文】

阅读(5699) | 评论(0) | 转发(0)

查看HDFS集群信息

发布时间：2014-04-19 10:42:14

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56.........【阅读全文】

阅读(3602) | 评论(0) | 转发(0)