推荐: blog.csdn.net/aquester https://github.com/eyjian https://www.cnblogs.com/aquester http://blog.chinaunix.net/uid/20682147.html
全部博文（595）
发布时间：2017-05-19 10:25:55
一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，因为两种不同的机型，hdfs-site.xml不便做到相同，导致了NameNode报大量“missing block”。然而依据NameNode所报信息，在DataNode能找到那些被标记为“miss.........【阅读全文】
发布时间：2017-05-19 09:29:25
详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g -o block2dir block2dir.cpp#include <stdio.h>#include <stdlib.h>int main(int argc, char* argv[]){ if (argc != .........【阅读全文】
发布时间：2017-05-04 16:39:59
如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：2017-05-04 16:08:22,545 WARN org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicy: Failed to place enough replicas, still in need of 3 to reach 3 .........【阅读全文】
发布时间：2016-10-28 18:14:09
HDFS支持两种RESTful接口：WebHDFS和HttpFS。WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而不会启动HttpFS，而HttpFS需要通过sbin/httpfs.sh来启动。WebHDFS模式客户端和DataNode直接交互，HttpFS是一个代理模式。如果HDFS是HA方式部署的，则只能使用HttpFS模式。HttpFS是独立的模块，有自己.........【阅读全文】
发布时间：2015-11-27 10:44:44
进入hadoop-hdfs-project/hadoop-hdfs/src目录，执行cmake以生成Makefile文件。如果遇到如下的错误：~/hadoop-2.7.1-src/hadoop-hdfs-project/hadoop-hdfs/src]$ cmake .JAVA_HOME=, JAVA_JVM_LIBRARY=/data/jdk/jre/lib/amd64/server/libjvm.soJAVA_INCLUDE_PATH=/data/jdk/include, JAVA_INCLUDE_PATH2=/data/jdk/i.........【阅读全文】
发布时间：2014-05-15 10:06:54
HDFS Federation.pdf目录目录11. 前言12. 背景13. 解析1 1. 前言Federation翻译成中文是联盟或联邦的意思，网上有很多介绍HDFS Federation的文章，官网上的Federation.html也做了专门的介绍。本文试图画蛇添足，以更通俗的方式重复一遍，以帮助对HDFS.........【阅读全文】
发布时间：2014-04-19 14:34:32
134217728 / 1024 = 131072 / 1024 = 128......【阅读全文】
发布时间：2014-04-19 11:33:41
为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。.........【阅读全文】
发布时间：2014-04-19 11:00:10
该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon.........【阅读全文】
发布时间：2014-04-19 10:42:14
clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56.........【阅读全文】
yuanxy20132014-01-14 14:48
LZ，你的基于C++的纯面向对象的通用高性能大并发TCP-SERVER/CLIENT开发框架实践系列之《前言篇》，《基础篇》写得非常棒，但是《服务器篇》、《客户端篇》却找不到，恳请楼主赐读。
