看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

岚天逸见aquester.blog.chinaunix.net

博客访问： 8171453
博文数量： 595
博客积分： 13065
博客等级：上将
技术积分： 10334
用户组：普通用户
注册时间： 2008-03-26 16:44

个人简介

推荐: blog.csdn.net/aquester https://github.com/eyjian https://www.cnblogs.com/aquester http://blog.chinaunix.net/uid/20682147.html

文章分类

全部博文（595）

maven（0）
flink（1）
gRPC（2）
go（3）
Kubernetes（1）
微服务（4）

skywalking（3）
Docker（1）
raft（1）
微码分享（2）
一致性协议（1）
iptables（0）
crontab（9）
python（1）
svn（1）
redis（42）
java（4）
json（2）
nginx（1）
海量服务（1）
微信编程（0）
js&html（2）
github（1）
andriod（1）
互联网金融（0）
thrift（10）
推荐转载（5）
原创推荐（16）
平淡生活（22）
生活与设计（3）
hadoop（51）

kafka（3）

hue（1）

hive（1）

hbase（8）

spark（2）

zookeeper（4）

hdfs（13）

storm（1）
有感而发（19）
mooon（28）
下载（1）
TCP/IP（3）
MYSQL（26）
question（4）
linux（89）

LVS（1）

性能（11）

WEB服务器（8）
转载（15）
C/C++（162）

汇编（3）
OO（4）
UML（1）
常用脚本（45）
未分配的博文（10）

推荐博文

看两种截然不同的设计理念：分布式文件系统支持大和小文件的思考

发布时间：2014-04-19 11:33:41

为何Google GFS设计成对大文件友好，而像腾讯的TFS（Tencent File System）和淘宝的TFS（Taobao File System）却设计成对小文件友好了？这一点非常好理解，两个TFS都用来满足图片等大量小文件的需求。但是两者是矛盾的吗？答案是否。实际中TFS也在努力支持大文件，GFS也要支持小文件。.........【阅读全文】

阅读(3181) | 评论(0) | 转发(0)

SecondaryNameNode中的“Inconsistent checkpoint fields”错误原因

发布时间：2014-04-19 11:00:10

该错误原因，可能是因为没有设置好SecondaryNameNode上core-site.xml文件中的“hadoop.tmp.dir”。2014-04-17 11:42:18,189 INFO org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Log Size Trigger :1000000 txns2014-04-17 11:43:18,365 ERROR org.apache.hadoop.hdfs.server.namenode.Secon.........【阅读全文】

阅读(5719) | 评论(0) | 转发(0)

查看HDFS集群信息

发布时间：2014-04-19 10:42:14

clusterID：集群ID，必须保持一致1）在NameNode上查看cat $HADOOP_HOME/dfs/name/current/VERSION#Fri Apr 18 11:56:57 GMT 2014namespaceID=1397306199clusterID=CID-bfe869e9-fe7a-48c7-9606-08512f1708becTime=0storageType=NAME_NODEblockpoolID=BP-139798373-172.25.40.171-1397735615751layoutVersion=-56.........【阅读全文】

阅读(3610) | 评论(0) | 转发(0)

执行“hdfs dfs -ls”时报ConnectException

发布时间：2014-04-17 20:11:34

原因可能是指定的端口号9000不对，该端口号由hdfs-site.xml中的属性“dfs.namenode.rpc-address”指定，即为NameNode的RPC服务端口号。文件上传后，被存储在DataNode的data（由DataNode的hdfs-site.xml中的属性“dfs.datanode.data.dir”指定）目录下，如：$HADOOP_HOME/data/current/BP-139798373-172.........【阅读全文】

阅读(2941) | 评论(0) | 转发(0)

启动Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析

发布时间：2014-04-17 19:55:26

Hadoop HDFS时的“Incompatible clusterIDs”错误原因分析.pdf“Incompatible clusterIDs”的错误原因是在执行“hdfs namenode -format”之前，没有清空DataNode节点的data目录。网上一些文章和帖子说是tmp目录，它本身也是没问题的，但Hadoop 2.4.0是data目录，实际上这个信息已经由.........【阅读全文】

阅读(14939) | 评论(2) | 转发(1)

“hdfs dfs -ls”命令的使用

发布时间：2014-04-17 18:58:34

“hdfs dfs -ls”带一个参数，如果参数以“hdfs://URI”打头表示访问HDFS，否则相当于ls。其中URI为NameNode的IP或主机名，可以包含端口号，即hdfs-site.xml中“dfs.namenode.rpc-address”指定的值。“hdfs dfs -ls”要求默认端口为8020，如果配置成9000，则需要指定端口号，否则不用指定端口，.........【阅读全文】

阅读(3830) | 评论(0) | 转发(0)

SuSE Linux上修改主机名

发布时间：2014-04-17 16:01:17

1) 临时修改主机名临时修改使用hostname即可，格式为：hostname 新主机名。Hostname命令除可以临时修改主机名外，还可以用它来查看主机名，不带参数执行它，即为查看主机名。 2) 永久修改主机名修改文件/etc/HOSTNAME即可：cat /etc/HOSTNAME.........【阅读全文】

阅读(8637) | 评论(0) | 转发(1)

strerror线程安全分析

发布时间：2014-04-16 13:33:50

strerror线程安全分析.pdf导读strerror是否线程安全了？ 1errno是否线程安全？ 1附1：strerror源码 2附2：__strerror_r源码 2 strerror是否线程安全了？答案是NO，但它有个线程安全的版本：strerror_r。借助Linux的man，即可看到详情：#include <string.h.........【阅读全文】

阅读(3037) | 评论(0) | 转发(1)

两个SSH2间免密码登录

发布时间：2014-04-16 12:29:30

OpenSSH登录SSH2.pdfSSH2免密码登录OpenSSH.pdfSSH2间免密码登录.pdf以下针对的是ssh2，而不是ssh，也不是OpenSSH。配置分两部分：一是对登录机的配置，二是对被登录机的配置，其中登录机为客户端，被登录机为服务端，也就是解决客户端到服务端的无密码登录问题。下述涉及到的命令，可以直接拷贝到Linux终端上执行，已全.........【阅读全文】

阅读(5208) | 评论(0) | 转发(0)

SSH2免密码登录OpenSSH

发布时间：2014-04-16 12:27:28

OpenSSH登录SSH2.pdfSSH2免密码登录OpenSSH.pdfSSH2间免密码登录.pdf1. 如何确定是OpenSSH还是SSH2？执行命令“ssh -V”，通过它的输出，即可确定：SSH2ssh: SSH Secure Shell 3.2.9.1 (non-commercial version) on.........【阅读全文】

阅读(6100) | 评论(0) | 转发(1)