Chinaunix首页 | 论坛 | 博客

艾叔学苑

暂无签名

分类: 大数据

2017-12-06 19:59:45

写在前面的话

Hdfs采用分布式架构,为上层的应用和用户提供可扩展、高吞吐、高可靠的数据存储服务。在整个Hadoop生态系统中,hdfs处于最底层,也是最无可替代的一个基础设施。从2008hadoop-0.10.1版本开始到现在的hadoop-3.0.0-beta1hdfs已经走过了近10个年头,其架构和功能特性也发生了巨大的变化。特别是hdfs3.0.0系列,和hdfs2.x相比,增加了基于纠删码(erasure encoding)的容错方式,与传统的副本方式相比,在同等可用性的情况下, 能大幅节省一半以上的空间,这也是自hdfs诞生近这十年来,数据可靠性机制上的一个重大变化(之前一直都是副本容错方式)。此外hdfs3.0.0还增加了其它的一些特性,例如在Namenode HA中支持3Namenode,可以容忍2Namenode失效,而hdfs2.x只能容忍1Namenode失效。

本文以连载的方式,在大数据学习网”上记录自己使用hadoop-3.0.0-beta1hdfs的点点滴滴,包括从零开始搭建分布式hdfs3.0,如何动态扩展hdfs节点、如何使用hdfs3.0的纠删码容错等等。不当之处,请大家发邮件aishuc@126com给艾叔,谢谢!

 

4.8 查看HDFS系统

显示当前HDFS系统的容量、空间使用情况、节点信息(节点主机名、状态是否正常)等。

例子代码

[user@nn1 hadoop-3.0.0-beta1]$ hdfs dfsadmin -report

Configured Capacity: 18746441728 (17.46 GB)

Present Capacity: 16170074112 (15.06 GB)

DFS Remaining: 16169504768 (15.06 GB)

DFS Used: 569344 (556 KB)

DFS Used%: 0.00%

Replicated Blocks:

        Under replicated blocks: 32

        Blocks with corrupt replicas: 0

        Missing blocks: 0

        Missing blocks (with replication factor 1): 0

        Pending deletion blocks: 0

Erasure Coded Block Groups:

        Low redundancy block groups: 0

        Block groups with corrupt internal blocks: 0

        Missing block groups: 0

        Pending deletion blocks: 0

 

-------------------------------------------------

Live datanodes (1):

 

Name: 192.168.182.11:9866 (nn1)

Hostname: nn1

Decommission Status : Normal

Configured Capacity: 18746441728 (17.46 GB)

DFS Used: 569344 (556 KB)

Non DFS Used: 2576367616 (2.40 GB)

DFS Remaining: 16169504768 (15.06 GB)

DFS Used%: 0.00%

DFS Remaining%: 86.25%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 1

Last contact: Wed Nov 29 16:40:22 EST 2017

Last Block Report: Wed Nov 29 16:38:07 EST 2017

注意

Configured Capacity: 18746441728 (17.46 GB) 这个是datanode目录所在分区的总容量,例如我们这里,就是/dev/mapper/centos-root的容量

Present Capacity: 16170074112 (15.06 GB)

DFS Remaining: 16169504768 (15.06 GB)hdfs目前可用容量

DFS Used: 569344 (556 KB)hdfs已用容量

Present Capacity=所有datanode目录可用容量之和

Present Capacity = DFS Remaining + DFS Used

 

4.9 查看文本文件内容

查看hdfs/profile文件内容

[user@nn1 hadoop-3.0.0-beta1]$ hdfs dfs -cat /profile

 

 

4.10 查看命令帮助

使用-help + command,将显示command对应的帮助说明

例子

例如,查看tail命令

[user@nn1 hadoop-3.0.0-beta1]$ hdfs dfs -help tail

-tail [-f] :

  Show the last 1KB of the file.

  -f  Shows appended data as the file grows.

查看get命令

[user@nn1 hadoop-3.0.0-beta1]$ hdfs dfs -help get

-get [-f] [-p] [-ignoreCrc] [-crc] ... :

  Copy files that match the file pattern to the local name.   is kept.

  When copying multiple files, the destination must be a directory. Passing -f

  overwrites the destination if it already exists and -p preserves access and

  modification times, ownership and the mode.

查看df命令

[user@nn1 hadoop-3.0.0-beta1]$ hdfs dfs -help df

-df [-h] [ ...] :

  Shows the capacity, free and used space of the filesystem. If the filesystem has

  multiple partitions, and no path to a particular partition is specified, then

  the status of the root partitions will be shown.

  -h  Formats the sizes of files in a human-readable fashion rather than a number

      of bytes.

4.11 hdfs中查找文件或目录

例子

[user@nn1 hadoop-3.0.0-beta1]$ hdfs dfs -find / -name "*.xml"

输出结果

/hadoop/capacity-scheduler.xml

/hadoop/core-site.xml

/hadoop/hadoop-policy.xml

/hadoop/hdfs-site.xml

/hadoop/httpfs-site.xml

/hadoop/kms-acls.xml

/hadoop/kms-site.xml

/hadoop/mapred-site.xml

/hadoop/yarn-site.xml

 

上一篇:hadoop-3.0.0-beta1运维手册(007):hdfs3.0.0基本操作-hdfs上传、下载、删除文件或目录

原创文章,转载请注明: 转载自大数据学习网,作者:艾叔

本文链接地址http://www.bigdatastudy.net/show.aspx?id=455&cid=8

阅读(83) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册