把最近经常使用的Hadoop，Ceph的命令总结一下，很实用。
Hadoop
检查nm是否存活，bin/yarn node list
删除目录，hadoop dfs -rm -r /directory
hadoop classpath 可以查看所有的类的路径
Hadoop离开安全模式的方法：hadoop dfsadmin -safemode leave
wordcount 程序：
生成随机文本 bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar randomtextwriter -Dmapreduce.randomtextwriter.totalbytes=8589934592 /usr/mrinput
wordcount测试 time bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount /usr/mrinput /usr/mroutput
terasort 程序：
生成待排序数据 bin/hadoop jar hadoop-mapreduce-examples-2.4.1.jar teragen 4589934592 terasort/2-input
terasort程序运行 hadoop jar hadoop-mapreduce-examples-2.4.1.jar terasort -Dmapred.reduce.tasks=4 terasort/2-input terasort/1G-outputs
ceph
David的脚本：
mount ceph文件系统
sudo mount.ceph 10.196.131.238:6789:/ ~/ -o name=admin,secret=AQDFWMBVuwkXARAA/O8kdBTVoCuterXiRMtmrg==
创建一个cephfs，ceph fs new cephfs hadoop1 hadoop2
rados -p poolname ls 可以查看有哪些object。
rados -p hadoop2 stat 1000000109d.00000b2a 可以查看object的信息。
创建pool：ceph osd pool create hadoop1 1320 1320
查看pool列表 ：ceph osd pool ls
设置pool的size ceph osd pool set hadoop1 size 3
ceph osd tree 查看osd列表信息
ceph mds add_pool hadoop2
ceph mds rm 0 mds.tdw-xxx
mds gid 0 dne
删除一个cephfs的方法：
sudo /etc/init.d/ceph stop mds.c223
ceph mds rm 0 mds.c223
ceph mds newfs 1 2 --yes-i-really-mean-it
ceph fs rm cephfs --yes-i-really-mean-it
sudo ceph osd pool delete cephfs_data cephfs_data --yes-i-really-really-mean-it
sudo ceph osd pool delete cephfs_metadata cephfs_metadata --yes-i-really-really-mean-it
查看 auth列表，ceph auth list
修改client.admin里面访问mds的权限：
ceph auth caps client.admin mon 'allow *' mds 'allow *' osd 'allow *'
updated caps for client.admin
ceph tell mds.tdw-xxx injectargs -- --debug-mds-log 20
ceph tell mds.tdw-xxx injectargs -- --debug-mds 20
OS
sgdisk -Z /dev/sdk 可以清除sdk的信息
uuidgen可以产生一个唯一的id
安装rzsz yum install lrzsz
查看有哪些包已经安装上 yum list installed
查看该包安装到了哪些路径 yum -ql cephfs-java
阅读(1833) | 评论(0) | 转发(0) |
