专注点，细心点，耐心点 知行合一
发布时间：2013-01-12 19:32:35
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统，scheme是hdfs ，对本地文件系统，scheme是file 。其中scheme和 authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可 以表示成hdfs://namenode:namenodepo......【阅读全文】
发布时间：2013-01-12 15:42:46
Hadoop安装简单版操作系统环境： Linux ubuntu 3.2.0-23-generic-paeHadoop版本： hadoop-1.0.3master: 192.168.1.2slaver: 192.168.1.3一, SSH免密码 通过ssh-keygen产生公私钥，将公钥copy到希望免ssh密码登陆的机子上。 master上操作： su hadoop cd /home/hadoop ssh-keygen -t rsa -P '' cat .ssh/id_rsa.pub >> ......【阅读全文】
发布时间：2013-01-11 12:16:16
man madvise #include <sys/mman.h> int madvise(void *addr, size_t length, int advice);The madvise() system call advises the kernel about how to handle paging input/output in the address range beginning at address addr and with size length bytes. It allows an application to tell the......【阅读全文】
发布时间：2013-01-11 11:21:21
ranksort算法大致思想： 将待排序的样本进行顺序分割。每个并行处理器处理部分数据。每个并行处理器的工作就是计算该部分的rank值。之后将所有的rank值进行汇总，就可以对其进行排序了。 点击(此处)折叠或打开#include <stdio.h>#include <stdlib.h>#include <mpi.h>/* * 函数名: main * 功能： 主函数，实现枚举排序 * 输入：argc为命令行参数个数； * argv为每个命令行参数......【阅读全文】
发布时间：2013-01-07 09:54:41
MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS，不存在单点故障和瓶颈。MDS可以扩展，不存在瓶颈。无，不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。双MDS(互相备份)。MDS不可以扩展，存在瓶颈。FUSE支持支持支持支持访问接口POSIXPOSIXPOSIXPOSIX/MPI文件分布/数据分布文件被分片，数据块保存在不同的存储服务器上。文件被分片，每个数据块是一个对象。对象保存在不同的存储服务器上。Cluster Translators(GlusterFS集群......【阅读全文】
