Chinaunix首页 | 论坛 | 博客
  • 博客访问: 822723
  • 博文数量: 96
  • 博客积分: 1553
  • 博客等级: 上尉
  • 技术积分: 1871
  • 用 户 组: 普通用户
  • 注册时间: 2011-12-25 14:50
个人简介

专注点,细心点,耐心点 知行合一

文章分类

全部博文(96)

文章存档

2018年(1)

2014年(4)

2013年(31)

2012年(56)

2011年(4)

发布时间:2013-01-12 19:32:35

FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args> 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path 。对 HDFS文件系统,scheme是hdfs ,对本地文件系统,scheme是file 。其中scheme和 authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可 以表示成hdfs://namenode:namenodepo......【阅读全文】

阅读(614) | 评论(0) | 转发(0)

发布时间:2013-01-12 15:42:46

Hadoop安装简单版操作系统环境: Linux ubuntu 3.2.0-23-generic-paeHadoop版本: hadoop-1.0.3master: 192.168.1.2slaver: 192.168.1.3一, SSH免密码    通过ssh-keygen产生公私钥,将公钥copy到希望免ssh密码登陆的机子上。    master上操作: su hadoop cd /home/hadoop ssh-keygen -t rsa -P '' cat .ssh/id_rsa.pub >> ......【阅读全文】

阅读(1499) | 评论(0) | 转发(0)

发布时间:2013-01-11 12:16:16

man madvise  #include <sys/mman.h>  int madvise(void *addr, size_t length, int advice);The madvise() system call advises the kernel about how to handle paging input/output in the address range beginning at address addr and with size length bytes. It allows an application to tell the......【阅读全文】

阅读(3825) | 评论(0) | 转发(1)

发布时间:2013-01-11 11:21:21

ranksort算法大致思想: 将待排序的样本进行顺序分割。每个并行处理器处理部分数据。每个并行处理器的工作就是计算该部分的rank值。之后将所有的rank值进行汇总,就可以对其进行排序了。 点击(此处)折叠或打开#include <stdio.h>#include <stdlib.h>#include <mpi.h>/*  * 函数名: main  * 功能: 主函数,实现枚举排序  * 输入:argc为命令行参数个数;  * argv为每个命令行参数......【阅读全文】

阅读(1947) | 评论(0) | 转发(0)

发布时间:2013-01-07 09:54:41

MooseFS(MFS)CephGlusterFSLustreMetadata server单个MDS。存在单点故障和瓶颈。多个MDS,不存在单点故障和瓶颈。MDS可以扩展,不存在瓶颈。无,不存在单点故障。靠运行在各个节点上的动态算法来代替MDS,不需同步元数据,无硬盘I/O瓶颈。双MDS(互相备份)。MDS不可以扩展,存在瓶颈。FUSE支持支持支持支持访问接口POSIXPOSIXPOSIXPOSIX/MPI文件分布/数据分布文件被分片,数据块保存在不同的存储服务器上。文件被分片,每个数据块是一个对象。对象保存在不同的存储服务器上。Cluster Translators(GlusterFS集群......【阅读全文】

阅读(1612) | 评论(0) | 转发(2)
给主人留下些什么吧!~~
留言热议
请登录后留言。

登录 注册