Chinaunix首页 | 论坛 | 博客
  • 博客访问: 593684
  • 博文数量: 86
  • 博客积分: 3214
  • 博客等级: 中校
  • 技术积分: 1105
  • 用 户 组: 普通用户
  • 注册时间: 2008-06-01 18:26
文章分类

全部博文(86)

文章存档

2011年(5)

2010年(49)

2009年(3)

2008年(29)

分类: 系统运维

2010-12-05 13:12:56

Hadoop可以在单节点上以所谓的伪分布式模式运行,此时每一个Hadoop守护进程都作为一个独立的Java进程运行。

下载hadoop-0.18.3 解压

将hadoop加入PATH变量

1.$cd /etc/profile.d

2.$vim hadoop.sh

写入一下代码 其中@代表你的hadoop的解压目录

#!/bin/bash
export PATH=${PATH}:/@/hadoop-0.18.3/bin

3.$cd /etc 然后$./profile使hadoop.sh立即生效


配置

使用如下的 conf/hadoop-site.xml:

  
    fs.default.name
    localhost:9000
  
  
    mapred.job.tracker
    localhost:9001
  
  
    dfs.replication
    1
  

免密码ssh设置

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost,执行下面的命令:
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

执行

格式化一个新的分布式文件系统:
$ hadoop namenode -format

启动Hadoop守护进程:
$ start-all.sh

Hadoop守护进程的日志写入到 ${HADOOP_LOG_DIR} 目录 (默认是 ${HADOOP_HOME}/logs).

浏览NameNode和JobTracker的网络接口,它们的地址默认为:

  • NameNode -
  • JobTracker -

将输入文件拷贝到分布式文件系统:
$ hadoop fs -put conf input

运行发行版提供的示例程序:
$ hadoop jar hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

查看输出文件:

将输出文件从分布式文件系统拷贝到本地文件系统查看:
$ hadoop fs -get output output
$ cat output/*

在分布式文件系统上查看输出文件:
$ hadoop fs -cat output/*

完成全部操作后,停止守护进程:
$ stop-all.sh

阅读(6230) | 评论(1) | 转发(0) |
给主人留下些什么吧!~~

chinaunix网友2010-12-07 09:56:01

很好的, 收藏了 推荐一个博客,提供很多免费软件编程电子书下载: http://free-ebooks.appspot.com