hadoop 在mac上伪分布配置

转自
在MAC上安装Hadoop
Hadoop是进行大数据计算的有效工具，本文介绍如何在MAC上安装Hadoop，并配置伪分布式的环境。


STEP1：新建系统用户 


虽然这不是必须的, 但出于安全的考虑，最好新建一个系统用户。添加用户如下：


点击System Preferences or “系统偏好设置” > Accounts or “用户与群组”


点击 靠近帐号列表底部的”+” 按钮 . 如果点击无效，你需要点击底角的锁定图标来开启这一能力，键入Admin用户和密码。


当弹出一个新用户的窗口，键入 全名、 账户名称 和 密码. 如下:


全名: hadoop
账户名称: Hadoop
密码: MyPassword


填写完后, 点击 “创建用户”，新用户创建完成。


访问 “实用工具” -> “终端”, 打开终端。输入命令行： su hadoop ，按照提示输入密码。完成后，现在可以使用账号hadoop进行操作了。


STEP 2: 安装JAVA 


          MAC电脑上默认已经安装好java了，你可以输入命令行：“java -version”，查看JAVA的版本。


STEP 3: 配置远程免登陆 


SSH已经安装在你的 Mac系统上. 但是, 你需要确保能够访问你的机器 (那样Hadoop就不会不要其烦的让你键入密码了). 如下去做：


System Preferences > Sharing (under Internet & Network)


在服务列表下面, 尝试 “Remote Login”. 为了安全, 你可以点击单选按钮“Only these Users” ， 选择 hadoop 用户


现在, 我们配置在登录本地机器时不再提示输入密码. 在终端下键入如下:


$:~ ssh-keygen -t rsa -P “”
$:~ cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys


现在 试一下:


$:~ ssh localhost


你应该可以不用密码登录了.


Step 4: 下载和安装Hadoop


下载最新的Hadoop，我选择下载的是1.2.1版本：


 $: curl -O


下载完成后，解压缩，并设置目录的权限：


$: tar -xzvf hadoop-1.2.1
$: chown -R hadoop hadoop-1.2.1


STEP 4: 配置HADOOP


配置Hadoop时，需要分别修改4个文件：


? hadoop-env.sh
? core-site.xml
? hdfs-site.xml
? mapred-site.xml


这四个文件，都在Hadoop目录中的conf子目录下。


hadoop-env.sh


为了避免出现错误： “Unable to load realm info from SCDynamicStore” error.  需要增加如下一行：


# export HADOOP_OPTS=-server
export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc="
core-site.xml


先在命令行输入：


$ mkdir -p /Users/hadoop/hadoop-1.2.1/hdfs/tmp


建立tmp目录后，再修改core-site.xml文件


 



 
    hadoop.tmp.dir
    /Users/hadoop/hadoop-1.2.1/hdfs/tmp
    A base for other temporary directories.
 
 
    fs.default.name
    hdfs://localhost:9000
 

hdfs-site.xml









dfs.replication
1


mapred-site.xml









mapred.job.tracker
localhost:9010


STEP 5: 运行HADOOP 


格式化节点：


$ hadoop-1.2.1/bin/hadoop namenode -format


建立DFS:
$ hadoop-1.2.1/bin/start-all.sh


作为测试，我们新建一个目录：


$ hadoop-1.2.1/bin/hadoop -mkdir test


输入命令：


$ bin/hadoop dfs -ls


Found 1 items


drwxr-xr-x   – hadoop supergroup          0 2013-08-05 18:06 /user/hadoop/test


输入命令：$ hadoop-1.2.1/bin/stop-all.sh ，可以终止DFS。