亚马逊的emr登陆namenode

公司现在使用亚马逊的emr和存储服务，因此决定写写亚马逊的一些使用心得，方便初学者。

完全没有安装其他软件的情况下安装awscli 

1    安装ruby      
    awscli要求ruby的版本比较低，如果ruby的版本高于1.8.7 ，一定要再装一个1.8.7版本的。

      因为ruby的新版本和老版本有些语法上的不同。导致awscli不能正常运行

1.1 下载ruby 
     

点击(此处)折叠或打开

1. wget ftp://ftp.ruby-lang.org/pub/ruby/1.8/ruby-1.8.7-p299.tar.gz

   下载比较慢， 解压并cd进目录
1.2   ./configure -prefix=~/local/XXX 
  make  && make install 
1.3   将目录加入path
  vim   ~/.bash_profile   将你刚刚安装路径加入PATH 里面，如果系统里面有多个ruby，注意PATH的ruby的路径的前后顺序
   安装rubygems:
   下载wget   解压直接安装就可以了
    tar zxvf rubygems-1.8.10.tgz 
    cd rubygems-1.8.10
    ruby setup.rb
1.4  下载emr
   解压到随便哪个目录下
   我解压到local/emr-cli/目录下  如~/local/emr-cli
1.5  配置私钥
    在目录~/local/emr-cli 目录下touch 个文件  credentials.json
    里面写上

点击(此处)折叠或打开

1. {
   
2.     "access_id":"XX",
   
3.     "private_key":"XX4wlLEX",
   
4.     "key-pair":"XXp",
   
5.     "key-pair-file":"XX",
   
6.     "log_uri":"filepath",
   
7.     "region":"us-west-1"
   
8. }

   key-pair-file 是私钥的文件的路径,
   region是你建的emr的region，

1.6 登陆namenode 
    在亚马逊的控制台建立好emr后
   可以通过命令看到cluster的jobid
   具体的命令是:
        ./elastic-mapreduce  --list
   可以看到jobid，通过jobid就可以登陆emr的namenode
  命令是：
       ./elastic-mapreduce -j jobid  --ssh