Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1939241
  • 博文数量: 873
  • 博客积分: 14125
  • 博客等级: 上将
  • 技术积分: 10703
  • 用 户 组: 普通用户
  • 注册时间: 2007-07-27 16:53
个人简介

为何一定要设置头像才能发文章

文章分类

全部博文(873)

文章存档

2018年(1)

2017年(10)

2015年(3)

2014年(8)

2013年(3)

2012年(71)

2011年(105)

2010年(361)

2009年(289)

2008年(22)

分类: 大数据

2017-09-08 16:03:40

1.安装vmware,共享目录:
    vmware版本:10.0.0 build-1295980
    ubuntu版本:14.04.4    
    先安装的vmware workstation自带光盘中vmare tools包,安装完成后没有产生vmhgfs模块;
    
    可以认为此方法失败,然后根据网上的提示安装open-vm-tools,使用命令行:    
    sudo apt-get install open-vm-tools
    
    安装完成后,依然没有成功的vmhgfs模块;    
    最后根据https://github.com/rasa/vmware-tools-patches中的方法,执行如下命令行成功;
    $ git clone https://github.com/rasa/vmware-tools-patches.git
    $ cd vmware-tools-patches
    $ sudo ./patched-open-vm-tools.sh

2.Ubuntu14.04下安装并开启SSH服务,这样你可以用MobaXterm进行连接,执行命令了,方便复制粘贴 

    1).打开终端窗口,输入命令,等待安装完成
        sudo apt-get install openssh-server 

    2).查看SSH服务是否启动,输入命令,看到sshd则说明服务已经启动
        sudo ps -e |grep ssh  
        如果没有启动,输入命令,sudo service ssh start  

    3).修改配置文件
        sudo gedit /etc/ssh/sshd_config  
    把配置文件中的"PermitRootLogin without-password"加一个"#"号注释掉,再增加一句"PermitRootLogin yes",保存文件。这样做是为了允许root用户登录。

    4)设置 ssh 免密码登陆执行命令
        (1)ssh-keygen -t rsa
        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 
    
    验证:ssh hostname

**完成以上步骤之后,克隆2份slave1,slave2,为构建伪分布式系统做准备**

3.设置主机名
      
    sudo gedit /etc/ssh/hostname
      把里面的默认主机名字删除,并修改为自己的主机名。  

4.设置主机名和ip一致
   vi /etc/hosts


**开始下面的操作前,最好创建一个自己的工作目录,我是创建/study目录:**

sudo chown yourname:yourname /study

5.安装jdk.   
   解压jdk到你的工作目录下,mv jdk-1.8.0_24 jdk

    vi /etc/environment
    增加内容如下: 
    JAVA_HOME=/study/jdk 
    PATH=.:/study/jdk/bin:$PATH
    执行: source /etc/environment 命令使得当前终端窗口生效,新开窗口无效,如果想全部窗口生效,需要添加到/etc/profile或者~/.profile中重启

6.安装 hadoop, 执行命令

    (1)tar -zxvf hadoop-2.7.3.tar.gz
    (2)mv hadoop-2.7.3 hadoop
    (3)vi /etc/environment 增加内容如下: 
        JAVA_HOME=/study/jdk
        HADOOP_HOME=/study/hadoop
        PATH=.:/study/hadoop/bin:/study/jdk/bin:$PATH 
    (4)source /etc/environment

    (5)修改 conf 目录下的配置文件
        1.hadoop-env.sh 2.7之后不再需要修改
        export JAVA_HOME=/usr/local/jdk/
        2.core-site.xml         

点击(此处)折叠或打开

      1. <configuration>
      2.    <property>
      3.      <name>fs.defaultFS</name>
      4.      <value>hdfs://master:9000</value> //你的hostname:9000 
      5.    </property>
      6.    <property>
      7.      <name>hadoop.tmp.dir</name>
      8.      <value>/study/hadoop/tmp</value>  //你的工作目录下
      9.    </property>
      10. </configuration>
        
        3.hdfs-site.xml

点击(此处)折叠或打开

      1. <configuration>
      2.     <property>
      3.                 <name>dfs.replication</name>
      4.                 <value>1</value>
      5.     </property>
      6. </configuration>
         
        4.mapred-site.xml,如果不存在,可以复制mapred-site.xml.templete改名         

点击(此处)折叠或打开

      1. <configuration>
      2.     <property>
      3.                 <name>mapreduce.framework.name</name>
      4.                 <value>yarn</value>
      5.     </property>
      6. </configuration>
       
        5.yarn-site.xml 
        点击(此处)折叠或打开
      1. <configuration>

      2.     <property>
      3.                  <name>yarn.nodemanager.aux-services</name>
      4.                  <value>mapreduce_shuffle</value>
      5.     </property>
      6.     <property>
      7.                <name>yarn.resourcemanager.address</name>
      8.                <value>master:18040</value>
      9.     </property>
      10.     <property>
      11.                <name>yarn.resourcemanager.scheduler.address</name>
      12.                <value>master:18030</value>
      13.     </property>
      14.     <property>
      15.                <name>yarn.resourcemanager.resource-tracker.address</name>
      16.                <value>master:18025</value>
      17.     </property>
      18.     <property>
      19.                <name>yarn.resourcemanager.admin.address</name>
      20.                <value>master:18141</value>
      21.     </property>
      22.     <property>
      23.                <name>yarn.resourcemanager.webapp.address</name>
      24.                <value>master:18088</value>
      25.     </property>
      26. </configuration>
(6)格式化 HDFS:hadoop namenode -format
    (7)启动 Hadoop
      可以分步启动    
        1.先启动 HDFS: sbin/start-dfs.sh
        2.再启动 Yarn: sbin/start-yarn.sh
      或者启动所有:sbin/start-all.sh

    检测是否启动成功:jps,启动hdfs 3个namenode任务,yarn 2个manager任务
    在浏览器查看:
    http://master:50070    
    http://master:18088

7.windows上的java程序无法操作hdfs,报错
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administator, access=EXECUTE, inode="/whb/mkdirs-test":wanghb:supergroup:drw-rw-rw-

用户Administator在hadoop上执行写操作时被权限系统拒绝.

    1).只要在系统的环境变量里面添加 HADOOP_USER_NAME=wanghb 或者将当前系统的帐号修改为wanghb(你的hadoop账号)
    2).也可以修改你要操作的目录,如hadoop fs -chmod 777 /whb
    3).在java代码中设置用户名,System.setProperty("HADOOP_USER_NAME", "xxxx");

阅读(200) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~
评论热议
请登录后评论。

登录 注册