大数据学习笔记1-hadoop

1.安装vmware，共享目录：
    vmware版本：10.0.0 build-1295980
    ubuntu版本：14.04.4    
    先安装的vmware workstation自带光盘中vmare tools包，安装完成后没有产生vmhgfs模块；
    
    可以认为此方法失败，然后根据网上的提示安装open-vm-tools，使用命令行：    
    sudo apt-get install open-vm-tools
    
    安装完成后，依然没有成功的vmhgfs模块；    
    最后根据中的方法，执行如下命令行成功；
    $ git clone .git
    $ cd vmware-tools-patches
    $ sudo ./patched-open-vm-tools.sh

2.Ubuntu14.04下安装并开启SSH服务，这样你可以用MobaXterm进行连接，执行命令了，方便复制粘贴 

    1).打开终端窗口，输入命令,等待安装完成
        sudo apt-get install openssh-server 

    2).查看SSH服务是否启动,输入命令,看到sshd则说明服务已经启动
        sudo ps -e |grep ssh  
        如果没有启动，输入命令,sudo service ssh start  

    3).修改配置文件
        sudo gedit /etc/ssh/sshd_config  
    把配置文件中的"PermitRootLogin without-password"加一个"#"号注释掉，再增加一句"PermitRootLogin yes"，保存文件。这样做是为了允许root用户登录。

    4）设置 ssh 免密码登陆执行命令
        (1)ssh-keygen -t rsa
        (2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 
    
    验证：ssh hostname

**完成以上步骤之后，克隆2份slave1，slave2，为构建伪分布式系统做准备**

3.设置主机名
      
    sudo gedit /etc/ssh/hostname
      把里面的默认主机名字删除，并修改为自己的主机名。  

4.设置主机名和ip一致
   vi /etc/hosts


**开始下面的操作前，最好创建一个自己的工作目录，我是创建/study目录：**

sudo chown yourname:yourname /study

5.安装jdk.   
   解压jdk到你的工作目录下，mv jdk-1.8.0_24 jdk

    vi /etc/environment
    增加内容如下: 
    JAVA_HOME=/study/jdk 
    PATH=.:/study/jdk/bin:$PATH
    执行: source /etc/environment 命令使得当前终端窗口生效，新开窗口无效，如果想全部窗口生效，需要添加到/etc/profile或者~/.profile中重启

6.安装 hadoop, 执行命令

    (1)tar -zxvf hadoop-2.7.3.tar.gz
    (2)mv hadoop-2.7.3 hadoop
    (3)vi /etc/environment 增加内容如下: 
        JAVA_HOME=/study/jdk
        HADOOP_HOME=/study/hadoop
        PATH=.:/study/hadoop/bin:/study/jdk/bin:$PATH 
    (4)source /etc/environment

    (5)修改 conf 目录下的配置文件
        1.hadoop-env.sh 2.7之后不再需要修改
        export JAVA_HOME=/usr/local/jdk/
        2.core-site.xml         

<configuration>
   <property>
     <name>fs.defaultFS</name>
     <value>hdfs://master:9000</value> //你的hostname:9000
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
     <value>/study/hadoop/tmp</value>  //你的工作目录下
   </property>
</configuration>

        

        3.hdfs-site.xml

<configuration>
    <property>
                <name>dfs.replication</name>
                <value>1</value>
    </property>
</configuration>

         
        4.mapred-site.xml,如果不存在，可以复制mapred-site.xml.templete改名         

<configuration>
    <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
    </property>
</configuration>

       
        5.yarn-site.xml 
        点击(此处)折叠或打开

<configuration>

    <property>
                 <name>yarn.nodemanager.aux-services</name>
                 <value>mapreduce_shuffle</value>
    </property>
    <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:18040</value>
    </property>
    <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:18030</value>
    </property>
    <property>
               <name>yarn.resourcemanager.resource-tracker.address</name>
               <value>master:18025</value>
    </property>
    <property>
               <name>yarn.resourcemanager.admin.address</name>
               <value>master:18141</value>
    </property>
    <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:18088</value>
    </property>
</configuration>

(6)格式化 HDFS：hadoop namenode -format

    (7)启动 Hadoop
      可以分步启动    
        1.先启动 HDFS： sbin/start-dfs.sh
        2.再启动 Yarn: sbin/start-yarn.sh
      或者启动所有：sbin/start-all.sh

    检测是否启动成功：jps，启动hdfs 3个namenode任务，yarn 2个manager任务
    在浏览器查看:
    
    http://master:18088

7.windows上的java程序无法操作hdfs,报错
org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administator, access=EXECUTE, inode="/whb/mkdirs-test":wanghb:supergroup:drw-rw-rw-

用户Administator在hadoop上执行写操作时被权限系统拒绝.

    1).只要在系统的环境变量里面添加 HADOOP_USER_NAME=wanghb 或者将当前系统的帐号修改为wanghb(你的hadoop账号)
    2).也可以修改你要操作的目录，如hadoop fs -chmod 777 /whb
    3).在java代码中设置用户名，System.setProperty("HADOOP_USER_NAME", "xxxx");