Chinaunix首页 | 论坛 | 博客
  • 博客访问: 94811
  • 博文数量: 21
  • 博客积分: 415
  • 博客等级: 一等列兵
  • 技术积分: 228
  • 用 户 组: 普通用户
  • 注册时间: 2011-07-11 12:17
文章分类

全部博文(21)

文章存档

2014年(1)

2012年(7)

2011年(13)

分类: 云计算

2011-07-13 19:12:24

    最近学习Hadoop,可以使用命令行来简单的管理Hadoop,例如使用:
  1. #查看hadoop的HDFS根节点情况
  2. hadoop fs -ls /
  3. #创建文件夹LGG
  4. hadoop fs mkdir /user/root/LGG
通过命令行接口来进行操作。
    当然,hadoop命令行接口同样支持自己编写的类的参数,例如在Hadoop权威指南中的一个例子如下:
  1. import java.io.InputStream;
  2. import java.net.URL;
  3. import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
  4. import org.apache.hadoop.io.IOUtils;

  5. /**
  6.  *
  7.  * @author LGG
  8.  *
  9.  */
  10. public class URLCat {
  11.     static{
  12.         URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
  13.     }
  14.     public static void main(String[] args) throws Exception{
  15.         InputStream in = null;
  16.         try{
  17.             in = new URL(args[0]).openStream();
  18.             IOUtils.copyBytes(in, System.out, 4096,false);
  19.         }finally{
  20.             IOUtils.closeStream(in);
  21.         }
  22.     }
  23. }
    将URLCat.java编译后生成class文件,然后可以将此类作为一个hadoop命令行接口的参数进行使用,如下:
  1. hadoop URLCat hdfs://localhost/user/tom/readme.txt
作用是将HDFS文件里面的readme.txt输出到System.out中,就是标准输出。但是在执行的时候会报以下错误:
  1. Exception in thread "main" java.lang.NoClassDefFoundError: URLCat
  2. Caused by: java.lang.ClassNotFoundException: URLCat
  3.     at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
  4.     at java.security.AccessController.doPrivileged(Native Method)
  5.     at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
  6.     at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
  7.     at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
  8.     at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
  9. Could not find the main class: URLCat. Program will exit.
这个异常是典型的类装入问题的异常,异常表明在类装入的过程中,没有找到URLCat这个类的定义。于是LGG查阅了相关资料,发现hadoop脚本执行的时候,classpath的搜索路径默认会在当前系统变量$HADOOP_CLASSPATH中去寻找,于是echo查看之,发现竟然显示为空!
    问题找到了,因为系统指定了classpath,所以回去这个环境变量中去寻找,但是在当前路径下找不到类URLCat(废话,都是空的了)。使用export命令就可以解决了:
  1. #.表示当前目录,即类所在目录,只有这样才能让hadoop找到这个类
  2. export HADOOP_CLASSPATH=.
然后再执行:
  1. hadoop URLCat hdfs://localhost/user/tom/readme.txt
就搞定了~~
 
 
 
 
阅读(2066) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~