有捣鼓过 Hadoop 编程的请帮忙！

[小灰狼]

在 Hadoop 组提了两个问题了，有关编程的一个答复的都没有
完整代码如下

package com.idbk.test.hadoop;
 
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;
 
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
 
public class Test001 {
     
    public void testURL(){
        System.out.println("new FsUrlStreamHandlerFactory()");
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
        System.out.println("new FsUrlStreamHandlerFactory() complete.");
         
        String path = "hdfs://hadoop.master:8020/input/mapred-site.xml.template";
        InputStream input= null;
        try {
            input= new URL(path).openStream();
            IOUtils. copyBytes(input, System.out, 4096, false );
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            IOUtils. closeStream(input);
        }
    }
     
    public static void main(String[] args){
        Test001 obj = new Test001();
        obj.testURL();
    }
}

URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); 语句明明都已经执行过了
但为什么报 在 input= new URL(path).openStream(); 中报异常
java.net.MalformedURLException: unknown protocol: hdfs

[moguobiao]

把 hadoop-hdfs-2.X.jar 加到 classpath 上。

[zs808]

我本机测试是没有问题的，是不是包的版本问题？

[zs808]

引用 1 楼 moguobiao 的回复:

把 hadoop-hdfs-2.X.jar 加到 classpath 上。

在移除hadoop-hdfs包依赖以后，是会报跟lz一样的错误，应该就是因为这个了。

[小灰狼]

感谢楼上几位回复 你们是用什么开发工具，还有做 Hadoop 开发一般要导哪些 jar？ Hadoop 里 jar 一大把，不知道哪些要用到，哪些用不到！ 我用的是 MyEclipse 10，JDK1.7 昨天曾经下载 hadoop 源代码进行编译，发现里面有些用到了 JDK1.8 的语法，所以估计在 JDK1.7 下是无法运行的。但是除了这种错误，还有一些在源代码里报类找不到的编译错误，那些类也不知道上要导哪些 jar 进来 网上下载了 hadoop 的 Eclipse 插件，但发现在 MyEclipse10 下无法使用

[moguobiao]

如果你用Maven的话，这些jar包都可以自动导入的。

[zs808]

如果只是写HDFS相关内容的话，就用hadoop-common与hadoop-hdfs包就可以了。