Java web项目如何远程向hdfs上传文件

[光滑的秃头]

第一次接触大数据，现在公司在内网的其他机器上安装了hadoop进行数据分析 ,需要再做一个web项目，将原始数据进行编码等操作之后每天定时上传到hdfs 上面进行数据分析，并进行一个检测数据是否上传。

public static void main(String[] args) throws Exception {

Configuration configuration = new Configuration();
FileSystem hdfs = FileSystem.get(configuration);
Path src = new Path("/usr/local/test/t1.txt");
Path dst = new Path("/");
hdfs.copyFromLocalFile(src, dst);
}
现在写的测试程序，但是问题是需要在hadoop服务器上，使用hadoop jar 来运行这个jar
无法再web工程上调用这个程序。所以想问问有没有其他方法？

[tianfang]

你可以试试用ETL工具开发 分解成两个步骤： 1 ETL 工具kettle 编写脚本，实现上传和调用 基本功能：https://blog.csdn.net/zzq900503/article/details/78543778 hadoop连接和处理：https://blog.csdn.net/xiaohai798/article/details/39558939 2 java 调用kettle 脚本，实现脚本完成的功能 https://blog.csdn.net/jc_benben/article/details/77368612

[tianfang]

java传送文件，需要调用hadoop接口 https://blog.csdn.net/tanqu9315/article/details/79064826