Java web项目如何远程向hdfs上传文件

光滑的秃头 2018-06-05 07:50:07
第一次接触大数据,现在公司在内网的其他机器上安装了hadoop进行数据分析 ,需要再做一个web项目,将原始数据进行编码等操作之后每天定时上传到hdfs 上面进行数据分析,并进行一个检测数据是否上传。

public static void main(String[] args) throws Exception {

Configuration configuration = new Configuration();
FileSystem hdfs = FileSystem.get(configuration);
Path src = new Path("/usr/local/test/t1.txt");
Path dst = new Path("/");
hdfs.copyFromLocalFile(src, dst);
}
现在写的测试程序,但是问题是需要在hadoop服务器上,使用hadoop jar 来运行这个jar
无法再web工程上调用这个程序。所以想问问有没有其他方法?
...全文
1496 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
tianfang 2018-06-05
  • 打赏
  • 举报
回复
java传送文件,需要调用hadoop接口 https://blog.csdn.net/tanqu9315/article/details/79064826
tianfang 2018-06-05
  • 打赏
  • 举报
回复
你可以试试用ETL工具开发 分解成两个步骤: 1 ETL 工具kettle 编写脚本,实现上传和调用 基本功能:https://blog.csdn.net/zzq900503/article/details/78543778 hadoop连接和处理:https://blog.csdn.net/xiaohai798/article/details/39558939 2 java 调用kettle 脚本,实现脚本完成的功能 https://blog.csdn.net/jc_benben/article/details/77368612

50,590

社区成员

发帖
与我相关
我的任务
社区描述
Java相关技术讨论
javaspring bootspring cloud 技术论坛(原bbs)
社区管理员
  • Java相关社区
  • 小虚竹
  • 谙忆
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧