Hadoop FileSystem fs = FileSystem.newInstance()耗时10s为什么？

pxt_love 2018-11-28 05:27:16

Hadoop FileSystem fs = FileSystem.newInstance()耗时10s为什么？
同一份代码在不同环境里有的会卡顿10多秒，有的完全没问题。一步步排查发现时new的时候慢的，求大神支招~~

...全文

100 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1. 大数据行业现状分析与最新行业动态2. Hadoop的起源与简史（包含：Hadoop的发行版本）3. Hadoop 2.X生态体系简介：HDFS，MapReduce，Hive等4. Hadoop 3.0新特性介5. Hadoop在互联网公司的应用案例解析6. Hadoop 2.X安装部署的三种模式：集群，伪分布式，Local

hdfs 常见的获取文件系统代码，如下 Configuration conf = new Configuration(); FileSystem fs; fs = FileSystem.get(conf); fs 最终指向的是FileSystem哪个子类呢，过程是怎么样的，逐步跳进代码一看 public static FileSystem ...

问题1：当我们使用FileSystem.get(conf)时会创建几个实例针对这个问题我们进行代码测试 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import java.io.IOException; import java.util.List; public class ThreadTest extends Thread{ private FileSystem

java.io.IOException: Filesystem closed 最近从事hadoop java 方面的开发工作。问题是这样的，之前使用java 拷贝本地文件到hdfs, 代码如下 public void copyFile(String src, String dst) { try { // hdfs = FileSystem.get(conf); Pa

1、org.apache.hadoop.conf包org.apache.hadoop.conf包位于hadoop-common模块下 1.1 Configurable 接口package org.apache.hadoop.conf;import org.apache.hadoop.classification.InterfaceAudience; import org.apache.hadoop

Hadoop生态社区

20,811

社区成员

4,691

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章