hdfs多线程写入问题 追加30秒左右 追加停止 created at java.lang.Throwable: TRACE

小公牛123 2018-12-27 11:15:34
请问 ：
这个 created at java.lang.Throwable: TRACE 是由于什么配置 或原因导致的吗



2018-12-27 10:44:18 [LeaseRenewer:XXXX@hacluster, clients=[DFSClient_NONMAPREDUCE_288686467_317], created at java.lang.Throwable: TRACE
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:206)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:75)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.get(LeaseRenewer.java:147)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.access$100(LeaseRenewer.java:94)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.getInstance(LeaseRenewer.java:84)
at org.apache.hadoop.hdfs.DFSClient.getLeaseRenewer(DFSClient.java:480)
at org.apache.hadoop.hdfs.DFSClient.beginFileLease(DFSClient.java:486)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1535)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1503)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:342)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:338)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:338)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:320)
at org.apache.hadoop.fs.FileSystem.append(FileSystem.java:1166)
......
][org.apache.hadoop.hdfs.client.impl.LeaseRenewer][455]-[DEBUG] Lease renewer daemon for [] with renew id 1 executed
2018-12-27 10:44:19 [IPC Client (-1458502505) connection to 主机:端口 from XXXX@HADOOP.COM][org.apache.hadoop.ipc.Client][1232]-[DEBUG] IPC Client (-1458502505) connection to 主机:端口 from XXXX@HADOOP.COM: closed
2018-12-27 10:44:19 [IPC Client (-1458502505) connection to 主机:端口 from XXXX@HADOOP.COM][org.apache.hadoop.ipc.Client][1027]-[DEBUG] IPC Client (-1458502505) connection to 主机:端口 from XXXX@HADOOP.COM: stopped, remaining connections 0
2018-12-27 10:44:48 [LeaseRenewer:XXXX@hacluster, clients=[DFSClient_NONMAPREDUCE_288686467_317], created at java.lang.Throwable: TRACE
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:206)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:75)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.get(LeaseRenewer.java:147)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.access$100(LeaseRenewer.java:94)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.getInstance(LeaseRenewer.java:84)
at org.apache.hadoop.hdfs.DFSClient.getLeaseRenewer(DFSClient.java:480)
at org.apache.hadoop.hdfs.DFSClient.beginFileLease(DFSClient.java:486)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1535)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1503)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:342)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:338)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:338)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:320)
at org.apache.hadoop.fs.FileSystem.append(FileSystem.java:1166)
][org.apache.hadoop.hdfs.client.impl.LeaseRenewer][455]-[DEBUG] Lease renewer daemon for [] with renew id 1 executed
2018-12-27 10:45:10 [LeaseRenewer:XXXX@hacluster, clients=[DFSClient_NONMAPREDUCE_288686467_317], created at java.lang.Throwable: TRACE
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:206)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:75)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.get(LeaseRenewer.java:147)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.access$100(LeaseRenewer.java:94)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.getInstance(LeaseRenewer.java:84)
at org.apache.hadoop.hdfs.DFSClient.getLeaseRenewer(DFSClient.java:480)
at org.apache.hadoop.hdfs.DFSClient.beginFileLease(DFSClient.java:486)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1535)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1503)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:342)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:338)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:338)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:320)
at org.apache.hadoop.fs.FileSystem.append(FileSystem.java:1166)
.........
][org.apache.hadoop.hdfs.client.impl.LeaseRenewer][485]-[DEBUG] Lease renewer daemon for [] with renew id 1 expired
2018-12-27 10:45:10 [LeaseRenewer:XXXX@hacluster, clients=[DFSClient_NONMAPREDUCE_288686467_317], created at java.lang.Throwable: TRACE
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:206)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.<init>(LeaseRenewer.java:75)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.get(LeaseRenewer.java:147)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer$Factory.access$100(LeaseRenewer.java:94)
at org.apache.hadoop.hdfs.client.impl.LeaseRenewer.getInstance(LeaseRenewer.java:84)
at org.apache.hadoop.hdfs.DFSClient.getLeaseRenewer(DFSClient.java:480)
at org.apache.hadoop.hdfs.DFSClient.beginFileLease(DFSClient.java:486)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1535)
at org.apache.hadoop.hdfs.DFSClient.append(DFSClient.java:1503)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:342)
at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:338)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:338)
at org.apache.hadoop.hdfs.DistributedFileSystem.append(DistributedFileSystem.java:320)
at org.apache.hadoop.fs.FileSystem.append(FileSystem.java:1166)
......
][org.apache.hadoop.hdfs.client.impl.LeaseRenewer][322]-[DEBUG] Lease renewer daemon for [] with renew id 1 exited


程序未停止 但是卡在这里 不进行追加了
...全文
713 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
小公牛123 2020-02-21
  • 打赏
  • 举报
 回复
多线程写多个文件呀 写一个文件权限会被锁定得 不过后来放弃实时写入得方式了 实时写得速度很慢得 io吃不消 可以试试缓存起来 批量写 入 多线程处理数据单线程写入
程序猿TT 2019-10-29
  • 打赏
  • 举报
 回复
你是怎么实现多线程追加的呢？我多线程append 报错：because DFSClient_NONMAPREDUCE_-1155737048_1 is already the current lease holder.
第二章：大数据文件系统之HDFS
1.HDFS原理与架构说明 2.HDFS的NameNode和DataNode 3.HDFS缓存机制(Cache) 4.HDFS快照(Snapshot) 5.HDFS命令行操作 6.HDFS的Java API编程 7.HDFS Web HDFS API编程实践 8.HDFS企业级项目实战：某企业微博数据分析平台数据存储模块设计与实现
字节大佬总结的Java面试资料
1. 目录 1. 目录.........................................................................................................................................................1 2. JVM..............................
2023最全Java面试题
Java 事务编程接口（JTA：Java Transaction API）和 Java 事务服务 (JTS；System.out.println(“子线程”+Thread.currentThread().getName()+“正在执行”);System.out.println(“子线程”+Thread.currentThread().getName()+“执行完毕”);System.out.println(“子线程”+Thread.currentThread().getName()+“正在执行”);
JAVA面试题
https://blog.csdn.net/u011279240/article/details/80532555 几个大厂的面试题目目录： java基础（40题） 多线程（51题） 设计模式（8点） JVM（12题） 数据结构与算法（17题） 数据库（22题） Spring （13题） Netty（7大题） 缓存（9题） 技术框架（8题） 技术深度（12题） 分布式（33题） 系统架构（18题）...
Hbase官方文档中文版
http://abloz.com/hbase/book.html#quickstart 目录 序1. 入门 1.1. 介绍1.2. 快速开始 2. Apache HBase (TM)配置 2.1. 基础条件2.2. HBase 运行模式: 独立和分布式2.3. 配置文件2.4. 配置示例2.5. 重要配置  3. 升级 3.1. 从 0.94.x 升级到 0.
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章