kettle抽取数据输出hdfs报错:Could not close the output stream for file

qq_41346995 qq_41346995 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
求各位大佬看下到底什么问题,运行环境是在linux(Redhat6.5),账户权限是root,用kettle抽取数据输出到hive外部表(HDFS),格式是txt,数据量大概是60万+,数据可以抽取和输出,但是中间会出现以下错误,然后就任务结束了

2017/12/11 01:25:56 - JSON Input.0 - Finished processing (I=1, O=0, R=1, W=1, U=0, E=0)
2017/12/11 01:25:56 - Hadoop File Output.0 - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Exception trying to close file: org.apache.commons.vfs2.FileSystemException: Could not close the output stream for file "hdfs://hdfs:***@10.38.100.192:8020/nbgj/itf_ins_result_sum/itf_ins_result_sum.txt".
2017/12/11 01:25:56 - Hadoop File Output.0 - Finished processing (I=0, O=1, R=1, W=1, U=0, E=1)
2017/12/11 01:25:56 - nbgj_result_sum - Transformation detected one or more steps with errors.
2017/12/11 01:25:56 - nbgj_result_sum - Transformation is killing the other steps!
2017/12/11 01:25:56 - nbgj_result_sum - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Errors detected!
2017/12/11 01:25:56 - nbgj_for_result_sum_each - Finished job entry [nbgj_result_sum] (result=[false])
2017/12/11 01:25:56 - nbgj_for_result_sum_each - Finished job entry [nbgj_set_each_result_sum_id] (result=[false])
2017/12/11 01:25:56 - nbgj_job_result_sum - Finished job entry [nbgj_for_result_sum_each] (result=[false])
2017/12/11 01:25:56 - nbgj_job_result_sum - Finished job entry [nbgj_result_sum_id] (result=[false])
2017/12/11 01:25:56 - nbgj_result_sum_daily_job - Finished job entry [nbgj_job_result_sum] (result=[false])
2017/12/11 01:25:56 - nbgj_result_sum_daily_job - Finished job entry [nbgj_get_result_sum_daily_id] (result=[false])
2017/12/11 01:25:56 - nbgj_result_sum_daily_job - Finished job entry [get_parameters] (result=[false])
2017/12/11 01:25:56 - nbgj_get_total_daily_job - Finished job entry [nbgj_total_job] (result=[false])
2017/12/11 01:25:56 - nbgj_get_total_daily_job - Job execution finished
2017/12/11 01:25:56 - Kitchen - Finished!
2017/12/11 01:25:56 - Kitchen - ERROR (version 6.1.0.1-196, build 1 from 2016-04-07 12.08.49 by buildguy) : Finished with errors
2017/12/11 01:25:56 - Kitchen - Start=2017/12/11 01:00:03.987, Stop=2017/12/11 01:25:56.506
2017/12/11 01:25:56 - Kitchen - Processing ended after 25 minutes and 52 seconds (1552 seconds total).
...全文

相关推荐

ETL工具Kettle用户手册

##### 9.6.10 文本文件输出(Text File Output)用于将数据写入文本文件。##### 9.6.11 表输出(Table output)用于将数据写入数据库表。

pantaho

JEP30-PX100A PartModel Product Guidelines for Electronic-Device Substrates and Assemblies – XML Requ

JEP30-PX100A PartModel Product Guidelines for Electronic-Device Substrates and Assemblies – XML Requirements

cdming

基于Matlab的自动睡眠粒状结构检测算法,从脑电信号中进行。.zip

1.版本:matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点:参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象:计算机,电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。

海神之光

JEP375 2.5D_3D Silicon thinned wafers with Through Silicon Vias (TSV’s) and Backside Redistribution

JEP375 2.5D_3D Silicon thinned wafers with Through Silicon Vias (TSV’s) and Backside Redistribution Layer (RDL).pdf

Red Car

考虑供电可靠性与算力柔性的数据中心园区源‑储‑荷一体化规划研究(Matlab代码实现)

考虑供电可靠性与算力柔性的数据中心园区源‑储‑荷一体化规划研究(Matlab代码实现)内容概要:本文围绕“考虑供电可靠性与算力柔性的数据中心园区源-储-荷一体化规划”展开研究,提出了一种综合能源系统优化规划方法。该方法充分考虑数据中心对供电可靠性的高要求以及算力负载的灵活性特征,将电力供应、储能配置与计算负荷进行协同优化。通过建立数学模型,整合光伏发电、储能系统与数据中心负荷调度,利用Matlab代码实现优化求解,旨在提升能源利用效率、降低运营成本并增强系统韧性。研究涵盖了对新能源出力不确定性、负荷波动以及储能动态行为的建模与仿真分析,最终验证了所提一体化规划方案在提高供电可靠性和实现算力资源柔性调度方面的有效性。; 适合人群:具备一定电气工程、能源系统或计算机科学背景,从事数据中心、智能电网、综合能源系统等相关领域研究的研究生、科研人员及工程技术人员。; 使用场景及目标:① 为数据中心园区的绿色低碳与高可靠运行提供规划设计方案;② 实现可再生能源的高效消纳与储能系统的优化配置;③ 探索算力作为柔性负荷参与电力系统互动的潜力,支撑新型电力系统建设。; 阅读建议:此资源以Matlab代码为核心,辅以理论模型,建议读者在理解基本原理的基础上,动手运行和调试所提供的代码,通过修改参数和场景设置来深入掌握一体化规划的优化逻辑与关键技术细节。

@橘柑橙柠桔柚
评论
收藏 已收藏
分享
返回顶部
qq_41346995
Informatica 248 成员 377 内容