mapreduce结果文件_SUCCESS怎么不让它生成？

大数据技术派 2018-05-19 11:25:53

mapreduce结果文件_SUCCESS，_SUCCESS.crc，怎么不让它生成？

...全文

1832 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

gnn_explorer 2019-10-22

打赏
举报

回复

conf.set(“mapreduce.fileoutputcommitter.marksuccessfuljobs”, “false”)

A宇 2018-06-12

打赏
举报

回复

用多路径输出咯，这样在自目录中就看不到了

_路人_ 2018-06-12

打赏
举报

回复

_SUCCESS文件是判断一次MapReduce作业是否成功的标志,这是一种惯例,为什么要删掉呢?

文章目录一、_SUCCESS的作用和实现1、输出 _SUCCESS 文件的代码实现二、Hive任务导出数据时没生成_SUCCESS的原因三、解决方案1、自己实现一个OutputCommitter替代NullOutputCommitter(不建议)2、改写...

用hive生成数据的时候，是没有_SUCCESS文件的。但是MR和Spark程序落盘后都会有这么个文件，代表程序运行成功。举个例子，比如我们有两个spark任务：A任务和B任务。B任务依赖于A任务，也就是说B任务要根据A任务的...

Spark 为文件、文件夹生成 _SUCCESS 标识并获取最新可用文件。

"32g") \ .config("spark.executor.memory", "64g") \ .config("spark.executor.cores","6") .enableHiveSupport() .getOrCreate() ) sc = spark.sparkContext *****限制_success生成文件 spark = SparkSession \ ....

如果要想使用Hadoop的MapReduce，则必须将要进行统计的文件内容保存在HDFS之中。下面通过代码来实现一个单词统计的操作，单词统计也被称为Hadoop界的“Hello World”程序。在给出的文件之中会包含具体的单词...

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章