hadoop中使用TotalOrderOartitioner的全排序问题

大数据中的大叔 大数据中的大叔 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
近期想解决一下hadoop全排序的问题,参考了这位大神的代码
https://www.iteblog.com/archives/2147.html#TotalOrderPartitioner-2

输入数据用

#!/bin/sh

for i in {1..100000};do
echo $RANDOM
done;

这段代码

sh iteblog.sh > data1 产生。

但是我的输出中运用TotalOrderPartitioner产生了分割点,以SequenceFile格式存放的,但是我的3个reduce产生的文件只是文件内部有序,相互之间并不是全排序的关系,看了网上大部分的博客,运用TotalOrderPartitioner是可以实现全排序的结果的,我的代码如下:

hadoop版本2.7.3

Mapper程序:
public class SimpleMapper extends Mapper<Text, Text, Text, IntWritable> {


@Override
protected void map(Text key, Text value,Context context) throws IOException, InterruptedException {
IntWritable intWritable = new IntWritable(Integer.parseInt(key.toString()));
context.write(key, intWritable);
}
}

reducer程序:
public class SimpleReducer extends Reducer<Text, IntWritable, IntWritable, NullWritable> {

protected void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
for (IntWritable value : values)
context.write(value, NullWritable.get());
}

}

Driver程序:
public class SimpleDriver {

public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "Total Order Sorting");
job.setJarByClass(SimpleDriver.class);
job.setInputFormatClass(KeyValueTextInputFormat.class);
job.setSortComparatorClass(KeyComparator.class);

FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.setNumReduceTasks(3);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(NullWritable.class);

TotalOrderPartitioner.setPartitionFile(job.getConfiguration(), new Path(args[2]));
InputSampler.Sampler<Text, Text> sampler = new InputSampler.RandomSampler<>(0.01, 1000, 100);
InputSampler.writePartitionFile(job, sampler);

job.setPartitionerClass(TotalOrderPartitioner.class);
job.setMapperClass(SimpleMapper.class);
job.setReducerClass(SimpleReducer.class);

job.setJobName("iteblog");
if (!job.waitForCompletion(true))
return;

}
}

KeyComparator程序:
public class KeyComparator extends WritableComparator {
public int compare(WritableComparable w1, WritableComparable w2) {
int v1 = Integer.parseInt(w1.toString());
int v2 = Integer.parseInt(w2.toString());

return v1 - v2;
}
protected KeyComparator() {
super(Text.class, true);
}
}


如能解决,不胜感激
...全文

相关推荐

主动配电网故障恢复的重构与孤岛划分统一模型研究升级版本(Matlab代码实现)

内容概要:本文针对三电平VIENNA整流器的中点电位不平衡问题,提出一种基于上下电容电压差值反馈的主动平衡控制策略。在传统电压外环与电流内环构成的双闭环PI控制基础上,引入电容电压差值作为附加反馈信号,并结合空间矢量脉宽调制(SVPWM)技术,通过对冗余小矢量作用时间的动态调节,实现对中点电位的主动控制。基于MATLAB/Simulink平台构建仿真模型,在800V直流母线电压工况下验证了该策略的有效性。结果表明,系统能够稳定跟踪设定电压,中点电位偏差被显著抑制,输入电流总谐波畸变率(THD)保持在较低水平,且在负载变化等动态工况下仍具备良好的恢复能力。; 适合人群:电气工程、电力电子及相关专业的研究生、科研人员及从事整流器控制系统开发的工程技术人员。; 使用场景及目标:①研究三电平VIENNA整流器中点电位波动的机理及抑制方法;②掌握双闭环PI控制器与SVPWM调制协同设计的技术要点;③实现高电压等级AC-DC变换器的高性能控制,提升系统稳定性与输出电能质量。; 阅读建议:建议读者结合文中提供的仿真模型与参数设置进行复现实验,重点关注差值补偿环节与SVPWM调制模块的接口逻辑,并尝试在电网不平衡、轻载等边界条件下测试控制策略的鲁棒性,以深化对中点电位平衡机制的理解。

欢多天天写代码

科技中介服务机构在进行成果转化服务时,如何降低操作门槛并提升服务响应速度?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN

高校技术转移办公室人员如何高效管理科研成果的转化全流程?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN

政府科技管理者在推动区域科技创新生态建设中,如何更高效地掌握资源动态与转化成效?.docx

政府科技管理者在推动区域科技创新生态建设中,如何更高效地掌握资源动态与转化成效?

BIZKEEN

产业园区如何高效对接企业技术需求?.docx

科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。

BIZKEEN
评论 2
收藏 已收藏
分享
返回顶部