hadoop中使用TotalOrderOartitioner的全排序问题
https://www.iteblog.com/archives/2147.html#TotalOrderPartitioner-2
输入数据用
#!/bin/sh
for i in {1..100000};do
echo $RANDOM
done;
这段代码
sh iteblog.sh > data1 产生。
但是我的输出中运用TotalOrderPartitioner产生了分割点,以SequenceFile格式存放的,但是我的3个reduce产生的文件只是文件内部有序,相互之间并不是全排序的关系,看了网上大部分的博客,运用TotalOrderPartitioner是可以实现全排序的结果的,我的代码如下:
hadoop版本2.7.3
Mapper程序:
public class SimpleMapper extends Mapper<Text, Text, Text, IntWritable> {
@Override
protected void map(Text key, Text value,Context context) throws IOException, InterruptedException {
IntWritable intWritable = new IntWritable(Integer.parseInt(key.toString()));
context.write(key, intWritable);
}
}
reducer程序:
public class SimpleReducer extends Reducer<Text, IntWritable, IntWritable, NullWritable> {
protected void reduce(Text key, Iterable<IntWritable> values,
Context context) throws IOException, InterruptedException {
for (IntWritable value : values)
context.write(value, NullWritable.get());
}
}
Driver程序:
public class SimpleDriver {
public static void main(String[] args) throws Exception {
Configuration conf = new Configuration();
Job job = Job.getInstance(conf, "Total Order Sorting");
job.setJarByClass(SimpleDriver.class);
job.setInputFormatClass(KeyValueTextInputFormat.class);
job.setSortComparatorClass(KeyComparator.class);
FileInputFormat.addInputPath(job, new Path(args[0]));
FileOutputFormat.setOutputPath(job, new Path(args[1]));
job.setNumReduceTasks(3);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(IntWritable.class);
job.setOutputKeyClass(IntWritable.class);
job.setOutputValueClass(NullWritable.class);
TotalOrderPartitioner.setPartitionFile(job.getConfiguration(), new Path(args[2]));
InputSampler.Sampler<Text, Text> sampler = new InputSampler.RandomSampler<>(0.01, 1000, 100);
InputSampler.writePartitionFile(job, sampler);
job.setPartitionerClass(TotalOrderPartitioner.class);
job.setMapperClass(SimpleMapper.class);
job.setReducerClass(SimpleReducer.class);
job.setJobName("iteblog");
if (!job.waitForCompletion(true))
return;
}
}
KeyComparator程序:
public class KeyComparator extends WritableComparator {
public int compare(WritableComparable w1, WritableComparable w2) {
int v1 = Integer.parseInt(w1.toString());
int v2 = Integer.parseInt(w2.toString());
return v1 - v2;
}
protected KeyComparator() {
super(Text.class, true);
}
}
如能解决,不胜感激
相关推荐
主动配电网故障恢复的重构与孤岛划分统一模型研究升级版本(Matlab代码实现)
内容概要:本文针对三电平VIENNA整流器的中点电位不平衡问题,提出一种基于上下电容电压差值反馈的主动平衡控制策略。在传统电压外环与电流内环构成的双闭环PI控制基础上,引入电容电压差值作为附加反馈信号,并结合空间矢量脉宽调制(SVPWM)技术,通过对冗余小矢量作用时间的动态调节,实现对中点电位的主动控制。基于MATLAB/Simulink平台构建仿真模型,在800V直流母线电压工况下验证了该策略的有效性。结果表明,系统能够稳定跟踪设定电压,中点电位偏差被显著抑制,输入电流总谐波畸变率(THD)保持在较低水平,且在负载变化等动态工况下仍具备良好的恢复能力。; 适合人群:电气工程、电力电子及相关专业的研究生、科研人员及从事整流器控制系统开发的工程技术人员。; 使用场景及目标:①研究三电平VIENNA整流器中点电位波动的机理及抑制方法;②掌握双闭环PI控制器与SVPWM调制协同设计的技术要点;③实现高电压等级AC-DC变换器的高性能控制,提升系统稳定性与输出电能质量。; 阅读建议:建议读者结合文中提供的仿真模型与参数设置进行复现实验,重点关注差值补偿环节与SVPWM调制模块的接口逻辑,并尝试在电网不平衡、轻载等边界条件下测试控制策略的鲁棒性,以深化对中点电位平衡机制的理解。
科技中介服务机构在进行成果转化服务时,如何降低操作门槛并提升服务响应速度?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
高校技术转移办公室人员如何高效管理科研成果的转化全流程?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。
政府科技管理者在推动区域科技创新生态建设中,如何更高效地掌握资源动态与转化成效?.docx
政府科技管理者在推动区域科技创新生态建设中,如何更高效地掌握资源动态与转化成效?
产业园区如何高效对接企业技术需求?.docx
科易网基于行业知识库+行业大数据+科技资源要素+AI模型,以AI,赋能技术转移、成果转化、技术经理人培训、知识产权管理、区域产业分析与布局、地方科技招商、创新创业大赛等场景,推出科技创新领域的AI工具、场景化服务和数智化解决方案,推动科技创新与产业创新智能化发展。


