public class STjoin {
public static int time = 0;
public static class Map extends Mapper<Object,Text,Text,Text>{
public void map(Object key,Text value,Context context)throws IOException,InterruptedException{
String childnName = new String();
String parentName = new String();
//String relationtype = new String();
String line = value.toString();
String[] strs= line.split(" ");
context.write(new Text(strs[1]),new Text("1"+"-"+strs[0]));//输出左表
context.write(new Text(strs[0]),new Text("2"+"-"+strs[1]));//输出右表
}
}
public static class Reduce extends Reducer<Text,Text,Text,Text>{
public void reduce(Text key,Iterable<Text> values,Context context)throws IOException,InterruptedException{
if (time == 0){//输出表头
context.write(new Text("grandchild"),new Text("grandparent"));
time++;
}
int grandchildNum = 0;
String grandchild[] = new String[20];
int grandparentNum = 0;
String grandparent[] = new String[20];
Iterator iter = values.iterator();
while (iter.hasNext()){
String record = iter.next().toString();
String[] st = record.split("-");
if(st[0].equals("1")){
grandchild[grandchildNum] =st[1];
grandchildNum ++;
} else if(st[0].equals("2")){
grandparent [grandparentNum ]=st[1];
grandparentNum ++;
}
}
//grandchild和grandparent数组求笛卡尔积
if(grandchildNum !=0 && grandparentNum !=0){
for (int m=0;m<grandchildNum;m++){
for (int n=0;n<grandparentNum;n++){
context.write(new Text(grandchild[m]),new Text(grandparent[n]));
}
}
}
}
}
public static void main(String[] args)throws Exception{
Configuration conf = new Configuration();
String[] otherArgs = new GenericOptionsParser(conf,args).getRemainingArgs();
if(otherArgs.length !=2){
System.err.println("Usage:...");
System.exit(2);
}
Job job = new Job(conf,"single table join");
job.setJarByClass(STjoin.class);
job.setMapperClass(Map.class);
job.setCombinerClass(Reduce.class);
job.setReducerClass(Reduce.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Text.class);
FileInputFormat.addInputPath(job,new Path(otherArgs[0]));
FileOutputFormat.setOutputPath(job,new Path(otherArgs[1]));
System.exit(job.waitForCompletion(true) ? 0 : -1);
}
}
-
等级
本版专家分：0结帖率 92% -
我写个一个单表关联的程序，但是没有输出，只输出表头，不知道为什么（每行数据是以tab分割的），请大侠指教
展开阅读全文
-
等级
本版专家分：0勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
- 红花 2014年9月 高性能开发大版内专家分月排行榜第一
-
- 黄花 2014年12月 高性能开发大版内专家分月排行榜第二
-
-
String[] strs= line.split(" "); 应该写成 String[] strs= line.split("\t");
-
等级
本版专家分：0
-
恩，这个我也试过，结果还是那样的
-
等级
本版专家分：0
-
if (time == 0){//输出表头
context.write(new Text("grandchild"),new Text("grandparent"));
time++;
}
time一直是0，当然输出表头了
-
等级
本版专家分：0
-
看错了
-
等级
本版专家分：0
-
以tab分割 下面主函数里面不是应该设置下输入格式，默认的也应该可以处理，但做好不是设置下吗，还有map函数不是应该判断一下是否每行都有输入，要是没有输入，直接context.write（）不太清楚是什么结果。
-
等级
本版专家分：0勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
- 红花 2014年9月 高性能开发大版内专家分月排行榜第一
-
- 黄花 2014年12月 高性能开发大版内专家分月排行榜第二
-
-
首先还是 String[] strs= line.split(" "); 应该写成 String[] strs= line.split("\t"); 要不然那样可能会有问题，再者仔细看了下应该是 job.setCombinerClass(Reduce.class); 这个问题，去掉设置Combiner。
-
等级
本版专家分：0
-
中间combine了会出什么问题吗
-
等级
本版专家分：0勋章
-
- 黄花 2009年8月 Oracle大版内专家分月排行榜第二
-
- 蓝花 2005年11月 扩充话题大版内专家分月排行榜第三
-
-
多少版本的Hadoop啊，能不能把完全的源代码贴出来？
-
等级
本版专家分：0
-
就是这个错误，太感谢了，能说说原因吗？
- Linux安装openssh详细步骤及遇到问题的解决方案
Linux安装openssh详细步骤及遇到问题的解决方案
- Linux 从源码编译安装 OpenSSH以及各问题解决
简单的说 OpenSSH 是一组安全远程的连接工具，主要包括了几个部份：ssh、sshd、scp、sftp、ssh-keygen、ssh-agent、ssh-add。OpenSSH 安装配置比较复杂，难点在配置，特别是在 VPS 中，配置不当就完全无法链接 VPS ...
- 解决openssh，openssl升级出现的坑
扫描测试服务器漏洞时，发现几个openssh的漏洞，准备把openssh和openssl的版本都升级到最新版。升级前建议使用telnet进行升级，防止期间出现问题连不上服务器 openssh-7.5p1，openssl-1.0.2l 这里一定要使用1.0.x...
- 升级openssl、openssh心得
升级openssl、openssh心得，报错解决处理方法 服务器版本：CentOS 6.7 环境：内网环境，无法访问互联网 升级至openssl 1.1.1版本 升级至openssh 7.8版本 重要提醒：升级openssh，openssl的版本必须是1.0.X才能正常...
- centos7升级openssl、openssh常见问题及解决方法（亲测过）
升级至openssl 1.1.1版本 升级至openssh 8.0版本 openssl version -a 当前查看版本 一.安装telnet（以防升级失败，连不上服务器，建议弄） #查看是否安装 rpm -qa | grep telnet rpm -qa | grep xinetd ...
- linux查看openssh和openssl版本
查看openssh版本命令 ssh -V 查看openssl版本命令 openssl version 转载于:https://www.cnblogs.com/zhaye/p/11238181.html
- 安装openssh的版本不一致问题解决
a）查看openssh的findssl.sh，发现里面使用locate或者find的方法来寻找openssl的版本 b）使用locate opensslv.h ,locate libcrypto.s，查看哪些版本不对的，然后删除掉不一致的版本 c）重新卸载安装 rpm ……...
- linux查看openssh和openssl版本命令
查看openssh版本命令 ssh -V 查看openssl版本命令 openssl version
- openssh 和 openssl 是什么关系
v$open_cursor与session_cached_cursors v$open_cursor与session_cached_cursors v$open_cursor是oracle提供的一张查看每个session打开过的cursor的视图,它的表结构如下 SQL> desc v$open_cursor ...
- Linux 升级最新版本openSSH 7.8p
*注意：如果一次安装失败，下次安装前解压缩的目录一定要删除 依赖包以及主包 升级openssh前需要先升级依赖包，教程如下 1、zlib-1.2.11.tar.gz # tar xzvf zlib-1.2.11.tar.gz #cd zlib-1.2.11 # ./...
- centos7升级openssh7.4到8.1
由于公司做三级等级保护 需要升级openssh版本 首先查看openssh版本 [root@iZbp15vtwz2jeqq0pwdx2qZ openssh-8.1p1]# openssl version OpenSSL 1.0.2r 26 Feb 2019 安装依赖 yum update openssh -y yum ...
- OpenSSH怎么更新升级到8.0
1.安装必要组件： yum install -y gcc openssl-devel pam-devel rpm-build 2.下载OpenSSH最新版本： https://ftp.openbsd.org/pub/OpenBSD/OpenSSH/portable/ 在以上网站找到最新版链接并下载解压 wget ...
- openssh升级与问题（SUSE11 SP3）
*本例为一次安全加固中操作示例 ...openssh升级依赖依赖openssl、zlib，从官网下载之 #################openssh升级-2016-1-27 1、备份原配置文件 cp/etc/init.d/sshd /ssh5bak cp/etc/ssh /ssh5bak 2、zlib安装
- 升级openSSH到最新版
升级openSSH到最新版，需要小心谨慎一点，因为，错误操作，有可能造成不能远程登录。最好是，安装到不同的目录，然后再停止旧的ssh服务，启用新...要编译安装新的openSSH，现在是7.2p2版本，需要先安装新版本的openSSL
- ubuntu 16.0 安装openssh和启动
由于openssh依赖于openssl库，所以在安装openssh前要先安装openssl库 Ubuntu默认安装了ssh client端但没有安装Server端，所以首先安装ssh-server服务。命令如下： sudo apt-get install openssh-server server...
- centos升级openssh的两种方式
此文介绍的是服务器在有网络和无网络情况下升级openssh方式。 一、首先介绍一个无网络如何升级： 1、准备相关的包 openssh下载地址:http://mirror.internode.on.net/pub/OpenBSD/OpenSSH/portable/ openssl...
- Linux Centos7 OpenSSH版本低导致的安全漏洞 升级OpenSSH和OpenSSl来修复漏洞
Linux Centos7 OpenSSH版本低导致的安全漏洞 升级OpenSSH和OpenSSl来修复漏洞 由于最近公司项目需要重新部署到服务器，检查出的安全漏洞，其中 一项就是Openssh版本低过低所以导致的远程执行漏洞,如下： ...
- OpenSSL和OpenSSH的主要区别
...1、什么是OpenSSL 众多的密码算法、公钥基础设施标准以及SSL协议，或许这些有趣的功能会让你产生实现所有这些算法和标准的想法。果真如此，在对你表示敬
- 升级OpenSSH7.2p1到OpenSSH7.6P1，升级openssl
升级OpenSSH到7.6p1,升级openssl到1.0.2h
- centos7.3升级openssh到7.7p1后root用户无法登陆的问题
下面对这个坑进行说明...step 1 、升级前提说明：1、升级OpenSSH后，原有公钥失效，信任关系需要重新配置；2、升级过程需要停止sshd服务，会导致ssh和sftp无法使用；3、升级OpenSSH影响的业务有：QDG同步、Mediatio...
- suse12系统下的OpenSSH_6.2p2升级到OpenSSH_7.3p1
OpenSSH_6.2p2升级到OpenSSH_7.3p1 OpenSSH_6.2p2升级到OpenSSH_7.3p1 1 前言 2 一：检查依赖软件 3 #安装必要的gcc, gcc-c++编译工具以及libopenssl-devel，pam-devel，zlib-deve 3 二：安装OpenSSL 4...
- linux下升级OpenSSH
1、当前系统版本 [root@localhost ~]# cat /etc/redhat-release Red Hat Enterprise Linux Server release 7.4 (Maipo)[root@localhost ~]# uname -m x86_64[root@localhost ~]# uname -r3.10.0-693.el7.x86_642、...
- ubuntu下openssh升级
因客户漏扫扫描出来openssh及openssl存在漏洞,现升级为官方最新版 OpenSSH（OpenBSD Secure Shell）是OpenBSD计划组所维护的一套用于安全访问远程计算机的连接工具。该工具 是SSH协议的开源实现，支持对所有的传输...
- Linux环境下openssh升级
因客户漏扫扫描出来openssh及openssl存在漏洞,现升级为官方最新版 OpenSSH（OpenBSD Secure Shell）是OpenBSD计划组所维护的一套用于安全访问远程计算机的连接工具。该工具 是SSH协议的开源实现，支持对所有的传输...
- 最详细的Redhat 6.7 x64升级SSH到OpenSSH_7.7p1完整文档
需要说明的是，升级过程中虽然涉及zlib、openssl和openssh的卸载，但是并不会导致当前的ssh远程连接会话断开，因此是可以将整个升级过程写成自动化脚本以进行自动批量部署的。 一：部署环境 1、VMware安装Redhat ...
- centos7 升级openssh7.5 操作
前段时间因为要修复openssh的漏洞，官方说法是升级openssh，所以就选择了升级到 openssh-7.5p1 ，升级openssh连带要升级openssl。 漏洞信息： Openssh MaxAuthTries限制绕过漏洞(CVE-2015-5600) OpenSSH 远程权限...
- Linux 系统安全之 升级 OPENSSH
OpenSSH OpenSSH 是SSH（SecureSHell） 协议的免费开源实现。SSH协议族可以用来进行远程控制， 或在计算机之间传送文件。而实现此功能的传统方式，如telnet(终端仿真协议)、 rcp ftp、 rlogin、rsh都是极为不安全...
- SSL、SSH、OpenSSH、OpenSSL 区别
SSL是通讯链路的附加层。可以包含很多协议。... ssl是一种国际标准的加密及身份认证通信协议，您用的浏览器就支持此协议。SSL（Secure Sockets Layer）最初是由美国Netscape公司研究出来的，后来成为了Internet网上安全...
- 编译openssh出现报错configure: error: OpenSSL library not found.
[root@localhost openssh-8.1p1]# /usr/local/bin/openssl version OpenSSL 1.1.1d 10 Sep 2019 [root@localhost openssh-8.1p1]# /bin/openssl version OpenSSL 1.0.1e-fips 11 Feb 2013 [root@localhost ...
- 【已解决】ubuntu16.04升级openssh至8.0版本
0、下载openssl 和openssh安装包 https://fastly.cdn.openbsd.org/pub/OpenBSD/OpenSSH/portable/ 1、升级openssl 下载后 ./config 安装即可 2、升级openssh ...如果找不到ss...