社区
Power Linux
帖子详情
用Java重新改写spark怎么样?
周鑫(驭势科技)
2016-06-30 10:12:44
用Java重新改写spark怎么样?能实现吗,难吗?
...全文
618
2
打赏
收藏
用Java重新改写spark怎么样?
用Java重新改写spark怎么样?能实现吗,难吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LinkSe7en
2016-07-01
打赏
举报
回复
可以,但是很蛋疼。我看过的源码里,Spark提供的Java API都是Scala写的原生API代理。建议还是用Scala来改,或者用Java写拓展
njzhangke
2016-06-30
打赏
举报
回复
你要怎么改写,改动需要对源码足够熟悉,改动以后也要保证其稳定性,见过一些公司优化过其源代码。
调用Oracle的存储过程
调用Oracle的存储过程,里面有jar包
java
代码和SQL语句、存储过程
大数据开发-
spark
+
java
1.使用
spark
-submit的方式提交
java
任务 例如
spark
-submit --class aa.bb --master yarn --deploy-mode client --queue cc XXX.jar 。 指定queue是在
spark
-submit里面指定,在
java
代码里面通过
spark
.conf().set("queue", "cc") 的方式指定没有用。 在 y...
WPS JS宏从入门到放弃(JSA/JS宏编程教程)
适合人群: 零基础学习,希望使用编程来批量处理Excel数据 希望使用WPS编程来处理Excel数据 希望使用比VBA更简洁的编程语言来处理Excel数据 办公环境只有WPS,但又希望有像VBA一样的编程功能 你将会学到: 使用WPS中...
基于
Spark
Mllib, 使用
java
api操作的电影推荐系统(
spark
1.5.2 jdk1.7)
最近在学习
Spark
Mllib,看了一些它的算法,但不知道算法怎么去应用,网上的实例大部分都是使用Scala语言写的,没有
java
的代码,从网上找到了一篇基于
Spark
Mllib,
Spark
SQL的电影推荐系统 也是使用Scala语言(对其不是很了解,暂时也没有多少时间去学),还好他讲得特别细,关于测试数据他都有下载地址,在这就不多说了。直接把由其
改写
的
java
代码附上: import j
mysql jdbcrdd_
改写
Spark
JdbcRDD,支持自己定义分区查询条件
Spark
自带的JdbcRDD,只支持Long类型的分区参数,分区必须是一个Long区间。很多情况下,这种方式都不适用。
改写
Spark
JdbcRDD,支持自己定义分区查询条件(转)我对JdbcRDD进行了
改写
,可支持完全自定义分区条件。主要实现思路:把设置查询参数部分
改写
成可以自定义的函数。这样自己想怎么样设置分区参数都可以。直接上代码吧:////////////////////////////...
Power Linux
742
社区成员
901
社区内容
发帖
与我相关
我的任务
Power Linux
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
复制链接
扫一扫
分享
社区描述
该论坛主要探讨Linux系统在IBM Power平台的安装、部署、应用开发等话题,并为网友们提供自由交流的平台。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章