用Java重新改写spark怎么样？

周鑫（驭势科技） 2016-06-30 10:12:44

用Java重新改写spark怎么样？能实现吗，难吗？

...全文

617 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

LinkSe7en 2016-07-01

打赏
举报

回复

可以，但是很蛋疼。我看过的源码里，Spark提供的Java API都是Scala写的原生API代理。建议还是用Scala来改，或者用Java写拓展

njzhangke 2016-06-30

打赏
举报

回复

你要怎么改写，改动需要对源码足够熟悉，改动以后也要保证其稳定性，见过一些公司优化过其源代码。

调用Oracle的存储过程,里面有jar包 java代码和SQL语句、存储过程

1.使用spark-submit的方式提交java任务例如spark-submit --class aa.bb --master yarn --deploy-mode client --queue cc XXX.jar 。指定queue是在spark-submit里面指定，在java代码里面通过spark.conf().set("queue", "cc") 的方式指定没有用。在 y...

最近在学习Spark Mllib，看了一些它的算法，但不知道算法怎么去应用，网上的实例大部分都是使用Scala语言写的，没有java的代码，从网上找到了一篇基于Spark Mllib，SparkSQL的电影推荐系统也是使用Scala语言（对其不是很了解，暂时也没有多少时间去学），还好他讲得特别细，关于测试数据他都有下载地址，在这就不多说了。直接把由其改写的java代码附上： import j

Spark自带的JdbcRDD，只支持Long类型的分区参数，分区必须是一个Long区间。很多情况下，这种方式都不适用。改写Spark JdbcRDD，支持自己定义分区查询条件(转)我对JdbcRDD进行了改写，可支持完全自定义分区条件。主要实现思路：把设置查询参数部分改写成可以自定义的函数。这样自己想怎么样设置分区参数都可以。直接上代码吧：////////////////////////////...

SCALA on JVM 一定有一个编译编译器 / 编译器 =>思考一个问题：scala代码和java不一样（编译器做了很多事情）

742

社区成员

901

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章