jar包提交到spark集群后mapPartition及mapPartitionWithIndex取不到数据了，大神帮忙出出招，谢谢！萌新求助

起不到-名字 2017-03-11 10:13:29

在本地以setMaster["local

"]的模式运行，可以进mapPartition及mapPartitionWithIndex的方法，也可以取到里面的数据。
但是打成jar包后提交到spark集群运行后就不进mapPartition及mapPartitionWithIndex，也拿不到里面的数据了，
有哪位大神知道这是什么情况吗？帮忙解答一下在此谢谢了！

...全文

444 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

tchqiq 2017-04-03

打赏
举报

回复

你这没有前后文没法帮你啊...我只能猜测试你读取数据的方式不对.你local模式下是不是读取的本地文件,集群模式是不是读取的是hdfs或者远程的文件啊? 要不你贴代码出来看看?

起不到-名字 2017-03-12

打赏
举报

回复

有没有人知道啊？？？？？

起不到-名字 2017-03-11

打赏
举报

回复

顶一顶了，要6个长度的字符串

在网上查阅了很多资料，主要参考了以下两位大神的博客https://blog.csdn.net/gx304419380/article/details/79361645https://blog.csdn.net/fansy1990/article/details/78551986写了一个小demo。首先spark jar要上传至hdfs中。pom文件中只需要依赖<dependency> ...

【代码】Spark运行jar包时出现的报错及应对措施汇总。

一、开发环境：操作系统：win8 64位 IDE：IntelliJ IDEA JDK：1.7 scala:scala-2.11.7 spark：linux上spark集群版本：1.4.1，本地依赖spakr的jar直接拷贝linux上$SPARK_HOME/lib/spark-assembly-1.4.1-hadoop2.4.0...

本文只是为了想通过树莓派搭建Spark来练练手的同学们写的一个成功的案例和自己鼓捣出来的一些心得体会。大神多多指教。转载注明出处 http://blog.csdn.net/isinstance/article/details/51690133 参考文献有这么几个：树莓派Spark集群（建议重点参考） Linux系统安装配置JDK 重启hadoop各节点datanode的方法 —

1. Intellij IDEA 开发环境搭建最近在学习scala，除需要编写scala程序外，同时还需要创建maven工程，打成Jar包，而Eclipse在这方面显得使用的不是那么方面，同时由于Intellij IDEA提供了非常智能的提示功能，所以选择IDEA作为开发环境。Intellij IDEA现在也提供社区版本供开发者免费使用，所以许多原来的Eclipse用户也逐渐的转向IDEA，一

1,269

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章