单步跟踪时有没有办法能看RDD的内容？

leonpard 2015-07-01 04:12:43

eclipse只能看到这样的内容

MappedRDD[8] at map at CallIdGroupRddHandler.scala:44

不知道其他IDE能否实时查看？

...全文

168 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

FightForProgrammer 2015-07-30

打赏
举报

回复

感觉不行吧。你想想，rdd能单步跟踪看到，那得有多大的内存来存储（一般都是数据量很大采用spark处理框架）。最多告诉你rdd保存的类型吧。个人猜测，望高人指教

在IDE中调试时采用的方法也对应有两种： 1、本地调试：可以简单理解为调试与被调试对象之间不需要通过通信的方式执行。 2、远程调试。通常这两种方式都是可用的，只是在某些情况下，当被调试对象...

然后我就直接去上面输入一些打印的代码: 后面去控制台上面去跟踪打印的内容，后面其实才明白其实就是记录RDD链接的路径来着：有两个地方需要注意： 1.spark在写代码的时候是有代码格式的约束的，所以我加了...

在阅读 Spark 源代码的过程中，发现单步调试并不能很好的帮助理解程序。这样的多线程的分布式系统，更好的阅读源代码的方式是依据模块，分别理解。在包 org.apache.spark 下面有很多下一级的包，如 deploy, ...

Spark Core ： RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib ：协同过滤，ALS，逻辑回归等等 –> 机器学习 Spark Graphx ：图计算一、Spark Core 1、什么是Spark？特点 ...

语言识别(只需要英文和俄文文本)从其他文本中过滤新闻分为 7 个主题将与同一事件相关的文章聚类成线索对...竞赛规则要求最终提交的作品在 Debian 的一台机器上本地运行，该机器有 8 个内核和 16 GB 内存，不使用网络。

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章