单步跟踪时有没有办法能看RDD的内容？

leonpard 2015-07-01 04:12:43

eclipse只能看到这样的内容

MappedRDD[8] at map at CallIdGroupRddHandler.scala:44

不知道其他IDE能否实时查看？

...全文

192 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

FightForProgrammer 2015-07-30

打赏
举报

回复

感觉不行吧。你想想，rdd能单步跟踪看到，那得有多大的内存来存储（一般都是数据量很大采用spark处理框架）。最多告诉你rdd保存的类型吧。个人猜测，望高人指教

1概述针对调试，根据不同的调试对象可以分为两类： 1、应用程序的调试。 2、框架源码的调试。在IDE中调试时采用的方法也对应有两种： 1、本地调试：可以简单理解为调试与被调试对象之间不需要通过通信的方式执行。 2、远程调试。通常这两种方式都是可用的，只是在某些情况下，当被调试对象部署在远程机器节点中，而我们的调试工

Spark源码从入门到精通 1.本文介绍怎样从源码编译导入到IDEA中 2.文章介绍怎样在开发环境中运行Spark源码 3.怎样快速调试spark源码，并且查看运行结果 3.修改Spark源码，立马可以查看结果

本书中回顾的概念和模型将帮助构建并有效地将深度网络从监督学习任务（如图像分类）带入到具有创造性能力的无监督学习领域。运用基本的生成网络概念，您将学会如何从无标签数据中生成真实图像，如何从文本描述合成图像，以及如何发掘不同领域之间的关系进行风格迁移。第一章，深度学习简介，用简单的方式讲解了与深度学习相关的基础概念和术语，避免过多的数学公式和方程式。同时，本章还展示了深度学习网络如何随着时间的推移不断演变，以及它们如何通过生成模型的出现，在无监督领域取得突破。第二章，使用 GAN 进行无监督学习，展示了生成对抗

在阅读 Spark 源代码的过程中，发现单步调试并不能很好的帮助理解程序。这样的多线程的分布式系统，更好的阅读源代码的方式是依据模块，分别理解。在包 org.apache.spark 下面有很多下一级的包，如 deploy, storage, shuffle, scheduler 等。这就是一个个系统模块，本文主要介绍 scheduler 模块。博客http://jerry...

Spark Core Spark生态圈： Spark Core ： RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib ：协同过滤，ALS，逻辑回归等等 –> 机器学习 Spark Graphx ：图计算一、Spark Core 1、什么是Spark？特点 https://spark.apache.org/ Apache...

1,275

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章