单步跟踪时有没有办法能看RDD的内容？

leonpard 2015-07-01 04:12:43

eclipse只能看到这样的内容

MappedRDD[8] at map at CallIdGroupRddHandler.scala:44

不知道其他IDE能否实时查看？

...全文

211 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

FightForProgrammer 2015-07-30

打赏
举报

回复

感觉不行吧。你想想，rdd能单步跟踪看到，那得有多大的内存来存储（一般都是数据量很大采用spark处理框架）。最多告诉你rdd保存的类型吧。个人猜测，望高人指教

本文探讨Spark Streaming的核心原理，特别是与Kafka的集成技术。文章解析如何通过源码理解输入输出流的注册过程、函数封装机制、作业生成周期等关键概念。同时，深入讨论基于Receiver的数据拉取策略及Direct API模式下Kafka RDD的生成流程。

本文分享了如何编译Spark源码、导入项目、解决运行问题及调试方法，通过实践来深入理解Spark。作者强调了运行代码的重要性，并提供了遇到问题时的一些建议，如升级IDE、清理配置文件等。文章还介绍了如何通过修改源码和编写单元测试来增强学习体验，以逐步掌握Spark的核心机制。

本文深入剖析PySpark原生不支持多字符分隔符的根本原因（底层状态机仅匹配单字符），系统对比RDD、第三方库及正则+SQL函数三类替代方案的性能与可靠性，并给出七步实操流程：从分隔符指纹验证、Schema预定义、正则字段提取，到脏数据隔离、AQE调优、单元测试及引号转义处理。强调UDF序列化开销陷阱，推荐基于spark.sql.functions.regexp_extract的原生优化路径，适配生产级数据清洗与Delta Lake集成。

本文详细介绍了如何搭建Spark源码阅读与调试环境。先说明了准备工作，包括环境要求和获取源码；接着阐述环境搭建，如配置IDEA和Sbt；还介绍了调试与测试方法，以及源码版本管理等高级技巧。最后鼓励进行进阶学习，深入了解Spark框架。

本文构建了覆盖算法设计全过程的系统性理论与工程框架，包含算法设计思路、底层原理、复杂度分析、正确性证明、优化技术、并行设计及工程实现等核心维度；重点阐述调度算法在编译器领域的应用，如指令调度、循环调度、GPU/FPGA调度等，并融合数学建模方法论，强调建模-算法-验证-部署闭环流程。

1,274

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章