请问下调试怎么看RDD的数据

Charcla 2018-11-14 02:30:05

调试点开以后，只有pre,然后就会出现最开始的那个RDD数据

...全文

203 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 3、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。 Spark RDD 练习作业（选择部分数据（可以是自拟，可以是采集的，也可以是现有的），进行多角度数据统计及分析，并进行数据整合及展示（尽量多的运用 Spark RDD API））.zip Spark RDD 练习作业（选择部分数据（可以是自拟，可以是采集的，也可以是现有的），进行多角度数据统计及分析，并进行数据整合及展示（尽量多的运用 Spark RDD API））.zip Spark RDD 练习作业（选择部分数据（可以是自拟，可以是采集的，也可以是现有的），进行多角度数据统计及分析，并进行数据整合及展示（尽量多的运用 Spark RDD API））.zip Spark RDD 练习作业（选择部分数据（可以是自拟，可以是采集的，也可以是现有的），进行多角度数据统计及分析，并进行数据整合及展示（尽量多的运用 Spark RDD

【资源说明】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，作为参考资料学习借鉴。 3、本资源作为“参考资料”如果需要实现其他功能，需要能看懂代码，并且热爱钻研，自行调试。电影评分数据汇总,（使用spark2.4+scala完成, 分析采用spark RDD的API. 数据集采用标准电影评分数据）.zip

Spark大数据分析技术，是一本为Spark初学者准备的书，没有过多深入实现细节，而更多关注上层用户的具体用法。尝试把spark应用到实践中，去探寻数据海洋里的无尽瑰宝。主要内容如下： 1）Spark数据分析导论 2）Spark下载与入门 3）RDD编程 4）键值对操作 5）数据读取与保存 6）Spark编程进阶 7）在集群上运行的Spark 8）Spark调优与调试 9）SparkSQL 10）Spark Streaming 11）基于MLlib的机器学习

本资源为网页，不是PDF Apache Spark 2.0.2 中文文档 Spark 概述编程指南快速入门 Spark 编程指南概述 Spark 依赖 Spark 的初始化 Shell 的使用弹性分布式数据集（RDDS）并行集合外部数据集 RDD 操作 RDD 持久化共享变量 Broadcast Variables （广播变量） Accumulators （累加器）部署应用到集群中使用 Java / Scala 运行 spark Jobs 单元测试 Spark 1.0 版本前的应用程序迁移下一步 Spark Streaming Spark Streaming 概述一个简单的示例基本概念依赖初始化 StreamingContext Discretized Streams（DStreams）（离散化流） Input DStreams 和 Receivers DStreams 上的 Transformations（转换） DStreams 上的输出操作 DataFrame 和 SQL 操作 MLlib 操作缓存 / 持久化 CheckPointing 累加器和广播变量应用程序部署监控应用程序性能降低批处理的时间设置合理的批处理间隔内存容错语义迁移指南（从 0.9.1 或者更低版本至 1.x 版本）快速跳转 Kafka 集成指南 DataFrames，Datasets 和 SQL Spark SQL 概述 SQL Datasets 和 DataFrames Spark SQL 入门指南起始点 : SparkSession 创建 DataFrame 无类型 Dataset 操作（aka DataFrame 操作）以编程的方式运行 SQL 查询创建 Dataset RDD 的互操作性数据源通用的 Load/Save 函数 Parquet文件 JSON Datasets Hive 表 JDBC 连接其它数据库故障排除性能调优缓存数据到内存其它配置选项分布式 SQL引擎运行 Thrift JDBC/ODBC 运行 Spark SQL CLI 迁移指南从 Spark SQL 1.6 升级到 2.0 从 Spark SQL 1.5 升级到 1.6 从 Spark SQL 1.4 升级到 1.5 从 Spark SQL 1.3 升级到 1.4 从 Spark SQL 1.0~1.2 升级到 1.3 兼容 Apache Hive 参考数据类型 NaN 语义 Structured Streaming MLlib（机器学习）机器学习库（MLlib）指南 ML Pipelines（ML管道） Extracting, transforming and selecting features（特征的提取，转换和选择） Classification and regression（分类和回归） Clustering（聚类） Collaborative Filtering（协同过滤） ML Tuning: model selection and hyperparameter tuning（ML调优：模型选择和超参数调整） Advanced topics（高级主题） MLlib：基于RDD的API Data Types - RDD-based API（数据类型） Basic Statistics - RDD-based API（基本统计） Classification and Regression - RDD-based API（分类和回归） Collaborative Filtering - RDD-based API（协同过滤） Clustering - RDD-based API（聚类 - 基于RDD的API） Dimensionality Reduction - RDD-based API（降维） Feature Extraction and Transformation - RDD-based API（特征的提取和转换） Frequent Pattern Mining - RDD-based API（频繁模式挖掘） Evaluation metrics - RDD-based API（评估指标） PMML model export - RDD-based API（PMML模型导出） Optimization - RDD-based API（最） GraphX（图形处理） Spark R 部署集群模式概述提交应用 Spark Standalone 模式 Spark on Mesos Spark on YARN Spark on YARN 上运行准备 Spark on YARN 配置调试应用 Spark 属性重要提示在一个安全的集群中运行用 Apache Oozie 来运行应用程序 Kerberos 故障排查 Spark 配置 Spark 监控指南作业调度 Spark 安全硬件配置构建 Spark

本项目经测试过，真实可靠，请放心下载学习。这两个技术在大数据处理和Java Web开发中扮演着重要的角色。在此次总结中，我将回顾我所学到的内容、遇到的挑战和取得的进展。首先，我开始了对Spark的学习。Spark是一个强大的分布式计算框架，用于处理大规模数据集。通过学习Spark，我了解了其基本概念和核心组件，如RDD（弹性分布式数据集）、Spark SQL、Spark Streaming和MLlib等。我学会了使用Spark编写分布式的数据处理程序，并通过调优技巧提高了程序的性能。在实践过程中，我遇到了一些挑战，比如调试复杂的数据流转和处理逻辑，但通过查阅文档和与同学的讨论，我成功地克服了这些困难。最终，我能够使用Spark处理大规模数据集，并通过并行化和分布式计算加速任务的执行。其次，我开始了对Spring Boot的学习。Spring Boot是一种快速构建基于Spring框架的应用程序的方式。通过学习Spring Boot，我了解了其核心思想和基本原理，以及如何构建RESTful Web服务、使用数据库、进行事务管理等。我学会了使用Spring Boot快速搭建Java Web应用程序，并且能够运用Spring Boot的特性来简化开发流程。在学习的过程中，我遇到了一些挑战，比如配置文件的理解和注解的正确使用，但通过查阅官方文档和阅读相关书籍，我逐渐解决了这些问题。最终，我能够独立地使用Spring Boot开发Web应用程序，并运用其优秀的特性提高了开发效率。总结来说，本学期我在Spark和Spring Boot方面取得了一定的进展。通过学习Spark，我掌握了分布式数据处理的基本原理和技巧，并通过实践应用到了大规模数据集的处理中。通过学习Spring Boot，我了解了现代化的Java Web开发方式，并通过实践构建了一些简单的Web应用程序。我还意识到在学习过程中遇到的困难和挑战是正常的，通过不断的努力和学习，我能够克服这些困难并取得进步。在未来，我计划继续深入学习Spark和Spring Boot，扩展我的技术栈，提高自己的技能水平。我希望能够运用所学到的知识解决实际问题，并在项目中发挥作用。此外，我也希望能够不断拓宽自己的技术视野，学习其他相关的技术和框架，以便能够适应不同的项目需求。

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章