怎么计算一个spark的算子执行的时间

看星情 2017-10-31 09:08:33

假如想知道mapPartition这个算子执行了多长时间，是不是可以在该算子前后，记录系统时间，然后求差就可以了。
但是系统时间只是在driver计时的，这样求差计时合理吗

...全文

374 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

这里执行了两次textFile方法，针对同一个HDFS文件，创建了两个RDD出来，然后分别对每个RDD都执行了一个算子操作。 // 这种情况下，Spark需要从HDFS上两次加载hello.txt文件的内容，并创建两个单独的RDD；第二次加载...

Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发 SparkContext 提交 Job ...

1.Spark 2.X原理分析 2.Spark 编程模型解析 3.RDD的特点、操作、依赖关系 4.Spark 应用程序的配置 5.Spark 2.X Shell基本使用 6.Spark 2.X submit基本使用 7.Spark 2.X的算子

Spark算子实战Java版，学到了

大数据spark核心--算子

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章