spark分析效率比较

extend 2017-09-27 01:25:41
一个800MB的catalina日志,用spark分析和本地分析,性能差距有点大啊
[root@centos1 tmp]# time cat catalina.out |grep "error" -c
92

real 0m11.931s
user 0m0.443s
sys 0m1.590s

同样,用spark做同样的事,居然用了23s,是因为计算量太小,体现不出spark的能力吗?
...全文
540 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
extend 2017-11-15
  • 打赏
  • 举报
回复
自己顶下,=高手

1,261

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧