社区
Spark
帖子详情
spark分析效率比较
extend
2017-09-27 01:25:41
一个800MB的catalina日志,用spark分析和本地分析,性能差距有点大啊
[root@centos1 tmp]# time cat catalina.out |grep "error" -c
92
real 0m11.931s
user 0m0.443s
sys 0m1.590s
同样,用spark做同样的事,居然用了23s,是因为计算量太小,体现不出spark的能力吗?
...全文
540
1
打赏
收藏
spark分析效率比较
一个800MB的catalina日志,用spark分析和本地分析,性能差距有点大啊 [root@centos1 tmp]# time cat catalina.out |grep "error" -c 92 real0m11.931s user0m0.443s sys0m1.590s 同样,用spark做同样的事,居然用了23s,是因为计算量太小,体现不出spark的能力吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
extend
2017-11-15
打赏
举报
回复
自己顶下,=高手
Spark
做数据
分析
:
Spark
大数据
分析
的优势
Spark
发展到今年,也已经有了十个年头了,在这十年的时间里,
Spark
在数据
分析
方面的优势得以显现,成为越来越多的企业的选择。
Spark
做数据
分析
,得益于
Spark
计算框架的优势,也获得了很好的竞争优势。今天我们就来聊...
大数据之
Spark
:
Spark
大厂面试真题
通常来说,
Spark
与MapReduce相比,
Spark
运行
效率
更高。请说明
效率
更高来源于
Spark
内置的哪些机制?2. hadoop和
spark
使用场景?3.
spark
如何保证宕机迅速恢复?4. hadoop和
spark
的相同点和不同点?5. RDD持久化原理?...
【
Spark
2运算
效率
】第三节 影响生产集群运算
效率
的原因之资源缺乏
【
Spark
2运算
效率
】第一节 影响生产集群运算
效率
的原因之概述前言问题概述调整办法结语跳转 前言 面对复杂的业务问题,以及日益增多的需求,我们开发的脚本也越来越多,集群承载的计算量也越来越大,为了方便管理,...
【
Spark
2运算
效率
】第一节 影响生产集群运算
效率
的原因之概述
第一节 影响分布式集群运算
效率
的原因1.1、引言1.2、影响分布式集群运算
效率
的原因1.2.1、集群设置;1.2.2、缺乏资源;1.2.3、数据倾斜;1.2.4、小文件过多;1.3、结语 1.1、引言
Spark
,一种基于内存的分布式运算...
spark
和presto
比较
一般来说,很难说Presto肯定比
Spark
SQL更快或更慢,取决于您正在执行的查询类型,环境和引擎调整参数。关于presto和
spark
sql对比的文章很少,主要原因是Presto没有那么主流,但已用用了presto,那就有必要研究一下...
Spark
1,261
社区成员
1,169
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章