论坛分类<
论坛分类>

Spark论坛

版主: 仲浩 申请版主
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
主题 赏分 作者 回复 最后发表 管理
[置顶] 华为云计算・ 微服务ServiceComb 主办中国Apache 项目聚会 [推荐] 100 Doraemon小叮当 2018-10-16 18:23 121 lm23 2018-11-14 08:45
[置顶] 华为云计算・ 掘金23万亿数字经济 华为云微认证官方上线 50 xiaoxiaoxiaom... 2018-10-23 13:34 41 kingvip2015 2018-10-31 19:54
[置顶] 华为云计算・ 【参与赢取大礼礼礼礼礼礼】华为云双11省钱大作战重磅来袭! [推荐] 50 xiaoxiaoxiaom... 2018-11-01 17:53 14 花季°花非一般的花丽 2018-11-08 16:41
sparkSQL使用filter方法时报错 50 w1123900645 2018-10-26 17:18 0 w1123900645 2018-10-26 17:18
学了Spark有什么用呢? 50 水的思想 2018-10-12 14:59 6 水的思想 2018-10-25 09:13
Spark DataFrame join函数问题JAVA语言版 50 其实我是真性情 2018-08-14 10:24 4 一切都是命 2018-10-19 14:43
求一份Spark SQL慕课网日志分析的日志文件或者部分也行,谢谢 50 与自己作战 2018-10-18 10:08 0 与自己作战 2018-10-18 10:08
hadoop2.6 8088监控界面任务太多造成页面访问特别慢 40 zhubajieaini 2015-08-18 14:18 3 hehe222222222... 2018-10-16 10:52
spark数据处理问题 50 ranwei0206 2018-09-19 09:08 0 ranwei0206 2018-09-19 09:08
PairRDD经过sortByKey排序后再filter的结果是否有序 50 飞鹤 2018-09-17 09:16 2 飞鹤 2018-09-18 10:04
Scala 学习 进击大数据Spark生态圈 求一份完整版的,我下载了几个都缺少章节 50 与自己作战 2018-09-17 21:15 0 与自己作战 2018-09-17 21:15
sparkstreaming mapWithState状态保存问题 40 book_reinforce 2017-03-22 10:22 1 张普 2018-09-16 17:42
SparkStreaming使用lambda报错 50 桃花惜春风 2018-09-11 16:07 0 桃花惜春风 2018-09-11 16:07
请问基于spark做web交互式查询,有好办法么? 50 cocoa2003 2018-06-25 14:00 6 迷途1503 2018-08-06 15:51
json转parquet文件的问题 100 古布 2018-08-02 16:07 2 古布 2018-08-02 19:05
sparkstreaming为什么读取空数据运行特别慢 150 迷途1503 2018-07-24 17:11 0 迷途1503 2018-07-24 17:11
导入隐式转换后,import自动消失了 50 大数据小萌新 2018-07-21 16:35 1 大数据小萌新 2018-07-24 11:17
sparksql查询时是不是要把要查询的整张表的数据都要加载到内存中进行计算 200 迷途1503 2018-07-13 17:56 6 LinkSe7en 2018-07-23 15:55
yarn wordcount计算报错: 50 wzwdev1980 2018-07-10 19:38 2 迷途1503 2018-07-13 18:05
YARN执行 mapreduce出错,不知道咋办了 50 wzwdev1980 2018-07-12 13:43 1 wzwdev1980 2018-07-12 16:54
oozie的定时spark2任务出现一直running的状态,并且查看任务发现有异常 50 qq_39116856 2018-06-30 17:36 1 qq_39116856 2018-07-06 10:33
spark sql 缓存 50 mumumuyanyanyan 2018-06-01 00:52 1 qq_36936363 2018-06-13 15:36
spark rdd 分组统计多列聚合 50 我的天空永远蔚蓝 2018-06-10 21:57 5 _路人_ 2018-06-12 13:50
非常粗俗的spark工作流程理解 50 hiddpy 2018-05-30 14:21 2 hiddpy 2018-05-31 16:54
请教一下官网调用sql方法返回的dataframe可以设置为dataset 50 MrAmity 2018-05-25 10:46 0 MrAmity 2018-05-25 10:46
这里join为什么报错 100 MrAmity 2018-05-20 16:01 2 qq_38814020 2018-05-21 13:52
CDH5安装过程不能启动YARN (MR2 Included) 100 kent7306 2015-01-28 16:28 10 随风而醒 2018-05-17 13:47
spark executor执行task的一些问题 50 chen58683632 2018-05-12 13:10 0 chen58683632 2018-05-12 13:10
java客户端连接kafka消费超时问题 100 Bonsour 2018-04-27 14:19 1 Bonsour 2018-04-27 14:37
是否可以配置Apache Flume使用Parquet将我的日志保存在HDFS中? 50 JavaXluo 2018-04-24 11:56 0 JavaXluo 2018-04-24 11:56
spark job 结束后ui界面还一直有active jobs,小白求各位大神指教~ 50 youngmilk 2018-04-20 12:09 5 dlc1982 2018-04-21 11:03
sqoop2 运行job时报无效的路径问题! 100 狂我之心 2018-04-19 18:14 5 狂我之心 2018-04-20 13:14
oozie上sparkyarn的任务执行完成后又重新找hdfs://nameservice1/user/hdfs/.sparkStaging/下的文件,报不存在 50 qq_39116856 2018-04-11 11:30 1 qq_39116856 2018-04-11 17:48
spark执行R脚本任务,任务时间超过6000秒自动停止 40 zxbmhy 2017-08-01 23:15 5 草莓派R语言 2018-04-10 12:38
关于Spark DF 缓存的问题 200 musw 2018-04-02 17:24 4 musw 2018-04-05 09:28
spark性能调优问题(task分布不均衡) 40 raxanne 2017-08-11 17:38 6 sunrising_hill 2018-03-27 17:23
hadoop 格式化不了 namenode datanode 启动不起来为什么啊? 20 er1182824122 2017-06-23 21:37 2 er1182824122 2018-03-21 17:16
KafkaUtils.createDirectStream的问题 50 chen58683632 2018-03-04 13:19 1 LinkSe7en 2018-03-04 22:21
NLPIR分词器在spark平台实现载入 libNLPIR.so 时出错 40 Bio_CIT 2017-01-11 16:14 8 馒头夹辣条 2018-03-03 16:05
求教入大数据坑的路线,新人求教 100 QoiteCover 2016-09-01 23:28 8 fate1995 2018-03-02 01:22
本科大四,准备出去找工作了,学习了spark,kafka等,还需要深入学习hadoop吗? 50 ddxygq 2018-02-27 20:51 1 怀揣梦想的大鸡腿 2018-02-27 22:00
Spark 中的文本转换为 Parquet 如何控制Parquet文件的数量 40 福清仔 2017-09-14 15:45 3 福清仔 2018-02-06 17:26
hive udf连接hbase 无限等待问题 40 福清仔 2017-10-23 22:27 1 福清仔 2018-02-06 17:25
scala如何给map里的函数传参 50 loseryao 2018-01-30 14:13 1 天心有情 2018-01-30 15:03
分享一个很好的大数据面试知识点专栏博客 50 且听_风吟 2018-01-23 18:25 1 且听_风吟 2018-01-23 18:26
如何使用spark统计某个value的出现次数,并且统计出出现次数最多的value 50 qq_16046321 2018-01-03 18:39 5 qq_16046321 2018-01-18 16:59
spark 如何从foreachRDD 获取数据 ? 40 hghdown 2016-06-15 16:19 11 jybbh 2017-12-20 14:02
spark stand alone 模式集群 如何调用Java程序 50 andy88421 2017-12-19 15:22 0 andy88421 2017-12-19 15:22