论坛分类<
论坛分类>

Spark论坛

Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
版主: 仲浩

申请版主

主题 赏分 作者 回复 最后发表 管理
[置顶] 华为云计算・ 华为云故事征集,把你的故事讲给懂得人听,赢取丰厚礼品 50 xiaoxiaoxiaom... 2018-08-30 13:46 21 s2a8_n7qtord 2018-09-07 16:56
[置顶] 华为云计算・ 吐槽还能得免费门票和机械键盘?HC大会就是和别人不一样! [推荐] 50 shere_lin 2018-09-04 19:29 62 qq_36391749 2018-09-18 21:24
PairRDD经过sortByKey排序后再filter的结果是否有序 50 飞鹤 2018-09-17 09:16 2 飞鹤 2018-09-18 10:04
sparkstreaming mapWithState状态保存问题 40 book_reinforce 2017-03-22 10:22 1 张普 2018-09-16 17:42
SparkStreaming使用lambda报错 50 桃花惜春风 2018-09-11 16:07 0 桃花惜春风 2018-09-11 16:07
Spark DataFrame join函数问题JAVA语言版 50 其实我是真性情 2018-08-14 10:24 3 伱oO○祗噵 2018-08-15 08:47
请问基于spark做web交互式查询,有好办法么? 50 cocoa2003 2018-06-25 14:00 6 迷途1503 2018-08-06 15:51
json转parquet文件的问题 100 古布 2018-08-02 16:07 2 古布 2018-08-02 19:05
sparkstreaming为什么读取空数据运行特别慢 150 迷途1503 2018-07-24 17:11 0 迷途1503 2018-07-24 17:11
导入隐式转换后,import自动消失了 50 大数据小萌新 2018-07-21 16:35 1 大数据小萌新 2018-07-24 11:17
sparksql查询时是不是要把要查询的整张表的数据都要加载到内存中进行计算 200 迷途1503 2018-07-13 17:56 6 LinkSe7en 2018-07-23 15:55
yarn wordcount计算报错: 50 wzwdev1980 2018-07-10 19:38 2 迷途1503 2018-07-13 18:05
YARN执行 mapreduce出错,不知道咋办了 50 wzwdev1980 2018-07-12 13:43 1 wzwdev1980 2018-07-12 16:54
oozie的定时spark2任务出现一直running的状态,并且查看任务发现有异常 50 qq_39116856 2018-06-30 17:36 1 qq_39116856 2018-07-06 10:33
spark sql 缓存 50 mumumuyanyanyan 2018-06-01 00:52 1 qq_36936363 2018-06-13 15:36
非常粗俗的spark工作流程理解 50 hiddpy 2018-05-30 14:21 2 hiddpy 2018-05-31 16:54
请教一下官网调用sql方法返回的dataframe可以设置为dataset 50 MrAmity 2018-05-25 10:46 0 MrAmity 2018-05-25 10:46
这里join为什么报错 100 MrAmity 2018-05-20 16:01 2 qq_38814020 2018-05-21 13:52
CDH5安装过程不能启动YARN (MR2 Included) 100 kent7306 2015-01-28 16:28 10 随风而醒 2018-05-17 13:47
spark executor执行task的一些问题 50 chen58683632 2018-05-12 13:10 0 chen58683632 2018-05-12 13:10
java客户端连接kafka消费超时问题 100 Bonsour 2018-04-27 14:19 1 Bonsour 2018-04-27 14:37
是否可以配置Apache Flume使用Parquet将我的日志保存在HDFS中? 50 JavaXluo 2018-04-24 11:56 0 JavaXluo 2018-04-24 11:56
spark job 结束后ui界面还一直有active jobs,小白求各位大神指教~ 50 youngmilk 2018-04-20 12:09 5 dlc1982 2018-04-21 11:03
sqoop2 运行job时报无效的路径问题! 100 狂我之心 2018-04-19 18:14 5 狂我之心 2018-04-20 13:14
oozie上sparkyarn的任务执行完成后又重新找hdfs://nameservice1/user/hdfs/.sparkStaging/下的文件,报不存在 50 qq_39116856 2018-04-11 11:30 1 qq_39116856 2018-04-11 17:48
spark执行R脚本任务,任务时间超过6000秒自动停止 40 zxbmhy 2017-08-01 23:15 5 草莓派R语言 2018-04-10 12:38
关于Spark DF 缓存的问题 200 musw 2018-04-02 17:24 4 musw 2018-04-05 09:28
spark性能调优问题(task分布不均衡) 40 raxanne 2017-08-11 17:38 6 sunrising_hill 2018-03-27 17:23
hadoop 格式化不了 namenode datanode 启动不起来为什么啊? 20 er1182824122 2017-06-23 21:37 2 er1182824122 2018-03-21 17:16
KafkaUtils.createDirectStream的问题 50 chen58683632 2018-03-04 13:19 1 LinkSe7en 2018-03-04 22:21
NLPIR分词器在spark平台实现载入 libNLPIR.so 时出错 40 Bio_CIT 2017-01-11 16:14 8 馒头夹辣条 2018-03-03 16:05
求教入大数据坑的路线,新人求教 100 QoiteCover 2016-09-01 23:28 8 fate1995 2018-03-02 01:22
本科大四,准备出去找工作了,学习了spark,kafka等,还需要深入学习hadoop吗? 50 ddxygq 2018-02-27 20:51 1 怀揣梦想的大鸡腿 2018-02-27 22:00
Spark 中的文本转换为 Parquet 如何控制Parquet文件的数量 40 福清仔 2017-09-14 15:45 3 福清仔 2018-02-06 17:26
hive udf连接hbase 无限等待问题 40 福清仔 2017-10-23 22:27 1 福清仔 2018-02-06 17:25
scala如何给map里的函数传参 50 loseryao 2018-01-30 14:13 1 天心有情 2018-01-30 15:03
分享一个很好的大数据面试知识点专栏博客 50 且听_风吟 2018-01-23 18:25 1 且听_风吟 2018-01-23 18:26
如何使用spark统计某个value的出现次数,并且统计出出现次数最多的value 50 qq_16046321 2018-01-03 18:39 5 qq_16046321 2018-01-18 16:59
spark 如何从foreachRDD 获取数据 ? 40 hghdown 2016-06-15 16:19 11 jybbh 2017-12-20 14:02
spark stand alone 模式集群 如何调用Java程序 50 andy88421 2017-12-19 15:22 0 andy88421 2017-12-19 15:22
关于rdd写入hdfs数据 100 wjw870907 2017-12-07 16:43 4 wjw870907 2017-12-12 12:02
超大矩阵(上亿条数据)的可逆运算?利用Hadoop集群或者其他框架的求解方式? 50 冠希哥谈程序 2017-12-04 19:57 0 冠希哥谈程序 2017-12-04 19:57
rdd.collect()返回错误的值 50 Effpom 2017-12-03 15:32 2 Effpom 2017-12-04 16:07
请问下大佬们公司开发spark项目用的是java还是scala 100 MrAmity 2017-10-30 13:49 3 福清仔 2017-12-04 10:42
spark-shell可以运行,spark-submit就报错了。 50 恶魔爱谁 2017-11-30 16:35 0 恶魔爱谁 2017-11-30 16:35
【社区问答第四十一期】Apache Spark大数据专题 100 吃货乙 2016-05-03 10:22 49 Cpp初学者 2017-11-29 11:52
spark streaming中建立线程池的问题求助 50 mumumuyanyanyan 2017-11-12 16:53 2 mumumuyanyanyan 2017-11-14 23:00