论坛分类<
论坛分类>

Spark论坛

Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
版主: 仲浩

申请版主

主题 赏分 作者 回复 最后发表 管理
[置顶] 新技术前沿・ 程序员的618:不只是促销,更是教育投资 50 csdngkk 2018-06-15 17:46 53 yn_huang 2018-07-16 16:00
[置顶] 人工智能技术・ 谁说程序员不会写诗?人工智能诗词大赛来啦!! 400 阿花君霸占路人 2018-07-12 17:19 26 dunyunkeji 2018-07-16 16:12
[置顶] 华为云计算・ 4个G资料领取 | 华为云40余位专家解读最前沿技术视频+PPT合集 [推荐] 50 xiaoxiaoxiaom... 2018-07-13 11:09 10 chinazts 2018-07-16 10:19
[置顶] Spark・ CSDN Spark微信群深度分享预告与总结 20 仲浩 2015-07-31 18:18 6 zcinfo 2017-06-14 09:58
[置顶] Spark・ CSDN攒课第二期课题“Spark基础与编程模型”开课啦,快来报名吧! [推荐] 40 精致女王 2015-10-27 18:29 13 CSDX 2017-07-11 10:25
[置顶] Spark・ Spark零基础入门系列在线视频培训入口 40 仲浩 2015-12-08 20:55 8 kaipuledou 2018-06-07 16:29
[置顶] Spark・ [重磅]懂行的人都在这里,BDTC 2016将于12月8-10日在京举行 40 CSDN魏伟 2016-11-23 13:20 1 GWLCGL520 2016-11-26 09:42
yarn wordcount计算报错: 50 wzwdev1980 2018-07-10 19:38 2 迷途1503 2018-07-13 18:05
YARN执行 mapreduce出错,不知道咋办了 50 wzwdev1980 2018-07-12 13:43 1 wzwdev1980 2018-07-12 16:54
oozie的定时spark2任务出现一直running的状态,并且查看任务发现有异常 50 qq_39116856 2018-06-30 17:36 1 qq_39116856 2018-07-06 10:33
spark sql 缓存 50 mumumuyanyanyan 2018-06-01 00:52 1 qq_36936363 2018-06-13 15:36
非常粗俗的spark工作流程理解 50 hiddpy 2018-05-30 14:21 2 hiddpy 2018-05-31 16:54
这里join为什么报错 100 MrAmity 2018-05-20 16:01 2 qq_38814020 2018-05-21 13:52
CDH5安装过程不能启动YARN (MR2 Included) 100 kent7306 2015-01-28 16:28 10 随风而醒 2018-05-17 13:47
spark executor执行task的一些问题 50 chen58683632 2018-05-12 13:10 0 chen58683632 2018-05-12 13:10
java客户端连接kafka消费超时问题 100 Bonsour 2018-04-27 14:19 1 Bonsour 2018-04-27 14:37
是否可以配置Apache Flume使用Parquet将我的日志保存在HDFS中? 50 JavaXluo 2018-04-24 11:56 1 JavaXluo 2018-04-24 11:56
spark job 结束后ui界面还一直有active jobs,小白求各位大神指教~ 50 youngmilk 2018-04-20 12:09 5 dlc1982 2018-04-21 11:03
sqoop2 运行job时报无效的路径问题! 100 狂我之心 2018-04-19 18:14 5 狂我之心 2018-04-20 13:14
oozie上sparkyarn的任务执行完成后又重新找hdfs://nameservice1/user/hdfs/.sparkStaging/下的文件,报不存在 50 qq_39116856 2018-04-11 11:30 1 qq_39116856 2018-04-11 17:48
spark执行R脚本任务,任务时间超过6000秒自动停止 40 zxbmhy 2017-08-01 23:15 5 草莓派R语言 2018-04-10 12:38
关于Spark DF 缓存的问题 200 musw 2018-04-02 17:24 4 musw 2018-04-05 09:28
spark性能调优问题(task分布不均衡) 40 raxanne 2017-08-11 17:38 6 sunrising_hill 2018-03-27 17:23
hadoop 格式化不了 namenode datanode 启动不起来为什么啊? 20 er1182824122 2017-06-23 21:37 2 er1182824122 2018-03-21 17:16
KafkaUtils.createDirectStream的问题 50 chen58683632 2018-03-04 13:19 1 LinkSe7en 2018-03-04 22:21
NLPIR分词器在spark平台实现载入 libNLPIR.so 时出错 40 Bio_CIT 2017-01-11 16:14 8 馒头夹辣条 2018-03-03 16:05
求教入大数据坑的路线,新人求教 100 QoiteCover 2016-09-01 23:28 8 fate1995 2018-03-02 01:22
本科大四,准备出去找工作了,学习了spark,kafka等,还需要深入学习hadoop吗? 50 ddxygq 2018-02-27 20:51 1 怀揣梦想的大鸡腿 2018-02-27 22:00
Spark 中的文本转换为 Parquet 如何控制Parquet文件的数量 40 福清仔 2017-09-14 15:45 3 福清仔 2018-02-06 17:26
hive udf连接hbase 无限等待问题 40 福清仔 2017-10-23 22:27 1 福清仔 2018-02-06 17:25
scala如何给map里的函数传参 50 loseryao 2018-01-30 14:13 1 天心有情 2018-01-30 15:03
分享一个很好的大数据面试知识点专栏博客 50 且听_风吟 2018-01-23 18:25 1 且听_风吟 2018-01-23 18:26
如何使用spark统计某个value的出现次数,并且统计出出现次数最多的value 50 qq_16046321 2018-01-03 18:39 5 qq_16046321 2018-01-18 16:59
spark 如何从foreachRDD 获取数据 ? 40 hghdown 2016-06-15 16:19 11 jybbh 2017-12-20 14:02
spark stand alone 模式集群 如何调用Java程序 50 andy88421 2017-12-19 15:22 0 andy88421 2017-12-19 15:22
关于rdd写入hdfs数据 100 wjw870907 2017-12-07 16:43 4 wjw870907 2017-12-12 12:02
超大矩阵(上亿条数据)的可逆运算?利用Hadoop集群或者其他框架的求解方式? 50 冠希哥谈程序 2017-12-04 19:57 0 冠希哥谈程序 2017-12-04 19:57
rdd.collect()返回错误的值 50 Effpom 2017-12-03 15:32 2 Effpom 2017-12-04 16:07
请问下大佬们公司开发spark项目用的是java还是scala 100 MrAmity 2017-10-30 13:49 3 福清仔 2017-12-04 10:42
spark-shell可以运行,spark-submit就报错了。 50 恶魔爱谁 2017-11-30 16:35 0 恶魔爱谁 2017-11-30 16:35
【社区问答第四十一期】Apache Spark大数据专题 100 吃货乙 2016-05-03 10:22 49 Cpp初学者 2017-11-29 11:52
spark streaming中建立线程池的问题求助 50 mumumuyanyanyan 2017-11-12 16:53 2 mumumuyanyanyan 2017-11-14 23:00
初学者求助一段scala代码,快被它的语法搞疯了。。。多谢! 40 飞火流云 2017-09-16 20:02 5 m0_37889105 2017-11-10 17:23
HADOOP mapreduce 中关于 WritableComparable WritableComparator RawComparator的作用。 40 zou781 2017-02-06 15:54 3 qq_26517369 2017-11-09 16:25
spark的缓存问题 0 mumumuyanyanyan 2017-10-27 21:41 1 rebic 2017-10-30 16:52
如何计算spark中某个文件的内存占用情况? 50 mumumuyanyanyan 2017-10-27 21:43 1 成吉思潇 2017-10-30 09:07
格式化namenode,报io异常,请大神帮忙看一下 50 柯南爱上指针 2017-10-28 10:11 1 柯南爱上指针 2017-10-28 10:38
hive jdbc 不支持批处理? 怎么能达到相同效果 40 卡奥斯道 2017-10-22 17:49 0 卡奥斯道 2017-10-22 17:49
spark读取hbase时,报出java.lang.NoClassDefFoundError: org/apache/htrace/Trace异常 25 西红小柿 2017-10-18 17:34 2 西红小柿 2017-10-19 12:34
spark Streaming在local 可以运行正常 ,但是在yarn上数据不能处理(只有Ctrl+c)才能执行 这是什么问题 40 yisun123456 2017-10-10 09:47 4 yisun123456 2017-10-10 18:19
使用本地spark-submit命令行的方式远程提交sparkJar到yarn集群 40 joemw 2017-09-30 11:39 0 joemw 2017-09-30 11:39
Hadoop启动没有明显异常信息,但是启动失败,怎么排错??? 50 the_fool_ 2017-09-13 20:31 2 the_fool_ 2017-09-15 18:57
spark scala算子内部引用sparkSession属性为空 100 很懒的耗子 2017-06-05 18:24 8 qixingmoming 2017-09-05 14:09