论坛分类<
论坛分类>

Spark论坛 申请版主

Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。

仲浩

赏分 主题 作者 回复/查看 最后发表 管理
满意 100 spark scala算子内部引用sparkSession属性为空 很懒的耗子 2017-06-05 18:24 11/1282 gk91620 2019-01-18 17:14
已结 50 spark的dataframe究竟知不知道每列的名称和类型各是什么? 阳光Xiao伙 2019-01-15 17:27 4/134 BigBangBug 2019-01-17 21:06
满意 100 Spark streaming +kafka 任务阻塞 小凶許 2019-01-15 15:59 1/69 qiongwei 2019-01-15 16:37
已结 50 StreamingContext获取不到数据 Tsherwin 2019-01-10 19:47 2/85 qiongwei 2019-01-11 10:17
已结 50 搭建的spark集群不能访问50070端口? 水的思想 2018-12-19 17:07 2/237 水的思想 2019-01-07 20:40
已结 110 创建topic时报错。zookerper kafka。怎么解决? 水的思想 2018-12-27 23:23 6/188 水的思想 2019-01-02 15:33
满意 50 Hadoop格式化报错 心新-从零开始 2018-10-07 15:31 3/290 心新-从零开始 2018-12-28 13:12
已结 50 Spark聚合数据算法题,求救 取个名真难死 2018-12-06 01:24 3/216 取个名真难死 2018-12-24 19:43
已结 50 spark sql csv文件中字段值为\N的字段如何处理?? hdyrz 2018-12-21 15:45 1/118 hdyrz 2018-12-21 16:16
已结 200 spark-shell用不了hive MrAmity 2018-12-14 21:47 0/166 MrAmity 2018-12-14 21:47
满意 40 RDD调用saveAsTextFile方法出现很多空的文件 hbgstc123 2015-05-11 09:58 10/5727 鱼游花海 2018-12-11 17:07
满意 50 spark rdd 分组统计多列聚合 我的天空永远蔚蓝 2018-06-10 21:57 6/3172 weixin_43641922 2018-12-11 11:09
已结 40 有没有用过Accumulo数据库的人,请教一个问题 古道西風瘦驢 2016-08-20 12:58 1/251 qq_35382032 2018-11-27 14:56
已结 40 sparkstreaming mapWithState状态保存问题 book_reinforce 2017-03-22 10:22 4/349 藏呆羊 2018-11-17 09:20
已结 100 请问下调试怎么看RDD的数据 MrAmity 2018-11-14 14:30 0/59 MrAmity 2018-11-14 14:30
已结 50 sparkSQL使用filter方法时报错 w1123900645 2018-10-26 17:18 0/45 w1123900645 2018-10-26 17:18
满意 50 学了Spark有什么用呢? 水的思想 2018-10-12 14:59 6/433 水的思想 2018-10-25 09:13
满意 50 求教一个解决方法,打算想多个spark作业并发,不知道哪种比较好? deepthinkers 2018-05-03 16:53 4/105282 LinkSe7en 2018-10-23 13:40
满意 50 Spark DataFrame join函数问题JAVA语言版 其实我是真性情 2018-08-14 10:24 4/527 一切都是命 2018-10-19 14:43
已结 50 求一份Spark SQL慕课网日志分析的日志文件或者部分也行,谢谢 与自己作战 2018-10-18 10:08 0/134 与自己作战 2018-10-18 10:08
满意 40 hadoop2.6 8088监控界面任务太多造成页面访问特别慢 zhubajieaini 2015-08-18 14:18 3/736 hehe222222222... 2018-10-16 10:52
已结 50 spark数据处理问题 ranwei0206 2018-09-19 09:08 0/131 ranwei0206 2018-09-19 09:08
满意 50 PairRDD经过sortByKey排序后再filter的结果是否有序 飞鹤 2018-09-17 09:16 2/130 飞鹤 2018-09-18 10:04
已结 50 Scala 学习 进击大数据Spark生态圈 求一份完整版的,我下载了几个都缺少章节 与自己作战 2018-09-17 21:15 0/545 与自己作战 2018-09-17 21:15
已结 50 SparkStreaming使用lambda报错 桃花惜春风 2018-09-11 16:07 0/172 桃花惜春风 2018-09-11 16:07
满意 50 副本怎么发送到别的节点上? MrAmity 2018-08-25 13:08 7/239 MrAmity 2018-08-29 21:52
满意 50 请问基于spark做web交互式查询,有好办法么? cocoa2003 2018-06-25 14:00 6/1182 迷途1503 2018-08-06 15:51
已结 100 json转parquet文件的问题 古布 2018-08-02 16:07 2/307 古布 2018-08-02 19:05
已结 150 sparkstreaming为什么读取空数据运行特别慢 迷途1503 2018-07-24 17:11 0/174 迷途1503 2018-07-24 17:11
已结 50 导入隐式转换后,import自动消失了 大数据小萌新 2018-07-21 16:35 1/466 大数据小萌新 2018-07-24 11:17
满意 200 sparksql查询时是不是要把要查询的整张表的数据都要加载到内存中进行计算 迷途1503 2018-07-13 17:56 6/738 LinkSe7en 2018-07-23 15:55
满意 50 yarn wordcount计算报错: wzwdev1980 2018-07-10 19:38 2/445 迷途1503 2018-07-13 18:05
已结 50 YARN执行 mapreduce出错,不知道咋办了 wzwdev1980 2018-07-12 13:43 1/444 wzwdev1980 2018-07-12 16:54
已结 50 oozie的定时spark2任务出现一直running的状态,并且查看任务发现有异常 qq_39116856 2018-06-30 17:36 1/818 qq_39116856 2018-07-06 10:33
已结 50 spark sql 缓存 mumumuyanyanyan 2018-06-01 00:52 1/1012 qq_36936363 2018-06-13 15:36
已结 50 非常粗俗的spark工作流程理解 hiddpy 2018-05-30 14:21 2/1131 hiddpy 2018-05-31 16:54
已结 50 请教一下官网调用sql方法返回的dataframe可以设置为dataset MrAmity 2018-05-25 10:46 0/835 MrAmity 2018-05-25 10:46
满意 100 这里join为什么报错 MrAmity 2018-05-20 16:01 2/1070 qq_38814020 2018-05-21 13:52
满意 100 CDH5安装过程不能启动YARN (MR2 Included) kent7306 2015-01-28 16:28 10/1627 随风而醒 2018-05-17 13:47
已结 50 spark executor执行task的一些问题 chen58683632 2018-05-12 13:10 0/831 chen58683632 2018-05-12 13:10
已结 100 java客户端连接kafka消费超时问题 Bonsour 2018-04-27 14:19 1/2346 Bonsour 2018-04-27 14:37
已结 50 是否可以配置Apache Flume使用Parquet将我的日志保存在HDFS中? JavaXluo 2018-04-24 11:56 0/1327 JavaXluo 2018-04-24 11:56
已结 50 spark job 结束后ui界面还一直有active jobs,小白求各位大神指教~ youngmilk 2018-04-20 12:09 5/2304 dlc1982 2018-04-21 11:03
满意 100 sqoop2 运行job时报无效的路径问题! 狂我之心 2018-04-19 18:14 5/711 狂我之心 2018-04-20 13:14
已结 50 oozie上sparkyarn的任务执行完成后又重新找hdfs://nameservice1/user/hdfs/.sparkStaging/下的文件,报不存在 qq_39116856 2018-04-11 11:30 1/1296 qq_39116856 2018-04-11 17:48