社区
Spark
帖子详情
[spark]WordCount问题,输出结果总是不对,求帮忙
晚秋_梦依在
2016-01-07 05:29:33
进入spark-shell,进行测试:输入,
然后执行:
,输出结果总是1,无语,折腾了我好久,已疯,希望大神们帮个忙!!!下面是我的hdfs文件:
,
从最后一图看,单词数那么多,怎么也不是一个啊
...全文
375
3
打赏
收藏
[spark]WordCount问题,输出结果总是不对,求帮忙
进入spark-shell,进行测试:输入, 然后执行:,输出结果总是1,无语,折腾了我好久,已疯,希望大神们帮个忙!!!下面是我的hdfs文件: ,从最后一图看,单词数那么多,怎么也不是一个啊
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
部落酋长
2016-03-09
打赏
举报
回复
你这个语句就是读取这个文件,文件只有一行 textFile就是默认以回车换行符作为默认分割,因此输出值为1 val words = readmeFile.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _)
晚秋_梦依在
2016-03-06
打赏
举报
回复
如图,计算的是行数,不是单词数
wangbiao1150
2016-01-08
打赏
举报
回复
你好,你这样统计的并不是单词的个数,而是rdd的个数,你需要这样做:val words = readmeFile.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1)).reduceByKey(_ + _) wordCounts.print() 这样才是统计单词的个数。 可以加入spark技术交流群366436387,共同交流学习。
Spark
案例之
Word
Count
目录IntelliJ IDEA一、编写
Word
Count
程序1.创建一个Maven项目
Word
Count
并导入依赖2.编写代码3.打包插件4.创建数据,打包完,导入包5.集群测试(在包的路径下输入)hdfs的方式:本地方式:6.查看结果 二、远程调用
Spark
1.启动
Spark
下的start-all.sh Jps查看进程:2.导入依赖 3.编写代码4.打包5.在把代码加到创建
spark
Conf的后面原代码修改后,加上包的路径6.运行输出 2.编写代码 3.打包插件 4.创建数据,打包完,
Spark
实现
Word
Count
首先,编写第一个
Spark
应用程序 ,我们是如何建立起来的,其入口在哪里呢,需要创建两个对象。 一:val conf = new
Spark
Conf() .setAppName("
Word
Count
") .setMaster("local") 创建
Spark
Conf对象...
Spark
实现
Word
Count
本文介绍了怎么在windows上利用IDEA创建maven项目,通过Scala编程实现
Word
Count
词频统计,并且打包上传到linux系统的
Spark
集群。看完这篇包教包会
Spark
之
Word
Count
Spark
之
Word
Count
Spark
-shell执行
word
count
案例
什么是
spark
-shell
Spark
-shell 是
Spark
给我们提供的交互式命令窗口(类似于 Scala 的 REPL) 准备数据 新建个demo文件夹 在demo文件夹里面新建两个txt文件 里面的数据都是用空格分隔的, 不是用tab分隔的 [root@zjj101 soft]# cat demo1.txt zjj AAA BBB AAA jj ZJJ [root@zjj101 soft]# cat demo2.txt ZZZ zzz xxx yyy Zjj zjj [root@zjj101
Spark
1,274
社区成员
1,171
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章