社区
Spark
帖子详情
spark如何统计同ip下的所有id
peter_linky
2017-09-26 09:17:23
两个字段 id ip 如何根据相同的ip拿到所有的id
...全文
336
1
打赏
收藏
spark如何统计同ip下的所有id
两个字段 id ip 如何根据相同的ip拿到所有的id
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
大数据运维
2017-09-28
打赏
举报
回复
Spark DataFrame非常方便处理。 val df = sql("select id,ip from XXX") val targetData = df.filter($"ip"===TargetIP).select("id").distinct()
Spark
String类型的
IP
地址转化为Long类型
在做大数据分析中,往往收集到的数据
IP
地址为xxx.xxx.xxx.xxx类型,为方便做数据
统计
、分析,需要将
IP
地址转化为Long类型的值 ,以下为scala语言编写的
Spark
程序: def
ip
2Long(
ip
: String): Long = { //将
IP
地址转为Long,这里有固定的算法 val
ip
s:Array[String] =
ip
.split("\\."...
【
Spark
】如何用
Spark
查询
IP
地址?
通过
Spark
从多张表中查询对应
ip
地址、
ip
经纬度,并求取出现次数
Spark
小实例(
统计
出日志中出现排行前10的
IP
地址)
ID
EA实现
首先创建好项目工程,如下图: 完善pom.xml文件,具体为:(依据自己的
spark
版本做修改) <dependencies> <dependency> <group
Id
>org.scala-lang</group
Id
> <artifact
Id
>scala-library</artifact
Id
> <version>2.1
Spark
实现根据
IP
地址求归属地以及将结果保存到MySql数据库中(
Spark
广播变量的使用)
需要:各大网站每天都会产生大量的数据,数据中有用户访问网站的时间戳,
IP
地址,访问的域名,浏览器信息等等,现要求分析各个省份的上网人数(实际上就是在
ip
规则中查询用户
IP
的地址,再进行聚合) 实现: 1、 加载城市
ip
段信息,获取
ip
起始数字和结束数字,经度,维度 2、 加载日志数据,获取
ip
信息,然后转换为数字,和
ip
段比较 3、 比较的时候采用二分法查找,找到对应的经度和维度 4、 然后对经度...
Spark
入门(2)-
Spark
-Shell WordCount 单词
统计
Spark
-shell 是
Spark
给我们提供的交互式命令窗口,类似Linux的shell命令窗口。 启动
spark
进入
spark
安装包,右键选择【在终端中打开】,使用的深度Linux系统。 输入启动命令: ./bin/
spark
-shell 可以通过
IP
:端口的形式查看
spark
web。 制作2个英文单词文件 我们就以
spark
启动的日志制作2个因为单词文件test1.txt于test2.txt。 Using
Spark
's default log4j profile: org/apache/
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章