spark 如何解决pv,uv实时数据

为不为 2017-07-06 04:00:37

本人spark 新手，由于项目需要，我需要大致完成以下的功能

我自己也搭建了standalone的虚拟机集群，spark 连接mysql 读数据和wordcount例子我都做过，以及用sbt构建jar提交集群。
然而还不是很懂怎么处理多个数据源获取处理数据再返回数据库。(好像要用到kafka 等操作)

...全文

328 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

对于大数据Spark-Core的实战案例数据集，全面性和具体性可能因不同的应用场景、业务需求和数据源而异。然而，我可以为你提供一个概述和一些常见的实战案例数据集的示例，以帮助你理解其可能的应用范围。 Spark-Core是Apache Spark的核心组件，提供了分布式计算的基础功能。它支持多种数据源和格式，可以处理大规模数据集并进行高效的并行计算。因此，Spark-Core实战案例数据集的选择通常取决于具体的业务需求和场景。以下是一些常见的Spark-Core实战案例数据集的示例：点击流日志分析：数据集：包含用户点击网站或应用的日志数据，通常包括时间戳、用户ID、页面URL、点击事件类型等信息。应用场景：用于分析用户行为、流量统计、热门页面等。实战案例：通过分析点击流日志数据，可以统计PV（页面浏览量）、UV（独立访客数）、用户访问路径等信息，进而优化网站结构、提升用户体验。电商交易数据分析：数据集：包含电商平台的交易数据，如订单信息、用户购买记录、商品信息等。应用场景：用于分析销售趋势、用户购买行为、商品关联推荐等。实战案例：通过Spark-Core处理交易

一、HQL写法 uv: count(distinct)太影响性能，以下为改进： select tmp.shop,count(1) as uv from (select user_id,shop from second_visit group by user_id,shop)tmp group by shop; pv select shop,count(uid) from second_visit group by shop; 二、MR写法待填坑三、spark写法 val conf = new SparkConf() conf.setAppName(pv_uv)

内含13W+点击流数据，均已处理成结构化数据，可以直接用于统计操作。数据格式： 158.189.122.206 江西 2018-11-12 1542011090255 341319664806502161 www.taobao.com Regist 103.190.42.13 江苏 2018-11-12 1542011090255 4152752257070526126 www.baidu.com View 103.190.42.13 江苏 2018-11-12 1542011090255 4152752257070526126 www.taobao.com Buy

方便好用，适合初步学习者，直接拷贝到自己根目录下，附加即可。离线数据处理：项目内容为通过对网站访问日志的采集和清洗，结合数据库中的结构化用户数据，统计并展示网站的PV、UV情况，以对网站的运行情况进行监控。通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。

提供JAVA和Scala两种实现，里面有详细操作步骤和注释美团真实业务完整源码实现:https://tech.meituan.com/2016/03/31/spark-in-meituan.html 美团的交互式用户行为分析系统，用于提供对海量的流量数据进行交互式分析的功能，系统的主要用户为公司内部的PM和运营人员。普通的BI类报表系统，只能够提供对聚合后的指标进行查询，比如PV、UV等相关指标。

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章