spark 如何解决pv,uv实时数据

为不为 2017-07-06 04:00:37

本人spark 新手，由于项目需要，我需要大致完成以下的功能

我自己也搭建了standalone的虚拟机集群，spark 连接mysql 读数据和wordcount例子我都做过，以及用sbt构建jar提交集群。
然而还不是很懂怎么处理多个数据源获取处理数据再返回数据库。(好像要用到kafka 等操作)

...全文

408 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

文章目录1. Spark常规作业1.1 任务背景1.2 解决方案2. Spark Steaming作业2.1 任务背景2.2 解决方案 1. Spark常规作业 1.1 任务背景对每天的产生的日志进行曝光,点击等行为的PV和UV的计算,同时需要区分新老用户,然后将不同的类别的PV和UV以一列的形式展示原始日志: userId, itemId, userType, action 处理完后需要不同天数统计结果,每个天数集合都是以下形式, 并将所有天数集合的数据放入同一个表格中: new_click_pv,

某电商平台日均产生5TB用户行为数据批处理慢：用Hive分析全量数据需4小时，无法支撑“上午出报表、下午做运营”的需求；实时性差：用Flink做流处理但批处理能力弱，无法统一批流逻辑，维护成本高；无法落地：仅做“PV/UV统计”等表层分析，未形成用户画像等可直接用于精准运营的输出。本文从电商用户行为分析的痛点用Structured Streaming解决实时分析问题（分钟级PV/UV）；用Spark SQL解决批处理清洗问题（处理历史数据）；用MLlib解决机器学习问题（用户分层）。

按照上面的路径，你应该能搭建起一个数据链路清晰、模块低耦合、具备基本实时能力的电商用户行为分析系统原型。这已经是一个相当不错的毕设基础。如何让你的毕设更进一步？扩展支持A/B测试分析。在埋点中增加一个字段（如‘A’或‘B’），记录用户所属的实验组。然后在流处理中，按实验组分别计算核心指标（如转化率、人均点击量）。最后在看板上，通过对比两个组的指标曲线，直观展示A/B测试效果。这能立刻将你的项目从“描述性分析”提升到“因果推断”的层面，大大增加含金量。最后，我强烈建议你动手部署一个最小可行系统(MVP)

超大数据量UV类PV类问题解决方案背景技术使用：基于大数据平台的 spark-sql,有基础能力去处理百亿级数据表问题背景：随着大数据平台和数仓的建设,以及业务极大增加和日常积累,会让单表达到百亿级别这时候就会出现两个典型的场景,就是标题所说的UV场景和PV场景名词解释 UV类问题 UV 英文就是Unique visitor 即这个网站有多少个访问者,这里就有个用户去重的问题,多次访问需要去重拓展一下就是针对数据表维度进行 count(distinct ) 计算的一类场景,不只是限制在用

本文介绍了一个大数据电商实战项目，主要内容包括：项目概述：这是一门针对Java开发者的大数据实战课程，涵盖Hadoop、Hive、Spark等核心技术，通过电商流量分析案例帮助学员掌握数据处理全流程。课程安排：10天系统学习计划，包括Hadoop环境搭建、Hive数据仓库、Spark计算、Flume采集、指标计算等核心内容，最终完成数据可视化展示。技术重点：数据清洗：从ODS层过滤无效数据存入DWD层数据处理：对DWD层数据进行优化转换，存入DWS层时间处理：拆分时间戳为日期和小时字段设备信息

1,274

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章