B站关于Bilibili用户行为分析的Clickhouse运用实战实践

诗和远方v 2022-03-10 07:39:10

本教程是由B站Olap大数据架构师李呈祥，给大家讲解B站如何使用ClickHouse提高整体ad-hoc查询速度。B站作为现在年轻人聚集地，如何准确地对用户行为进行分析和预测是提高留存率中一个非常重要的因素，在现在大数据情况下，Clickhouse显然是一个非常不错的选择，该教程以B站实际业务场景讲解clickhouse在实际场景下的性能体现，适合想要了解Clickhouse实际业务使用的用户学习。

视频地址：ClickHouse在Bilibili用户行为分析的实践

...全文

689 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

CSDN-Ada助手 2023-01-13

打赏
举报

回复

您可以前往 CSDN问答-大数据发布问题, 以便更快地解决您的疑问

DMP（数据管理平台）为广告部门提供B站用户数据的管理。主要功能包括用户标签收集存储，标签市场建设，人群包圈选，人群画像分析，人群/特征定向几大功能模块。

ppt来源：clickhouse春季meetup 识别下方二维码，回复“资料全集”，即可获得下载地址。 ...

本期作者束家麒基础架构部资深开发工程师凌涛基础架构部资深开发工程师01 背景介绍日志作为线上定位问题排障的重要手段，在可观测领域有着不可替代的作用。稳定性、成本、易用性、可扩展性都是日志系统需要追求的关键点。B站基于Elastic Stack的日志系统（Billions）从2017建设以来，已经服务了超过5年，目前规模超过500台机器，每日写入日志量超过700TB。ELK体系是业界最常用的日志...

大数据分析技术通过采集、处理和分析海量数据，揭示用户行为模式和内容趋势。其核心原理包括数据爬取、清洗、存储和建模，最终实现商业智能和用户洞察。在视频平台领域，弹幕和评论数据的情感分析、实体识别等技术尤为重要，可应用于内容优化、舆情监控等场景。以B站为例，通过Python+selenium采集数据，结合ClickHouse高效存储，并利用LightGBM构建预测模型，能有效分析用户兴趣和内容传播规律。本文通过实战案例，展示如何突破B站反爬机制，构建弹幕热词分析和用户兴趣图谱，为社区运营和内容创作提供数据支持。

B站工作内容总结实习概况1. KillQuery模块（大致描述）2. Monitor模块（大致描述）3. Overview模块（大致描述）4. Query模块（大致描述）5. 实习总结实习概况从2021.6.24 到 2021.9.15 在b站数据平台部-OLAP交互式分析组（目前部门该名：基础架构部）实习了3个月的时间。实习期间主要负责：数据平台部内部的ClickHouse监控管理平台的开发；主要的职责为：负责ClickHouse监控管理平台的前端以及后端相关模块的开发工作；主要完成的开发任

ClickHouse开发者

111

社区成员

103

社区内容

发帖

与我相关

我的任务

其他企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

社区宗旨：意在给学习Clickhouse数据库的朋友提供一个氛围轻松、友好的交流平台，欢迎社区小伙伴们积极讨论。

欢迎大家加入到Clickhouse社区大家庭，为了对大家积极的参与感谢，现在准备以下一些奖品【20个CSDN定制帆布包和2个咖啡杯】，满足以下2个条件即有机会领取：

1、加入Clickhouse社区，成为社区成员
2、在社区中发布2个及以上的帖子
帖子条件如下(示例地址：)：
- 推荐文章：需要是至少5篇的推荐内容，内容地址可以放超链接
- 推荐书籍：需要大致介绍书籍重点内容，或者放书籍目录
- 推荐视频：需要大致介绍视频重点内容

奖励评选规则：

参与时间：2022年3月1号 ~ 2022年3月8号
CSDN定制帆布包【前20位】先到、先满足上面的条件可得(每人一个，机不可失)
咖啡杯则需要根据大家的帖子内容质量，在【加精】帖子中抽奖得出(概率很大哦)

额外奖励：

如果有小伙伴能够介绍给周围的小伙伴，并成功邀请他们加入社区，每拉取2个人奖励现金5元(赚个早餐钱简单)
免费赠送Clickhouse学习电子书籍(即：Clickhouse教程-中文版、ClickHouse万亿数据双中心的设计与实践 )

奖励领取方式：

添加博主微信：yyuuyy1235(备注:clickhouse社区)

试试用AI创作助手写篇文章吧

+ 用AI写文章