6、画像用户属性之业务数据同步binlog讲解

youfanedu 2023-01-13 03:17:25

课时名称	课时知识点
6、画像用户属性之业务数据同步binlog讲解	6、画像用户属性之业务数据同步binlog讲解

...全文

73 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

用户画像，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的，在大数据时代背景下，用户信息充斥在网络中，将用户的每个具体信息抽象成标签，利用这些标签将用户形象具体化，从而为用户提供有针对性的服务。还记得年底收到的支付宝年度消费账单吗？帮助客户回顾一年的消费细节，包括消费能力、消费去向、信用额度等等，再根据每位客户的消费习惯，量身定制商品推荐列表……这一活动，将数据这个量化的词以形象生动的表现手法推到了大众面前。这就是用户画像

各种信息系统大多是独立建设的，无法做到信息的互联互通，导致形成了多个数据孤岛。数据中台的作用是融合新老信息，整合各个孤岛上的信息，快速形成数据服务能力，为企业经营决策、精细化运营提供支持。数据中台和业务中台的区别：业务中台是抽象业务流程的共性形成通用业务服务能力，数据中泰是抽象数据能力的共性形成通用数据服务能力。数据仓库的主要场景是支持管理决策和业务分析，而数据中台则是将数据服务化之后提供给业务系统，目标是将数据能力渗透到各个业务环节，不限于决策分析类场景。数据中台的建设包含数据仓库的完整内容，数据中

比如在B站内部，参与数据生产的系统，统一到了平台调度平台、流计算平台、数据集成平台、埋点平台几个有限系统中，我们根据这些系统中的要素去定制血缘解析和采集策略，将数据进行打通，即可覆盖离线、实时、出入仓等关键步骤的血缘，但往往还会存在一些由业务定制的野生调度系统，野生运行脚本等跑数情况，这些场景一般伴随着缺少归属人，生产模式杂乱，缺失生命周期等问题，正常不应该纳入到血缘链路中，好尽快的收口治理掉。由于在血缘场景中，我们需要打通这些跨域类型的数据表的关系，所以需要站在全局的视角对他们进行统一标识。

1、数据需求：用户分析日志log、业务数据db2、采集需求：日志采集系统（flume）、业务数据同步系统（Maxwell，datax）3、数据仓库建模：维度建模4、数据分析：对设备、会员、商品、地区、活动等电商核心主题进行统计，统计的报表指标接近100个。5、即席查询：用户在使用系统时，根据自己当时的需求定义的查询，通常使用即席查询工具。6、集群监控：对集群性能进行监控，发生异常及时报警。7、元数据管理：存储所有表对象的详细信息，通过元数据管理有助于开发人员理解管理数据。

数据接入数据的接入可以通过将数据实时写入Kafka进行接入，不管是直接的写入还是通过oracle和mysql的实时接入方式，比如oracle的ogg，mysql的binlogoggGol...

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章