21、大数据用户画像系统架构图深度解密与详细介绍

[cjlmyfanke]

课时名称	课时知识点
21、大数据用户画像系统架构图深度解密与详细介绍	用户画像是一个非常通用普遍使用的系统，从我们的架构图中可以看出，从数据计算时效性上来讲分离线计算和实时计算。离线计算一般是每天晚上全量计算所有用户，或者按需把用户数据发生变化的那批用户重新计算。离线计算主要是使用Hive SQL语句处理、Spark数据处理、或者基于机器学习算法来算用户忠诚度模型、用户价值模型、用户心理模型等。实时计算指定的通过Flume实时日志收集用户行为数据传输到Kafka消息队列，让流计算框架Flink/Storm/SparkStreaming等去实时消费处理用户数据，并触发实时计算模型，计算完成后把新增的用户画像数据更新搜索索引。