关于实时数据计算的问题

小爽昵称已被占用 2014-10-24 04:02:45

现在有三个实时数据流，我想使用storm做join操作，但是数据流流过来有前有后，怎么样设计才能达到当相同key的三个流都准备好时再计算呢。
比如用户。订单、订单明细。三个流
user join order on uid join detail on oid

...全文

1025 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

小爽昵称已被占用 2015-02-26

打赏
举报

回复

借用中间存储，可以实现了。结贴.

mosesql 2014-11-04

打赏
举报

回复

@tntzbzc

UESTC少尉 2014-10-28

打赏
举报

回复

友情顶一下吧，对这个不太了解

小爽昵称已被占用 2014-10-24

打赏
举报

回复

@tntzbzc

本文介绍了在Flink实时流计算中，如何通过‘热数据逻辑锁’解决同一对象短时间内多笔数据导致的计算错误问题。该方案确保了每个统计对象的单线程处理，同时保持整体并发性，保证结果正确性，并具备时间解锁机制防止异常情况。

本文探讨了稳态潮流计算的基本原理及其前提条件，并针对实时量测数据提出了两种处理方法，即快速剔除暂态量法和多周期有效值法，确保数据满足状态估计与潮流计算的需求。

本文探讨了传统批处理模型在大数据实时分析上的局限性，引入实时计算模型以解决水平扩展、性能及业务扩展问题，重点讲解了实时计算在电子商务、社交媒体等场景的应用。

本文介绍了闲鱼如何构建一个高性能的实时数据处理系统，用于快速诊断服务问题。系统采用阿里自研的SLS、Blink流计算、TSDB、Lindorm等技术，实现数据实时采集、分析、存储，处理延时不超过3秒，支持每秒千万级数据。通过预处理、计算与持久化等阶段，确保数据的高效流转与分析，提升问题定位效率。

本文探讨了使用Apache Storm进行实时计算时遇到的各种挑战，包括按窗口统计的实现、大数据量处理、性能瓶颈、高可用性保障、Batch计算与实时计算代码共享的问题及多流数据处理。

Hadoop生态社区

20,844

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章