基于Flink开发证券交易预警应用,实现思路咨询?

kainever 2017-12-16 12:56:39
各位好,我在做一个基于Flink的证券交易预警。
下面两个场景,麻烦大神帮忙提供下实现思路。谢谢。
1) 问题1:
实时接入数据:客户证券的交易情况(客户ID,成交数量 , 成交价格)
业务:需要统计全天成交总额TOP10的客户,每隔N秒或分钟输出一次结果。
PS: 全天(统计从9点开市到当前时刻的所有数据) Top10
2)问题2:
实时接入数据:证券交易情况(证券ID,交易最高价,交易最低价,成交量)
业务:回溯3分钟(一个3分钟的窗口),振幅超过m%且成交量超过n%.
振幅= 每支证券这3分钟Max(交易最高价) - Min(交易最低价) / Min(交易最低价)
成交量 = 每支证券这3分钟 Sum(成交量) / 所有证券 Sum(成交量)
PS:两个条件过滤
...全文
565 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
magic_kid_2010 2019-08-27
  • 打赏
  • 举报
回复
问题一: 窗口大小是5小时(9点到下午3点),每隔1分钟(要打印的间隔)滑动一次。 问题二:也是用滑动窗口,然后结合cep规则。
tianfang 2017-12-29
  • 打赏
  • 举报
回复
问题1: 异步消息加内存数据库就足够。异步消息可以采用jms,推荐LMAX disruptor。内存表记录用户当日交易累积值,每次交易消息的处理就是直接加入累积值,定时显示只是对这个表的查询。 异常处理:假设10点数据异常,累积清零,将10点前的交易数据累积从log库中读取,累加处理后也送入消息入口。 问题2: 窗口就是3分钟?还是每分钟(或者更短)生成一个前3分钟的分析?

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧