基于Flink开发证券交易预警应用,实现思路咨询?

kainever 2017-12-16 12:56:39
各位好,我在做一个基于Flink的证券交易预警。
下面两个场景,麻烦大神帮忙提供下实现思路。谢谢。
1) 问题1:
实时接入数据:客户证券的交易情况(客户ID,成交数量 , 成交价格)
业务:需要统计全天成交总额TOP10的客户,每隔N秒或分钟输出一次结果。
PS: 全天(统计从9点开市到当前时刻的所有数据) Top10
2)问题2:
实时接入数据:证券交易情况(证券ID,交易最高价,交易最低价,成交量)
业务:回溯3分钟(一个3分钟的窗口),振幅超过m%且成交量超过n%.
振幅= 每支证券这3分钟Max(交易最高价) - Min(交易最低价) / Min(交易最低价)
成交量 = 每支证券这3分钟 Sum(成交量) / 所有证券 Sum(成交量)
PS:两个条件过滤
...全文
568 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
magic_kid_2010 2019-08-27
  • 打赏
  • 举报
回复
问题一: 窗口大小是5小时(9点到下午3点),每隔1分钟(要打印的间隔)滑动一次。 问题二:也是用滑动窗口,然后结合cep规则。
tianfang 2017-12-29
  • 打赏
  • 举报
回复
问题1: 异步消息加内存数据库就足够。异步消息可以采用jms,推荐LMAX disruptor。内存表记录用户当日交易累积值,每次交易消息的处理就是直接加入累积值,定时显示只是对这个表的查询。 异常处理:假设10点数据异常,累积清零,将10点前的交易数据累积从log库中读取,累加处理后也送入消息入口。 问题2: 窗口就是3分钟?还是每分钟(或者更短)生成一个前3分钟的分析?
在这个科技高速发展的时代,经历了PC时代几乎人手一台电脑,随之衍生出站长这个概念;移动互联网时代几乎人手一部智能手机,智能手机一般都会安装很多应用,目前应用呈爆发式的增长;随着产业的不断深入发展,小程序的发展也日益壮大,应用涵盖各个领域;如今一个公司就可能有多个软件应用,对于软件开发商来说,急需一套分析系统帮助软件运营,如果单独开发一个分析系统去针对一个软件进行分析的话,成本会非常的大,这个成本包含开发成本以及以后的维护成本。为了解决了上述的问题,我们开发出了一套云产品:亿级动态数据统计分析系统,本系统可以支持所有的终端  (Web端、移动端、小程序端等 )数据统计,只要简单的使用sdk就可以接入我们的系统,软件开发商可以很轻松的对软件使用的情况进行监控,及时辅助公司对该软件的运营。该产品历经2年的实践,商业价值极高。本套案例是完全基于真实的产品进行开发和讲解的,同时对架构进行全面的升级,采用了全新的 Flink 架构+Node.js+Vue.js等,完全符合目前企业级的使用标准。对于本套课程在企业级应用的问题,可以提供全面的指导。Flink作为第四代大数据计算引擎,越来越多的企业在往Flink转换。Flink在功能性、容错性、性能方面都远远超过其他计算框架,兼顾高吞吐和低延时。Flink能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。也就是说同时支持流处理和批处理。Flink将流处理和批处理统一起来,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的。Flink技术特点1. 流处理特性支持高吞吐、低延迟、高性能的流处理支持带有事件时间的窗口(Window)操作支持有状态计算的Exactly-once语义支持高度灵活的窗口(Window)操作,支持基于time、count、session,以及data-driven的窗口操作支持具有Backpressure功能的持续流模型支持基于轻量级分布式快照(Snapshot)实现的容错一个运行时同时支持Batch on Streaming处理和Streaming处理Flink在JVM内部实现了自己的内存管理支持迭代计算支持程序自动优化:避免特定情况下Shuffle、排序等昂贵操作,中间结果有必要进行缓存2. API支持对Streaming数据类应用,提供DataStream API对批处理类应用,提供DataSet API(支持Java/Scala)3. Libraries支持支持机器学习(FlinkML)支持图分析(Gelly)支持关系数据处理(Table)支持复杂事件处理(CEP)4. 整合支持支持Flink on YARN支持HDFS支持来自Kafka的输入数据支持Apache HBase支持Hadoop程序支持Tachyon支持ElasticSearch支持RabbitMQ支持Apache Storm支持S3支持XtreemFS课程所涵盖的知识点包括:Flink、 Node.js、 Vue.js、 Kafka、Flume、Spring、SpringMVC、Dubbo、HDFS、Hbase、Highcharts等等  企业一线架构师讲授,代码在老师指导下可以复用,提供企业解决方案。  版权归作者所有,盗版将进行法律维权。   

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧