大数据量+实时搜索的处理方式

十八道胡同 2019-05-21 09:55:55
每天有100W的卡号消费记录和100W的车牌图像抓拍记录,会实时传到机房,图像抓拍记录有图片和数据记录。 是想对外提供一个接口,参数是卡号、车牌、开始时间、截止时间,希望能在10ms能返回 时间在开始时间和截止时间内的,卡号是这个卡号或者车牌是这个车牌的记录,这个感觉需要用大数据来做,技术方面有啥建议没有?

返回的数据要一致,假设数据都已经到机房了,现在调用接口返回的结果和明天调用接口返回的结果要一致。

现在是100W,以后这个数字会越来越大。
我的想法是HBase(Hadoop)+Flink,不知道有更好的建议没?
...全文
246 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
十八道胡同 2019-05-21
  • 打赏
  • 举报
回复
引用 1 楼 maradona1984 的回复:
如果条件都必填的话,你直接mysql分表就能搞 当然hbase也能搞
参数是卡号、车牌、开始时间、截止时间,参数是必填 主要是考虑到后期这个数据量会越来越大,但是搜索性能不能降低
引用 2 楼 浪费七年时间 的回复:
时序数据库?
谢谢,我学习下这个时序数据库
浪费七年时间 2019-05-21
  • 打赏
  • 举报
回复
时序数据库?
maradona1984 2019-05-21
  • 打赏
  • 举报
回复
如果条件都必填的话,你直接mysql分表就能搞 当然hbase也能搞

62,614

社区成员

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧