大数据量+实时搜索的处理方式
十八道胡同 2019-05-21 09:55:55 每天有100W的卡号消费记录和100W的车牌图像抓拍记录,会实时传到机房,图像抓拍记录有图片和数据记录。 是想对外提供一个接口,参数是卡号、车牌、开始时间、截止时间,希望能在10ms能返回 时间在开始时间和截止时间内的,卡号是这个卡号或者车牌是这个车牌的记录,这个感觉需要用大数据来做,技术方面有啥建议没有?
返回的数据要一致,假设数据都已经到机房了,现在调用接口返回的结果和明天调用接口返回的结果要一致。
现在是100W,以后这个数字会越来越大。
我的想法是HBase(Hadoop)+Flink,不知道有更好的建议没?