社区
高性能WEB开发
帖子详情
实时大数据该怎么处理?
iwillfling
2017-11-29 06:30:25
在抢购活动中,用户每分钟产生至少5万多条购买记录数据, 系统每分钟内要把上一分钟内的5万多天数据及时处理掉(改变状态字段)。
如果把记录从数据库读取出来用 for 循环处理。处理速度有点慢。还没处理完,新数据又来了。 该怎么办?
...全文
324
3
打赏
收藏
实时大数据该怎么处理?
在抢购活动中,用户每分钟产生至少5万多条购买记录数据, 系统每分钟内要把上一分钟内的5万多天数据及时处理掉(改变状态字段)。 如果把记录从数据库读取出来用 for 循环处理。处理速度有点慢。还没处理完,新数据又来了。 该怎么办?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
super就是我
2017-11-29
打赏
举报
回复
你得先把数据库的商品列表那些数据移植到redis缓存中,用户操作的时候先改缓存中的数据,当库存数为0时或活动期结束时,再把数据同步到数据库
super就是我
2017-11-29
打赏
举报
回复
抢购技术实现核心思想是运用缓存减少数据库瞬间的访问压力!读取商品详细信息时运用缓存,当用户点击抢购时减少缓存中的库存数量,当库存数为0时或活动期结束时,同步到数据库。 产生的秒杀预订单也不会立刻写到数据库中,而是先写到缓存,当用户付款成功后再写入数据库。
iwillfling
2017-11-29
打赏
举报
回复
用的是PHP语言。
1211
大数据
基础设施分论坛
3. **
实时
流
处理
**:随着
大数据
实时
分析的需求增长,像Apache Storm和Spark Streaming这样的
实时
处理
框架应运而生,它们能对持续流入的数据流进行
实时
分析,满足快速响应的业务需求。 4. **
大数据
处理
引擎**:除了...
高光荣:
大数据
系统核心技术
大数据
技术的发展,不仅得益于数据存储和
处理
能力的增强,更得益于互联网、物联网以及云计算的快速发展。
大数据
系统由数不清的数据源生成,包括各式各样的传感器、控制器和移动
处理
设备等,它们往往在大规模动态、...
1212互联网
大数据
分论坛
9. **
实时
大数据
处理
**:Kafka、Storm等工具使得
大数据
处理
能够
实时
进行,适应快速变化的互联网环境。 10. **
大数据
未来趋势**:可能涵盖边缘计算、人工智能与
大数据
的融合、区块链在数据管理中的应用等新兴领域。 ...
阿里巴巴资深技术专家强琦:
大数据
开发平台
3.
实时
计算与存储:
实时
计算框架和在线KV存储服务提供了
实时
数据
处理
和存储的能力,对于数据
实时
性要求高的应用提供了支持。 4. 特征
处理
与算法框架:针对数据
处理
,提供了特征向量化、离散化、缺失
处理
、特征选择...
1211金融
大数据
分论坛
2. **欺诈检测**:
大数据
技术帮助金融机构
实时
监测异常交易,通过模式识别和预测分析,及时发现并防止欺诈行为。 3. **市场分析与预测**:
大数据
分析能够提供
实时
的市场趋势,帮助金融机构制定投资策略。通过对海量...
高性能WEB开发
25,980
社区成员
4,366
社区内容
发帖
与我相关
我的任务
高性能WEB开发
高性能WEB开发
复制链接
扫一扫
分享
社区描述
高性能WEB开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章