社区
Web 开发
帖子详情
30万数据处理,求大神给思路!
加文哥
2018-07-23 11:49:00
需求是每个月月初,生成每个用户的上个月的账单,
目前用户有30几万,用的是mongoDB又不能回滚,数据有点大(本人没处理过30几万的数据),请求大神们给思路!
...全文
526
11
打赏
收藏
30万数据处理,求大神给思路!
需求是每个月月初,生成每个用户的上个月的账单, 目前用户有30几万,用的是mongoDB又不能回滚,数据有点大(本人没处理过30几万的数据),请求大神们给思路!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
11 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
rumlee
2018-08-13
打赏
举报
回复
这么小的数据量那还不是想怎么处理就怎么处理么?
我们系统最高峰期1秒钟5万条数据啊。
幺客
2018-08-13
打赏
举报
回复
账单数据 需要实时吗? 不是月底或月初统一计算吗?
提前计算好,然后推送给用户不可以吗?
哈希塞特
2018-08-11
打赏
举报
回复
开三十个线程,每个线程处理1W用户
骑猪走天涯
2018-07-24
打赏
举报
回复
30W的数据不算多,如果在技术上没有改进的空间,可以考虑将一个月的数据先按天统计,作为中间数据保存,到月底的时候汇总就可以了。
主要目的是将大量的数据分块处理,通常海量数据处理采用这样的思路。
fj77568073
2018-07-23
打赏
举报
回复
如果需要效率快的话,检查慢的原因是一个,也可以开个主进程,多开几个电脑跑服务(多线程,根据电脑配置开几个任务线程),然后拉取数据,分发处理。
stacksoverflow
2018-07-23
打赏
举报
回复
就是一下子的事情,几个小时太慢了吧,查查慢在哪块代码上,定位一下问题。
加文哥
2018-07-23
打赏
举报
回复
#3 是的不算大 但是台慢了 还要用户生成月账单 几个小时 太慢了!
stacksoverflow
2018-07-23
打赏
举报
回复
30几万不算大吧,正常处理有什么问题吗?
奔跑的小鱼儿
2018-07-23
打赏
举报
回复
https://blog.csdn.net/ax8785r8c32nef593/article/details/78623628
奔跑的小鱼儿
2018-07-23
打赏
举报
回复
看看我收藏的博客吧
https://blog.csdn.net/qq_39438729/article/details/80211531
https://blog.csdn.net/wybshyy/article/details/52064289
清华科技大讲堂:成为PS
大神
你必须做好三件事
全程干货,设计人员必看!清华科技大讲堂:成为PS
大神
你必须做好三件事!
大数据——海量
数据处理
的基本方法总结
声明: 原文引用参考July
大神
的csdn博客文章 => 海量处理面试题 海量
数据处理
概述所谓海量
数据处理
,就是数据量太大,无法在较短时间内迅速解决,无法一次性装入内存。本文在前人的基础上总结一下解决此类问题的办法...
干货丨渗透测试常用方法总结,
大神
之笔!
信息收集漏洞验证/漏洞攻击提权,权限维持日志清理一般先运行端口扫描和漏洞扫描获取可以利用的漏洞。多利用搜索引擎有授权的情况下直接使用 nmap 、masscan 、自己写py脚本等端口扫描工具直接获取开放的端口和获取...
【demo1】【大
数据处理
】java几分钟处理完
30
亿个数据
转公众号:终端研发部 场景说明 现有一个 10G 文件的数据,里面包含了 18-70 之间的整数,分别表示...Java 中一个整数占 4 个字节,模拟 10G 为
30
亿左右个数据, 采用追加模式写入 10G 数据到硬盘里。每 10........
直播,一位
大神
带来的福利!
资金坑 : 以带宽为例, 2
万
人同时在线, 手机码率在600KB, 每个月的带宽费用至少在
30
万
左右. 根据欢聚时代(YY)15年四季度财务报, 他们的带宽成本为人民币1.611亿元, 折合每月5000
万
+. 人力成本+渠道支出和其他支出就不...
Web 开发
81,092
社区成员
341,716
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章