30万数据处理，求大神给思路！

[加文哥]

需求是每个月月初，生成每个用户的上个月的账单，
目前用户有30几万，用的是mongoDB又不能回滚，数据有点大(本人没处理过30几万的数据)，请求大神们给思路！

[奔跑的小鱼儿]

看看我收藏的博客吧
https://blog.csdn.net/qq_39438729/article/details/80211531
https://blog.csdn.net/wybshyy/article/details/52064289

[奔跑的小鱼儿]

https://blog.csdn.net/ax8785r8c32nef593/article/details/78623628

[stacksoverflow]

30几万不算大吧，正常处理有什么问题吗？

[加文哥]

#3 是的不算大 但是台慢了 还要用户生成月账单 几个小时 太慢了！

[stacksoverflow]

就是一下子的事情，几个小时太慢了吧，查查慢在哪块代码上，定位一下问题。

[fj77568073]

如果需要效率快的话，检查慢的原因是一个，也可以开个主进程，多开几个电脑跑服务（多线程，根据电脑配置开几个任务线程），然后拉取数据，分发处理。

[骑猪走天涯]

30W的数据不算多，如果在技术上没有改进的空间，可以考虑将一个月的数据先按天统计，作为中间数据保存，到月底的时候汇总就可以了。

主要目的是将大量的数据分块处理，通常海量数据处理采用这样的思路。

[哈希塞特]

开三十个线程，每个线程处理1W用户

[东海游愚]

账单数据 需要实时吗? 不是月底或月初统一计算吗?
提前计算好,然后推送给用户不可以吗?

[rumlee]

这么小的数据量那还不是想怎么处理就怎么处理么？
我们系统最高峰期1秒钟5万条数据啊。