社区
Web 开发
帖子详情
30万数据处理,求大神给思路!
加文哥
2018-07-23 11:49:00
需求是每个月月初,生成每个用户的上个月的账单,
目前用户有30几万,用的是mongoDB又不能回滚,数据有点大(本人没处理过30几万的数据),请求大神们给思路!
...全文
527
11
打赏
收藏
30万数据处理,求大神给思路!
需求是每个月月初,生成每个用户的上个月的账单, 目前用户有30几万,用的是mongoDB又不能回滚,数据有点大(本人没处理过30几万的数据),请求大神们给思路!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
11 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
rumlee
2018-08-13
打赏
举报
回复
这么小的数据量那还不是想怎么处理就怎么处理么?
我们系统最高峰期1秒钟5万条数据啊。
幺客
2018-08-13
打赏
举报
回复
账单数据 需要实时吗? 不是月底或月初统一计算吗?
提前计算好,然后推送给用户不可以吗?
哈希塞特
2018-08-11
打赏
举报
回复
开三十个线程,每个线程处理1W用户
骑猪走天涯
2018-07-24
打赏
举报
回复
30W的数据不算多,如果在技术上没有改进的空间,可以考虑将一个月的数据先按天统计,作为中间数据保存,到月底的时候汇总就可以了。
主要目的是将大量的数据分块处理,通常海量数据处理采用这样的思路。
fj77568073
2018-07-23
打赏
举报
回复
如果需要效率快的话,检查慢的原因是一个,也可以开个主进程,多开几个电脑跑服务(多线程,根据电脑配置开几个任务线程),然后拉取数据,分发处理。
stacksoverflow
2018-07-23
打赏
举报
回复
就是一下子的事情,几个小时太慢了吧,查查慢在哪块代码上,定位一下问题。
加文哥
2018-07-23
打赏
举报
回复
#3 是的不算大 但是台慢了 还要用户生成月账单 几个小时 太慢了!
stacksoverflow
2018-07-23
打赏
举报
回复
30几万不算大吧,正常处理有什么问题吗?
奔跑的小鱼儿
2018-07-23
打赏
举报
回复
https://blog.csdn.net/ax8785r8c32nef593/article/details/78623628
奔跑的小鱼儿
2018-07-23
打赏
举报
回复
看看我收藏的博客吧
https://blog.csdn.net/qq_39438729/article/details/80211531
https://blog.csdn.net/wybshyy/article/details/52064289
大数据——海量
数据处理
的基本方法总结
声明: 原文引用参考July
大神
的csdn博客文章 => 海量处理面试题 海量
数据处理
概述所谓海量
数据处理
,就是数据量太大,无法在较短时间内迅速解决,无法一次性装入内存。本文在前人的基础上总结一下解决此类问题的办法。那么有什么解决办法呢? 时间复杂度方面,我们可以采用巧妙的算法搭配合适的数据结构,如Bloom filter/Hash/bit-map/堆/数据库或倒排索引/trie树。空间
干货丨渗透测试常用方法总结,
大神
之笔!
信息收集漏洞验证/漏洞攻击提权,权限维持日志清理一般先运行端口扫描和漏洞扫描获取可以利用的漏洞。多利用搜索引擎有授权的情况下直接使用 nmap 、masscan 、自己写py脚本等端口扫描工具直接获取开放的端口和获取服务端的 banner 信息。使用 Python 端口扫描的介绍https://thief.one/2018/05/17/1/?
【demo1】【大
数据处理
】java几分钟处理完
30
亿个数据
转公众号:终端研发部 场景说明 现有一个 10G 文件的数据,里面包含了 18-70 之间的整数,分别表示 18-70 岁的人群数量统计,假设年龄范围分布均匀,分别表示系统中所有用户的年龄数,找出重复次数最多的那个数,现有一台内存为 4G、2 核 CPU 的电脑,请写一个算法实现。 23,31,42,19,60,
30
,36,........ 模拟数据 Java 中一个整数占 4 个字节,模拟 10G 为
30
亿左右个数据, 采用追加模式写入 10G 数据到硬盘里。每 10........
直播,一位
大神
带来的福利!
前言 今年三月份,斗鱼获腾讯领投的1亿美元融资的消息被各大平台报道转载,在电竞、泛娱乐已是热门投资的当下,网络直播平台自然也获得了各界的关注。盗用两张关于游戏直播的趋势图 这还仅仅是游戏直播这块的蛋糕.直播行业的竞争会越来越激烈, 不管是主播还是直播平台都面临着激烈的竞争, 当然直播行业也会越来越规范, 直播元素也越来越多. 视频直播初窥 视频直播,
July
大神
的大数据解决
思路
作者:July 出处:结构之法算法之道blog 前言 一般而言,标题含有“秒杀”,“99%”,“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌,但进一步来讲,如果读者读罢此文,却无任何收获,那么,我也甘愿背负这样的罪名,:-),同时,此文可以看做是对这篇文章:十道海量
数据处理
面试题与十个方法大总结的一般抽象性总结。 毕竟受文章和理论之限,本文摒弃绝大
Web 开发
81,094
社区成员
341,711
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章