社区
数据仓库
帖子详情
超大量数据处理的问题
slamdunk3
2003-09-15 10:36:16
短信方面的,大概是每月有千万的数据需要处理
请问有什么好办法呀,获得高效,高性能
要建索引吗?具体一点怎么建呢
数据库是mysql
...全文
59
7
打赏
收藏
超大量数据处理的问题
短信方面的,大概是每月有千万的数据需要处理 请问有什么好办法呀,获得高效,高性能 要建索引吗?具体一点怎么建呢 数据库是mysql
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ww_xiaohua
2003-10-07
打赏
举报
回复
我觉得应该用oracle!oracle在处理大容量数据方面有很多的优势。
tolison
2003-09-21
打赏
举报
回复
应该考虑oracle或者sybase,最好不要用win平台。
阿鹏兄
2003-09-17
打赏
举报
回复
在unix下还是用sybase or oracle
wawaren
2003-09-16
打赏
举报
回复
这个性能呢。需要根据您的业务需求来作相应的优化,主要是服务器配置的优化,程序的优化,表结构的优化,索引的使用等。
三杯倒
2003-09-16
打赏
举报
回复
呵呵
重写mysql的处理机制
qbcat
2003-09-15
打赏
举报
回复
mysql估计是不行,sql server好像可以
数据量也不是很大嘛。短信的数据每天就会有上千万的增量
看你要干什么,数据仓库还是一般的业务数据库,是否需要OLAP
chump
2003-09-15
打赏
举报
回复
1。mysql支持千万级的数据量,是不是有问题?
2。表分割,如按月存储,应用程序会复杂;
3。常用条件字段建索引;
4。汇总数据预先计算好。
解决pyspark的 Added jobs for time
问题
1.
问题
spark可以一直接收数据 但是不分析 2020-07-16 10:10:06 INFO JobScheduler:54 - Added jobs for time 1594894206000 ms 2020-07-16 10:10:08 INFO JobScheduler:54 - Added jobs for time 1594894208000 ms 2020-07-16 10:10:10 INFO JobScheduler:54 - Added jobs for time..
滴滴章文嵩:我们比AlphaGo面临的
问题
要复杂很多很多倍
sql 如何更新excel数据_Excel+SQL技巧分享:解决90%以上的业务数据分析
问题
Excel作为大家都熟悉的办公软件,特别是对每天需要接触
大量
数据的人来说,打开Excel的动作宛如条件反射般自然。基础操作6归6,碰上一些特殊的
数据处理
,各类可视化图表的制作,还是得网上一顿搜索,跟着步骤一步步操作,最后还是各种小
问题
不断,只能请年轻人来帮着解决。“三年工作经验,图表汇报不如实习生”,其实这只是经验+知识储备的事情,有的时候你根本不知道Excel还有这样的功能,那就更别说...
大量
数据处理
问题
找到大数据中的前100个大的数据集 1. 根据快速排序划分的思想 (1)递归对所有数据分成[a,b)b(b,d]两个区间,(b,d]区间内的数都是大于[a,b)区间内的数 (2)对(b,d]重复(1)操作,直到最右边的区间个数小于100个。注意[a,b)区间不用划分 (3) 返回上一个区间,并返回此区间的数字数目。接着方法仍然是对上一区间的左边进行划分,分为[a2,b2)b2(b2,...
Python读写Excel实现
大量
数据处理
Python读写Excel实现
大量
数据处理
我们经常需要 导入数据到Excel、从Excel导出数据、对Excel中的数据进行处理。 如果 要处理的数据量很大,人工操作非常费时间。 我们可以通过Python程序,自动化Excel的
数据处理
,帮我们节省
大量
的时间。 读取Excel中的数据 点击这里,边看视频讲解,边学习以下内容 如果我们只是要 读取 Excel文件里面的数据进行处理,可以使用 xlrd 这个库。 首先我们安装xlrd库,执行下面的命令 pip install xlrd==1.2.0 注意:x
数据仓库
7,394
社区成员
6,741
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章