社区
数据仓库
帖子详情
超大量数据处理的问题
slamdunk3
2003-09-15 10:36:16
短信方面的,大概是每月有千万的数据需要处理
请问有什么好办法呀,获得高效,高性能
要建索引吗?具体一点怎么建呢
数据库是mysql
...全文
56
7
打赏
收藏
超大量数据处理的问题
短信方面的,大概是每月有千万的数据需要处理 请问有什么好办法呀,获得高效,高性能 要建索引吗?具体一点怎么建呢 数据库是mysql
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ww_xiaohua
2003-10-07
打赏
举报
回复
我觉得应该用oracle!oracle在处理大容量数据方面有很多的优势。
tolison
2003-09-21
打赏
举报
回复
应该考虑oracle或者sybase,最好不要用win平台。
阿鹏兄
2003-09-17
打赏
举报
回复
在unix下还是用sybase or oracle
wawaren
2003-09-16
打赏
举报
回复
这个性能呢。需要根据您的业务需求来作相应的优化,主要是服务器配置的优化,程序的优化,表结构的优化,索引的使用等。
三杯倒
2003-09-16
打赏
举报
回复
呵呵
重写mysql的处理机制
qbcat
2003-09-15
打赏
举报
回复
mysql估计是不行,sql server好像可以
数据量也不是很大嘛。短信的数据每天就会有上千万的增量
看你要干什么,数据仓库还是一般的业务数据库,是否需要OLAP
chump
2003-09-15
打赏
举报
回复
1。mysql支持千万级的数据量,是不是有问题?
2。表分割,如按月存储,应用程序会复杂;
3。常用条件字段建索引;
4。汇总数据预先计算好。
解决pyspark的 Added jobs for time
问题
1.
问题
spark可以一直接收数据 但是不分析 2020-07-16 10:10:06 INFO JobScheduler:54 - Added jobs for time 1594894206000 ms 2020-07-16 10:10:08 INFO JobScheduler:54 - Added jobs for time 1594894208000 ms 2020-07-16 10:10:10 INFO JobScheduler:54 - Added jobs for time..
sql 如何更新excel数据_Excel+SQL技巧分享:解决90%以上的业务数据分析
问题
Excel作为大家都熟悉的办公软件,特别是对每天需要接触
大量
数据的人来说,打开Excel的动作宛如条件反射般自然。基础操作6归6,碰上一些特殊的
数据处理
,各类可视化图表的制作,还是得网上一顿搜索,跟着步骤一步步操作,最后还是各种小
问题
不断,只能请年轻人来帮着解决。“三年工作经验,图表汇报不如实习生”,其实这只是经验+知识储备的事情,有的时候你根本不知道Excel还有这样的功能,那就更别说...
大量
数据处理
问题
找到大数据中的前100个大的数据集 1. 根据快速排序划分的思想 (1)递归对所有数据分成[a,b)b(b,d]两个区间,(b,d]区间内的数都是大于[a,b)区间内的数 (2)对(b,d]重复(1)操作,直到最右边的区间个数小于100个。注意[a,b)区间不用划分 (3) 返回上一个区间,并返回此区间的数字数目。接着方法仍然是对上一区间的左边进行划分,分为[a2,b2)b2(b2,...
在PHP中怎么解决
大量
数据处理
的
问题
来源:(Reddit)PHP100中文网 原文地址: http://www.php100.com/html/dujia/2014/1226/8195.html
问题
(来自lunacyfoundme) 我正在重建我们公司内部网,期间遇到一个与
大量
数据处理
报告有关的前一个版本的
问题
。此前我曾用同步处理程序代码解决过这个
问题
,只是运行的很慢很慢,这导致我不得不延长最大
Python读写Excel实现
大量
数据处理
Python读写Excel实现
大量
数据处理
我们经常需要 导入数据到Excel、从Excel导出数据、对Excel中的数据进行处理。 如果 要处理的数据量很大,人工操作非常费时间。 我们可以通过Python程序,自动化Excel的
数据处理
,帮我们节省
大量
的时间。 读取Excel中的数据 点击这里,边看视频讲解,边学习以下内容 如果我们只是要 读取 Excel文件里面的数据进行处理,可以使用 xlrd 这个库。 首先我们安装xlrd库,执行下面的命令 pip install xlrd==1.2.0 注意:x
数据仓库
7,394
社区成员
6,741
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章