社区
MySQL
帖子详情
关于数据查询优化的问题,求大大!
janiex
2017-01-09 09:34:41
公司使用了一款知名的行情数据软件,这个软件每天会推送更新各式各样的行情数据,数据库用的是mysql,于是BOSS就让我做一些数据计算,提取报表之类的开发,现在遇到的问题是我发现这个软件推送过来的数据量十分巨大,而且每张表字段很多,从几十到200多都有,当数据积累到2,300W行之后查询很慢很慢,请大大建议些优化方案!感激不尽
...全文
269
6
打赏
收藏
关于数据查询优化的问题,求大大!
公司使用了一款知名的行情数据软件,这个软件每天会推送更新各式各样的行情数据,数据库用的是mysql,于是BOSS就让我做一些数据计算,提取报表之类的开发,现在遇到的问题是我发现这个软件推送过来的数据量十分巨大,而且每张表字段很多,从几十到200多都有,当数据积累到2,300W行之后查询很慢很慢,请大大建议些优化方案!感激不尽
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
zjcxc
2017-01-10
打赏
举报
回复
通常是把需要的数据抽到自己的机器之后再查询的,这样可以随便折腾 如果直接在别人推过来的数据上去考虑优化,那么你做任何东西都要评估对别人推送的影响,一旦出点什么差错,那么你就等着被骂,而且也因为要考虑影响,所以可用的手段也受限
阳泉酒家小当家
2017-01-09
打赏
举报
回复
这个需要具体问题具体分析。 因为你们使用的别人开发的软件,估计也修改不了源代码,只有数据。这种情况下,对软件本身的优化空间较小。 如果你是说,在你们自己写sql提取数据时,速度较慢,那就侧重于你写的sql进行优化,包括:sql简化、索引、数据结存、全文检索技术、参数修改。 其中参数修改是指 提高mysql可用内存数量,你的数据有2000-3000w,那么可以考虑增加服务器内存,然后调整mysql内存参数大小。 还有,可以考虑使用ssd硬盘,提高读的速度。 再有,对于非实时的数据,可以考虑结存。 对于模糊查找的,可以考虑使用全文检索。 基本的表,要有索引,sql语句尽量简化,简化不了的拆分成多段sql。
rucypli
2017-01-09
打赏
举报
回复
只能加对应的索引了
ACMAIN_CHM
2017-01-09
打赏
举报
回复
以文本方式贴出
不要贴截图 explain select ... show index from .. 以供分析。 问题说明越详细,回答也会越准确!参见如何提问。(
提问的智慧
)
VertigozZ
2017-01-09
打赏
举报
回复
思路就是分表分区和sql本身的优化: 可以参考下面的帖子 http://blog.csdn.net/likika2012/article/details/38816037 http://www.cnblogs.com/mengxz0626/p/5086055.html
VertigozZ
2017-01-09
打赏
举报
回复
把你的 EXPLAIN 贴出来看一下
MySQL千万级
数据
查询
的
优化
技巧及思路
本文介绍了一些
优化
MySQL的技术和方法,包括
数据
库设计、SQL
查询
优化
、硬件
优化
和其他
优化
技巧。通过合理的MySQL
优化
,可以提高MySQL的
查询
速度和并发处理能力,从而提高应用程序的性能和可靠性。
海量
数据
查询
优化
今天下午去微软面试,被问到了海量
数据
查询
优化
的
问题
,由于平时开发的应用
数据
量比较小,不太关注性能
优化
的
问题
,所以不知如何作答,很是郁闷。从网上搜索出海量
数据
查询
优化
的两篇文章,转载下来,权当学习性能...
MYSQL百万级
数据
分页
查询
优化
实战
我们老日志
数据
是分库分表存储在mysql
数据
库中(按天分表),单表
数据
量在500w左右,本人就写了一个小程序负责mysql到es的
数据
迁移,功能其实很简单,但其中出现了一些没有考虑到的
问题
,比如
查询
的效率
问题
,在此做下...
MySql like模糊
查询
优化
后缀模糊
查询
走索引 百万级别
数据
优化
在使用msyql进行模糊
查询
的时候,很自然的会用到like语句,通常情况下,在
数据
量小的时候,不容易看出
查询
的效率,但在
数据
量达到百万级,千万级的时候,
查询
的效率就很容易显现出来。这个时候
查询
的效率就显得很...
数据
库杂谈(八)——
查询
优化
查询
优化
简要概述
MySQL
56,678
社区成员
56,708
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章