关于数据查询优化的问题,求大大!

janiex 2017-01-09 09:34:41
公司使用了一款知名的行情数据软件,这个软件每天会推送更新各式各样的行情数据,数据库用的是mysql,于是BOSS就让我做一些数据计算,提取报表之类的开发,现在遇到的问题是我发现这个软件推送过来的数据量十分巨大,而且每张表字段很多,从几十到200多都有,当数据积累到2,300W行之后查询很慢很慢,请大大建议些优化方案!感激不尽
...全文
269 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
zjcxc 2017-01-10
  • 打赏
  • 举报
回复
通常是把需要的数据抽到自己的机器之后再查询的,这样可以随便折腾 如果直接在别人推过来的数据上去考虑优化,那么你做任何东西都要评估对别人推送的影响,一旦出点什么差错,那么你就等着被骂,而且也因为要考虑影响,所以可用的手段也受限
  • 打赏
  • 举报
回复
这个需要具体问题具体分析。 因为你们使用的别人开发的软件,估计也修改不了源代码,只有数据。这种情况下,对软件本身的优化空间较小。 如果你是说,在你们自己写sql提取数据时,速度较慢,那就侧重于你写的sql进行优化,包括:sql简化、索引、数据结存、全文检索技术、参数修改。 其中参数修改是指 提高mysql可用内存数量,你的数据有2000-3000w,那么可以考虑增加服务器内存,然后调整mysql内存参数大小。 还有,可以考虑使用ssd硬盘,提高读的速度。 再有,对于非实时的数据,可以考虑结存。 对于模糊查找的,可以考虑使用全文检索。 基本的表,要有索引,sql语句尽量简化,简化不了的拆分成多段sql。
rucypli 2017-01-09
  • 打赏
  • 举报
回复
只能加对应的索引了
ACMAIN_CHM 2017-01-09
  • 打赏
  • 举报
回复
以文本方式贴出 不要贴截图 explain select ... show index from .. 以供分析。 问题说明越详细,回答也会越准确!参见如何提问。(提问的智慧
VertigozZ 2017-01-09
  • 打赏
  • 举报
回复
思路就是分表分区和sql本身的优化: 可以参考下面的帖子 http://blog.csdn.net/likika2012/article/details/38816037 http://www.cnblogs.com/mengxz0626/p/5086055.html
VertigozZ 2017-01-09
  • 打赏
  • 举报
回复
把你的 EXPLAIN 贴出来看一下

56,678

社区成员

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧