社区
应用实例
帖子详情
海量效率??
xq1981
2010-07-29 02:16:33
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
...全文
141
12
打赏
收藏
海量效率??
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
12 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lfzwenzhu
2010-08-05
打赏
举报
回复
你的数据量不是很大,这么慢不应该的。是不是硬件问题。
1。建立索引
2。显示写出需要的字段,不要使用*。
shu97wei
2010-08-02
打赏
举报
回复
千万不要用select * ,要把所有的字段名字写出来,这样效率可以提高不少
橡胶轮胎行业数字化高总
2010-08-01
打赏
举报
回复
如果你的name全部保存的是汉字,最好换一个字段。
索引要找个字段做聚集索引,否则只有非聚集是起不到好的效果的。
橡胶轮胎行业数字化高总
2010-08-01
打赏
举报
回复
[Quote=引用 2 楼 xq1981 的回复:]
因为建立索引也提高不了多少效率?1000W条数据啊!
[/Quote]
怎么可能呢,你建立索引就知道效率提高多少了。
no7dw
2010-07-29
打赏
举报
回复
[Quote=引用 4 楼 xq1981 的回复:]
3楼能否稍稍说细一点???
[/Quote]
首先我觉得你的问题应该可以描述得更详细1点,大家才好帮你出主意。是一句查询就127秒还是存储过程搞了127秒,还是多句查询导致这么久。
要看你的where 里面怎么筛选,是否是多表联合查询?
where 里面的条件都设索引,(假如条件不是太多,而你有不太在乎插入更新的速度的话 )
至于水平分区,csdn里面有很多帖子,你找找吧,
粗略的的从外表看来,就是实现 把1000W条数据,合理的划分成几个表,每个表的数据含较少数据,以提高查询速度。(高手请拍砖)
我觉得估计你是多表查询吧,单表的话很少这么久,除非你筛选的条件重复性很高,譬如gender='男'
如果是多表,尝试一下改变表结构(如果允许的话),进行冗余存储,
另外,如果你查处来的数据是不是都是你想要的,如果只是筛选1部分,做个分页吧。
ps:最好把问题重新描述(详细地)1下。因为提高效率的可工作的地方太多了
zhaojianmi1
2010-07-29
打赏
举报
回复
对于where条件里的字段建立索引;
根据某个字段进行表分区(hash分区、范围分区,看情况而定),将分区放到不同的存储设备上;
建立MDC表;
预先调入内存,避免磁盘IO。。。
Mr_Nice
2010-07-29
打赏
举报
回复
[Quote=引用楼主 xq1981 的回复:]
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
[/Quote]
还得看你说的这个查找瓶颈在哪儿? I/O ? 还是缓存?
有了这个信息,才好说哪儿应该调整...
claro
2010-07-29
打赏
举报
回复
[Quote=引用 2 楼 xq1981 的回复:]
因为建立索引也提高不了多少效率?1000W条数据啊!
[/Quote]建全文索引。
xq1981
2010-07-29
打赏
举报
回复
3楼能否稍稍说细一点???
no7dw
2010-07-29
打赏
举报
回复
愚见:
先索引吧
再不行尝试水平分表~
xq1981
2010-07-29
打赏
举报
回复
因为建立索引也提高不了多少效率?1000W条数据啊!
Angel1201
2010-07-29
打赏
举报
回复
其中name非索引列
既然非索引列
那就建立索引看看
什么是
海量
数据?
1.什么是
海量
数据?
海量
数据,顾名思义,数据量一般大得多.
海量
数据一般是相对当前计算机处理能力而言 的,今天看来是
海量
数据,也许随着计算机硬件能力的提升在不久的将来就不算
海量
数据了.即使是同一时期,...
如何提高数十亿级别数据量的查询
效率
?es 的搜索引擎大数据实战分析
如何提高数十亿级别数据量的查询
效率
?es 的搜索引擎大数据实战分析 面试题 es 在数据量很大的情况下(数十亿级别)如何提高查询
效率
啊? 面试官心理分析 这个问题是肯定要问的,说白了,就是看你有没有...
es 在数据量很大的情况下(数十亿级别)如何提高查询
效率
?
es 在数据量很大的情况下(数十亿级别)如何提高查询
效率
啊? 面试官心理分析 这个问题是肯定要问的,说白了,就是看你有没有实际干过 es,因为啥?其实 es 性能并没有你想象中那么好的。很多时候数据量大了,特别...
广域网用什么软件可以更好地传输大文件和
海量
文件?
广域网环境复杂,可能会存在较多的网络时延丢包等影响传输
效率
的因素,尤其是大文件传输和
海量
文件传输时,丢包和速率降低更明显。多数软件都无法减小这些影响导致传输
效率
得不到保证。 常见的传输软件基本都是基于...
在一个千万级的数据库查寻中,如何提高查询
效率
?
在一个千万级的数据库查寻中,如何提高查询
效率
?1)数据库设计方面: a. 对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 b. 应尽量避免在 where 子句中对字段进行 ...
应用实例
27,579
社区成员
68,559
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章