社区
应用实例
帖子详情
海量效率??
xq1981
2010-07-29 02:16:33
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
...全文
148
12
打赏
收藏
海量效率??
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
12 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lfzwenzhu
2010-08-05
打赏
举报
回复
你的数据量不是很大,这么慢不应该的。是不是硬件问题。
1。建立索引
2。显示写出需要的字段,不要使用*。
shu97wei
2010-08-02
打赏
举报
回复
千万不要用select * ,要把所有的字段名字写出来,这样效率可以提高不少
橡胶轮胎行业数字化高总
2010-08-01
打赏
举报
回复
如果你的name全部保存的是汉字,最好换一个字段。
索引要找个字段做聚集索引,否则只有非聚集是起不到好的效果的。
橡胶轮胎行业数字化高总
2010-08-01
打赏
举报
回复
[Quote=引用 2 楼 xq1981 的回复:]
因为建立索引也提高不了多少效率?1000W条数据啊!
[/Quote]
怎么可能呢,你建立索引就知道效率提高多少了。
no7dw
2010-07-29
打赏
举报
回复
[Quote=引用 4 楼 xq1981 的回复:]
3楼能否稍稍说细一点???
[/Quote]
首先我觉得你的问题应该可以描述得更详细1点,大家才好帮你出主意。是一句查询就127秒还是存储过程搞了127秒,还是多句查询导致这么久。
要看你的where 里面怎么筛选,是否是多表联合查询?
where 里面的条件都设索引,(假如条件不是太多,而你有不太在乎插入更新的速度的话 )
至于水平分区,csdn里面有很多帖子,你找找吧,
粗略的的从外表看来,就是实现 把1000W条数据,合理的划分成几个表,每个表的数据含较少数据,以提高查询速度。(高手请拍砖)
我觉得估计你是多表查询吧,单表的话很少这么久,除非你筛选的条件重复性很高,譬如gender='男'
如果是多表,尝试一下改变表结构(如果允许的话),进行冗余存储,
另外,如果你查处来的数据是不是都是你想要的,如果只是筛选1部分,做个分页吧。
ps:最好把问题重新描述(详细地)1下。因为提高效率的可工作的地方太多了
zhaojianmi1
2010-07-29
打赏
举报
回复
对于where条件里的字段建立索引;
根据某个字段进行表分区(hash分区、范围分区,看情况而定),将分区放到不同的存储设备上;
建立MDC表;
预先调入内存,避免磁盘IO。。。
Mr_Nice
2010-07-29
打赏
举报
回复
[Quote=引用楼主 xq1981 的回复:]
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
[/Quote]
还得看你说的这个查找瓶颈在哪儿? I/O ? 还是缓存?
有了这个信息,才好说哪儿应该调整...
claro
2010-07-29
打赏
举报
回复
[Quote=引用 2 楼 xq1981 的回复:]
因为建立索引也提高不了多少效率?1000W条数据啊!
[/Quote]建全文索引。
xq1981
2010-07-29
打赏
举报
回复
3楼能否稍稍说细一点???
no7dw
2010-07-29
打赏
举报
回复
愚见:
先索引吧
再不行尝试水平分表~
xq1981
2010-07-29
打赏
举报
回复
因为建立索引也提高不了多少效率?1000W条数据啊!
Angel1201
2010-07-29
打赏
举报
回复
其中name非索引列
既然非索引列
那就建立索引看看
微软面试100题系列之高清完整版PDF文档[带目录+标签]by_July
2. **数据结构优化**:利用特定的数据结构来提高处理
效率
。 - 如Bloom Filter的应用场景,Bit Map在节省空间方面的优势。 3. **算法优化**:针对特定问题优化算法以提高性能。 - 如使用Hash Join而非Nested Loop ...
什么是
海量
数据?
1.什么是
海量
数据?
海量
数据,顾名思义,数据量一般大得多.
海量
数据一般是相对当前计算机处理能力而言 的,今天看来是
海量
数据,也许随着计算机硬件能力的提升在不久的将来就不算
海量
数据了.即使是同一时期,...
如何用AI助手DeepSeek提升程序员的工作
效率
?
在快节奏的软件开发领域,程序员每天都要面对
海量
代码、复杂调试和持续学习新技术的压力。本文将分享如何利用国产AI助手DeepSeek,通过7个实用场景显著提升开发
效率
,让编码工作事半功倍。DeepSeek将指出时间复杂度...
京东物流如何运用信息技术提升
效率
?
京东物流自主研发了多种机器人,包括天狼、地狼、自主货物拣选和金牛自主搬运等,这些机器人利用人工智能技术,在仓储、运输、分拣及配送等环节大大提升
效率
。京东物流引入了人工智能驱动的自动化配送系统,通过大...
如何提高数十亿级别数据量的查询
效率
?es 的搜索引擎大数据实战分析
如何提高数十亿级别数据量的查询
效率
?es 的搜索引擎大数据实战分析 面试题 es 在数据量很大的情况下(数十亿级别)如何提高查询
效率
啊? 面试官心理分析 这个问题是肯定要问的,说白了,就是看你有没有...
应用实例
27,580
社区成员
68,545
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章