社区
应用实例
帖子详情
海量效率??
xq1981
2010-07-29 02:16:33
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
...全文
145
12
打赏
收藏
海量效率??
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
12 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
lfzwenzhu
2010-08-05
打赏
举报
回复
你的数据量不是很大,这么慢不应该的。是不是硬件问题。
1。建立索引
2。显示写出需要的字段,不要使用*。
shu97wei
2010-08-02
打赏
举报
回复
千万不要用select * ,要把所有的字段名字写出来,这样效率可以提高不少
橡胶轮胎行业数字化高总
2010-08-01
打赏
举报
回复
如果你的name全部保存的是汉字,最好换一个字段。
索引要找个字段做聚集索引,否则只有非聚集是起不到好的效果的。
橡胶轮胎行业数字化高总
2010-08-01
打赏
举报
回复
[Quote=引用 2 楼 xq1981 的回复:]
因为建立索引也提高不了多少效率?1000W条数据啊!
[/Quote]
怎么可能呢,你建立索引就知道效率提高多少了。
no7dw
2010-07-29
打赏
举报
回复
[Quote=引用 4 楼 xq1981 的回复:]
3楼能否稍稍说细一点???
[/Quote]
首先我觉得你的问题应该可以描述得更详细1点,大家才好帮你出主意。是一句查询就127秒还是存储过程搞了127秒,还是多句查询导致这么久。
要看你的where 里面怎么筛选,是否是多表联合查询?
where 里面的条件都设索引,(假如条件不是太多,而你有不太在乎插入更新的速度的话 )
至于水平分区,csdn里面有很多帖子,你找找吧,
粗略的的从外表看来,就是实现 把1000W条数据,合理的划分成几个表,每个表的数据含较少数据,以提高查询速度。(高手请拍砖)
我觉得估计你是多表查询吧,单表的话很少这么久,除非你筛选的条件重复性很高,譬如gender='男'
如果是多表,尝试一下改变表结构(如果允许的话),进行冗余存储,
另外,如果你查处来的数据是不是都是你想要的,如果只是筛选1部分,做个分页吧。
ps:最好把问题重新描述(详细地)1下。因为提高效率的可工作的地方太多了
zhaojianmi1
2010-07-29
打赏
举报
回复
对于where条件里的字段建立索引;
根据某个字段进行表分区(hash分区、范围分区,看情况而定),将分区放到不同的存储设备上;
建立MDC表;
预先调入内存,避免磁盘IO。。。
Mr_Nice
2010-07-29
打赏
举报
回复
[Quote=引用楼主 xq1981 的回复:]
我的一个数据表有1000万条数据,有传统方式遍历全表需要耗时:127秒,单独查询数据也很慢(比如:select * from T_test where name='小明' 其中name非索引列),请教一下大侠们,如何提高效率,不敢奢求代码,说说思路即可????
[/Quote]
还得看你说的这个查找瓶颈在哪儿? I/O ? 还是缓存?
有了这个信息,才好说哪儿应该调整...
claro
2010-07-29
打赏
举报
回复
[Quote=引用 2 楼 xq1981 的回复:]
因为建立索引也提高不了多少效率?1000W条数据啊!
[/Quote]建全文索引。
xq1981
2010-07-29
打赏
举报
回复
3楼能否稍稍说细一点???
no7dw
2010-07-29
打赏
举报
回复
愚见:
先索引吧
再不行尝试水平分表~
xq1981
2010-07-29
打赏
举报
回复
因为建立索引也提高不了多少效率?1000W条数据啊!
Angel1201
2010-07-29
打赏
举报
回复
其中name非索引列
既然非索引列
那就建立索引看看
微软面试100题系列之高清完整版PDF文档[带目录+标签]by_July
本微软面试100题系列,共计11篇文章,300多道面试题,截取本blog索引性文章:程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大系列集锦:http://blog.csdn.net/v_july_v/article/details/6543438,中的第一部分编辑而成,涵盖了数据结构、算法、
海量
数据处理等3大主题。 闲不多说,眼下九月正是校招,各种笔试,面试进行火热的时节,希望此份微软面试100题系列的PDF文档能给正在找工作的朋友助一臂之力! 如果读者发现了本系列任何一题的答案有问题,错误,bug,恳请随时不吝指正,你可以直接评论在原文之下,也可以通过私信联系我。 祝诸君均能找到令自己满意的offer或工作,谢谢。July、二零一二年九月二十日
什么是
海量
数据?
1.什么是
海量
数据?
海量
数据,顾名思义,数据量一般大得多.
海量
数据一般是相对当前计算机处理能力而言 的,今天看来是
海量
数据,也许随着计算机硬件能力的提升在不久的将来就不算
海量
数据了.即使是同一时期,不同的应用领域,不同的学科以及不同的硬件条件下,
海量
数据所呈现的数据量也不尽相同. 对于用户个人来说,凡是在个人计算机上处理敛据时经常出现“out of memory”提示的数据量,都可...
如何用AI助手DeepSeek提升程序员的工作
效率
?
通过深度整合DeepSeek到开发流程中,程序员可以将重复性工作交给AI,专注于核心业务逻辑和创新。在快节奏的软件开发领域,程序员每天都要面对
海量
代码、复杂调试和持续学习新技术的压力。本文将分享如何利用国产AI助手DeepSeek,通过7个实用场景显著提升开发
效率
,让编码工作事半功倍。DeepSeek将指出时间复杂度为O(2^n),并建议改用动态规划或记忆化优化。将函数代码转换为Markdown格式的技术文档,支持中英双语输出。“开发实时协作的在线文档系统,推荐前端技术栈”
京东物流如何运用信息技术提升
效率
?
京东物流自主研发了多种机器人,包括天狼、地狼、自主货物拣选和金牛自主搬运等,这些机器人利用人工智能技术,在仓储、运输、分拣及配送等环节大大提升
效率
。京东物流引入了人工智能驱动的自动化配送系统,通过大规模自动化仓库生产与管理体系——北斗新仓,可以实现极端复杂场景下高
效率
、高精度、高度自动化、密集波次、多种件型的拣选作业,大大提升运营
效率
。京东物流还研发了智能配送机器人,通过人工智能技术,可以自动规划配送路径,避开交通拥堵和障碍物,提高最后一公里配送的
效率
和准确性。
广域网用什么软件可以更好地传输大文件和
海量
文件?
广域网环境复杂,可能会存在较多的网络时延丢包等影响传输
效率
的因素,尤其是大文件传输和
海量
文件传输时,丢包和速率降低更明显。多数软件都无法减小这些影响导致传输
效率
得不到保证。 常见的传输软件基本都是基于TCP协议实现的应用机制,但TCP对丢包的敏感度很高,丢一个包,速度就能降一半儿,因此专业的数传软件都是采用各种各样的UDP变种协议来支撑上层应用。 除了底层协议,应用层的各种机制也是保证文件在广域网...
应用实例
27,582
社区成员
68,544
社区内容
发帖
与我相关
我的任务
应用实例
MS-SQL Server 应用实例
复制链接
扫一扫
分享
社区描述
MS-SQL Server 应用实例
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章