22,207
社区成员
发帖
与我相关
我的任务
分享怎么一次读取几千万、上亿条数据？-_-! 面试老被问到，回回都回答不上了。
怎么一次读取几千万、上亿条数据？-_-! 面试老被问到，回回都回答不上了。
气愤哦，怎么有那么变态的问题。
气愤哦，怎么有那么变态的问题。
...全文
请发表友善的回复…
发表回复
GLORIARM 2013-05-21
- 打赏
- 举报
使用B+数存储数据吧，内存里只需存储索引。或者使用位集合表示。。。
风驰天下丨 2011-03-09
- 打赏
- 举报
给要查的表建立索引，再查询嘛
guanjm 2011-03-09
- 打赏
- 举报
你可以反问面试的，为什么要一次读取几千万数据？
还有是不是你听错了，面试应该是问你如何在几千万或者几亿条数据中读取数据。
还有是不是你听错了，面试应该是问你如何在几千万或者几亿条数据中读取数据。
华芸智森 2011-03-09
- 打赏
- 举报
[Quote=引用 20 楼 whb147 的回复:]
应该是查找吧，不是读取
我上次就被问了
2000列，几千万行的数据表应该怎么样设计
[/Quote]
你就说,这超出了SQLSERVER和管理范围.
应该是查找吧，不是读取
我上次就被问了
2000列，几千万行的数据表应该怎么样设计
[/Quote]
你就说,这超出了SQLSERVER和管理范围.
whb147 2011-03-08
- 打赏
- 举报
应该是查找吧，不是读取
我上次就被问了
2000列，几千万行的数据表应该怎么样设计
我上次就被问了
2000列，几千万行的数据表应该怎么样设计
让你望见影子的墙 2011-03-08
- 打赏
- 举报
这个问题对谁都够纠结的。你可以问问考官，看他们怎么回答
昵称被占用了 2011-03-08
- 打赏
- 举报
也许考察你有无大数据量处理的经验，你可以天马行空的回答，包括程序怎么分区读取和处理，不要局限在数据库内。
也许你的考官经验就不足，那样的公司不去更好
也许你的考官经验就不足，那样的公司不去更好
飘零一叶 2011-03-08
- 打赏
- 举报
批量读取吧
XiangZhiLiu 2011-03-08
- 打赏
- 举报
他问你这个问题呢，我觉得可以说明2点：1呢，他问你这个问题是因为他确实遇到了此类棘手的问题需要解决，2呢，他是想看你的应变能力...!
majic2008 2011-03-08
- 打赏
- 举报
旋转的锤子 2011-03-07
- 打赏
- 举报
上亿条数据的读取。。。以我现在的理解只能说是创建非聚集索引，其他的我还真没辙！希望高手指点！
guguda2008 2011-03-07
- 打赏
- 举报
写程序用BCP分批读取，内存肯定放不下。
这种读取一般是数据迁移时用。
这种读取一般是数据迁移时用。
东那个升 2011-03-07
- 打赏
- 举报
加大内存。。。。？
feixianxxx 2011-03-07
- 打赏
- 举报
.....
1.几千万 索引貌似不大起作用了..
2.就取数据本身来说，就用分页吧..
1.几千万 索引貌似不大起作用了..
2.就取数据本身来说，就用分页吧..
winner2050 2011-03-07
- 打赏
- 举报
[Quote=引用 8 楼 ldslove 的回复:]
神经病啊。。。一次读那么多干嘛。
分页读取吧
[/Quote]
我就说分页读取，总之我不会读取那么多数据。
程序响应太慢了。
神经病啊。。。一次读那么多干嘛。
分页读取吧
[/Quote]
我就说分页读取，总之我不会读取那么多数据。
程序响应太慢了。
-晴天 2011-03-07
- 打赏
- 举报
[Quote=引用 9 楼 wxf163 的回复:]
ajax
[/Quote]
ajax 也弄不了上亿数据吧,不把客户端给弄崩了啊.
ajax
[/Quote]
ajax 也弄不了上亿数据吧,不把客户端给弄崩了啊.
王向飞 2011-03-07
- 打赏
- 举报
ajax东那个升 2011-03-07
- 打赏
- 举报
神经病啊。。。一次读那么多干嘛。
分页读取吧
分页读取吧
nzperfect 2011-03-07
- 打赏
- 举报
哪有这么提问的。。。好歹要有个场景吧。。
-晴天 2011-03-07
- 打赏
- 举报
是不是试着这样回答:
想要读取上亿条数据,一般都不会是就地处理,大多数情况下属于数据转移,因此,可以把相关的查询语句写到 bcp 语句中执行,这样可以很好地将所选的数据转移到指定目标上.
想要读取上亿条数据,一般都不会是就地处理,大多数情况下属于数据转移,因此,可以把相关的查询语句写到 bcp 语句中执行,这样可以很好地将所选的数据转移到指定目标上.
加载更多回复（5）
