34,872
社区成员
发帖
与我相关
我的任务
分享■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■
大家推荐各种方法什么好的办法 实现比较快速的读取5000万条数据
用户需求大概是：ms sql数据有5000万篇文章 想得到的结果就是读出他们 然后每篇写成一个txt文件。
假设写txt文件需要的时间忽略不考虑 那么如何加快整个过程的速度节省时间呢 谢谢各位的看法
用户需求大概是：ms sql数据有5000万篇文章 想得到的结果就是读出他们 然后每篇写成一个txt文件。
假设写txt文件需要的时间忽略不考虑 那么如何加快整个过程的速度节省时间呢 谢谢各位的看法
...全文
请发表友善的回复…
发表回复
shawnwan 2007-02-02
- 打赏
- 举报
肯定要充分利用并行性，多线程读取。物理上分表、分区提高IO能力都是可行的???
一个线程读取记录，一次取一定量的数据，之后写，再读再写
感觉效率也不高啊
一个线程读取记录，一次取一定量的数据，之后写，再读再写
感觉效率也不高啊
lvcheng606717 2007-02-01
- 打赏
- 举报
肯定要充分利用并行性，多线程读取。物理上分表、分区提高IO能力都是可行的。
澫大醉 2007-02-01
- 打赏
- 举报
学习
jacobsan 2007-02-01
- 打赏
- 举报
用bcp分批导，然后依次拼接
fanqingfeng 2007-02-01
- 打赏
- 举报
庞大的数据 的确是个很麻烦的问题 不过真的遇上了 所以刚刚大家的高见
islion 2007-02-01
- 打赏
- 举报
Mark,
studying ...
studying ...
子陌红尘 2007-02-01
- 打赏
- 举报
因为主要涉及磁盘的I/O 问题，可以考虑对大表分区，使用磁盘阵列等方法。
通过定义矩形区域范围，可以直接将二维数据映射为VB中的Variant数组，从而实现高效批量读取。dataArray = dataRange.Value ' 自动填充为二维数组Next jNext i。
