• 全部
  • 基础类
  • 应用实例
  • 新技术前沿

■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■

fanqingfeng 2007-02-01 03:05:48
大家推荐各种方法什么好的办法 实现比较快速的读取5000万条数据

用户需求大概是:ms sql数据有5000万篇文章 想得到的结果就是读出他们 然后每篇写成一个txt文件。


假设写txt文件需要的时间忽略不考虑 那么如何加快整个过程的速度节省时间呢 谢谢各位的看法
...全文
388 点赞 收藏 7
写回复
7 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
shawnwan 2007-02-02
肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的???
一个线程读取记录,一次取一定量的数据,之后写,再读再写
感觉效率也不高啊
回复
lvcheng606717 2007-02-01
肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的。
回复
万伊卡 2007-02-01
学习
回复
jacobsan 2007-02-01
用bcp分批导,然后依次拼接
回复
fanqingfeng 2007-02-01
庞大的数据 的确是个很麻烦的问题 不过真的遇上了 所以刚刚大家的高见
回复
islion 2007-02-01
Mark,
studying ...
回复
子陌红尘 2007-02-01
因为主要涉及磁盘的I/O 问题,可以考虑对大表分区,使用磁盘阵列等方法。
回复
相关推荐
发帖
MS-SQL Server
创建于2007-09-28

3.3w+

社区成员

MS-SQL Server相关内容讨论专区
申请成为版主
帖子事件
创建了帖子
2007-02-01 03:05
社区公告
暂无公告