社区
MS-SQL Server
帖子详情
■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■
fanqingfeng
2007-02-01 03:05:48
大家推荐各种方法什么好的办法 实现比较快速的读取5000万条数据
用户需求大概是:ms sql数据有5000万篇文章 想得到的结果就是读出他们 然后每篇写成一个txt文件。
假设写txt文件需要的时间忽略不考虑 那么如何加快整个过程的速度节省时间呢 谢谢各位的看法
...全文
457
7
打赏
收藏
■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■
大家推荐各种方法什么好的办法 实现比较快速的读取5000万条数据 用户需求大概是:ms sql数据有5000万篇文章 想得到的结果就是读出他们 然后每篇写成一个txt文件。 假设写txt文件需要的时间忽略不考虑 那么如何加快整个过程的速度节省时间呢 谢谢各位的看法
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
shawnwan
2007-02-02
打赏
举报
回复
肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的???
一个线程读取记录,一次取一定量的数据,之后写,再读再写
感觉效率也不高啊
lvcheng606717
2007-02-01
打赏
举报
回复
肯定要充分利用并行性,多线程读取。物理上分表、分区提高IO能力都是可行的。
澫大醉
2007-02-01
打赏
举报
回复
学习
jacobsan
2007-02-01
打赏
举报
回复
用bcp分批导,然后依次拼接
fanqingfeng
2007-02-01
打赏
举报
回复
庞大的数据 的确是个很麻烦的问题 不过真的遇上了 所以刚刚大家的高见
islion
2007-02-01
打赏
举报
回复
Mark,
studying ...
子陌红尘
2007-02-01
打赏
举报
回复
因为主要涉及磁盘的I/O 问题,可以考虑对大表分区,使用磁盘阵列等方法。
在有着1000
万条
数据
的MS SQL SERVER
数据
库中
实现
快速
的
数据
提取和
数据
分页
讨如何在有着1000
万条
数据
的MS SQL SERVER
数据
库中
实现
快速
的
数据
提取和
数据
分页。以下代码说明了我们实例中
数据
库的“红头文件”一表的部分
数据
结构: CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件...
DataReader类型化
数据
读取
与装箱性能研究
前言 在各种ORM框架或者SQL映射框架(例如MyBatis,SOD框架之SQL-MAP功能)中,都有将查询的结果映射为内存对象的需求,包括映射到实体类、简单类型...本篇文章来
讨论
下不同方式的
数据
读取
方式对性能的影响。 在写这...
JAVA高效率 (秒级) 入库千万级别
数据
JAVA高效率 (秒级) 入库千万级别
数据
问题背景: 多个定时任务定期运行,各任务从若干张表中取出
数据
处理后形成千万级别
数据
再入库表,任务之间有关联关系,任务B依赖任务A产出的表,任务C依赖任务B产出的表....。
十道海量
数据
处理面试题与十个大方法总结
海量
数据
处理:十道面试题与十个海量
数据
处理方法总结 作者:July、youwang、yanxionglu。 时间:二零一一年三月二十六日 本文之总结:教你如何迅速秒杀掉:99%的海量
数据
处理面试题。有任何问题,欢迎随时...
sqlserve2000 关于100万
数据
查询优化
探讨怎么在有着1000
万条
数据
的ms sql server
数据
库中
实现
快速
的
数据
提取和
数据
分页。以下代码说明了我们实例中
数据
库的“红头文件”一表的部分
数据
结构: <br />create table [dbo].[tgongwen] ( --...
MS-SQL Server
34,590
社区成员
254,589
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章