■■■■■讨论如何实现比较快速的读取5000万条数据■■■■■

fanqingfeng 2007-02-01 03:05:48

大家推荐各种方法什么好的办法实现比较快速的读取5000万条数据

用户需求大概是：ms sql数据有5000万篇文章想得到的结果就是读出他们然后每篇写成一个txt文件。

假设写txt文件需要的时间忽略不考虑那么如何加快整个过程的速度节省时间呢谢谢各位的看法

...全文

463 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

shawnwan 2007-02-02

打赏
举报

肯定要充分利用并行性，多线程读取。物理上分表、分区提高IO能力都是可行的???
一个线程读取记录，一次取一定量的数据，之后写，再读再写
感觉效率也不高啊

lvcheng606717 2007-02-01

打赏
举报

肯定要充分利用并行性，多线程读取。物理上分表、分区提高IO能力都是可行的。

澫大醉 2007-02-01

打赏
举报

学习

jacobsan 2007-02-01

打赏
举报

用bcp分批导，然后依次拼接

fanqingfeng 2007-02-01

打赏
举报

庞大的数据的确是个很麻烦的问题不过真的遇上了所以刚刚大家的高见

islion 2007-02-01

打赏
举报

Mark,
studying ...

子陌红尘 2007-02-01

打赏
举报

因为主要涉及磁盘的I/O 问题，可以考虑对大表分区，使用磁盘阵列等方法。

讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构： CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件表名 [Gid] [int] IDENTITY (1, 1) NOT NULL , --本表的id号，也是主键 [title] [varchar] (80) COLLATE Chinese_PRC_CI_AS NULL , --红头文件的标题 [

Apache SeaTunnel通过精心设计的三维一致性架构，成功解决了企业级数据同步中最关键的数据一致性问题。这种设计既支持高吞吐量的批量数据处理，也保障了实时增量同步的精确性，为企业数据架构提供了坚实基础。端到端一致性：从数据读取到写入的全链路保障故障恢复能力：即使在极端条件下也能恢复并继续同步灵活的一致性级别：根据业务需求选择适当的一致性强度可验证的一致性：通过多种机制验证数据完整性。

一、背景闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘宗错节，纵向依赖的运行环境也越来越复杂。当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能力的一个严峻挑战。线上出现问题时常常需要十多分钟，甚至更长时间才能找到问题原因，因此一个能够快速进行自动诊断的系统需求就应用而生，而快速诊断的基础是一个高性能的实时数据处理系统。这个实时数据处理系统需要具备如下...

探讨怎么在有着1000万条数据的ms sql server数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构：

create table [dbo].[tgongwen] (    --tgongwen是红头文件表名

   [gid] [int] identity (1, 1) not null ,
--本表的id号，也是主键

   [title] [varchar] (

作为一名GIS开发者，你工作中一定遇到过这种问题，根据业务设计，需要在地图上添加1万+条数据，数据或是点、或是线、或是面。但不管哪种，当你添加到5000条时，地图操作就会出现明显的卡顿。当你添加超过1万条时，数据加载就会卡顿，浏览器出现卡死的状态，地图加载后，每挪动一下地图，都要耐心的等待上几秒钟。这种交互体验，用户是肯定接受不了的，解决方法通常分两种，一种是去做深入的用户需求分析，看用户想一次性...

MS-SQL Server

34,837

社区成员

254,632

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章

■■■■■讨论如何 实现比较快速的读取5000万条数据■■■■■

■■■■■讨论如何实现比较快速的读取5000万条数据■■■■■