2.1w+
社区成员
SQLServer处理60亿条数据
如题，说下需求
1、60E条数据由乙方提供，是9-12位的字符串，唯一。
2、对这60E条数据的操作仅仅是查询匹配操作。
目前能想到的：
1、分表存储，1000表*1000w数据
2、建立一张字典表， 根据该表知道去哪张分表里面查询
问题：
1、怎么样将这60E条数据高效率的插入SQLServer?
3、依据什么建立字典表？
分不多，跪谢各路大神
1、60E条数据由乙方提供，是9-12位的字符串，唯一。
2、对这60E条数据的操作仅仅是查询匹配操作。
目前能想到的：
1、分表存储，1000表*1000w数据
2、建立一张字典表， 根据该表知道去哪张分表里面查询
问题：
1、怎么样将这60E条数据高效率的插入SQLServer?
3、依据什么建立字典表？
分不多，跪谢各路大神
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
Q315054403 2015-12-24
这要根据数据特点、查询特点去做规划、设计。若是几百万条，那就随便折腾
- 打赏
- 举报
阳泉酒家小当家 2015-12-22
bulk我也用过，刚开始的时候确实很快，到后面随着数据量增大，会越来越慢[/quote]
那能分批导出吗，比如60e的数据，分成很多批，每次导入一个
- 打赏
- 举报
feifa2008 2015-12-22
bulk我也用过，刚开始的时候确实很快，到后面随着数据量增大，会越来越慢
- 打赏
- 举报
阳泉酒家小当家 2015-12-15
之前帮一个网友看了一个问题，他们的服务器用bulk insert导入数据，大概是1分钟800w条左右，但是他们的字段多，你是1个字段，速度应改能更快一点。
- 打赏
- 举报
唐诗三百首 2015-12-15
1、怎么样将这60E条数据高效率的插入SQLServer?
--> 需看乙方提供数据的形式?
这应该是可以讨论的, 最好是两边数据库数据库直接对联,或乙方提供一个只有该数据的数据库备份,
然后分批导入MSSQL.
3、依据什么建立字典表？
--> 可以考虑用分区表,设置好分区方案即可.
- 打赏
- 举报
Tiger_Zhao 2015-12-15
重复提问
已回复
已回复
- 打赏
- 举报
不穿内裤的超人 2015-12-14
if exists(select COUNT(*) from person)--判断有没有数据
delete person_bak
declare @sqlstr1 varchar(3000)
set @sqlstr1='bcp bc.dbo.person_bak in c:\Currency.xls -T -c'
exec master.dbo.xp_cmdshell @sqlstr1 --导入- 打赏
- 举报
SqlServer千万级分页取数据.sql CREATE PROCEDURE SP_Pagination /* *************************************************************** ** 千万数量级分页存储过程 ** *************************************************************** ...
sqlserver数据量大的表怎么查询快_对于大表的写入和统计查询该如何权衡，我有四个解决思路... 这是学习笔记的第 2127 篇文章今天在微信群里大家在讨论一个数据处理的解决方案，各路高手齐上阵，大家从不同的角度都提了一些建议和解决方案，这种讨论蛮有意思。 我简单总结下这个问题，也把我的思考梳理一下。 ...
SQL Server Storage SQL Server中的哪些对象会占用磁盘空间? 看到标题的第一瞬间，让我想到的就是这个问题。下面我们就试着来讲一讲这个问题. 第一个磁盘空间使用大头肯定想到就是表。表只是一个逻辑对象，又没有想过表这个逻辑对象是...
SQL Server详细教程 一、初识SQL Server 1、数据文件与文件组、日志文件 数据文件 SQL Server 数据库具有以下3种类型的文件。 数据文件：用来存放数据， （1）主数据文件 一个数据库必须有且只有一个主数据文件，其扩展名为.mdf （2）...
在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页
讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构： CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件...
SQL server 海量数据库的查询优化及分页算法(收藏) http://www.w17x.com/AritcleDisplay.aspx?id=661 具体如下： 如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构...
SQL Server 海量数据优化 /****************************************************************************... *主题： SQL Server 海量数据优化 *说明：本文是个人学习的一些笔记和个人愚见 * 有很多地方你可能觉得有异议，欢迎一起讨论
SQL Server数据库指标 There is a multitude of database metrics that we can collect and use to help us understand database and server resource consumption, as well as overall usage. 我们可以收集和使用大量数据库指标，以...
转载：SqlServer数据库性能优化详解 性能调节的目的是通过将网络流通、磁盘 I/O 和 CPU 时间减到最小，使每个查询的响应时间...为达到此目的，需要了解应用程序的需求和数据的逻辑和物理结构，并在相互冲突的数据库使用之间（如联机事务处理 (OLTP...
SqlServer数据库性能优化详解 数据库性能优化详解 ... 性能调节的目的是通过将网络流通、磁盘 I/O 和 CPU 时间减到最小，使每个...为达到此目的，需要了解应用程序的需求和数据的逻辑和物理结构，并在相互冲突的数据库使用之间（如联机事务处理 (O...
第一章 SQL Server数据库基础 本章将介绍SQL Server数据库的基本操作，例如建立数据库、表、对表实施约束以满足数据的规范性要求，本章的重点将集中在基本的增加、修改、删除和查询语句。 有关数据库设计、数据库高级对...
SQL SERVER 在SQL Server环境之外执行的动态链接库称为扩展存储过程,前缀_sp,使用时要先加载到SQL Server系统中 三 创建用户存储过程 用户存储过程只能定义在当前数据库中,可以使用SQL语句,也可使用企业管理器,这里只用...
SQLServer海量数据库的查询优化及分页算法方案 与此同时，应用系统体系的核心、系统数据的存放地――数据库也随着实际应用而急剧膨胀，一些大规模的系统，如人口系统的数据甚至超过了1000万条，可谓海量。那么，如何实现快速地从这些超大容量的数据库中提取数据...
Oracle与SQL Server数据互易性（1） 然而，我们日益感觉到，我们正处于不同的数据库环境当中并且需要解决数据的互用性问题。 尽管主要的 RDBMS 厂商试图去遵循关系数据库模型原理，并且用非常小的差异去实现它们。另外，几乎主要的 RDBMS 厂商都遵循 ...
SQL Server必知必会 SQL Server必知必会 2009-10-27-17:57:57 Structure Query Language：SQL 结构化 查询 语言 数据库产品： DBI —> IBM Oracle —> oracle Sybase —> sybas...
