SQLServer处理60亿条数据

feifa2008 2015-12-14 02:50:59
如题,说下需求
1、60E条数据由乙方提供,是9-12位的字符串,唯一。
2、对这60E条数据的操作仅仅是查询匹配操作。
目前能想到的:
1、分表存储,1000表*1000w数据
2、建立一张字典表, 根据该表知道去哪张分表里面查询
问题:
1、怎么样将这60E条数据高效率的插入SQLServer?
3、依据什么建立字典表?
分不多,跪谢各路大神
...全文
173 7 点赞 打赏 收藏 举报
写回复
7 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
Q315054403 2015-12-24
这要根据数据特点、查询特点去做规划、设计。若是几百万条,那就随便折腾
  • 打赏
  • 举报
回复
引用 5 楼 feifa2008 的回复:
[quote=引用 4 楼 yupeigu 的回复:] 之前帮一个网友看了一个问题,他们的服务器用bulk insert导入数据,大概是1分钟800w条左右,但是他们的字段多,你是1个字段,速度应改能更快一点。
bulk我也用过,刚开始的时候确实很快,到后面随着数据量增大,会越来越慢[/quote] 那能分批导出吗,比如60e的数据,分成很多批,每次导入一个
  • 打赏
  • 举报
回复
feifa2008 2015-12-22
引用 4 楼 yupeigu 的回复:
之前帮一个网友看了一个问题,他们的服务器用bulk insert导入数据,大概是1分钟800w条左右,但是他们的字段多,你是1个字段,速度应改能更快一点。
bulk我也用过,刚开始的时候确实很快,到后面随着数据量增大,会越来越慢
  • 打赏
  • 举报
回复
之前帮一个网友看了一个问题,他们的服务器用bulk insert导入数据,大概是1分钟800w条左右,但是他们的字段多,你是1个字段,速度应改能更快一点。
  • 打赏
  • 举报
回复
唐诗三百首 2015-12-15
1、怎么样将这60E条数据高效率的插入SQLServer? --> 需看乙方提供数据的形式? 这应该是可以讨论的, 最好是两边数据库数据库直接对联,或乙方提供一个只有该数据的数据库备份, 然后分批导入MSSQL. 3、依据什么建立字典表? --> 可以考虑用分区表,设置好分区方案即可.
  • 打赏
  • 举报
回复
Tiger_Zhao 2015-12-15
重复提问
已回复
  • 打赏
  • 举报
回复
if exists(select COUNT(*) from person)--判断有没有数据
delete person_bak

declare @sqlstr1 varchar(3000)
set @sqlstr1='bcp bc.dbo.person_bak in c:\Currency.xls -T -c'
exec master.dbo.xp_cmdshell @sqlstr1 --导入
  • 打赏
  • 举报
回复
相关推荐
发帖
疑难问题
创建于2007-09-28

2.1w+

社区成员

MS-SQL Server 疑难问题
申请成为版主
帖子事件
创建了帖子
2015-12-14 02:50
社区公告
暂无公告