SQLServer处理60亿条数据

feifa2008 2015-12-14 02:50:59
如题,说下需求
1、60E条数据由乙方提供,是9-12位的字符串,唯一。
2、对这60E条数据的操作仅仅是查询匹配操作。
目前能想到的:
1、分表存储,1000表*1000w数据
2、建立一张字典表, 根据该表知道去哪张分表里面查询
问题:
1、怎么样将这60E条数据高效率的插入SQLServer?
3、依据什么建立字典表?
分不多,跪谢各路大神
...全文
216 7 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
Q315054403 2015-12-24
  • 打赏
  • 举报
回复
这要根据数据特点、查询特点去做规划、设计。若是几百万条,那就随便折腾
LongRui888 2015-12-22
  • 打赏
  • 举报
回复
引用 5 楼 feifa2008 的回复:
[quote=引用 4 楼 yupeigu 的回复:] 之前帮一个网友看了一个问题,他们的服务器用bulk insert导入数据,大概是1分钟800w条左右,但是他们的字段多,你是1个字段,速度应改能更快一点。
bulk我也用过,刚开始的时候确实很快,到后面随着数据量增大,会越来越慢[/quote] 那能分批导出吗,比如60e的数据,分成很多批,每次导入一个
feifa2008 2015-12-22
  • 打赏
  • 举报
回复
引用 4 楼 yupeigu 的回复:
之前帮一个网友看了一个问题,他们的服务器用bulk insert导入数据,大概是1分钟800w条左右,但是他们的字段多,你是1个字段,速度应改能更快一点。
bulk我也用过,刚开始的时候确实很快,到后面随着数据量增大,会越来越慢
LongRui888 2015-12-15
  • 打赏
  • 举报
回复
之前帮一个网友看了一个问题,他们的服务器用bulk insert导入数据,大概是1分钟800w条左右,但是他们的字段多,你是1个字段,速度应改能更快一点。
唐诗三百首 2015-12-15
  • 打赏
  • 举报
回复
1、怎么样将这60E条数据高效率的插入SQLServer? --> 需看乙方提供数据的形式? 这应该是可以讨论的, 最好是两边数据库数据库直接对联,或乙方提供一个只有该数据的数据库备份, 然后分批导入MSSQL. 3、依据什么建立字典表? --> 可以考虑用分区表,设置好分区方案即可.
Tiger_Zhao 2015-12-15
  • 打赏
  • 举报
回复
重复提问
已回复
  • 打赏
  • 举报
回复
if exists(select COUNT(*) from person)--判断有没有数据
delete person_bak

declare @sqlstr1 varchar(3000)
set @sqlstr1='bcp bc.dbo.person_bak in c:\Currency.xls -T -c'
exec master.dbo.xp_cmdshell @sqlstr1 --导入

22,302

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧