导入一个excel到mssql的问题

[hztltgg]

要导入一个用户表，字段不多，就一个ID和一个Name，
mssql里还有一个Password是密码，密码是MD5加密的，是在导入到过程中通过c#代码转换，默认的密码就是用户id，所以每个不同，不能事先生成好。
要求是如果mssql里已经有这个id的用户了，就不能导了，已防把已经修改过的密码又覆盖了。

应该如何做比较合理？一个个查看是不是已经存在，然后导入似乎效率太低，是先导入临时表，然后再关联，找出原数据库没有的记录，一次性导入吗？大致的代码如何写？谢谢

[anzhiqiang_touzi]

另外还有一种方式：

生成insert脚本文件，用代码执行cmd，然后在cmd执行sql导入

脚本还是这个
if(not exists(select UserID from UserInfo where UserID='U0001'))
INsert INTO UserInfo....
if(not exists(select UserID from UserInfo where UserID='U0002'))
INsert INTO UserInfo....

这个方法的问题就是你的iis服务器和sql 服务可能需要在已个机器上

[q107770540]

可一次性导入，导入前添加一临时字段标记一下导入来源，后期好作处理
出现问题也可快速找出导入的数据并直接删除

[anzhiqiang_touzi]

刚趴下还没睡着，有想了个方式

这个方式和前面的有个方式差不多

 
还是产生sql语句

--创建表
CREATE TABLE [dbo].[TestUser](
	[ID] [int] NOT NULL,
	[UserName] [nchar](10) COLLATE Chinese_PRC_CI_AS NULL,
 CONSTRAINT [PK_TestUser] PRIMARY KEY CLUSTERED 
(
	[ID] ASC
)WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY]

GO

--插入语句(不重复测试)
Insert into dbo.TestUser   select 1, 'UserName1' where not exists(select 1 from TestUser where ID=1)
Insert into dbo.TestUser   select 2, 'UserName2' where not exists(select 1 from TestUser where ID=2)
Insert into dbo.TestUser   select 3, 'UserName3' where not exists(select 1 from TestUser where ID=3)
Insert into dbo.TestUser   select 4, 'UserName4' where not exists(select 1 from TestUser where ID=4)
Insert into dbo.TestUser   select 5, 'UserName5' where not exists(select 1 from TestUser where ID=5)
 

--插入语句(重复测试)
Insert into dbo.TestUser   select 1, 'UserName1' where not exists(select 1 from TestUser where ID=1)
Insert into dbo.TestUser   select 2, 'UserName2' where not exists(select 1 from TestUser where ID=2)
Insert into dbo.TestUser   select 3, 'UserName3' where not exists(select 1 from TestUser where ID=3)
Insert into dbo.TestUser   select 4, 'UserName4' where not exists(select 1 from TestUser where ID=4)
Insert into dbo.TestUser   select 5, 'UserName5' where not exists(select 1 from TestUser where ID=5)
 

[段传涛]

我觉的读到 dataset 再用循环方式写入 比较好，反正你是要进行判断的。

[段传涛]

是先导入临时表，然后再关联
----------------------------
想想你的资源开销 不比你判断一下再写入的少。

[EnForGrass]

excel导入到临时表 然后再去掉重复的（如果是一条一条的导入那速度肯定就会慢一些）

然后从临时表中判断插入正式表,例如:
insert tb(tid,name) select distinct * from # temp
where not exists(select * from tb where tid=temp.tid)

[anzhiqiang_touzi]

好奇，刚才做了个测试

---创建表
CREATE TABLE [dbo].[TestUser](
    [ID] [int] NOT NULL,
    [UserName] [nchar](10) COLLATE Chinese_PRC_CI_AS NULL,
 CONSTRAINT [PK_TestUser] PRIMARY KEY CLUSTERED 
(
    [ID] ASC
)WITH (IGNORE_DUP_KEY = OFF) ON [PRIMARY]
) ON [PRIMARY]

GO



-------------临时接插入耗时测试
declare @i int
set @i=0
--创建临时表
select 0 ID, 'UserName1' UserName  into #TestUser where 1=2
--插入到临时表
while(@i<10000)
begin
	Insert into #TestUser   select @i, 'UserName1' 
    set @i=@i+1
end
--从临时表插入到正式表
insert TestUser(ID,UserName) select * from #TestUser  where not exists(select 1 from TestUser where ID=#TestUser.ID)
drop table #TestUser
--(耗时：14秒)



--直接插入耗时测试
declare @j int
set @j=0
while(@j<10000)
begin
Insert into dbo.TestUser   select @j, 'UserName1' where not exists(select 1 from TestUser where ID=@j)
    set @j=@j+1
end
--(耗时：4秒)

--如果是第二次插入重复的数据时，用临时表更慢

[EnForGrass]

-------------临时接插入耗时测试
declare @i int
set @i=0
--创建临时表
select 0 ID, 'UserName1' UserName  into #TestUser where 1=2
--插入到临时表
while(@i<10000)
begin
    Insert into #TestUser   select @i, 'UserName1' 
    set @i=@i+1
end
--从临时表插入到正式表
insert TestUser(ID,UserName) select * from #TestUser  where not exists(select 1 from TestUser where ID=#TestUser.ID)
drop table #TestUser
--(耗时：14秒)

你这个就是一条一条插入的所以慢，直接批量插入就会快一点

[anzhiqiang_touzi]

经过反复测试10000条数据

临时表耗时：6-7秒

生成SQL直接插入耗时：3-4秒

[anzhiqiang_touzi]

关键是他是从excel导入的

也就是说：还是要用c#插入数据，没办法批量插入

最终逃不过

Insert into #TestUser select @i, 'UserName1'

[hztltgg]

决定用
Insert into dbo.TestUser select 1, 'UserName1' where not exists(select 1 from TestUser where ID=1)
方式来循环实现。

[anzhiqiang_touzi]

办法：
还是老办法。
导入一个插入一个
你的用户id是有索引的，查新一个应该不慢
另外就是你的查询操作和插入需要放在一个数据连接里面，避免开，闭数据库影响性能，。至于开不开事物，看你的要求了。
如果还是觉得慢的话，把你的数据分为多个线程来做，分线程的话，就不要开事物了，因为开事物会把表锁住

锁住表的话，和单线程执行没区别的

[anzhiqiang_touzi]

还有一种方式：

生成insert脚本导入，

脚本太大则分批执行

if(not exists(select UserID from UserInfo where UserID='U0001'))
  INsert INTO UserInfo....
if(not exists(select UserID from UserInfo where UserID='U0002'))
  INsert INTO UserInfo....