并发导入数据唯一性校验问题

2011-06-02 04:40:55 517 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

表格导入之前的校验功能：如何提高唯一性校验的效率这个问题都是需求和测试把我逼到这条路上的前提：有一张表，表里包括但不限于字段 “产品业务单号” “区域” 在导入之前需要进行唯一性校验第一次需求：以“产品业务单号”为唯一校验标识，第一次没有做任何的优化，万幸上线之后，没有大数据量的导入，不然肯定GG了（缺点：数据表中有81W条数据，当大数据量导入进行校验时，一条一条的去校验，假如导入1000条数据，那么就会以每... 阅读详情

我现在是要支持多个客户端并发导入资料
目前的做法的是每个用户执行导入就单起一个线程
比如：A、B用户同时在导入

那A用户开始校验身份证的唯一性(唯一性校验的字段有很多，如：客户编号、手机号码)
校验成功的话就拼insert的Sql
sql如下：
INSERT INTO xxx("FunctionCode", "FunctionName") VALUES ('aaaaaaaaa', 'bbbbbbbbbb');
INSERT INTO xxx("FunctionCode", "FunctionName") VALUES ('aaaaaaaaa', 'bbbbbbbbbb');
直到1000条再把这个sql传到数据库，用存储过程执行

现在的问题有两个
1、当用户A在业务层拼sql的时候（还没到1000条）
此时用户B也在校验身份证唯一性那有可能A用户的记录跟B用户的记录有重复insert
2、当用户A把1000条sql语句提交到数据库里去执行的时候(还没执行完) 那此时用户B也在校验身份证唯一性那也有可能A用户的记录跟B用户的记录有重复insert

谢谢！

...全文

java高并发下的唯一性验证做java ee程序基本上都会遇到唯一性的问题，我们通常不考虑并发性的问题的情况下的做法是：先根据条件去数据中查询是否存在，如果存在则提示不唯一，否则插入下面是一个简单的例子，向表t_test_curr插入数据，t_test_curr表包含两个字段，一个id（主键，自增长），一个username，要求唯一 1 不考虑并发性的做法： public void tes... 阅读详情

x44348428

疑难问题 22,298 成员 121,727 内容

+ 关注 + 加入社区

切换为时间正序

Shawn 2011-06-02

打赏
举报

--解决方案1

#1.为表建立唯一索引(用唯一性校验的4个字段)

#2.各个线程用主键和唯一性字段校验,如果校验失败,则返回给客户ErrorCode.校验成功的拼insert语句

#3.调用存储过程insert,注意,此时还有可能产生重复的数据.

#4.解决#3的方法为,为每条insert语句加上 TRY CATCH,如果 CATCH 到的异常是主键冲突或唯一索引冲突,则证明其它线程已经insert此数据,返回给客户ErrorCode.



--解决方案2

#1.在进行每条insert语句时,加表锁.并做判断:

IF NOT EXISTS(SELECT 1 FROM tb WHERE keyField = @keyField)

	AND NOT EXISTS(SELECT 1 FROM tb WHERE field1 = @field1 AND field2 = @field2 AND field3 = @field3 AND field4 = @field4)

BEGIN

	--IINSERT INTO xxx("FunctionCode", "FunctionName") VALUES ('aaaaaaaaa', 'bbbbbbbbbb');

END

ELSE

BEGIN

	--返回ErrorCode

END



--解决方案3

用另外一个表,让所有insert语句排队.相当于单线程操作.

http://adyhpq.blog.163.com/blog/static/3866700201011243538718/

君_洛洛 2011-06-02

打赏
举报

[Quote=引用 7 楼 x44348428 的回复:]
还有就是我这边需要唯一性校验的字段有4个(除了主键以外)
[/Quote]

x44348428 2011-06-02

打赏
举报

还有就是我这边需要唯一性校验的字段有4个(除了主键以外)

君_洛洛 2011-06-02

打赏
举报

[Quote=引用 5 楼 x44348428 的回复:]
用唯一约束的话如何把唯一校验失败的结果返回出来给用户呢？
[/Quote]
如果插入失败，你既然可以捕捉到错误，你可以返回给你当前插入失败的客户

x44348428 2011-06-02

打赏
举报

用唯一约束的话如何把唯一校验失败的结果返回出来给用户呢？

君_洛洛 2011-06-02

打赏
举报

[Quote=引用 3 楼 x44348428 的回复:]
谢谢楼上两位的回答，但我这边情况有点特殊。如果唯一性校验没通过的话，我得需要知道哪一条记录的哪个字段没通过校验，并在导入结束的时候告知用户。
[/Quote]
如果需要验证唯一的，可以弄个唯一约束，没必要弄那么复杂

x44348428 2011-06-02

打赏
举报

谢谢楼上两位的回答，但我这边情况有点特殊。如果唯一性校验没通过的话，我得需要知道哪一条记录的哪个字段没通过校验，并在导入结束的时候告知用户。

-晴天 2011-06-02

打赏
举报

为什么要拼成1000条再插入呢?
直接
insert into tb select @a,@b,@c,@d where not exists(select 1 from tb where a=@a or b=@b or c=@c or d=@d)
就行了.

BigInt 2011-06-02

打赏
举报

有个语句not exists
搂主可以研究下，应该有你需要的答案

并发导入 数据唯一性校验问题

相关推荐

并发导入数据唯一性校验问题