社区
MySQL
帖子详情
避免重复插入数据,又要保持高效率
ideasky
2011-09-29 09:32:26
表中有10万多数据,每次要批量倒入几百条,不想在程序里逐一的判断是否重复,mysql有无高效的解决办法?
link 和 userid 这两个字段组合要保持唯一。
...全文
111
6
打赏
收藏
避免重复插入数据,又要保持高效率
表中有10万多数据,每次要批量倒入几百条,不想在程序里逐一的判断是否重复,mysql有无高效的解决办法? link 和 userid 这两个字段组合要保持唯一。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
rucypli
2011-09-29
打赏
举报
回复
insert ignore into tbname(a,b) values(1,2)
ACMAIN_CHM
2011-09-29
打赏
举报
回复
INSERT IGNORE ..
如果不明白,看一下MYSQL手册中的 insert 语法中 IGNORE 的例子
ideasky
2011-09-29
打赏
举报
回复
把link VARCHAR(300) 改为VARCHAR(200)可以了,另外问下,插入数据时如果碰到重复数据还是会引发错误而终止了程序的执行,有办法避免吗?
ideasky
2011-09-29
打赏
举报
回复
link VARCHAR(300)
userid INT(11)
ideasky
2011-09-29
打赏
举报
回复
提示 Specified key was too long; max key length is 767 bytes
ACMAIN_CHM
2011-09-29
打赏
举报
回复
创建基于 (link,userid) 的唯一索引
create unique index xxx on table1(link,userid)
批量
插入
数据
时防
重复
的实用技巧
业务上经常遇到批量
插入
数据
的场景,比如上传Excel、或者做
数据
同步(一次保存几十上百条记录)。保存的时候需要保证幂等性,比如订单号相同的
数据
不能存在多条。 简单的处理方式就是加上一个每次save前先查询下,...
Java多线程:解决高并发环境下
数据
插入
重复
问题
1.背景描述 应用框架:Spring + SpringMVC + Hibernate
数据
库:Oracle11g 一家文学网站向我系统推多线程低并发推送
数据
,我...由于网络原因,客户可能连续推送了两条
重复
的
数据
,两条
数据
时间间隔非常小,因此导致
向
数据
库批量写入
数据
,如何解决
数据
重复
的问题
目前需要将大量
数据
(存在少量的
重复
数据
)初始化写入
数据
库表(该表开始无
数据
),在
避免
重复
数据
写入如何保证写入速率? 网络上已有方案 网络上已有的方案大概分为两类: 通过SQL实现 1.先写入,后去重。 2.insert...
高并发
插入
重复
数据
问题
背景:项目中有一块分析
数据
的功能,在多线程执行用例的时候,每次一个用例执行完,如果执行失败,都会调用分析模块。而分析的方式就是对执行返回的结果和相关的日志进行错误聚类分析。当一批用例执行结束之后,会发...
MySQL
插入
数据
前检测唯一性的一些语句用法总结
诸如有存在的
数据
时跳过,不存在的
数据
继续
插入
,要
避免
重复
插入
,又不想折腾两回
数据
库连接操作,这里可能会用到以下语句,现小结一下。 INSERT IGNORE INTO IGNORE是MySQL相对于标准SQL的扩展。如果在新表中有...
MySQL
56,681
社区成员
56,709
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章