社区
数据库相关
帖子详情
导入数据去重的问题。^_^
LevnWang
2008-05-28 03:08:37
利用ADODataSet将Excel的数据导入到SQL Server里面的A表里面(Excel里面的数据和A表数据格式都是一样),有相同数据的时候不导入,或者将新的数据覆盖到原记录上。
我的方法:
每写入一条数据的时候进行判断,存在就Update,不存在就插入,这样速度很慢。(Excel里要导入的数据每次都有一万条左右,A表里面大约几十万条数据)
------------------------
请教大家有什么好的方法,可以很快找出重复的数据。
...全文
224
5
打赏
收藏
导入数据去重的问题。^_^
利用ADODataSet将Excel的数据导入到SQL Server里面的A表里面(Excel里面的数据和A表数据格式都是一样),有相同数据的时候不导入,或者将新的数据覆盖到原记录上。 我的方法: 每写入一条数据的时候进行判断,存在就Update,不存在就插入,这样速度很慢。(Excel里要导入的数据每次都有一万条左右,A表里面大约几十万条数据) ------------------------ 请教大家有什么好的方法,可以很快找出重复的数据。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
eaglerxa
2008-05-29
打赏
举报
回复
select distinct *
into #t
from table--去除重复记录
然后insert into
HapBegin
2008-05-28
打赏
举报
回复
先导入临时表里,然后使用两条SQl语句就可以了!
byteh
2008-05-28
打赏
举报
回复
把判断重复的字段定义为主键,那么碰到重复的数据库会报错,Delphi里面配合用
try
add new record
except
忽略错误
end;
踢踏
2008-05-28
打赏
举报
回复
先导入临时表里,然后再拿临时表与A表比较,再插入
nb95463034
2008-05-28
打赏
举报
回复
先不管3721X临时表
再用SQL语句X正式表(用SQL语句过滤重复的)
数据
的
导入
与预处理课程设计(附带报告书)
基于python pandas库的
数据
的
导入
与预处理课程设计报告,附带报告书。包括
数据
导入
,记录
去重
,缺失值处理等操作,提供给大家学习。
狼军文本
去重
小工具v1.0免费绿色版
通常我们下载的txt文件里都存在大量的重复文本,这些重复的资料浪费我们的时间和内存,狼军文本
去重
小工具就能帮你解决这些
问题
。软件操作简单,只要
导入
需要
去重
复的文本文档,在点击导出
去重
数据
就这么简单。还在...
基于知识图谱的图书馆电子资源自动
去重
方法研究
图书馆电子资源建设过程中需要统计相关
数据
,采用传统人工
去重
方法耗费时间较长,针对该
问题
,提出了基于知识图谱的图书馆电子资源自动
去重
方法研究。利用CiteSpace软件对文献中的关键词进行统计分析,提取所需信息...
VB把EXCEL
导入
到
数据
库的方法
VB中将EXCEL的
数据
导入
到
数据
库的表中,并连接
数据
库,进行一些基本的操作
一个智能化的垂直搜索引擎解决方案
功能完善的backend,实现了长连接
数据
导入
,
数据
增删改查,用户权限认证,用户
数据
存储,搜索可视化。 implement redis:实现url和content
去重
mongo:实现内容存储 elasticsearch:实现内容索引与存储 elastichd: ...
数据库相关
2,497
社区成员
88,445
社区内容
发帖
与我相关
我的任务
数据库相关
Delphi 数据库相关
复制链接
扫一扫
分享
社区描述
Delphi 数据库相关
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章