将相同结构的数据库中的数据合并

2011-07-12 11:21:11 133 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

ArcPy合并相同结构的mdb数据库在之前的项目中遇到要把所有结构相同的个人地理数据库（mdb）合并到一个文件里面，使用ArcGIS工具箱中合并或者追加功能时每次都需要去选择相应的图层，比较繁琐。后来从网上参考一些资料，使用ArcPy简单做了一个脚本。下面找了一份测试数据，演示一下数据合并流程和验证脚本一下的可用性以及合并结果是否准确。在“C:\test2\”文件夹中有一个“1.mdb”文件和一个“A文件夹”；在“C:\test2\A\”有三个mdb文件，分别是：“2.mdb， 3.mdb， 4.mdb”。现在我们把A文件夹中“2.md. 阅读详情

我的业务是这样的，我有一个月的数据，每天都有一个相应的数据库，其中数据库的结构完全相同，只是数据不同。

我想将这一个月的数据，合并到一个库里面去。

由于无主键为外键，和主键自增长。所以不必考虑导出的数据发生重复和其他问题。

我想用一个存储过程去导，但是没有思路，网上有一个用dts导的例子，但是跟我的业务不类似。

...全文

ETL基础概念及要求详解 ETL即Extract（抽取）Transform（转换）Load（装载）的过程，如下图，同时也包括数据清洗的部分，是数据从源端到目标端的一个数据处理的过程，是构建数据仓库的重要一环，但不局限于构建数据仓库其他BI（商业智能）的设计和开发数据分析平台也经常用到ETL。阅读详情

小小骨头

应用实例 27,579 成员 68,540 内容

+ 关注 + 加入社区

切换为时间正序

yubofighting 2011-07-12

打赏
举报

insert into .. select * from

不同库的，建立linkserver在进行insert操作，不过数据量大的话有可能会断掉

为什么dts不行你，比较奇怪

mingpei0703 2011-07-12

打赏
举报

[Quote=引用 1 楼 zoezs 的回复:]
数据库都是本地的话直接insert into呗！
远程的话添加远程连接。再inert into .
[/Quote]
+

--小F-- 2011-07-12

打赏
举报

/*不同服务器数据库之间的数据操作*/



--创建链接服务器 

exec sp_addlinkedserver   'ITSV ', ' ', 'SQLOLEDB ', '远程服务器名或ip地址 ' 

exec sp_addlinkedsrvlogin  'ITSV ', 'false ',null, '用户名 ', '密码 ' 



--查询示例 

select * from ITSV.数据库名.dbo.表名 



--导入示例 

select * into 表 from ITSV.数据库名.dbo.表名 



--以后不再使用时删除链接服务器 

exec sp_dropserver  'ITSV ', 'droplogins ' 



--连接远程/局域网数据(openrowset/openquery/opendatasource) 

--1、openrowset 



--查询示例 

select * from openrowset( 'SQLOLEDB ', 'sql服务器名 '; '用户名 '; '密码 ',数据库名.dbo.表名) 



--生成本地表 

select * into 表 from openrowset( 'SQLOLEDB ', 'sql服务器名 '; '用户名 '; '密码 ',数据库名.dbo.表名) 



--把本地表导入远程表 

insert openrowset( 'SQLOLEDB ', 'sql服务器名 '; '用户名 '; '密码 ',数据库名.dbo.表名) 

select *from 本地表 



--更新本地表 

update b 

set b.列A=a.列A 

 from openrowset( 'SQLOLEDB ', 'sql服务器名 '; '用户名 '; '密码 ',数据库名.dbo.表名)as a inner join 本地表 b 

on a.column1=b.column1 



--openquery用法需要创建一个连接 



--首先创建一个连接创建链接服务器 

exec sp_addlinkedserver   'ITSV ', ' ', 'SQLOLEDB ', '远程服务器名或ip地址 ' 

--查询 

select * 

FROM openquery(ITSV,  'SELECT *  FROM 数据库.dbo.表名 ') 

--把本地表导入远程表 

insert openquery(ITSV,  'SELECT *  FROM 数据库.dbo.表名 ') 

select * from 本地表 

--更新本地表 

update b 

set b.列B=a.列B 

FROM openquery(ITSV,  'SELECT * FROM 数据库.dbo.表名 ') as a  

inner join 本地表 b on a.列A=b.列A 



--3、opendatasource/openrowset 

SELECT   * 

FROM   opendatasource( 'SQLOLEDB ',  'Data Source=ip/ServerName;User ID=登陆名;Password=密码 ' ).test.dbo.roy_ta 

--把本地表导入远程表

kevn 2011-07-12

打赏
举报

同一个机器上可以直接操作另一个数据的数据，不通的建立链接服务器

AcHerat 2011-07-12

打赏
举报

这样导过来导过去真麻烦，怎么不考虑放一个表里，数据量大了做表分区。

表很多还是比较少，少的话直接写语句，insert into .. select .. 你说过的不用担心重复数据。

GoAwayZ 2011-07-12

打赏
举报

insert into A库.dbo.tb

select * from B库.dbo.tb

Zoezs 2011-07-12

打赏
举报

数据库都是本地的话直接insert into呗！
远程的话添加远程连接。再inert into .

Q315054403 2011-07-12

打赏
举报

不用搞什么DTS。。写段脚本就OK喽

将相同结构的数据库中的数据合并

相关推荐