求助:MySQL作为数据源,如何利用SSIS实现数据自动清洗功能
insert into heat_data_analysis.dbo.dim_location(location_id,src_plant,ex_station,zone,build_num,unit,room_num)
select * from
(select r.id as '地理位置ID', hs.name as'热源厂',he.name as '换热站',z.z_name as '小区名',
z.z_name+','+b.b_name as '楼宇',z.z_name+','+b.b_name +','+cast(u.u_name as nvarchar) as '单元号',z.z_name+','+b.b_name +','+cast(u.u_name as nvarchar)+','+cast(r.r_name as nvarchar)'房间号'
from
heat_platform_rl.dbo.heat_source_plant as hs
join
heat_platform_rl.dbo.heat_exchange_station as he
on
he.heat_s_plant_id=hs.id
join
heat_platform_rl.dbo.zones as z
on
z.heat_e_station_id=he.id
join
heat_platform_rl.dbo.builds as b
on
b.zone_id=z.id
join
heat_platform_rl.dbo.units as u
on
u.build_id=b.id
join
heat_platform_rl.dbo.rooms as r
on
r.unit_id=u.id
where
hs.available='0'
and
he.available ='0'
and
z.available='0'
and
r.id in(select common_id from heat_data_analysis.dbo.common_id_info_list) )
as k;
各位大神好,我想实现从MYSQL数据源中的数据清洗功能,上面是我要实现功能的代码,有两个比较难解决的问题,想要请教大神,一个是如何让SSIS正常连接Mysql数据库,可以正常实现功能,如正常搭建数据源视图;第二个问题,如何实现代码中的功能,连接多个表,查询有效数据等等,需要哪些组件,在下这里先跪谢了!!
select * from
(select r.id as '地理位置ID', hs.name as'热源厂',he.name as '换热站',z.z_name as '小区名',
z.z_name+','+b.b_name as '楼宇',z.z_name+','+b.b_name +','+cast(u.u_name as nvarchar) as '单元号',z.z_name+','+b.b_name +','+cast(u.u_name as nvarchar)+','+cast(r.r_name as nvarchar)'房间号'
from
heat_platform_rl.dbo.heat_source_plant as hs
join
heat_platform_rl.dbo.heat_exchange_station as he
on
he.heat_s_plant_id=hs.id
join
heat_platform_rl.dbo.zones as z
on
z.heat_e_station_id=he.id
join
heat_platform_rl.dbo.builds as b
on
b.zone_id=z.id
join
heat_platform_rl.dbo.units as u
on
u.build_id=b.id
join
heat_platform_rl.dbo.rooms as r
on
r.unit_id=u.id
where
hs.available='0'
and
he.available ='0'
and
z.available='0'
and
r.id in(select common_id from heat_data_analysis.dbo.common_id_info_list) )
as k;
各位大神好,我想实现从MYSQL数据源中的数据清洗功能,上面是我要实现功能的代码,有两个比较难解决的问题,想要请教大神,一个是如何让SSIS正常连接Mysql数据库,可以正常实现功能,如正常搭建数据源视图;第二个问题,如何实现代码中的功能,连接多个表,查询有效数据等等,需要哪些组件,在下这里先跪谢了!!
...全文
相关推荐
SSIS:从MsSql到Mysql
**数据流任务**:设置数据源为MsSql数据库连接,定义数据抽取逻辑及参数设置;随后配置数据目标为MySQL数据库连接,并设置列之间的映射关系。#### 五、测试与部署1.
ETL工具对比:Informatica vs Talend vs SSIS
经过以上对比,我们可以用一张表格总结三个工具的优缺点工具优点缺点功能全面、稳定性高、支持复杂转换成本高、学习曲线陡Talend开源免费、云原生支持、大数据兼容企业级功能需要商业版本SSIS易用、深度集成微软产品、成本低跨生态支持有限。
SSIS对SQL Server向Mysql数据转发表数据 更新和新增数据
- **新增数据**:如果数据在MySQL中不存在,"OLE DB 目标"会自动执行INSERT操作。 - **更新数据**:使用“Lookup”组件查找目标数据库中是否存在相同键值的数据。
Sql Server 数据实时同步到Mysql
对于大量数据的同步,可能需要考虑分批处理,或者利用Mysql的异步复制特性,实现更高效、稳定的数据迁移。
GC_SSIS
**SQL Server Integration Services (SSIS)**: SSIS是微软SQL Server数据库平台的一部分,它提供了数据集成、转换和清洗的能力。


数据仓库
