社区
community_281
帖子详情
ssis的etl过程中日志问题
frederic_zhao
2011-11-24 08:27:24
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
...全文
235
10
打赏
收藏
ssis的etl过程中日志问题
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
liangyong1107
2011-12-08
打赏
举报
回复
SSIS里面好像没有什么控件可监控的,,如果想用SQLProfiler监控的话,必须要用到SSIS里面的SQL任务才可以。如果想看里面的具体SQL代码,还可以通过脚本任务,把他打印回来看。
frederic_zhao
2011-12-07
打赏
举报
回复
[Quote=引用 8 楼 ubuntu_fedora 的回复:]
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
[/Quote]
因为业务的特殊性,需要两个小时抽取一次,由于太频繁和数据量比较大,数据完整性不能保证,总是出错,所以想记录下所有的sql
目前这个问题已经解决,另一个问题:
http://topic.csdn.net/u/20111207/21/a85d8c9d-4fc4-43b6-9e9e-2f739d5dcbff.html
Ubuntu_Fedora
2011-11-25
打赏
举报
回复
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
frederic_zhao
2011-11-25
打赏
举报
回复
求教解决办法!
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 5 楼 orchidcat 的回复:]
引用 2 楼 frederic_zhao 的回复:
引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Profiler 可以。但是性能消耗较大。
[/Quote]
profiler连接到as服务,只能监测到as部分的sql
而整个过程的sql还是不全吧,难道需要开两个profiler,一个as,一个dw?
Mr_Nice
2011-11-24
打赏
举报
回复
[Quote=引用 2 楼 frederic_zhao 的回复:]
引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
[/Quote]
Profiler 可以。但是性能消耗较大。
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 3 楼 orchidcat 的回复:]
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
[/Quote]
文档参考过了,只有OnProgress事件会在某个包或者组件执行时记录sql语句
请问如何记录详细的sql信息
我遇到的问题是,etl过程需要50分钟作用,但是整个过程cpu(16核)和内存(50g)的使用率都非常低
在analysis service任务时 cpu利用率才会上来
试了很多方法没有解决
Mr_Nice
2011-11-24
打赏
举报
回复
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 1 楼 orchidcat 的回复:]
日志里面记录的都有的。
[/Quote]
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Mr_Nice
2011-11-24
打赏
举报
回复
日志里面记录的都有的。
用
SSIS
做的销售事例的
ETL
此外,理解
SSIS
的变量、事件处理和
日志
记录也非常重要,它们可以帮助你更好地管理和调试
ETL
过程
。 最后,
SSIS
的灵活性和强大功能使其成为企业级数据集成的首选工具之一。通过实践这个销售事例,你不仅能掌握
SSIS
的...
数据仓库
ETL
SSIS
**
ETL
(Extract, Transform, Load)** 是数据仓库
中
的关键
过程
,主要包括三个阶段: - **提取(Extract)**:从各种源系统
中
获取原始数据。 - **转换(Transform)**:对提取的数据进行清洗、转换等处理。 - **加载...
SSIS
Best Practice
SQL Server Integration Services (
SSIS
) 是微软提供的一种高效能的数据集成和
ETL
(Extract-Transform-Load)平台,尤其在处理大规模数据时表现出强大的性能。本文将深入探讨
SSIS
的最佳实践,帮助开发者优化其系统,...
ETL
开发CaseStudy-
SSIS
版之相关代码
在本案例研究
中
,我们将专注于使用SQL Server Integration Services (
SSIS
) 进行
ETL
过程
的开发。 SQL Server Integration Services (
SSIS
) 是微软提供的一个强大且灵活的数据集成平台,它支持大量数据迁移、清洗、...
sql server 2005 基于
SSIS
定制
ETL
解决方案
SQL Server 2005
中
的
SSIS
(SQL Server Integration Services)是一种强大的
ETL
(Extract, Transform, Load)工具,用于在不同数据源之间提取、转换和加载数据。
SSIS
为构建企业级的数据集成解决方案提供了全面、可靠...
community_281
662
社区成员
253,727
社区内容
发帖
与我相关
我的任务
community_281
提出问题
复制链接
扫一扫
分享
社区描述
提出问题
其他
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章