社区
community_281
帖子详情
ssis的etl过程中日志问题
frederic_zhao
2011-11-24 08:27:24
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
...全文
238
10
打赏
收藏
ssis的etl过程中日志问题
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
liangyong1107
2011-12-08
打赏
举报
回复
SSIS里面好像没有什么控件可监控的,,如果想用SQLProfiler监控的话,必须要用到SSIS里面的SQL任务才可以。如果想看里面的具体SQL代码,还可以通过脚本任务,把他打印回来看。
frederic_zhao
2011-12-07
打赏
举报
回复
[Quote=引用 8 楼 ubuntu_fedora 的回复:]
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
[/Quote]
因为业务的特殊性,需要两个小时抽取一次,由于太频繁和数据量比较大,数据完整性不能保证,总是出错,所以想记录下所有的sql
目前这个问题已经解决,另一个问题:
http://topic.csdn.net/u/20111207/21/a85d8c9d-4fc4-43b6-9e9e-2f739d5dcbff.html
Ubuntu_Fedora
2011-11-25
打赏
举报
回复
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
frederic_zhao
2011-11-25
打赏
举报
回复
求教解决办法!
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 5 楼 orchidcat 的回复:]
引用 2 楼 frederic_zhao 的回复:
引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Profiler 可以。但是性能消耗较大。
[/Quote]
profiler连接到as服务,只能监测到as部分的sql
而整个过程的sql还是不全吧,难道需要开两个profiler,一个as,一个dw?
Mr_Nice
2011-11-24
打赏
举报
回复
[Quote=引用 2 楼 frederic_zhao 的回复:]
引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
[/Quote]
Profiler 可以。但是性能消耗较大。
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 3 楼 orchidcat 的回复:]
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
[/Quote]
文档参考过了,只有OnProgress事件会在某个包或者组件执行时记录sql语句
请问如何记录详细的sql信息
我遇到的问题是,etl过程需要50分钟作用,但是整个过程cpu(16核)和内存(50g)的使用率都非常低
在analysis service任务时 cpu利用率才会上来
试了很多方法没有解决
Mr_Nice
2011-11-24
打赏
举报
回复
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 1 楼 orchidcat 的回复:]
日志里面记录的都有的。
[/Quote]
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Mr_Nice
2011-11-24
打赏
举报
回复
日志里面记录的都有的。
用
SSIS
做的销售事例的
ETL
项目使用微软
SSIS
,适合初学者对微软的
SSIS
有个了解,同时也对
SSIS
的流程有基本的掌握。
数据仓库
ETL
SSIS
数据仓库
ETL
SSIS
理论知识 名家著作
SSIS
Best Practice
Top 10 Best Practice for
SSIS
开发设计
ETL
开发CaseStudy-
SSIS
版之相关代码
ETL
开发CaseStudy-
SSIS
版之相关代码
sql server 2005 基于
SSIS
定制
ETL
解决方案
sql server 2005 基于
SSIS
定制
ETL
解决方案
community_281
672
社区成员
253,710
社区内容
发帖
与我相关
我的任务
community_281
提出问题
复制链接
扫一扫
分享
社区描述
提出问题
其他
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章