ssis的etl过程中日志问题

frederic_zhao 2011-11-24 08:27:24
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
...全文
235 10 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
liangyong1107 2011-12-08
  • 打赏
  • 举报
回复
SSIS里面好像没有什么控件可监控的,,如果想用SQLProfiler监控的话,必须要用到SSIS里面的SQL任务才可以。如果想看里面的具体SQL代码,还可以通过脚本任务,把他打印回来看。
frederic_zhao 2011-12-07
  • 打赏
  • 举报
回复
[Quote=引用 8 楼 ubuntu_fedora 的回复:]

为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
[/Quote]
因为业务的特殊性,需要两个小时抽取一次,由于太频繁和数据量比较大,数据完整性不能保证,总是出错,所以想记录下所有的sql

目前这个问题已经解决,另一个问题:

http://topic.csdn.net/u/20111207/21/a85d8c9d-4fc4-43b6-9e9e-2f739d5dcbff.html
Ubuntu_Fedora 2011-11-25
  • 打赏
  • 举报
回复
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
frederic_zhao 2011-11-25
  • 打赏
  • 举报
回复
求教解决办法!
frederic_zhao 2011-11-24
  • 打赏
  • 举报
回复
[Quote=引用 5 楼 orchidcat 的回复:]
引用 2 楼 frederic_zhao 的回复:

引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。


记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql

是不是需要服务器端的性能分析抓取?还是有别的方法呢?


Profiler 可以。但是性能消耗较大。
[/Quote]

profiler连接到as服务,只能监测到as部分的sql
而整个过程的sql还是不全吧,难道需要开两个profiler,一个as,一个dw?
Mr_Nice 2011-11-24
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 frederic_zhao 的回复:]

引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。


记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql

是不是需要服务器端的性能分析抓取?还是有别的方法呢?
[/Quote]

Profiler 可以。但是性能消耗较大。
frederic_zhao 2011-11-24
  • 打赏
  • 举报
回复
[Quote=引用 3 楼 orchidcat 的回复:]
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
[/Quote]

文档参考过了,只有OnProgress事件会在某个包或者组件执行时记录sql语句

请问如何记录详细的sql信息

我遇到的问题是,etl过程需要50分钟作用,但是整个过程cpu(16核)和内存(50g)的使用率都非常低
在analysis service任务时 cpu利用率才会上来

试了很多方法没有解决

frederic_zhao 2011-11-24
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 orchidcat 的回复:]
日志里面记录的都有的。
[/Quote]

记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql

是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Mr_Nice 2011-11-24
  • 打赏
  • 举报
回复
日志里面记录的都有的。

662

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧