社区
community_281
帖子详情
ssis的etl过程中日志问题
frederic_zhao
2011-11-24 08:27:24
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
...全文
271
10
打赏
收藏
ssis的etl过程中日志问题
请问下,各位如何记录整个etl过程中,所有包的执行情况,包中执行的所有sql语句
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
liangyong1107
2011-12-08
打赏
举报
回复
SSIS里面好像没有什么控件可监控的,,如果想用SQLProfiler监控的话,必须要用到SSIS里面的SQL任务才可以。如果想看里面的具体SQL代码,还可以通过脚本任务,把他打印回来看。
frederic_zhao
2011-12-07
打赏
举报
回复
[Quote=引用 8 楼 ubuntu_fedora 的回复:]
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
[/Quote]
因为业务的特殊性,需要两个小时抽取一次,由于太频繁和数据量比较大,数据完整性不能保证,总是出错,所以想记录下所有的sql
目前这个问题已经解决,另一个问题:
http://topic.csdn.net/u/20111207/21/a85d8c9d-4fc4-43b6-9e9e-2f739d5dcbff.html
Ubuntu_Fedora
2011-11-25
打赏
举报
回复
为什么要监控etl的sql,etl设计的时候你就已经知道要执行什么语句了啊,关注一下每天dw的更新的数据,是不是就等于知道了执行了什么sql语句了呢
frederic_zhao
2011-11-25
打赏
举报
回复
求教解决办法!
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 5 楼 orchidcat 的回复:]
引用 2 楼 frederic_zhao 的回复:
引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Profiler 可以。但是性能消耗较大。
[/Quote]
profiler连接到as服务,只能监测到as部分的sql
而整个过程的sql还是不全吧,难道需要开两个profiler,一个as,一个dw?
Mr_Nice
2011-11-24
打赏
举报
回复
[Quote=引用 2 楼 frederic_zhao 的回复:]
引用 1 楼 orchidcat 的回复:
日志里面记录的都有的。
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
[/Quote]
Profiler 可以。但是性能消耗较大。
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 3 楼 orchidcat 的回复:]
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
[/Quote]
文档参考过了,只有OnProgress事件会在某个包或者组件执行时记录sql语句
请问如何记录详细的sql信息
我遇到的问题是,etl过程需要50分钟作用,但是整个过程cpu(16核)和内存(50g)的使用率都非常低
在analysis service任务时 cpu利用率才会上来
试了很多方法没有解决
Mr_Nice
2011-11-24
打赏
举报
回复
参考
http://msdn.microsoft.com/zh-cn/library/ms181437(v=SQL.100).aspx
http://msdn.microsoft.com/zh-cn/library/ms138020(v=SQL.100).aspx
frederic_zhao
2011-11-24
打赏
举报
回复
[Quote=引用 1 楼 orchidcat 的回复:]
日志里面记录的都有的。
[/Quote]
记录的比较少,只有sql任务的有记录,我想记录下整个过程的sql
是不是需要服务器端的性能分析抓取?还是有别的方法呢?
Mr_Nice
2011-11-24
打赏
举报
回复
日志里面记录的都有的。
SSIS
工具的
ETL
过程
,全量
ETL
和增量
ETL
过程
教程
本文详细介绍如何使用SQL Server 2012和
SSIS
进行全量及增量
ETL
操作,包括包创建、数据连接设置、执行SQL任务和数据流任务等关键步骤。
查看
ssis
执行
日志
_
SSIS
包
日志
记录概述
本文探讨了SQL Server
SSIS
包
日志
记录的不同方法,包括如何配置
SSIS
日志
记录以捕获错误信息、关键事件及执行细节,适用于平面文件、XML文件、SQL Server等多种
日志
存储位置。
C#调用
SSIS
包的执行技术详解
本文围绕C#调用
SSIS
包执行
ETL
流程展开。先介绍
ETL
过程
及
SSIS
核心功能、版本特性等,接着阐述C#调用
SSIS
包的两种方法,适用于不同SQL Server版本。还提及用SQL Server Agent服务调度执行,最后强调开发
中
要做好异常处理和
日志
记录,确保
ETL
稳定高效。
ssis
面试题
本文介绍了
SSIS
面试
中
常见的
问题
,包括变量使用、
ETL
架构、错误处理、字符转换和与其他系统的集成。同时,讨论了
SSIS
的性能优化、数据清理算法、不同版本的区别以及动态参数化等高级话题。此外,还讲解了
SSIS
的
日志
记录、组件功能以及部署策略,为
SSIS
面试提供全面准备。
ssis
包执行ORACLE的SP,成功部署
SSIS
中
含有Oracle数据库连接的
ETL
包
本文详细介绍了如何在SQL Server Integration Services (
SSIS
)
中
成功部署含有Oracle数据库连接的
ETL
包。包括选择合适的Oracle驱动、配置
SSIS
连接、解决部署及运行
中
遇到的常见
问题
。
community_281
699
社区成员
253,704
社区内容
发帖
与我相关
我的任务
community_281
提出问题
复制链接
扫一扫
分享
社区描述
提出问题
其他
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章