ETL在执行时会把业务库托的很慢怎么弄？

[gavinwwl]

每次执行ETL过程，都会把业务库托的很慢，很影响使用，不知道各位有没有高招指点一下。

（由于系统为全球使用，不可以单纯的像网上有些讲的在早上没有人用的时候执行，因为系统一直都有人在使用）

[dawugui]

ETL是什么?没用过,不乱发言.

[迪迦凹凸曼]

楼主的结贴率怎么那么高

[gavinwwl]

[Quote=引用 2 楼 的回复:]
楼主的结贴率怎么那么高
[/Quote]
你不是第一个这么“关注”我的结贴率了，我也不知道，原来还是正常的，自从一次CSDN升级后就变成这样了，估计是Bug了。

[唐诗三百首]

这的看ETL系统的功能是什么,数据抽取?

查看执行细节,尽量避免锁申请和全表扫描的方式,

系统应该有个相对闲时的吧,是相对比较闲.

[让你望见影子的墙]

1、没有历史数据库吗？

能不能做一个备用服务器，把一些历史数据放在这个备用服务器上，然后从这个备用服务器上作etl

[Warren]

这确实是个问题，而且是所有DW ETL系统都面临的问题。
快速的抽取数据，快得不能再快的那种速度与Source断开连接，Source系统因为ETL的Exract过程而短时间的性能缺损是不可能避免的。唯一能做的，就是如何把这个时间缩短，而不能消除。
除考虑硬件扩展之外，考察一下数据增量，检测一下各种（那些表）数据抽取时间，重点优化那些耗时较长的数据抽取过程。

[gavinwwl]

我们已经在优化了,由于数据比较大,原来一次大概半个小时以上,现在已经优化到十几分钟,但是,在抽取时仍然会出现业务系统响应慢的情况. 公司对用户体验这一块看的比较重,一直比较头疼.....

[gudujianxiao]

1.在加载到目标表时，使用“快速加载”选项
2.在流程中避免使用完全阻塞任务；如Sort排序、聚合等转换功能。
3.排除不必要的字段。sql脚本不要使用 select * from 等等。

反正优化的地方很多。

[Leon_He2014]

建议弄个备份库，从备份库上做ETL

不要在生成库上做count统计

[岁岁年年]

系统业务数据有没有“时间戳”之类的标志来物理上减少需要抽取的数据量？这也是减轻ETL负担的一个方面了。