ETL跑数据问题

阿甘的反击 2010-06-29 09:53:03

一般都是夜里从业务系统抽数据吧，例如有个日均指标，每天都要用到上一天的数据来计算出当天的数据，如果要是发现n天之前的数据业务系统出错了，那么就要从那一天重新跑。一般如何避免这种情况发生呢？

...全文

194 7 打赏收藏转发到动态举报

写回复

用AI写文章

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

阿甘的反击 2010-06-30

打赏
举报

例如抽取财务报表的数据，我们自己还要再实现一次财务数据的公式，但只做与数据源的校验。就是怕业务系统本身存在bug导致源始错的。。。哎。。。。关键是担心迭代好多天了，回头重新刷数据烦啊。。总之，对需要迭代的数据一定要把业务数据规则搞清楚并且要与业务系统接口的负责人好好沟通。。

nalnait 2010-06-30

打赏
举报

根据最后抽的时间和原库的最大时间进行比较了

claro 2010-06-30

打赏
举报

没有抽过

帮顶

「已注销」 2010-06-30

打赏
举报

关注！

流氓兔 2010-06-29

打赏
举报

[Quote=引用楼主 fanyingnedu 的回复:]
一般都是夜里从业务系统抽数据吧，例如有个日均指标，每天都要用到上一天的数据来计算出当天的数据，如果要是发现n天之前的数据业务系统出错了，那么就要从那一天重新跑。一般如何避免这种情况发生呢？
[/Quote]
加时间，那天出错了就跑那天的数据

铁臂阿童木头 2010-06-29

打赏
举报

先顶一下。按照你所说的情况，这里计算的数据是一个不断迭代的过程，那么在执行计算之前，应当设计一套完善的数据校验功能，主要是针对源数据的校验，竟可能的避免由于源数据错误而导致本次计算的错误，同时需要保证计算数据的业务逻辑的正确性。
源数据校验有很多方法，需要根据具体的业务逻辑来具体设计，对于你讲的这个问题，我觉得可以设置一个时间范围，比如说对3天之内的数据进行校验，至于校验方法可以用你的数据计算算法来重新计算某一天的数据，与已经计算好的数据进行对比，这只是一种思路，方法肯定会有很多的。