社区
数据仓库
帖子详情
增量更新问题,求救!!!分不够再给
liricn
2004-11-04 12:41:35
我每天通过job来统计数据,然后通过调度包来增量更新数据仓库中的数据。但是这样作是有问题的,就是当job执行不成功的时候,包照样增量更新,这样数据就会翻倍!!!
想问的是:1。在数据仓库中,能删除某段时间的数据么?(比如说一天),如果不行,该怎么办?
2。要怎样增量更新数据仓库中的数据,才不会出现这样的问题?
...全文
205
16
打赏
收藏
增量更新问题,求救!!!分不够再给
我每天通过job来统计数据,然后通过调度包来增量更新数据仓库中的数据。但是这样作是有问题的,就是当job执行不成功的时候,包照样增量更新,这样数据就会翻倍!!! 想问的是:1。在数据仓库中,能删除某段时间的数据么?(比如说一天),如果不行,该怎么办? 2。要怎样增量更新数据仓库中的数据,才不会出现这样的问题?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
16 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
liricn
2004-11-15
打赏
举报
回复
胡涂老道,看来你比我好不到哪里去,不懂就不要老是装懂.
liricn
2004-11-11
打赏
举报
回复
保留了,怎么删????天啊,说说操作方法吧
hutulaodao
2004-11-11
打赏
举报
回复
天哪,你别告诉我你没学过sql吧?
hutulaodao
2004-11-10
打赏
举报
回复
"就算抽取数据是按时间吧",若你保留了那个时间字段,那就可以据此删除数据了。
tacf
2004-11-10
打赏
举报
回复
看你的数据库有没有设置PI,如果有,每次增量更新的时候先删除PI相同的数据,就可以拉。
赵大米
2004-11-09
打赏
举报
回复
分析你的数据特征,看是否有那个字段能够把数据区分出来,要不你把你的表结构拿出来,大家帮你看看
liricn
2004-11-09
打赏
举报
回复
就算抽取数据是按时间吧,怎么办?
数据结构:
事实数据表:feetable(timeid,departid,opdate,depart,fee)
维度表:
timetable:timeid,opdate
departtable:departid,depart
到底有没有办法?如果谁能说出可行的办法,一定给他100分.
hutulaodao
2004-11-08
打赏
举报
回复
你当时抽取数据的时候是根据什么来抽的,不会是全表吧?
liricn
2004-11-08
打赏
举报
回复
具体怎么做?比如数据仓库现在的数据是:2004.01.01-2004.01.31
如果要删除2004.01.15当天的数据,该如何做?
或者只保留2004.01.01-2004.01.14这段数据,后面的数据都不要也可以,有什么办法么?
liricn
2004-11-05
打赏
举报
回复
现在我想要的答案是可不可以删除数据,不要质问我增量更新的问题了。
zmgowin
2004-11-05
打赏
举报
回复
你的流程怎么会这样?job失败了为什么不退出,还要继续去做增量更新?
可以在每步做一个判断,成功怎么样,失败了怎么样,这是最普通的做法了
proson
2004-11-05
打赏
举报
回复
在调度包中增加
proson
2004-11-05
打赏
举报
回复
这个可以的,在处理cube 之前,调用一个存储过程,就可以了
hutulaodao
2004-11-05
打赏
举报
回复
如果没有时间戳,而要删除某段时间插入得数据的话,只有根据你的数据特点来删除数据了.
liricn
2004-11-04
打赏
举报
回复
楼上说的是。不知道时间戳如何建?如果有,又怎样删除数据?请说详细操作步骤,急,谢谢!
hutulaodao
2004-11-04
打赏
举报
回复
1.不知道你的仓库中有没有时间戳,若有则可据此删除数据.
2.个人觉得不是"怎样增量更新数据仓库中的数据,才不会出现这样的问题?",而是应该如何调度的问题.当job执行不成功,则不应该运行包更新.
Oracle两个日期区间是否重合,持续
求救
...时间区间重合、包含,
更新
算法!!
该博客讨论了一个数据处理的
问题
,涉及到层次关系的数据(unit_code->feeder_id->low_transformer_id->USER_code),主要
问题
是时间区间存在重叠和包含关系。作者提到,根据break_type_id和reason字段,需要消除这种包含关系并计算每个时间间隔的实际长度(every_sj和hushu)。目前的解决方案是通过存储过程和游标,但客户希望在原表上直接处理。博主寻求更高效的
更新
算法或思路,以处理大量数据(每月1400000多条,每天
增量
抽取)。
求救
数据库高手~~急急。。。
本文包含数据库
分
析函数的应用实例,如使用
分
析函数对学生表进行排名处理;并提出了两个数据库设计题目,一是为电信营销活动设计数据模型,二是构建班级上课情况的星型模型及其
分
析应用。
程序员苏享茂:怎样才能遇到对的人?
苏享茂事件重回公众视线,他是天才程序员,代表着庞大技术群体。技术
分
创造性和社会性两种,社会技术能盘活存量。理工男梦想找熟谙社会技术的伴侣,苏享茂却没遇到对的人。文章给出识别社会技术专家的方法,提醒要重视他们。
服务器无法复制大容量文件,求助一个200G的大文件如果拷贝到另外一台服务器...
面对200GB大文件scp传输停滞,本文探讨了rsync和rclone这两种高效的方法。rsync的简单命令与rclone的
增量
同步特性,帮助读者找到后台持续传输的途径。
Win10蓝屏后无限重启?可能是硬盘在‘
求救
’!一个案例教你识别硬件故障征兆
本文详细解析了Win10蓝屏和无限重启背后的硬盘故障预警信号,通过实际案例教你识别硬件故障征兆。文章涵盖蓝屏代码解读、硬盘故障类型
分
析、诊断工具使用及数据抢救方案,帮助用户在数据丢失前及时采取措施。重点关注'No Bootable Device'等关键提示,提供实用的应急处理建议。
数据仓库
7,394
社区成员
6,741
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章