请教各位,多维数据集增量处理,如何实现?

zhoule110 2010-11-11 04:42:20
由于数据量特别大,每天都要执行抽取数据并处理多维数据集,一直以来都是全部执行,效率非常低,网上找了资料,
发现可以只处理增量数据,可是结构有点不明白。
结构如下:
处理维度----处理cube----增量数据导入历史表-----删除增量表数据
执行完之后发现确实多维数据集聚合了新进的数据,不明白为什么不是:
增量数据导入历史表-----删除增量表数据------处理维度----处理cube
这样反倒失败,求解?
...全文
103 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
adiag 2010-11-16
  • 打赏
  • 举报
回复
估计应该有前半部分漏了
处理增量的时候,只对增量表做分区处理,所以是1、处理维度2、处理增量分区数据。

处理完后,增量数据当然要导入历史表,清空增量表等下次使用。

695

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧