请教大家事实维度处理,路过的看一下,也许这样的问题你也遇到过

zhoule110 2011-01-25 05:48:41
描述一下:
我用的ssis处理结构是:维度(处理选项为“处理更新”)----多维数据集(1个分区,处理选项为“增量处理”,即每天数据的增量表)

问题:1.由于维度中包含多个“事实维度”,处理完成之后发现维度更新的时间特别长,个人觉得不正常。
2.后来发现 事实维度从多维浏览器中看到的对应数据,居然和sql语句查出来的数据不一样,有的甚至是空,sql查出的就肯定没问题,那为什么这里出现的错误的汇总呢?

不知道是不是我的事实维度建立有问题,我大概说下步骤:通过vs的为度选项卡右键--新建为度--使用现有表--然后找到表,键列和名称列都选择表主键id(唯一主键)--可选属性(选择需要的属性,当然自动包括主键id)

之前2个问题请教大家,看看高手能否帮忙看看,小弟谢过
...全文
231 18 打赏 收藏 转发到动态 举报
写回复
用AI写文章
18 条回复
切换为时间正序
请发表友善的回复…
发表回复
zxhx 2011-03-11
  • 打赏
  • 举报
回复
事实表增量的前提是你的维度没有大的变更,你新建维度就需要重新进行聚合了,所以整个cube必须完全处理一遍,增量处理的结果正确的可能性就比较小了~
fredamaths 2011-03-10
  • 打赏
  • 举报
回复
ETL中数据要重导一下吧
zhoule110 2011-02-14
  • 打赏
  • 举报
回复
[Quote=引用 10 楼 zhongqingqiu 的回复:]
我觉得应该更新维度过后处理一下多维数据集吧。
[/Quote]

是这样处理的,只是“事实维度”不知如何处理,请指教
zhongqq 2011-02-12
  • 打赏
  • 举报
回复
我觉得应该更新维度过后处理一下多维数据集吧。
zhoule110 2011-01-26
  • 打赏
  • 举报
回复
[Quote=引用 2 楼 zheninchangjiang 的回复:]
这个,只能你自己去看自己处理的维度有没有问题,别看增量,仅有增量不会有问题
[/Quote]
能详细点吗?
我之前遇到 事实维度 都是直接将事实表中的字段抽出来做一个distinct试图,然后将试图作为维度,后来发现事实维度的概念就采用了这种方式,发现1楼提到的问题
zhoule110 2011-01-26
  • 打赏
  • 举报
回复
[Quote=引用 7 楼 zhoule110 的回复:]
好像只有完全处理一次多维数据库才可以展示所有数据汇总,奇怪的是更新处理维度却无法展示事实维度的汇总
[/Quote]
成功了,但是数据和sql查出来的不一样
叶子 2011-01-26
  • 打赏
  • 举报
回复
你更新处理维度成功了吗?
zhoule110 2011-01-26
  • 打赏
  • 举报
回复
好像只有完全处理一次多维数据库才可以展示所有数据汇总,奇怪的是更新处理维度却无法展示事实维度的汇总
gmail9002 2011-01-26
  • 打赏
  • 举报
回复
adiag 2011-01-26
  • 打赏
  • 举报
回复
有可能跟处理的选项有关系,请查询下度量值的“null procesing”是什么,即空数据如何处理。
zheninchangjiang 2011-01-25
  • 打赏
  • 举报
回复
这个,只能你自己去看自己处理的维度有没有问题,别看增量,仅有增量不会有问题
本课程以2021年度大数据技术学习为背景,重点围绕Spark 3.0框架展开系统讲解。课程内容基于2020年9月官方正式发布的稳定版本Spark 3.0.1进行设计,确保所学技术紧跟行业前沿。整个教学体系划分为九个核心模块,涵盖从基础到高级的完整知识路径。 首先从Spark集群环境部署与配置入手,奠定实际操作基础。随后深入剖析Spark Core核心原理与编程模型,掌握分布式计算基础。课程进一步延伸至实时数据处理领域,系统讲解Spark Streaming流式计算框架及其应用场景。 在数据查询与分析部分,重点介绍Spark SQL模块,学习结构化数据处理方法。同时结合Structured Streaming技术,探讨现代流批一体架构的实现方式。通过综合实战案例,演示如何将各模块知识融会贯通,解决复杂业务场景中的数据处理问题。 为适应多样化开发需求,课程专门设置多语言编程章节,展示Scala、Python、Java等不同语言在Spark生态中的开发模式。针对Spark 3.0版本革新,详细解读其在性能优化、API改进及功能增强方面的最新特性。最后部分聚焦系统性能调优方法论,包括资源配置、执行计划优化等进阶内容,全面提升分布式系统运维能力。 资源来源于网络分享,仅用于学习交流使用,请勿用于商业,如有侵权请联系我删除!
【GA-ELM预测】基于遗传算法优化极限学习机的单维时间序列预测研究(Matlab代码实现)内容概要:本文研究基于遗传算法(GA)优化极限学习机(ELM)的单维时间序列预测方法,提出了一种结合智能优化算法与快速学习模型的预测框架。通过遗传算法优化ELM的关键参数(如输入权重和偏置),克服传统ELM随机赋值带来的不稳定性和精度局限,提升模型泛化能力与预测准确性。文中以Matlab代码实现整个算法流程,涵盖数据预处理、模型训练、参数优化及结果可视化等环节,适用于风电、负荷、交通流等单变量时间序列的短期预测场景。; 适合人群:具备一定Matlab编程基础,熟悉基本机器学习模型(如神经网络)的高校研究生、科研人员及工程技术人员,尤其适合从事时间序列预测、智能算法优化等相关领域的研究人员; 使用场景及目标:①解决传统ELM模型因随机初始化导致的性能波动问题;②实现高精度单变量时间序列预测,应用于能源、交通、金融等领域;③为智能优化算法与浅层神经网络结合提供可复现的技术方案; 阅读建议:建议读者结合提供的Matlab代码进行实践操作,重点关注遗传算法的编码方式、适应度函数设计以及ELM参数优化过程,通过调整种群规模、交叉变异概率等参数深入理解算法性能影响机制,并尝试将其迁移至其他预测任务中验证有效性。

684

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧