关于数据仓库基础数据集成问题

huang_w 2014-08-25 11:48:03

数据仓库中的基础层数据我按主题划分
对于两个不同的系统，比如客户主题中，这两个系统都有客户表，但是字段不一样，我从源数据ETL到基础层过程中，这两个系统的客户表我应该放在同一张表里还是分开两张表？应该怎么集成？各位有什么经验、做法，请共享一下，谢谢！

...全文

254 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

天善智能 2014-09-28

打赏
举报

回复

放到一起，规则定义好

babyqian84 2014-09-26

打赏
举报

回复

建议放在一起，比较方便使用。如果两个差异非常大不能兼容，还是分开来

作者：禅与计算机程序设计艺术 “数据仓库”（Data Warehouse）是企业进行数据整合、分析和报告的一套系统，用于存储管理和分析公司的庞大、复杂的数据集。根据《Wikipedia》定义，数据仓库是一个集成的，面向主题的数据库集合，它提取不同来源、多种形式的数据并对其进行清洗、转换、汇总等处理后存入一个中心位置，供企业的多个业务部门进

数据仓库是企业数据管理的核心，通过数据集成将来自不同数据源的数据整合到一个统一的数据仓库中，为数据分析和决策提供支持。数据仓库的架构设计要保证数据全面、准确、一致。

声明式方法的主要特点就是通过一套合适的语言来对多个数据源的数据进行建模，构建一·个统一的数据表示，并且基于这一数据表示来对整体系统数据进行查询，通过一套有效的推理机制来对数据源进行存取，获得所需的信息。数据细化指通过由一定精度的数据获取精度较高的数据，实现该过程的主要途径有：时空转换，相关分析或者由综合中数据变动的记录进行恢复。中间件位于异构数据库系统（数据层）和应用程序（应用层）之间，向下协调各数据库系统，向上为访问集成数据的应用提供统一的数据模式和数据访问的通用接口。数据仓库技术是数据集成的关键。

前两节我们简单讲述了数仓的作用、一个基本数仓的应用架构，这小节我们继续讲解下数仓的数据集成。数据集成指的是将企业内所有具有分析价值的数据同步到数据仓库中做集成管理，所以基础功能是数据同步。前面我们讲到数据同步可以是应用端自动上报到数仓的采集服务，例如ToC业务常见的前端js埋点发送数据到nginx，这是推的方式。还有通过jdbc直接拉取业务库表或者接口这是拉取的方式。埋点需要投入专门的开发工作量，而且埋点往往是需要更细粒度的获取用户操作信息，不是一般的数据同步方法。访问库表拉取数据则首先需要业务系统的时间字

作者：暮角编辑：数据社全文共2845个字，建议5分钟阅读大家好，我是一哥，今天跟大家分享一下怎么理解建模方法和分层架构？分层架构很容易在各种书籍和文档中去理解，但是把建模方法和分层架构放在一起就会出现很多困惑了。接下来，我会从数据研发与建模的角度，演进一下分层架构的设计原因与层次的意义。01分层的演进之所以会有分层架构，最主要的原因还是要把复杂冗长的...

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章