7,388
社区成员
发帖
与我相关
我的任务
分享请发表友善的回复…
发表回复
MarkDong 2001-11-27
- 打赏
- 举报
这样看来，数据仓库有很大的设计工作量，代码开发的工作量也会很大。
superjj2002 2001-11-26
- 打赏
- 举报
数据仓库的概念由美国著名工程学家W·H·lnmon博士于90年代在《建立数据仓库》一书中提出：“数据仓库(data warehouse)是一个面向主题的、集成的、稳定的、包含历史数据的数据集合，它用于支持经营管理中的决策制定过程。”
主题是指用户使用数据仓库进行决策时所关心的重点方面；面向主题是指数据仓库内的信息是按主题进行组织的，为按主题进行决策的过程提供信息；集成是指数据仓库中的信息不是从各个业务处理系统中简单抽取出来的，是经过系统加工、汇总和整理，保证数据仓库内的信息是关于整个企业的一致的全局信息；稳定是指一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的插入和查询操作，但修改和删除操作很少；包含历史数据是指数据仓库内的信息并不只是关于企业当时或某一时点的信息，而是系统记录了企业从过去某一时点到目前的各个阶段的信息，通过这些信息可以对企业的发展历程和未来趋势作出定量分析和预测。把信息加以整理归纳，并及时提供给相应的管理决策人员，是数据仓库的根本任务。
数据仓库主要有三方面的作用：首先，数据仓库提供了标准的报表和图表功能，其中的数据来源于不同的多个事务处理系统，因此，数据仓库的报表和图表是关于整个企业集成信息的报表和图表；其次，数据仓库支持多维分析，多维分析是通过把一个实体的多项重要的属性定义为多个维度，使得用户能方便地汇总数据集，简化了数据的分析处理逻辑，并能对不同维度值的数据进行比较，而维度则表示了对信息的不同理解角度。应用多维分析可以在一个查询中对不同阶段的数据进行纵向或横向比较，这在决策过程中非常有用；第三，数据仓库是数据挖掘技术的关键基础，数据挖掘技术要在已有数据中识别数据的模式，以帮助用户理解现有的信息，并在已有信息的基础上，对未来的状况作出预测。在数据仓库的基础上进行数据挖掘，就可以针对整个企业的状况和未来发展作出较完整、合理、准确的分析和预测。
数据仓库的结构
1. 数据仓库的逻辑结构和物理结构
数据仓库是存储数据的一种组织形式，它从传统数据库中获得原始数据，先按辅助决策的主题要求形成当前基本数据层，再按综合决策的要求形成综合数据层。随着时间的推移，由时间控制机制将当前基本数据层转为历史数据层。可见数据仓库中逻辑结构数据由3层到4层数据组成，它们均由元数据（Meta data）组织而成。数据仓库中数据的物理存储形式有多维数据库组织形式和基于关系数据库组织形式。
2. 数据仓库系统数据仓库系统(DWS)由数据仓库、仓库管理和分析工具三部分组成，其结构形式见下图：源数据：数据仓库的数据来源于多个数据源，包括企业内部数据、市场调查报告及各种文档之类的外部数据。
仓库管理：在确定数据仓库信息需求后，首先进行数据建模，然后确定从源数据到数据仓库的数据抽取、清理和转换过程，最后划分维数及确定数据仓库的物理存储结构。元数据是数据仓库的核心，它用于存储数据模型和定义数据结构、转换规划、仓库结构、控制信息等。仓库管理包括对数据的安全、归档、备份、维护、恢复等工作，这些工作需要利用数据库管理系统(DBMS)的功能。
分析工具：用于完成实际决策问题所需的各种查询检索工具、多维数据的OLAP分析工具、数据开采DM工具等，以实现决策支持系统的各种要求。
3. 数据仓库应用的C/S结构形式
数据仓库应用是一个典型的C/S结构。其客户端的工作包括客户交互、格式化查询及结果和报表生成等。服务器端完成各种辅助决策的SQL查询、复杂的计算和各类综合功能等。现在，一种越来越普遍的形式是三层结构，即在客户与服务器之间增加一个多维数据分析服务器。OLAP服务器能加强和规范决策支持的服务工作，集中和简化原客户端和DW服务器的部分工作，降低系统数据传输量，因此工作效率更高。
数据仓库的开发过程
数据仓库系统是一种解决问题的过程，而不是一个可以买到的现成产品。不同企业会有不同的数据仓库。企业人员往往不懂如何建立和利用数据仓库，发挥其决策支持的作用，而数据仓库公司人员又不懂业务，不知道建立哪些决策主题，从数据源中抽取哪些数据。这需要双方互相沟通，共同协商开发数据仓库，因此是一个不断往复前进的过程。其过程包括以下几步：(1)启动工程。建立开发数据仓库工程的目标及制定工程计划。(2)建立技术环境。选择实现数据仓库的软硬件资源。(3)确定主题进行数据建模。根据决策需求确定主题，选择数据源，对数据仓库的数据组织进行逻辑结构设计。(4)设计数据仓库中的数据库。(5)数据转换程序。实现从源系统中抽取数据、清理数据、一致性格式化数据、综合数据、装载数据等过程的设计和编码。(6)管理元数据。定义元数据。(7)开发用户决策的数据分析工具。(8)管理数据仓库环境。
几种数据仓库的解决方案
数据仓库的市场巨大，数据仓库产品很多，其中比较有代表性的产品有：Business Objects和Sybase、Platinum Technology等的解决方案。
1. Business Objects是集查询、报表和OLAP技术为一身的智能决策支持系统，它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取(Drill)等多维分析技术，支持多种平台和多种数据库，同时它还支持Internet/Intranet，可以通过www进行查询、报表和分析决策。
2. Sybase 的数据仓库解决方案棗?/FONT>Quickstart DataMart，包括Sybase IQ、Caleton PASSPOR、Brio Query、Conos Powerplay等一系列软件，支持DB2、MS、VSAM、Sybase、Oracle、Informix等关系型数据库，还有文本格式的数据。它能够同时处理几十个即席查询，其Bit Wise技术和垂直数据存储技术使系统只访问特定的少量数据，使得查询速度比传统的关系型数据库管理系统快100倍。
3. Platinum technology公司的数据仓库解决方案为企业提供完整、一致的数据，以保持商业决策的及时、正确性。Platinum technology的数据仓库解决方案包括数据抽取和提炼、数据分布、元数据管理、数据存取和分析(OLAP、EIS、报表)、保险、销售和营销决策支持等几个方面。它提供的数据仓库工具包括异构数据库之间数据双向复制的应用系统开发工具Inforump和功能强大灵活的关系型OLAP工具InfoBeacon等；提供的数据仓库前端业务智能解决方案工具包括使用户能够快速建立和使用的图形化企业信息系统应用的基于Windows的查询和报表工具Forest & Tress，可以利用多个大型数据库在桌面机或服务器上生成报表的企业级报表的工具InfoReports，使用户在服务器上生成在用户端制作的企业报表的工具InfoReports Server。这些工具使用户不需编程即可查询关系数据库、数据仓库或数据文件的数据，具有很强的实用性。
主题是指用户使用数据仓库进行决策时所关心的重点方面；面向主题是指数据仓库内的信息是按主题进行组织的，为按主题进行决策的过程提供信息；集成是指数据仓库中的信息不是从各个业务处理系统中简单抽取出来的，是经过系统加工、汇总和整理，保证数据仓库内的信息是关于整个企业的一致的全局信息；稳定是指一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的插入和查询操作，但修改和删除操作很少；包含历史数据是指数据仓库内的信息并不只是关于企业当时或某一时点的信息，而是系统记录了企业从过去某一时点到目前的各个阶段的信息，通过这些信息可以对企业的发展历程和未来趋势作出定量分析和预测。把信息加以整理归纳，并及时提供给相应的管理决策人员，是数据仓库的根本任务。
数据仓库主要有三方面的作用：首先，数据仓库提供了标准的报表和图表功能，其中的数据来源于不同的多个事务处理系统，因此，数据仓库的报表和图表是关于整个企业集成信息的报表和图表；其次，数据仓库支持多维分析，多维分析是通过把一个实体的多项重要的属性定义为多个维度，使得用户能方便地汇总数据集，简化了数据的分析处理逻辑，并能对不同维度值的数据进行比较，而维度则表示了对信息的不同理解角度。应用多维分析可以在一个查询中对不同阶段的数据进行纵向或横向比较，这在决策过程中非常有用；第三，数据仓库是数据挖掘技术的关键基础，数据挖掘技术要在已有数据中识别数据的模式，以帮助用户理解现有的信息，并在已有信息的基础上，对未来的状况作出预测。在数据仓库的基础上进行数据挖掘，就可以针对整个企业的状况和未来发展作出较完整、合理、准确的分析和预测。
数据仓库的结构
1. 数据仓库的逻辑结构和物理结构
数据仓库是存储数据的一种组织形式，它从传统数据库中获得原始数据，先按辅助决策的主题要求形成当前基本数据层，再按综合决策的要求形成综合数据层。随着时间的推移，由时间控制机制将当前基本数据层转为历史数据层。可见数据仓库中逻辑结构数据由3层到4层数据组成，它们均由元数据（Meta data）组织而成。数据仓库中数据的物理存储形式有多维数据库组织形式和基于关系数据库组织形式。
2. 数据仓库系统数据仓库系统(DWS)由数据仓库、仓库管理和分析工具三部分组成，其结构形式见下图：源数据：数据仓库的数据来源于多个数据源，包括企业内部数据、市场调查报告及各种文档之类的外部数据。
仓库管理：在确定数据仓库信息需求后，首先进行数据建模，然后确定从源数据到数据仓库的数据抽取、清理和转换过程，最后划分维数及确定数据仓库的物理存储结构。元数据是数据仓库的核心，它用于存储数据模型和定义数据结构、转换规划、仓库结构、控制信息等。仓库管理包括对数据的安全、归档、备份、维护、恢复等工作，这些工作需要利用数据库管理系统(DBMS)的功能。
分析工具：用于完成实际决策问题所需的各种查询检索工具、多维数据的OLAP分析工具、数据开采DM工具等，以实现决策支持系统的各种要求。
3. 数据仓库应用的C/S结构形式
数据仓库应用是一个典型的C/S结构。其客户端的工作包括客户交互、格式化查询及结果和报表生成等。服务器端完成各种辅助决策的SQL查询、复杂的计算和各类综合功能等。现在，一种越来越普遍的形式是三层结构，即在客户与服务器之间增加一个多维数据分析服务器。OLAP服务器能加强和规范决策支持的服务工作，集中和简化原客户端和DW服务器的部分工作，降低系统数据传输量，因此工作效率更高。
数据仓库的开发过程
数据仓库系统是一种解决问题的过程，而不是一个可以买到的现成产品。不同企业会有不同的数据仓库。企业人员往往不懂如何建立和利用数据仓库，发挥其决策支持的作用，而数据仓库公司人员又不懂业务，不知道建立哪些决策主题，从数据源中抽取哪些数据。这需要双方互相沟通，共同协商开发数据仓库，因此是一个不断往复前进的过程。其过程包括以下几步：(1)启动工程。建立开发数据仓库工程的目标及制定工程计划。(2)建立技术环境。选择实现数据仓库的软硬件资源。(3)确定主题进行数据建模。根据决策需求确定主题，选择数据源，对数据仓库的数据组织进行逻辑结构设计。(4)设计数据仓库中的数据库。(5)数据转换程序。实现从源系统中抽取数据、清理数据、一致性格式化数据、综合数据、装载数据等过程的设计和编码。(6)管理元数据。定义元数据。(7)开发用户决策的数据分析工具。(8)管理数据仓库环境。
几种数据仓库的解决方案
数据仓库的市场巨大，数据仓库产品很多，其中比较有代表性的产品有：Business Objects和Sybase、Platinum Technology等的解决方案。
1. Business Objects是集查询、报表和OLAP技术为一身的智能决策支持系统，它使用独特的“语义层”技术和“动态微立方”技术来表示数据库中的多维数据，具有较好的查询和报表功能，提供钻取(Drill)等多维分析技术，支持多种平台和多种数据库，同时它还支持Internet/Intranet，可以通过www进行查询、报表和分析决策。
2. Sybase 的数据仓库解决方案棗?/FONT>Quickstart DataMart，包括Sybase IQ、Caleton PASSPOR、Brio Query、Conos Powerplay等一系列软件，支持DB2、MS、VSAM、Sybase、Oracle、Informix等关系型数据库，还有文本格式的数据。它能够同时处理几十个即席查询，其Bit Wise技术和垂直数据存储技术使系统只访问特定的少量数据，使得查询速度比传统的关系型数据库管理系统快100倍。
3. Platinum technology公司的数据仓库解决方案为企业提供完整、一致的数据，以保持商业决策的及时、正确性。Platinum technology的数据仓库解决方案包括数据抽取和提炼、数据分布、元数据管理、数据存取和分析(OLAP、EIS、报表)、保险、销售和营销决策支持等几个方面。它提供的数据仓库工具包括异构数据库之间数据双向复制的应用系统开发工具Inforump和功能强大灵活的关系型OLAP工具InfoBeacon等；提供的数据仓库前端业务智能解决方案工具包括使用户能够快速建立和使用的图形化企业信息系统应用的基于Windows的查询和报表工具Forest & Tress，可以利用多个大型数据库在桌面机或服务器上生成报表的企业级报表的工具InfoReports，使用户在服务器上生成在用户端制作的企业报表的工具InfoReports Server。这些工具使用户不需编程即可查询关系数据库、数据仓库或数据文件的数据，具有很强的实用性。
lanying 2001-11-26
- 打赏
- 举报
关注
fkeifk2001 2001-11-26
- 打赏
- 举报
不知道我也正在学习中...
