数据仓库能否合并到Hbase中去?

gangpao 2013-07-16 11:01:11
传统数据仓库用关系型数据库存储结构化数据
非结构化/半结构化数据现在用Hadoop平台的Hbase数据库存储
现在有个想法,数据仓库存储的关系型数据能否存储到分布式Hbase中去?
一来是复用硬件集群,节省硬件采购;二是减少维护成本,只需要维护一套数据库。
但肯定有很多其它困难是我现在无法知道的:
1、传统BI工具与数据仓库的连接方式是否会受到影响?
2、建立在Hadoop上的OLAP查询的效率是否会比不上以前从数据仓库上的查询?
3、数据仓库的常用的分析函数,在这种合并之后,是否还能用在Hadoop平台上,或者改造的工作量会如何?
4、数据仓库的ETL是否容易能否完全被MapReduce取代?
初入大数据的新手,技术储备有限,请各位有经验的朋友指点迷津,以免我陷入雷阵。
谢谢!
...全文
130 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
通过大数据技术平台产品和技术服务,开展大数据平台建设。逐步实现由SAP BW单一数据分析环境,向以分布式数据库为支撑的大数据平台数据架构演进。主要方案内容包括: (一)大数据分析平台: 数据采集:  支持从SAP相关系统CCS、OIL、CRM等系统采用增量、数据变更触发、自动调度等方式采集数据。  支持从EAS、预算合并等定制系统的关系数据库中采集数据。  支持从文档工作流等非结构化或半结构化数据库中采集数据。  支持数据采集写入到HDFS、HBase、Hive等大数据库中。  支持准实时数据的采集和处理。 数据存储处理:  支持原来BW数据仓库的数据逐层转换处理。  支持Hadoop大数据库中进行分布式海量数据的并行处理。  支持流式数据处理。 数据分析工具:  大数据平台提供面向数据分析师的若干工具,包括数据加工台,数据产品开发工具、数据可视化工具以及数据服务 REST API等。 (二)大数据展示平台: ..... (三)大数据管理平台: ..... 目录结构: 1 项目背景 3 2 需求理解 4 3 项目目标 5 3.1 建立健全的数据管理体系 5 3.2 为未来的大数据平台建设提供基础保障 6 3.3 提升对现有业务系统及数据平台的管理水平 7 3.4 帮助XXX能源建立自己的数据管理能力 7 3.5 建立云端大数据平台支撑业务创新和管理变革 7 4 项目范围 8 4.1 云数据平台架构规划设计 8 4.2 数据管理体系咨询与设计 8 4.3 云数据平台建设与实施 8 4.4 数据分析展示应用设计开发 9 5 总体方案概述 10 5.1 总体方案架构 10 5.2 总体方案说明 10 6 技术方案 12 6.1 技术方案 12 6.2 产品配置清单 50 6.3 产品功能清单 51 6.4 平台部署架构 138 7 实施方案 139 7.1 项目要求 139 7.2 项目管理及质量控制 140 7.3 交付成果及形式要求 148 8 售后与技术支持 149 8.1 服务水平协议 149 8.2 服务期限 150 9 技术方案偏离表 153

20,810

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧