社区
数据仓库
帖子详情
单位要建设数据仓库,给点硬件建议
shawls
2007-12-20 02:44:37
现在我们的生产库大致如此:
两个小机做rac。数据是4t,三年增长后达到6t左右,最多7t
数据存储是从97年开始的全部基本数据和01年以来的全部基本+变动数据
硬件是16路的p5机器,1:3配内存,san存储
应用也是小机做,两台,用户是3000,并发用户是1000
准备明年年底前做搭建数据仓库,我对这个不太了解
我想请教一下,这样的生产系统做数据仓库硬件配置上和生产库需要有什么不同
...全文
385
6
打赏
收藏
单位要建设数据仓库,给点硬件建议
现在我们的生产库大致如此: 两个小机做rac。数据是4t,三年增长后达到6t左右,最多7t 数据存储是从97年开始的全部基本数据和01年以来的全部基本+变动数据 硬件是16路的p5机器,1:3配内存,san存储 应用也是小机做,两台,用户是3000,并发用户是1000 准备明年年底前做搭建数据仓库,我对这个不太了解 我想请教一下,这样的生产系统做数据仓库硬件配置上和生产库需要有什么不同
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
rouqu
2007-12-25
打赏
举报
回复
关注
shawls
2007-12-24
打赏
举报
回复
留个联系方式罗,晚上详细说:
shawls@163.com
msn:shawls@msn.com基本不上
还是发163的邮件比较号
shawls
2007-12-24
打赏
举报
回复
是明年下半年启动,年底招标,有差不多半年时间来分析,评估
zhongxh
2007-12-23
打赏
举报
回复
那么比较合适的就是看3-5年内在线数据保存的需求了。 单就报表而言,如果历史报表采用指标库的方式保存下来,可以将每年的指标数据保存到数据仓库中。 数据挖掘,从您目前这个局面来看,时机不知道是否算成熟?
用户量不小,查询场景不知道是什么样子? 如果只是简单查询,用户量就不是什么重要指标了。
我认为当前项目的关键在于要搞清楚我们打算进什么数据,怎么进,怎么样确保将来业务需求变化时,历史数据能够重新进入数据仓库。
我不理解的是,为何年底招标,明年下半年才启动? 为何不能把事情搞清楚后再招标,然后直接启动?这样可以减小投资风险。
shawls
2007-12-23
打赏
举报
回复
整个工程的建设启动在明年下半年
我现在主要是想要自己有个底,以后好操作,招标也是年底前完成
1、历史数据:
现在主要问题是生产库中的数据不够完整,我们的数据是从世纪初期的客户资料等为基础的,但是那些东西基本没有进入数据库,数据库中大多是80年代开始数据清理开始羁留,90年代中期信息化以来,进入数据库的,所以,历史数据这个概念,应该说,就是90年代入库的全部资料。这些资料可能从上世纪初期提取,也可能是入库时提取的。(目前4t数据已经基本包含全部历史数据了)
至于历史数据的保存,我们希望是一个永久的保存,时间阶段应该在60年~120年左右,不少于60y,不高于120y
2、历史数据的访问频度:
应该说是1年内最频繁,10年次之,然后30年是一个阶段,
3、目前主要是做数据报表(也就是处理10年内数据),下阶段做挖掘和即夕查询(主要为其他平行部门做支持)
4、使用数据仓库,人数实际上应该在1000~6000左右(目前估算)
最近1~2年是在2000以内,随后我们会全面开放,届时会到达6000,不过不会超过1w
zhongxh
2007-12-22
打赏
举报
回复
需要看你这个数据仓库建设的目标来决定。
1、需要保存多少历史数据?
2、不同时期的历史数据访问的频度如何?
3、是以Ad-Hoc查询为主,还是做报表,或者做挖掘?
4、使用数据仓库的人有多少?都是什么类别?
看起来你们也是一个很重要的单位,建议采取公开招标,来获取更多的信息,先让自己对将来的目标非常清楚,然后再来选择投资。
建设
数据仓库
步骤
建立
数据仓库
是一个解决企业问题的过程,业务人员往往不懂如何建立和使用
数据仓库
,发挥其决策支持的作用;信息部门的人员往往又不懂业务,不知道应该建立哪些决策主题,从数据源中抽取哪些数据。因此
数据仓库
的项目小组应该由业务人员和信息部门的人员共同组成,双方需要相互沟通,协作开发
数据仓库
。 开发
数据仓库
的过程包括以下几个步骤: 1.系统分析,确定主题 建立
数据仓库
的第一个步骤就是通过与业务部门的充分交流,了解建立
数据仓库
所要解决的问题的真正含义,确定各个主题下的查询分析要求。 ...
数据仓库
的
建设
——从数据到知识的桥梁
数据仓库
的
建设
——从数据到知识的桥梁
近10年
数据仓库
演进之路,以及数据库学习
建议
数据仓库
是面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。 从数据角度,
数据仓库
更适合传统的数据库,离线采集,数据一般为结构化的,每天处理数据量不易超过TB集,
数据仓库
一般在数十T到几百T以内,
数据仓库
一般为满足内生的应用,满足内部决策支持分析需求。缺
点
就是海量数据存储计算存在瓶颈,无法支撑非结构化数据、实时数据计算;
硬件
设备成本也过高。
数据仓库
的架构 从整体上来看,
数据仓库
体系架构可分为:数据采集层、数据计算层、数据服务层和数据应用层 数据采集层 数据
【大数据】
数据仓库
的定义、数据模型及其
建设
与设计
数据仓库
是支持管理决策的集成化、主题化的数据集合,它通过ETL过程从事务型数据库中抽取、清洗和转换数据。其体系结构包括数据源、存储与管理、OLAP服务器和前端工具。数据模型分为概念、逻辑和物理模型,涉及高层、中间层和底层建模。设计过程包括概念模型、逻辑模型和物理模型设计,重
点
在于确定主题域、粒度、数据分割策略和关系模式定义,以及软
硬件
配置和数据抽取、转换、加载策略。
大型集团企业数据资源管理平台(
数据仓库
)
建设
方案WORD
数据源是存放最终用户报表所需各类信息的源头,是操作型与交易处理型业务应用系统(如燃料管控系统、人力资源系统、财务系统等)内收集和存放的数据集合。
数据仓库
一般是从满足报表与分析需求的单独数据源头或者多个数据源开始,在整个
数据仓库
生命周期内逐渐扩展,并且逐步按照需要纳入更多数据源与外部系统的数据。随着物联网、移动互联网的发展及应用,手机、智能终端、网上商城、社交网络、电子通讯、卫星定位,任何操作都附带产生大量的各种类型的数据。数据成为社会生活中举足轻重的生产要素,数据在当今数字化社会中的发挥的作用日益关键。
数据仓库
7,393
社区成员
6,740
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章