大数据量访问如何设计

lvxianda 2008-05-14 04:03:23

使用oracle 9 数据库
程序主要目的是绘图
例如采集人体的血压和心跳 2项数据
每3秒接受到1次数据一天一种数据会产生28800条数据
用户可以查询1年内的数据
相当于28800×365条数据
用户数量会答到一万人以上
数据库的总存储量至少为1000亿数据
想问下如何处理？
现在数据少绘图的时候用的是GDI+ 个人感觉很不成熟
而且隐患很大
可以结合数据仓库技术
绘图方式除了flash不知道还有什么好方法没有
本人 qq34270727
邮箱 lxd-oberon@163.com
小弟刚刚参加工作
请高人指点一下好吗
谢谢

...全文

129 13 打赏收藏转发到动态举报

写回复

13 条回复

切换为时间正序

请发表友善的回复…

发表回复

lvxianda 2008-05-16

打赏
举报

回复

上班了～
接着顶

lvxianda 2008-05-16

打赏
举报

回复

是的
时间段是随用户需求
随便选的

greenery 2008-05-16

打赏
举报

回复

我顶,你客户一定要实时统计吗?对于海量数据,我们一般都是先统计好，再让客户查询统计结果的

badtank 2008-05-15

打赏
举报

回复

支持asp.net的图表控件有很多，例如 dundas webchart,owc,etc.

lvxianda 2008-05-15

打赏
举报

回复

什么图形控件呢
使用的是asp.net

lvxianda 2008-05-15

打赏
举报

回复

下班了再顶下

lvxianda 2008-05-15

打赏
举报

回复

一开始我准备用数据仓库的
把数据按类型，时间，用户划分成一个3个维度的数组
然后把每一块都物化成一个数据图
但是我们要求是用户时间上可以随便选，那样物化的数据太多了而且很多都是没用的
不物化的话速度上肯定不行
而且GDI生成的图是张图片无法进行其他操作而我们要求的还要相应一些单击事件

我是这么想的
但是如果用户可以随意查询的话每天0点定时生成的报表作用就不大了

greenery 2008-05-15

打赏
举报

回复

你需要进行数据库优化,可以通过数据横向/纵向切割,减少数据量(1000亿这太多了),表添加适当的索引,加快查询速度。
做统计分析时,可用作业,每天晚上0点定时生成统计报表,不要每次实时统计,会影响其他业务进行的。

lvxianda 2008-05-15

打赏
举报

回复

商用级的数据挖掘分析工具
能具体点说下是什么吗？

vrhero 2008-05-15

打赏
举报

回复

鉴于你刚刚参加工作以及在这个地方问这种问题...

应该建议你的leader采用商用级的数据挖掘分析工具来生成图表...

lvxianda 2008-05-15

打赏
举报

回复

dundas webchart
我也用了
遇到一个问题
x轴上有很多数据依依都显示会很密密麻麻的
怎么样能只显示几点呢？
例如 x轴为 0-10000的数
我只想显示 0，1000，2000，3000。。。10000
能实现吗？

badtank 2008-05-14

打赏
举报

回复

使用图表控件展现
数据量大可以适当采用分表存储，例如按天或按地区。

lvxianda 2008-05-14

打赏
举报

回复

还有一个问题忘说了就是鼠标放在曲线图上还要能显示相关信息 GDI+好像做不到的请高手指点下

课程简介：本项目课程是一门极具综合性和完整性的大型项目课程；课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理（元数据管理、数据质量管理）、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块，力求原汁原味重现一个完备的企业级大型数据运营系统。拒绝demo，拒绝宏观抽象，拒绝只讲不练，本课程高度揉和理论与实战，并兼顾各层次的学员，真正从0开始，循序渐进，每一个步骤每一个环节，都会带领学员从需求分析开始，到逻辑设计，最后落实到每一行代码，所有流程都采用企业级解决方案，并手把手带领学员一一实现，拒绝复制粘贴，拒绝demo化的实现。并且会穿插大量的原创图解，来帮助学员理解复杂逻辑，掌握关键流程，熟悉核心架构。跟随项目课程，历经接近100+小时的时间，从需求分析开始，到数据埋点采集，到预处理程序代码编写，到数仓体系搭建......逐渐展开整个项目的宏大视图，构建起整个项目的摩天大厦。由于本课程不光讲解项目的实现，还会在实现过程中反复揉和各种技术细节，各种设计思想，各种最佳实践思维，学完本项目并勤于实践的话，学员的收获将远远超越一个项目的具体实现，更能对大型数据系统开发产生深刻体悟，对很多技术的应用将感觉豁然开朗，并带来融会贯通能力的巨大飞跃。当然，最直接的收获是，学完本课程，你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER课程模块： 1. 数据采集：涉及到埋点日志flume采集系统，sqoop业务数据抽取系统等； 2. 数据预处理：涉及到各类字典数据构建，复杂结构数据清洗解析，数据集成，数据修正，以及多渠道数据的用户身份标识打通：ID-MAPPING等；3. 数据仓库：涉及到hive数仓基础设施搭建，数仓分层体系设计，数仓分析主题设计，多维分析实现，ETL任务脚本开发，ETL任务调度，数据生命周期管理等；4. 数据治理：涉及数据资产查询管理，数据质量监控管理，atlas元数据管理系统，atlas数据血缘管理等；5. 用户画像系统：涉及画像标签体系设计，标签体系层级关系设计，各类标签计算实现，兴趣类标签的衰减合并，模型标签的机器学习算法应用及特征提取、模型训练等；6. OLAP即席分析平台：涉及OLAP平台的整体架构设计，技术选型，底层存储实现，Presto查询引擎搭建，数据服务接口开发等；7. 数据服务：涉及数据服务的整体设计理念，架构搭建，各类数据访问需求的restapi开发等；课程所涉及的技术：整个项目课程中，将涉及到一个大型数据系统中所用到的几乎所有主要技术，具体来说，包含但不限于如下技术组件：l Hadoopl Hivel HBasel SparkCore /SparkSQL/ Spark GRAPHX / Spark Mllibl Sqoopl Azkabanl Flumel lasal Kafkal Zookeeperl Solrl Prestop

转载请注明来源：Mysql大数据量存储及访问的设计讨论一、引言　　随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来提高网站性能，横向扩展数据层已经成为架构研发人员首选的方式。水平切分数据库，可以降低单台机器的负载，同时最大限度的降低了了

数据访问层的设计引言数据源的不确定性，以及数据结构的不统一，为客户提供统一的数据访问层成为必要，然而数据库的不确定性给访问层的开发带来了极大的麻烦。根据这种情况，在本次的设计中，暂提出以下的两种解决方案1：采用了WebService的方式，让客户与系统实现实时的交互请求，根据请求返回相应的查询结果（我们暂称之为：链式交互的数据访问）2：采用中介Web数据信息访问方式

1 何时需要优化 1.1 单表数据量大，访问最后几页的时候特别慢比如我们单表的数据有1000w以上，此时当偏移量offset比较大的时候，普通查询会导致查询效率从前几页的几十毫秒，增加到十几秒甚至更高 1.2 非正常访问其实绝大部分情况下没有多少用户真的翻页到最后几页，大致的情况为前端分页组件有跳转到最后几页的链接，或者是被别人恶意请求数据，比如爬虫爬取数据。 2 问题出现在mysql的limit机制分页操作通常会使用 limit 加上偏移量的办法实现，同时再加上合适的 order by 子句。但这会

如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施之前，完备的数据库模型的设计是必须的。在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性能在降低，这时再来考虑提高系统性能则要花费更多的人力

分析与设计

13,190

社区成员

5,759

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章