数据量很大的情况下,大家都用什么来存储的?

xiaoyulier 2012-12-30 04:23:35
在画好的曲线图形里,做了两条游标线,当游标移动的时候,图形里的线条对应游标的坐标点显示出来。我处理的是用记录型数组来存储超级大的数据量,当游标移动到那个坐标点时,对应数组里的数据显示出来。这样做数组好大哟,很占用内存。
大家都有什么好方法吗?给点源码最好,谢谢各位了!
...全文
1475 14 打赏 收藏 转发到动态 举报
写回复
用AI写文章
14 条回复
切换为时间正序
请发表友善的回复…
发表回复
ddlucky 2013-02-16
  • 打赏
  • 举报
回复
引用 9 楼 lilyclose 的回复:
引用 8 楼 ddlucky 的回复:这个倒是有偷懒的办法…… ……是这样,以前有过一个这种需求,根据一些连续的取值点画出曲线来 偷懒的方法:既然是位图,又不放大,那么像点的位置和比例尺你是知道的 那么,咱们就算吧……你点哪咱就算哪…… 我想知道,点哪算哪的时候,数据从哪里来?从硬盘及时调用吗?调用的时候又要占用存储空间的。
做出位图之后,就直接通过鼠标的位置来计算值。
xiaoyulier 2013-01-09
  • 打赏
  • 举报
回复
还是采用原来的方法,结构体数组进行。
xiaoyulier 2013-01-09
  • 打赏
  • 举报
回复
谢谢各位,特别是ddlucky ,用你的方法,解决了根本问题。
simonhehe 2013-01-07
  • 打赏
  • 举报
回复
引用 9 楼 lilyclose 的回复:
引用 8 楼 ddlucky 的回复:这个倒是有偷懒的办法…… ……是这样,以前有过一个这种需求,根据一些连续的取值点画出曲线来 偷懒的方法:既然是位图,又不放大,那么像点的位置和比例尺你是知道的 那么,咱们就算吧……你点哪咱就算哪…… 我想知道,点哪算哪的时候,数据从哪里来?从硬盘及时调用吗?调用的时候又要占用存储空间的。
可以及时取, 这个花费不了多少时间
xiaoyulier 2013-01-07
  • 打赏
  • 举报
回复
引用 2 楼 liangqingzhi 的回复:
最简单也最稳定的就是用数组啦,使用的时候计算一下数组占用的最大内存空间,单进程不能超过3G。结构体可以用packed关键字压缩一下,适当时候还要设置一下堆栈大小。
版主,谢谢了。 如果你来做这个操作,你怎么操作? “适当时候还要设置一下堆栈大小”是什么意思呢?在delphi里怎么操作?
xiaoyulier 2013-01-07
  • 打赏
  • 举报
回复
引用 8 楼 ddlucky 的回复:
这个倒是有偷懒的办法…… ……是这样,以前有过一个这种需求,根据一些连续的取值点画出曲线来 偷懒的方法:既然是位图,又不放大,那么像点的位置和比例尺你是知道的 那么,咱们就算吧……你点哪咱就算哪……
我想知道,点哪算哪的时候,数据从哪里来?从硬盘及时调用吗?调用的时候又要占用存储空间的。
ZyxIp 2013-01-03
  • 打赏
  • 举报
回复
设计两个结构体,一个只用来显示,有ID号和X,Y轴的值就可了. 显示到那一个时在查找对应的详细数据. 如果显示的速度很快,就不用全部顺序查询,只显示用户最后能看到的那一个就行.
ZyxIp 2013-01-03
  • 打赏
  • 举报
回复
只加载能看到的部分,你一个像素点一个数据,最多也就三,五千个数据加载也就可以了. 后台一个线程根据当前显示的情况来查找对应的范围.
ddlucky 2013-01-03
  • 打赏
  • 举报
回复
这个倒是有偷懒的办法…… ……是这样,以前有过一个这种需求,根据一些连续的取值点画出曲线来 偷懒的方法:既然是位图,又不放大,那么像点的位置和比例尺你是知道的 那么,咱们就算吧……你点哪咱就算哪……
hsfzxjy 2013-01-02
  • 打赏
  • 举报
回复
不用记住每个点吧。。用矢量图会小很多
老之 2012-12-31
  • 打赏
  • 举报
回复
最简单也最稳定的就是用数组啦,使用的时候计算一下数组占用的最大内存空间,单进程不能超过3G。结构体可以用packed关键字压缩一下,适当时候还要设置一下堆栈大小。
taixinltd 2012-12-31
  • 打赏
  • 举报
回复
数据存到内存,速度会快一点
simonhehe 2012-12-31
  • 打赏
  • 举报
回复
当游标移动到那个坐标点时,对应数组里的数据显示出来 ------------------------------------------------- 精简数组内容,第一批次显示的数据放在数组中, 其他批次的数据可以即时加载。 如果是客户的电脑, 内存占用大了会带来很多麻烦
fox600123 2012-12-30
  • 打赏
  • 举报
回复
楼主的办法也是好办法,只要把记录尽量精简就可以了。以现在的硬件,内存应该不是问题吧。
什么是数据仓库呢?数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个信息源的大量数据,借助数据仓库的分析能力,企业可从数据中获得宝贵的信息进而改进决策。同时,随着时间的推移,数据仓库中积累的大量历史数据对于数据科学家和业务分析师也是十分宝贵的。 数据仓库建模的意义是什么呢?如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措。数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后,数据才能得到高性能、低成本、高效率、高质量的使用。 数据仓库建模的最终目的是什么呢?高性能:良好的数据模型能够帮助我们快速查询所需要的数据。低成本:良好的数据模型能减少重复计算,实现计算结果的复用,降低计算成本。高效率:良好的数据模型能极大的改善用户使用数据的体验,提高使用数据的效率。高质量:良好的数据模型能改善数据统计口径的混乱,减少计算错误的可能性。 本课程将基于理论和实践讲解数据仓库,包含基础知识:数据仓库建模方法论、数据仓库分层模型、数据仓库构建流程、事实表、维度表、指标体系、拉链表、维度模型等 ,基于真实电商业务作为实战,讲解电商数仓的整个构建过程,让大家在实战中理解和掌握数仓的理论知识。
课程简介:  本项目课程是一门极具综合性和完整性的大型项目课程;课程项目的业务背景源自各类互联网公司对海量用户浏览行为数据和业务数据分析的需求及企业数据管理、数据运营需求。 本课程项目涵盖数据采集与预处理、数据仓库体系建设、用户画像系统建设、数据治理(元数据管理、数据质量管理)、任务调度系统、数据服务层建设、OLAP即席分析系统建设等大量模块,力求原汁原味重现一个完备的企业级大型数据运营系统。  拒绝demo,拒绝宏观抽象,拒绝只讲不练,本课程高度揉和理论与实战,并兼顾各层次的学员,真正从0开始,循序渐进,每一个步骤每一个环节,都会带领学员从需求分析开始,到逻辑设计,最后落实到每一行代码,所有流程都采用企业级解决方案,并手把手带领学员一一实现,拒绝复制粘贴,拒绝demo化的实现。并且会穿插大量的原创图解,来帮助学员理解复杂逻辑,掌握关键流程,熟悉核心架构。   跟随项目课程,历经接近100+小时的时间,从需求分析开始,到数据埋点采集,到预处理程序代码编写,到数仓体系搭建......逐渐展开整个项目的宏大视图,构建起整个项目的摩天大厦。  由于本课程不光讲解项目的实现,还会在实现过程中反复揉和各种技术细节,各种设计思想,各种最佳实践思维,学完本项目并勤于实践的话,学员的收获将远远超越一个项目的具体实现,更能对大型数据系统开发产生深刻体悟,对很多技术的应用将感觉豁然开朗,并带来融会贯通能力的巨大飞跃。当然,最直接的收获是,学完本课程,你将很容易就拿到大数据数仓建设或用户画像建设等岗位的OFFER课程模块: 1. 数据采集:涉及到埋点日志flume采集系统,sqoop业务数据抽取系统等; 2. 数据预处理:涉及到各类字典数据构建,复杂结构数据清洗解析,数据集成,数据修正,以及多渠道数据的用户身份标识打通:ID-MAPPING等;3. 数据仓库:涉及到hive数仓基础设施搭建,数仓分层体系设计,数仓分析主题设计,多维分析实现,ETL任务脚本开发,ETL任务调度,数据生命周期管理等;4. 数据治理:涉及数据资产查询管理,数据质量监控管理,atlas元数据管理系统,atlas数据血缘管理等;5. 用户画像系统:涉及画像标签体系设计,标签体系层级关系设计,各类标签计算实现,兴趣类标签的衰减合并,模型标签的机器学习算法应用及特征提取、模型训练等;6. OLAP即席分析平台:涉及OLAP平台的整体架构设计,技术选型,底层存储实现,Presto查询引擎搭建,数据服务接口开发等;7. 数据服务:涉及数据服务的整体设计理念,架构搭建,各类数据访问需求的restapi开发等;课程所涉及的技术: 整个项目课程中,将涉及到一个大型数据系统中所用到的几乎所有主要技术,具体来说,包含但不限于如下技术组件:l Hadoopl Hivel HBasel SparkCore /SparkSQL/ Spark GRAPHX / Spark Mllibl Sqoopl Azkabanl Flumel lasal Kafkal Zookeeperl Solrl Prestop

5,388

社区成员

发帖
与我相关
我的任务
社区描述
Delphi 开发及应用
社区管理员
  • VCL组件开发及应用社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧