大量数据采集及存储问题

wcwclwx 2006-05-29 09:33:09

现在大约每秒钟采集1000条数据，需要保存在数据库中，请问该如何存储，需要压缩吗？

...全文

147 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

todouwang 2006-05-30

打赏
举报

回复

1000条每秒/一般的数据库服务器都能完成

lee576 2006-05-29

打赏
举报

回复

需要很大的内存来暂时存放，这样速度才不会过慢

wudi_1982 2006-05-29

打赏
举报

回复

如果没必要全部保存，就绕开他。。如果一定要保存，就先放到内存中，等一个特定时间段，把数据一起导入数据库或者写入文件，让数据库记录此文件位置。

Rubi 2006-05-29

打赏
举报

回复

....这么多数据阿,晕,你怎么压缩阿!
不知道你数据要保留多长时间,你服务器的硬件配置如何,你并发的访问情况如何,你服务器数据库的使用情况如何?

这篇文章将讨论如何有效地存储和管理大量数据，以便在需要时能够快速访问和分析。 数据采集是大数据时代的基石，它涉及到的技术和方法有很多。数据采集的目的是收集来自不同来源的数据，并将其存储在数据仓库中以便...

首先讲解了数据采集的概念、流程和方法，还介绍了数据存储的重要性和不同类型的数据存储方式，并以实际案例演示了如何将采集到的数据存储为CSV文件。1.确定价值数据模型的目标：确定价值数据模型的目标，即需要分析...

01什么是数据采集数据采集是大数据的基石，不论是现在的互联网公司，物联网公司或者传统的IT公司，每个业务流程环节都会产生大量的数据，同时用户操作的日志也会产生大量的数据，为了将这些结构化和非结...

西安慕雷电子在超高速数据采集记录存储回放系统研发及应用领域拥有十多年经验，2013年底发布了5GSPS 10bit超高速数据采集记录存储回放系统MR-SYS-5G，采集存储带宽高达6000MB/S。超高速数据采集记录存储回放系统MR-...

随着科技的不断发展，数据采集系统也在逐渐升级，越来越多的应用场景需要对大量数据进行高速稳定地采集。下一步，我们需要进行FPGA芯片的配置，使用Xilinx公司的 iMPACT 下载工具进行配置，可以使用JTAG调试接口进行...

数据库相关

2,497

社区成员

88,445

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章