有没有解决存储大数据量的好办法

wangyc 2002-03-25 08:42:47

目前我要用notes做个文档管理系统，需存储大量的电子文档，正在写方案，不知大伙儿有没什么好的解决办法？

...全文

49 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

leezhou 2002-03-27

打赏
举报

回复

domino .DOC

luckyzgj 2002-03-27

打赏
举报

回复

我是这么做的！

luckyzgj 2002-03-27

打赏
举报

回复

建多个库文件来解决！

wangyc 2002-03-27

打赏
举报

回复

这里看来没高手了

wangyc 2002-03-27

打赏
举报

回复

建多个库具体是怎么做的，有哪些地方要注意？
方便查询吗？

wangyc 2002-03-26

打赏
举报

回复

斑竹，帮帮我，
高手，帮帮我？？？！！！

课程简介随着互联网的发展，软件的规模在逐渐变大，用关系型数据库如何存储和处理大规模的业务数据成为企业面临的挑战，关系型数据库作为OLTP（联机事务处理过程）系统的首选毋庸置疑，但是关系型数据面对大规模数据的处理有其先天的不足，比如单表存储上千万数据时便会出现不同程度的处理速度缓慢问题，如何解决？分库分表技术就是为了解决由于数据量过大而导致数据库性能降低的问题，将原来独立的数据库拆分成若干数据库组成，将数据大表拆分成若干数据表组成，使得单一数据库、单一数据表的数据量变小，从而达到提升数据库性能的目的。本课程将系统的讲解分库分表技术。课程价值分库分表技术是为解决关系型数据库存储和处理大规模数据的问题，主要应用于OLTP系统，它与应用于OLAP（联机分析处理）的大数据技术有不同的应用场景，本课程本着从解决生产实际问题出发，讲授分库分表技术的解决方案，包括：垂直分库、垂直分表、水平分库、水平分表、读写分离，涵盖了分库分表的各种方案，并且深入讲解Sharding-JDBC框架的原理及使用方法，通过学习本课程可以快速应用到生产实践中。课程优势本课程不仅讲解多种有效的分库分表的解决方案，还深入讲解了Sharding-JDBC框架的原理和使用方法，Sharding-JDBC是一套轻量级的对代码零侵入的框架，在生产中有广泛的使用。本课程从思想原理、技术框架、案例实操三个方面去学习，可以快速的将分库分表技术应用到生产实践中，解决大数据存储与处理的问题。

利用MySQL数据库如何解决大数据量存储问题？各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，Value，DataTime）。基本上每张表每天可以增加几千万条数据，我想问如何存储数据才能不影响检索速度呢？需不需要换oracle数据

在开发过程中，有时可能会遇到这种情况，当主线程中开启了N个子线程，而每个子线程中运算分析结果的数据量特别的大，如果对于这样的大批量数据在子线程中进行入库，那么会造成大量的连接资源浪费，同时会造成数据库阻塞影响程序执行效率。这时候解决方案有两个：将子线程中的数据统一用主线程接收，在主线程中进行入库操作。但是这种方案争对执行完成后，数据量较小的情况，不会造成内存溢出的情况下，如果在数据量非常庞大...

在Redis中存储大量数据时，可以考虑采用压缩存储的方式，从而节省内存空间。其中，LZF是Redis默认的压缩算法，该算法在压缩和解压速度上都表现出色，适合大规模的数据存储。我们可以使用Redis Cluster来存储大规模数据，并且可以在各个节点之间进行数据共享和负载均衡。Redis提供了强大的数据类型和操作，可以方便地进行数据分析和计算。例如，我们可以使用Redis的有序集合数据类型，来存储和排序大规模的数据集。总的来说，Redis提供了许多高效的方式来处理大规模数据，这里只是介绍了部分常用的方法。

使用SQLSERVER 文件组解决大数据量数据存储，提供IO性能；有详细步骤，简单易懂。

535

社区成员

39,101

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章