对于庞大的数据库,如何对历史数据进行数据存档?

.NET技术 > VB.NET [问题点数:20分,结帖人andywongz]
等级
本版专家分:1388
结帖率 92.59%
等级
本版专家分:12464
等级
本版专家分:21175
等级
本版专家分:138
等级
本版专家分:1388
老龙友

等级:

数据库存储大数据量(千万条记录级别)数据的考虑要点

 将数据库分区可提高其性能并易于维护。通过将一个大表拆分成更小的单个表,只访问一小部分数据的查询可以执行得更快,因为需要扫描的数据较少。而且可以更快地执行维护任务(如重建索引或备份表)。  实现分区...

数据库历史信息保存设计

历史数据对未来建模,数据分析都有不可估量的价值,一个好的系统,必然是需要历史信息进行保存的。 2.利用生命周期来存储历史数据。如果一张表的数据不经常改动,数据量比较小,比如存储参数信息的表。那么可以...

数据库表设计系列:历史数据问题之单、多记录变更

在各种应用软件中,客户总是希望看到自己操作关键业务的历史数据(更或者是将来的历史数据,如本年计划明年的商品价格),并且要跟踪变化来源于哪一个版本。历史记录,如果我们按某次修改时,需要新增的记录条件的...

SQL Server 大数据管理——数据归档(主文件备份)

数据库几百GB,甚至TB级别数据库历史数据偶尔会用到,不能直接删除,就需要定期归档历史数据。以往在归档历史数据方案: 方案1:做全备保存归档数据,删除线上库归档数据 方案2:创建一个新库,将归档数据导入到...

ORACLE 历史数据管理策略--数据清理

由于性能数据每天导入量,数据库表空间每天增长很快,且不需要太长的保存周期,为避免爆表,因此需要定制定期清理计划。数据的清理可以有多种方案,根据场景的不同可以分为离线,在线。后续又在可以细分。这里仅考虑...

数据库增长到一定程度后的瘦身,优化问题

经过几年的运行升级,我们的数据库系统会变的越来越大,占用的磁盘空间也是越来越多,数据库的表记录每月都在不断的增加,系统的响应速度也是不断的...清理历史数据,并将历史数据单独存档。 2.清理日志文件,...

内存数据库的基本原理与内存数据库的应用

对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时,内存数据库抛弃了磁盘数据管理的传统方式,基于全部数据都在内存中重新设计了体系结构

数据仓库与传统关系型数据库的差别

传统的关系型数据库RDB遵循一致的关系型模型,其中的数据(记录)以表格的方式存储,并且能用统一的结构化查询语言(Structual Query Language,SQL)进行数据查询,因此它的应用常被称为联机交易处理(OLTP),其...

ArcGIS 空间数据库学习(七) 地理数据库的类型

注:本文参考ArcMap官方文档整理而成地理数据库是用于保存数据集集合的“容器”。有以下三种类型:文件地理数据库 - 在文件系统中以文件夹形式存储。每个数据集都以文件形式保存,该文件大小最多可扩展至 1 TB。建议...

组态王数据库_读_写_查询

密码1 简单的组态读取数写数据库的小案例啊啊啊啊啊啊

OpenStreetMap(OSM)历史数据下载

首先的一个疑问,OSM上有历史数据吗?有的话,去那里下载? 方法一 官方网址https://planet.openstreetmap.org/planet/full-history/ 官方的方法不推荐 需要注意的事,你一次就将会把全球的历史存档数据下载下来...

ArcGIS 10——地理数据库管理GIS数据

写本文的最初意向是当前正在进行的项目中有实现ESRI版本化数据管理的功能模块,碰到一些棘手的问题,几经周折还是决定系统学习ArcGIS10的帮助文档。(文章摘抄的比较多) 地理数据库是用于保存数据集集合的“容器...

RDS for MySQL 通过分区归档历史数据

RDS for MySQL 通过分区归档历史数据 原始表 分区 用于分区维护的存储过程 每月调用存储过程的事件 随着数据的积累,数据量的增加,越来越多的表体积变的庞大,不但影响查询的执行时间,而且使得管理...

常用数据库的特点、应用场景信息整理

关系型数据库  关系数据库,是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。...标准数据查询语言SQL就是一种基于关系数据库的语言,这种语言执行关系数据库数据

组态王如何将报警记录存储到sql数据库

组态王如何将报警记录存储到sql数据库

实时历史数据库Proficy Historian

它可提供关键的优势,包括内置的数据采集功能、更快的速度、更高的数据压缩率、稳定地冗余、强化的数据安全和更快速的价值实现时间。结果,您可以利用增强的可视性做出更快和更好的决策、提高生产率并降低获得可持续...

ArcGIS Geadatabase地理数据库的类型

摘要:ArcGIS 地理数据库是用于保存数据集集合的“容器”。有以下三种类型:文件地理数据库 - 在文件系统中以文件夹形式存储。每个数据集都以文件形式保存,该文件大小最多可扩展至 1 TB。建议使用文件地理数据库而...

gitlab数据库_GitLab中的数据库恢复–实现数据库容灾和高可用性

gitlab数据库 摘要:如何在GitLab中还原意外删除的数据库? 我们如何实现数据库备份,恢复,容灾和高可用性? 如果您从事数据库行业,那么您最近可能会更担心这些问题。 去年年底,包括炉石数据丢失和MongoDB黑客...

数据库

1. 云数据库概述 1.1. 云计算是云数据库兴起的基础 1.2. 云数据库概念 云数据库是部署和虚拟化在云计算环境中的数据库。云数据库是在云计算的大背景下发展起来的一种新兴的共享基础架构的方法,它极大地增强了...

内存数据库

同时,内存数据库抛弃了磁盘数据管理的传统方式,基于全部数据都在内存中重新设计了体系结构,并且在数据缓存、快速算法、并行操作方面也进行了相应的改进,所以数据处理速度比传统数据库数据处理速度要快很多,...

数据仓库架构设计的一点概念

1、数据仓库所处环节 在一个成体系、结构化的数据应用场景下,数据和处理有四个层次: 操作层、数据仓库层、部门/数据集市...(2) 数据仓库收集操作层各个业务系统中的数据进行统一格式、统一计量单位,规整有序地...

多协议数据采集网关结合TDEngine时序数据库

多协议数据采集网关结合TDEngine时序数据库在车辆环境监测中的应用 一、项目背景 随着经济发展,国家环境越来越重视,为贯彻《中华人民共和国大气污染防治法》,落实《汽油车污染物排放限值及测量方法(双怠速法及...

数据库容灾技术之--数据容灾技术比较

数据库容灾技术之--数据容灾技术比较 一、概述 近几年来,容灾已经成为信息数据中心建设的热门课题。很多容灾技术也快速发展起来,用户来说也有很广阔的选择余地。但由于容灾方案的技术复杂性和多样性,一般...

导出mongodb数据库中的数据,并存成json文件形式或csv文件形式

数据库名和collections名: 命令格式: mongoexport -d 数据库名 -c collections的名字 -o filename.json/filename.csv -f field 参数说明: 1. -d 数据库名(database) 2. -c collections名 3. -o 要存入的...

相关热词 c#读取da文件 c#字符串拼接安全 c# 串口数据发送 c# 调硬件 计算器的累加c#代码 c#打开bmp文件 c#关闭线程以及子线程 c#界面加载事闪烁 c# xml 特性 c# 获取文件名