-
等级
本版专家分：51结帖率 100% -
情况是这样的，我们系统，每天都会有很大的数据写入到数据库。这么大的数据量在查询的时候就显的很慢，现在想分成两个库一个静态库一个动态库，静态库保存基础数据，动态库保存生产业务数据。每隔一段时间自动生成一个新的动态库然后数据写入到这个新库，查询的时候系统能够根据日期自动匹配到对应的历史动态库。请问该怎么实现？
展开阅读全文
-
等级
本版专家分：51
-
补充;
动态库以什么样的命名规则命名比较合适？自动生成新库有什么方法？新旧库切换如何自动实现？谢谢大家！
-
等级
本版专家分：214223勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 状元 2014年 总版技术专家分年内排行榜第一
-
- 榜眼 2013年 总版技术专家分年内排行榜第二
-
-
金牌
2014年8月 总版技术专家分月排行榜第一
2014年7月 总版技术专家分月排行榜第一
2014年6月 总版技术专家分月排行榜第一
2014年5月 总版技术专家分月排行榜第一
2014年4月 总版技术专家分月排行榜第一
2014年3月 总版技术专家分月排行榜第一
2014年1月 总版技术专家分月排行榜第一
2013年12月 总版技术专家分月排行榜第一
-
-
如果对业务和数据库结构很清晰，可以开发一套抽取程序，用ssis就可以了。把数据定时从动态抽取到静态库，然后清空动态库的这部分数据，其实就是一个典型的数据仓库抽取功能
-
等级
本版专家分：51
-
想分库就是不能把数据抽取到一个库，那样那个库的数据会越来越大，访问就越来越慢
-
等级
本版专家分：214223勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 状元 2014年 总版技术专家分年内排行榜第一
-
- 榜眼 2013年 总版技术专家分年内排行榜第二
-
-
金牌
2014年8月 总版技术专家分月排行榜第一
2014年7月 总版技术专家分月排行榜第一
2014年6月 总版技术专家分月排行榜第一
2014年5月 总版技术专家分月排行榜第一
2014年4月 总版技术专家分月排行榜第一
2014年3月 总版技术专家分月排行榜第一
2014年1月 总版技术专家分月排行榜第一
2013年12月 总版技术专家分月排行榜第一
-
-
你这个其实就是在制造一个数据仓库，历史库如果只读的话，有大量的方法提高性能，特别是如果使用SQLServer2012，微软给出的测试数据是14.4亿行，查询只需要1秒多一点，用了列存储索引。
-
等级
本版专家分：214223勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 状元 2014年 总版技术专家分年内排行榜第一
-
- 榜眼 2013年 总版技术专家分年内排行榜第二
-
-
金牌
2014年8月 总版技术专家分月排行榜第一
2014年7月 总版技术专家分月排行榜第一
2014年6月 总版技术专家分月排行榜第一
2014年5月 总版技术专家分月排行榜第一
2014年4月 总版技术专家分月排行榜第一
2014年3月 总版技术专家分月排行榜第一
2014年1月 总版技术专家分月排行榜第一
2013年12月 总版技术专家分月排行榜第一
-
-
对于大库，大表且2005以上，可以使用表分区，1年一个分区或者1个月一个分区，这样你的查询也不可能每次都是从头查到尾吧？这样能减少扫描的范围，对于大型系统，通常的操作都是拆成一个只读数据库，往往是历史数据或者静态数据。一个读写数据库，通常是业务数据，然后定期把数据抽到只读数据库。
-
等级
本版专家分：60
-
其实是分表，比较固定的数据按常规方式就可以了，生产数据可以按时间分表存储
-
等级
本版专家分：51
-
可能描述的不是很清楚：
静态库是想作为主库只保存基础数据这个数据不会很大，动态数据存取业务数据，当达到一定数据量时自动生成一个新动态库并切换到新库。程序只连接静态库，查询到业务数据时可根据查询时间范围找到对应的动态库，写入数据也是一样的找到对应的库写入
-
等级
本版专家分：51
-
哈 ！ 大家回复的真快，有没有具体点的方案、实例什么的
-
等级
本版专家分：51
-
数据库使用2005
-
等级
本版专家分：214223勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 状元 2014年 总版技术专家分年内排行榜第一
-
- 榜眼 2013年 总版技术专家分年内排行榜第二
-
-
金牌
2014年8月 总版技术专家分月排行榜第一
2014年7月 总版技术专家分月排行榜第一
2014年6月 总版技术专家分月排行榜第一
2014年5月 总版技术专家分月排行榜第一
2014年4月 总版技术专家分月排行榜第一
2014年3月 总版技术专家分月排行榜第一
2014年1月 总版技术专家分月排行榜第一
2013年12月 总版技术专家分月排行榜第一
-
-
我觉得没必要到了一定程度就分库吧。我以前听过电信的人说他们应对大数据量（你应该听说过电信级的数据量吧）时，都是这样分开库的。还是那句，对于只读数据库，有大量方法可以优化的，所以这个不用太担心。但是我个人认为拆库的必然性比较大
- 利用MySQL数据库如何解决大数据量存储问题？
各位高手您们好，我最近接手公司里一个比较棘手的问题，关于如何利用MySQL存储大数据量的问题，主要是数据库中的两张历史数据表，一张模拟量历史数据和一张开关量历史数据表，这两张表字段设计的很简单（OrderNo，...
- MySQL数据库面试题（2020最新版）
数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式？分别有什么区别？数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别？InnoDB引擎的4...
- mysql数据库中，数据量很大的表，完美解决方案
使用阿里云rds for MySQL数据库（就是MySQL5.6版本），有个用户上网记录表6个月的数据量近2000万，保留最近一年的数据量达到4000万，查询速度极慢，日常卡死。严重影响业务。 问题前提：老系统，当时设计系统的人...
- Mysql 单表适合的最大数据量是多少？如何优化其性能？
Mysql 单表适合的最大数据量是多少？ 我们说 Mysql 单表适合存储的最大数据量，自然不是说能够存储的最大数据量，如果是说能够存储的最大量，那么，如果你使用自增 ID，最大就可以存储 2^32 或 2^64 条记录了，这是...
- 购物车的数据是否应该保存在数据库中？
目前我们使用购物车的存储方式主要有：Session方式，Cookie方式，数据库存储，我们来一一分析优缺点。1.Session（Memcached）方式优点：购物车信息保存在服务端，可以保存1M 信息。缺点：对于大型网站会占有过多的...
- 《数据库原理》— 数据库系统概论第五版习题解析
1．试述数据、数据库、数据库系统、数据库管理系统的概念。答： (l）数据（Data)：描述事物的符号记录称为数据。数据的种类有数字、文字、图形、图像、声音、正文等。数据与其语义是不可分的。解析在现代计算机系统...
- 关于ORACLE大表（数据量）查询缓慢的一种解决方案
项目组处理的一个表数据量在5亿+，在上周来查询速度变得极其缓慢，在一个app应用页面遇到这样的问题应该是严重影响用户体验的，所以在发布的时候（服务器停机维护），我们需要对这个表做一次优化。 啰嗦一下哈，表名...
- phalapi-进阶篇6(解决大量数据存储数据库分表分库拓展)
phalapi-进阶篇6(解决大量数据存储数据库分表分库拓展)前言时隔半个月随着PHP7的推出为PHP打了一瓶兴奋剂,在性能提升了一倍的情况下我们会逐渐发现,瓶颈会集中在数据库操作,那我们的内容就接着数据库读写分离,来聊聊...
- MySQL到底能支持多大的数据量？
MySQL是中小型网站普遍使用的数据库之一，然而，很多人并不清楚MySQL到底能支持多大的数据量，再加上某些国内CMS厂商把数据承载量的责任推给它，导致很多不了解MySQL的站长对它产生了很多误解，那么，MySQL的数据量...
- 数据库主从同步的作用是什么，如何解决数据不一致问题？
Redis是一种高性能的内存数据库；而MySQL是基于磁盘文件的关系型数据库，相比于Redis来说，读取速度会慢一些，但是功能强大，可以用于存储持久化的数据。在实际工作中，我们常常将Redis作为缓存与 ...
- 大数据量下的数据库查询与插入如何优化？ （整理）
数据库经常要做一些查询与插入，但是如果查询和插入的数据量过大的时候就会引发数据库性能问题，降低数据库工作效率。因此性能调优是大家在工作中都能够预见的问题，大到世界五百强的核心系统，小到超市的库存系统，...
- 什么是数据库
我们可以从其名字来说，数据库的意思是数据的集合，如果这样来理解的话，在电脑上我们把照片放到同一个文件夹下，那么这个文件夹就是一个照片数据库；把文档资料放到一个文件夹，那么这个文件夹也是一个数据库。这样...
- 数据库——数据字典是什么？
一.数据字典以及使用场景： <User表> ...
- 数据库面试
一、数据库问答题 1. SQL语言包括哪些类型？ 数据定义DDL：Create Table,Alter Table,Drop Table, Create/Drop Index等 数据操纵DML：Select ,insert,update,delete, 数据控制DCL：grant,revoke 2. 内联接,外联接...
- 大型网站应用之海量数据和高并发解决方案总结一二
一、网站应用背景开发一个网站的应用程序，当用户规模比较小的时候，使用简单的：一台应用服务器+一台数据库服务器+一台文件服务器，这样的话完全可以解决一部分问题，也可以通过堆硬件的方式来提高网站应用的访问...
- 实时数据库，内存数据库，关系型数据库比较
内存数据库就是将数据放在内存中直接操作的数据库，它利用内存的读写速度比磁盘快、内存是随机访问而磁盘是顺序访问这两个特点，将数据保存在内存中，在内存中模仿建立表结构和索引结构并针对内存特性进行优化，相比...
- 大数据量下的SQL Server数据库自身优化
从SQL SERVER 2005开始，数据库不默认生成NDF数据文件，一般情况下有一个主数据文件(MDF)就够了，但是有些大型的数据库，由于信息很多，而且查询频繁，所以为了提高查询速度，可以把一些表或者一些表中的部分记录...
- MyBatis面试题（2020最新版）
整理好的MyBatis面试题库，史上最全的MyBatis面试题，MyBatis面试宝典，特此分享给大家 MyBatis 介绍 MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC ...
- 数据量很大，分页查询很慢，怎么优化？
作者：悠悠i，来源:http://uee.me/aVSnD当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需...
- 【数据库学习】数据库总结
数据库是长期存储在计算机内、有组织的、可共享的大量数据的集合。 常见数据库管理系统有：Access、mysql、sql server 2）特点 ①数据库数据特点 永久存储、有组织、可共享。 （数据的最小存取...
- Redis与数据库数据同步解决方案
本文转自：http://3gods.com/2016/06/23/Redis-Sync-DB.html ... 数据库同步到Redis 我们大多倾向于使用这种方式，也就是将数据库中的变化同步到Redis，这种更加可靠。Redis在这里只是做缓存。 方案1 做...
- 什么是异构数据库？它和分布式数据库的联系是什么？
我的机器学习教程「美团」算法工程师带你入门机器学习 以及「三分钟系列」数据结构与算法已经开始更新了，欢迎大家订阅~这篇专栏整合了这几年的算法知识，简单易懂，也将是我实体书的BLOG版。 欢迎大家扫码关注微信...
- 大数据量的五种处理方式
处理海量数据问题，无非就是： 分而治之/hash映射 + hash统计 + 堆/快速/归并排序； Bloom filter/Bitmap； Trie树/数据库/倒排索引； 外排序； 分布式处理之hadoop/mapreduce。 本文接下...
- 关系型数据库和非关系型数据库的区别
目录 关系型数据库 关系型数据库： 关系模型中的常用概念 优点 ...非关系型数据库 ...非关系型数据库： ...关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。...
- 为什么oracle依旧是很多大公司数据库首选？
我认为Oracle之所以能占有这么大的市场份额，是因为其在海量数据的处理上更具有优势，并且能提供一整套的数据存储解决方案。 在一些非常大的企业里，这些企业通常拥有庞大的资金能力，所以它们会选择用钱购买解决...
- 大并发大数据量请求的处理方法
大并发大数据量请求一般会分为几种情况： 1.大量的用户同时对系统的不同功能页面进行查找，更新操作 2.大量的用户同时对系统的同一个页面，同一个表的大数据量进行查询操作 3.大量的用户同时对系统的同一个...
- MySQL 单表数据量过千万，采坑优化记录
解决单表大数据量问题 2.学习/操作 2.1 阅读 MySQL单表数据量过千万，采坑优化记录，完美解决方案 原创互联网编程2018-12-10 11:52:42 问题概述 使用阿里云rds for MySQL...
- 微信小程序源码-合集6.rar
微信小程序源码，包含：图片展示、外卖点餐、小工具类、小游戏类、演绎博览、新闻资讯、医疗保健、艺术生活等源码。
- 汇编语言程序设计
汇编语言是一门低级程序设计语言，在数以千计的计算机语言中，有着不可替代的重要地位，广泛地用于开发操作系统内核、设备驱动程序等。随着近年来物联网、嵌入式系统的发展，汇编语言在行业中的地位也再次攀升，在2017年1月的TIOBE排行榜上，再次进入前十。对大多数学习计算机的人士而言，是理解计算机系统核心知识的一个桥梁，在人才培养中也起着特殊的作用。课程面向计算机初学者，介绍汇编语言程序设计基础的部分。 绍寄存器、内存、程序结构、模块化程序设计、中断等内容，课程重视对学习方法的指导和引导，提倡和支持用实践的方式开展学习，目标是培养学习者的自学能力和实践能力，以此支持对最新的汇编语言开发技术的学习。
- EasyUI框架从入门到实战
本课程介绍了EasyUI常用控件的使用，EasyUI操作简单，能实现页面布局和元素操作，适合开发网站管理后台。学习本课程，可以掌握使用EasyUI+ssm开发网站管理后台、文件上传、权限菜单管理等实用技能。 本课程介绍了EasyUI常用控件的使用，EasyUI操作简单，能快速实现页面布局和元素操作，适合开发网站管理后台。