关于大数据量的数据库设计问题

MS-SQL Server > 基础类 [问题点数:100分,结帖人zblaoshu1979]
等级
本版专家分:134
结帖率 100%
等级
本版专家分:61753
勋章
Blank
微软MVP 2016年4月荣获微软MVP称号
2015年4月荣获微软MVP称号
2014年4月 荣获微软MVP称号
2013年4月 荣获微软MVP称号
Blank
黄花 2013年4月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2012年5月 MS-SQL Server大版内专家分月排行榜第三
等级
本版专家分:107740
勋章
Blank
红花 2002年2月 MS-SQL Server大版内专家分月排行榜第一
2001年11月 MS-SQL Server大版内专家分月排行榜第一
Blank
黄花 2008年2月 MS-SQL Server大版内专家分月排行榜第二
2007年7月 MS-SQL Server大版内专家分月排行榜第二
2002年3月 MS-SQL Server大版内专家分月排行榜第二
2002年1月 MS-SQL Server大版内专家分月排行榜第二
2001年12月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2013年2月 MS-SQL Server大版内专家分月排行榜第三
等级
本版专家分:119710
勋章
Blank
签到新秀 累计签到获取,不积跬步,无以至千里,继续坚持!
Blank
GitHub 绑定GitHub第三方账户获取
Blank
优秀版主 2016年8月论坛优秀版主
2015年2月论坛优秀版主
Blank
微软MVP 2016年4月荣获微软MVP荣誉称号
2015年4月荣获微软MVP称号
2014年4月 荣获微软MVP称号
等级
本版专家分:4903
等级
本版专家分:134
等级
本版专家分:1854
等级
本版专家分:4628
等级
本版专家分:107740
勋章
Blank
红花 2002年2月 MS-SQL Server大版内专家分月排行榜第一
2001年11月 MS-SQL Server大版内专家分月排行榜第一
Blank
黄花 2008年2月 MS-SQL Server大版内专家分月排行榜第二
2007年7月 MS-SQL Server大版内专家分月排行榜第二
2002年3月 MS-SQL Server大版内专家分月排行榜第二
2002年1月 MS-SQL Server大版内专家分月排行榜第二
2001年12月 MS-SQL Server大版内专家分月排行榜第二
Blank
蓝花 2013年2月 MS-SQL Server大版内专家分月排行榜第三
等级
本版专家分:12331
勋章
Blank
黄花 2013年12月 Delphi大版内专家分月排行榜第二
Blank
蓝花 2014年4月 Delphi大版内专家分月排行榜第三
2014年3月 Delphi大版内专家分月排行榜第三
2013年5月 Delphi大版内专家分月排行榜第三
2013年1月 Delphi大版内专家分月排行榜第三
2010年11月 Delphi大版内专家分月排行榜第三
2009年12月 Delphi大版内专家分月排行榜第三
2009年11月 Delphi大版内专家分月排行榜第三
zblaoshu1979

等级:

大数据量数据库设计准则

大数据量数据库设计准则: 1、分区 (list、range、hash)。 2、根据where条件来决定分区策略。

大数据量数据库设计与优化方案

一、数据库结构的设计 ... 在一个系统分析、设计阶段,因为数据量较小,负荷较低。我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性

大数据量数据库设计技巧

即使是一个非常简单的数据库应用系统,它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候,就提前考虑这些问题,可以避免由于系统反映迟缓而引起的用户抱怨。 技巧1:尽量不要使用代码。比如...

解决因数据库一次查询数据量导致的内存溢出问题

刚开始接触项目的实习生,积累...之前做项目,遇到过一次查询数据量而导致的内存溢出问题,找了很多办法一直未能实际解决问题, 今天又遇到了,经过前辈的指导,终于解决了问题!! 不过此方法只在DBug启动下有效

数据库设计的重要性和设计原则

说起数据库设计,相信大家都明白怎么回事,但说起数据库设计的重要性,我想大家也只是停留在概念上而已,到底如何重要?怎么重要呢?今天就将我至今为止的理解向大家阐述下。 一个不良的数据库设计,必然会造成很多...

数据库的垂直水平分库,表的垂直水平分表

数据量过多的表进行水平拆分,有些表可能几百万条记录,将表的数据量通过拆表来降低数据量(指的是行数) 应用场景 数据库设计设计阶段: ①:数据库设计时就需要考虑垂直分库和垂直分表 上线后 ②:当

典型数据库架构设计

主要提供用户注册、登录、信息查询与修改的服务,其核心元数据为:User(uid, uname, passwd, sex, age,nickname, …)其中:uid为用户ID,主键uname, passwd, sex, age, nickname, …等为用户的属性数据库设计上,...

关于大数据量数据库设计问题

查询Mysql数据库数据量最大的数据表

目录 1.序言 2. 查询数据量最大的表 2.1查询数据库信息 2.2 切换到information_schema库 ...通过业务经验,或许知道自己公司的业务表哪个表数据量。但对于外人或是不熟悉业务的,此时我们就需要...

怎么查看oracle数据库数据量大小?

1、查看所有表空间及表空间大小:  select tablespace_name ,sum(bytes) / 1024 / 1024 as MB from dba_data_... 2、查看所有表空间对应的数据文件:  select tablespace_name,file_name from dba_data_files;

如何应对数据库数据量而导致的响应速度变慢

1.我们知道最直接最简单的方法就是把该表的数据量变小,那么把表数据变少有什么办法呢?最简单最直接的方法就是再建立一张具有相同结构的数据表,建好表之后,再把不需要经常调用的数据放到该备用表中,当需要查询的...

数据库访问时,如何做优化?

如果有一个特别的访问数据库上时,往往查询速度会变得很慢,所以我们需要进行优化。优化从三个方面考虑:SQL语句优化、主从复制,读写分离,负载均衡、数据库分库分表。一、SQL查询语句优化 1、使用索引 ...

数据库数据量特别怎么办

数据库数据量特别大怎么办参考干货!大数据量下,58同城mysql实践

数据库数据量导致运行缓慢的解决方案

我们知道最直接最简单的方法就是把该表的数据量变小,那么把表数据变少有什么办法呢?最简单最直接的方法就是再建立一张具有相同结构的数据表,建好表之后,再把不需要经常调用的数据放到该备用表中,当需要查询的...

如何构建千万用户级别 后台数据库架构设计的思路

关于如何构建千万级别用户的后台数据库架构话题,在ITPUB及CSDN论坛都有不少网友提问,新型问答网站知乎上也有人提问,并且顺带梳理了下思路,方便更多的技术朋友有章可循,整理一篇抛砖引玉性的文章。 一、技术...

简谈数据库分库分表

为何分表 数据库架构 1、垂直分区 2、水平分区(Sharding) 单库单表 ...当一张表的数据达到千万级时...大数据量并且访问频繁的表,将其分为若干个表: 比如对于某些网站平台的数据库表,数据量很大,这种能预估出来...

浅谈分布式数据库

在面对互联网海量数据情况时,所有数据都存于一张表,显然会轻易超过数据库表可承受的数据量阀值。这个单表可承受的数据量阀值,需根据数据库和并发量的差异,通过实际测试获得。 2.单机数据库的瓶颈问题,处理不了...

MPP数据库

数据库非共享集群中,每个节点都有独立的磁盘存储系统和内存系统,业务数据根据数据库模型和应用特点划分到各个节点上,每台数据节点通过专用网络或者商业通用网络互相连接,彼此协同计算,作为整体提供数据 库...

详解数据仓库和数据库的区别

一、数据仓库 什么是数据仓库? 数据仓库(Data Warehouse),可简写为DW或DWH,数据仓库,是为了企业所有级别的决策制定计划过程,提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为...

解决数据库高并发访问瓶颈问题

 在Web层和db层之间加一层cache层,主要目的:减少数据库读取负担,提高数据读取速度。cache存取的媒介是内存,可以考虑采用分布式的cache层,这样更容易破除内存容量的限制,同时增加了灵活性。 二、业务拆分:...

从关系型数据库到非关系型数据库

关系型数据库,是指采用了关系模型来组织数据数据库。 关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出的,在之后的几十年中,关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型。 简单来...

数据仓库和数据库有什么区别?

通常情况下基于业务数据库数据分析人员也能完成数据分析需求,但是为...基于业务数据库来做分析,主要有以下几个问题:结构复杂,数据脏乱,难以理解,历史缺失,数据量大时查询缓慢。 结构复杂 业务数据库通常是根据

面试题:大批量数据高效插入数据库

题目:将一批10万数据通过系统(Java语言)导入数据库表,并要求实时看到导入的进度,请设计出系统方案,重点要考虑导入效率! 这个题场景很简单! 题中提到了两个重要需求: 1、实时看到导入的进度; 2、导入效率。...

多公司使用统一个平台,数据库如何设计

公司目前让我们开发一个平台,这个平台类似与saas平台,多个公司租用同一个平台,每一个公司数据如何存入数据库,以至于可以建立数据库来区分每一个公司自己的数据

数据库分区、分表、分库、分片

一、分区的概念 数据分区是一种物理数据库设计技术,它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区并不是生成新的数据表,而是将表的数据均衡分摊到不同的硬盘,系统或是不同服务器...

Mysql导入数据量的SQL文件

问题描述:Navicat for Mysql 导入数据量的sql文件时,会提示操作失败,如图, 解决方法: 采用mysql source命令导入; 操作步骤: 1. 打开cmd,输入命令:mysql -h localhost -u root -p 2. 输入数据库...

数据库读写分离和数据一致性的冲突

读写分离: 为保证数据库数据的一致性,我们要求所有对于数据库的更新操作都是针对主数据库的,但是读操作是可以针对从数据库来进行。大多数站点的数据库读操作比写操作更加密集,而且查询条件相对复杂,数据库...

mysql 查看数据库数据量大小

查看某个数据库下每张表的数据量大小 use information_schema; select table_name,table_rows from tables where TABLE_SCHEMA = '数据库名字' order by table_rows desc;

EF实现大批量数据库插入操作

**EF实现大批量数据库插入操作最近项目需求需要往SQL Service数据库中创建表来插入大批量数据,数据量为100万左右,因此需要考虑插入效率的问题。根据需求,主要采用EF6.0(EntityFramework)+SQL Service Express...

数据库分库分表,何时分?怎样分?详细解读,一篇就够了

amp;utm_campaign=client_share&timestamp=1549497317&app=news_article&utm_source=mobile_qq&iid=59568063679&utm_medium=...

相关热词 c# 文件读取image c#弹出对话框 c#子线程操作ui c#建立进程 c# 位标志 c#图片上传后删除 c# 图片dpi修改失败 c#怎样使窗口无边框 c#对usb口发数据 c#sql查询语句参数化