如果数据库用SQL SERVER,要考虑到以后的报表和查询问题和大数据量怎么写入数据库的问题，数据库服务器如何设计，数据库如何设计，表如何设计，是要一个网点一个表设计比较好，还是每天一个表好？是否要用到集群？请各位高手指点。
-
等级
本版专家分：134结帖率 100% -
从全国的2万个网点汇总数据到中央数据库，每天数据总量大约100亿条左右，每调数据大约为2K。
如果数据库用SQL SERVER,要考虑到以后的报表和查询问题和大数据量怎么写入数据库的问题，数据库服务器如何设计，数据库如何设计，表如何设计，是要一个网点一个表设计比较好，还是每天一个表好？是否要用到集群？请各位高手指点。展开阅读全文
-
等级
本版专家分：61753勋章
-
-
微软MVP
2016年4月荣获微软MVP称号
2015年4月荣获微软MVP称号
2014年4月 荣获微软MVP称号
2013年4月 荣获微软MVP称号
-
- 黄花 2013年4月 MS-SQL Server大版内专家分月排行榜第二
-
- 蓝花 2012年5月 MS-SQL Server大版内专家分月排行榜第三
-
-
每天18623TB数据量，个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题，传输，计算都是比较巨大的一个量。
没有这么大数据量的经验，关注...
-
等级
本版专家分：107740勋章
-
-
红花
2002年2月 MS-SQL Server大版内专家分月排行榜第一
2001年11月 MS-SQL Server大版内专家分月排行榜第一
-
-
黄花
2008年2月 MS-SQL Server大版内专家分月排行榜第二
2007年7月 MS-SQL Server大版内专家分月排行榜第二
2002年3月 MS-SQL Server大版内专家分月排行榜第二
2002年1月 MS-SQL Server大版内专家分月排行榜第二
2001年12月 MS-SQL Server大版内专家分月排行榜第二
-
- 蓝花 2013年2月 MS-SQL Server大版内专家分月排行榜第三
-
-
自己先计算下，需要多少服务器，数据量大可能是事实，但是估计也需要准确，如果真有这么大数据量，首先应该考虑精简数据。
sql server没有合适的集群可以直接使用，自己设计集群还是比较困难的，也比较难以通用
-
版主等级
本版专家分：119710勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
-
优秀版主
2016年8月论坛优秀版主
2015年2月论坛优秀版主
-
-
微软MVP
2016年4月荣获微软MVP荣誉称号
2015年4月荣获微软MVP称号
2014年4月 荣获微软MVP称号
-
-
个人认为这个不仅仅是数据库设计的问题,关系到整个系统的架构设计..
请问这是什么生猛的系统喔.
-
等级
本版专家分：4903 -
2万个网点数据量平均下来一个点也才每天100M左右，地方不一样数据量当然有出入，SQL数据库完全能应付
建议分布式设计：各个点的数据汇总到中央考虑的应该是以后数据挖掘和备份吧！
1、可以将中央与地方的数据库设计一模一样
2、不常用的表放在一个数据库里，常用的表单独一个数据库
3、数据量小的地方所有数据库可以放在一台服务器里，数据量大的地方进行负载均衡，将每个数据库放在单独的服务器上
个人意见有不足之处望见谅，敢问LZ做的是电商项目？
-
等级
本版专家分：134
-
谢谢大家的回答，不是电商，是YH项目。我也在考虑用哪个数据库软件比较适合这个项目。
-
等级
本版专家分：1854 -
上一体机吧。微软的PDW(parallel data warehouse)目前支持dell和hp的服务器，价格便宜(相对teradata和exadata),童叟无欺，适合处理pb级的数据量。
-
等级
本版专家分：4628
-
搞个集群 ，用hadoop
-
等级
本版专家分：107740勋章
-
-
红花
2002年2月 MS-SQL Server大版内专家分月排行榜第一
2001年11月 MS-SQL Server大版内专家分月排行榜第一
-
-
黄花
2008年2月 MS-SQL Server大版内专家分月排行榜第二
2007年7月 MS-SQL Server大版内专家分月排行榜第二
2002年3月 MS-SQL Server大版内专家分月排行榜第二
2002年1月 MS-SQL Server大版内专家分月排行榜第二
2001年12月 MS-SQL Server大版内专家分月排行榜第二
-
- 蓝花 2013年2月 MS-SQL Server大版内专家分月排行榜第三
-
-
如果没有确定选型，考虑下nosql
如果确定使用sql server，自己考虑分布式是必须的
数据库设计在确定选型后再考虑
-
等级
本版专家分：12331勋章
-
- 黄花 2013年12月 Delphi大版内专家分月排行榜第二
-
-
蓝花
2014年4月 Delphi大版内专家分月排行榜第三
2014年3月 Delphi大版内专家分月排行榜第三
2013年5月 Delphi大版内专家分月排行榜第三
2013年1月 Delphi大版内专家分月排行榜第三
2010年11月 Delphi大版内专家分月排行榜第三
2009年12月 Delphi大版内专家分月排行榜第三
2009年11月 Delphi大版内专家分月排行榜第三
-
-
每天100亿条已经是2万个网点的总数了吧
不过也很厉害了，中央数据库单服务器肯定不行了
100亿x2k=20T，网络恐怕都吃不消。。。。。
要从业务上看看能不能分拆到多个服务器
- 大数据量的数据库设计准则
大数据量的数据库设计准则： 1、分区 （list、range、hash）。 2、根据where条件来决定分区策略。
- 大数据量数据库设计与优化方案
一、数据库结构的设计 ... 在一个系统分析、设计阶段，因为数据量较小，负荷较低。我们往往只注意到功能的实现，而很难注意到性能的薄弱之处，等到系统投入实际运行一段时间后，才发现系统的性
- 大数据量的数据库表设计技巧
即使是一个非常简单的数据库应用系统，它的数据量增加到一定程度也会引起发一系列问题。如果在设计数据库的时候，就提前考虑这些问题，可以避免由于系统反映迟缓而引起的用户抱怨。 技巧1：尽量不要使用代码。比如...
- 解决因数据库一次查询数据量过大导致的内存溢出问题
刚开始接触项目的实习生，积累...之前做项目，遇到过一次查询数据量过大而导致的内存溢出问题，找了很多办法一直未能实际解决问题， 今天又遇到了，经过前辈的指导，终于解决了问题！！ 不过此方法只在DBug启动下有效
- 数据库设计的重要性和设计原则
说起数据库设计，相信大家都明白怎么回事，但说起数据库设计的重要性，我想大家也只是停留在概念上而已，到底如何重要？怎么重要呢？今天就将我至今为止的理解向大家阐述下。 一个不良的数据库设计，必然会造成很多...
- 数据库的垂直水平分库，表的垂直水平分表
将数据量过多的表进行水平拆分，有些表可能几百万条记录，将表的数据量通过拆表来降低数据量(指的是行数) 应用场景 数据库设计设计阶段： ①：数据库设计时就需要考虑垂直分库和垂直分表 上线后 ②：当
- 典型数据库架构设计
主要提供用户注册、登录、信息查询与修改的服务，其核心元数据为：User(uid, uname, passwd, sex, age,nickname, …)其中：uid为用户ID，主键uname, passwd, sex, age, nickname, …等为用户的属性数据库设计上，...
- 查询Mysql数据库中数据量最大的数据表
目录 1.序言 2. 查询数据量最大的表 2.1查询数据库信息 2.2 切换到information_schema库 ...通过业务经验，或许知道自己公司的业务表哪个表数据量较大。但对于外人或是不熟悉业务的，此时我们就需要...
- 怎么查看oracle数据库数据量大小？
1、查看所有表空间及表空间大小： select tablespace_name ,sum(bytes) / 1024 / 1024 as MB from dba_data_... 2、查看所有表空间对应的数据文件： select tablespace_name,file_name from dba_data_files;
- 如何应对数据库表数据量过大而导致的响应速度变慢
1.我们知道最直接最简单的方法就是把该表的数据量变小，那么把表数据变少有什么办法呢？最简单最直接的方法就是再建立一张具有相同结构的数据表，建好表之后，再把不需要经常调用的数据放到该备用表中，当需要查询的...
- 数据库访问量很大时，如何做优化？
如果有一个特别大的访问量到数据库上时，往往查询速度会变得很慢，所以我们需要进行优化。优化从三个方面考虑：SQL语句优化、主从复制，读写分离，负载均衡、数据库分库分表。一、SQL查询语句优化 1、使用索引 ...
- 数据库数据量特别大怎么办
数据库数据量特别大怎么办参考干货！大数据量下，58同城mysql实践
- 数据库数据量过大导致运行缓慢的解决方案
我们知道最直接最简单的方法就是把该表的数据量变小，那么把表数据变少有什么办法呢？最简单最直接的方法就是再建立一张具有相同结构的数据表，建好表之后，再把不需要经常调用的数据放到该备用表中，当需要查询的...
- 如何构建千万用户级别 后台数据库架构设计的思路
关于如何构建千万级别用户的后台数据库架构话题，在ITPUB及CSDN论坛都有不少网友提问，新型问答网站知乎上也有人提问，并且顺带梳理了下思路，方便更多的技术朋友有章可循，整理一篇抛砖引玉性的文章。 一、技术...
- 简谈数据库分库分表
为何分表 数据库架构 1、垂直分区 2、水平分区(Sharding) 单库单表 ...当一张表的数据达到千万级时...大数据量并且访问频繁的表，将其分为若干个表: 比如对于某些网站平台的数据库表，数据量很大，这种能预估出来...
- 浅谈分布式数据库
在面对互联网海量数据情况时，所有数据都存于一张表，显然会轻易超过数据库表可承受的数据量阀值。这个单表可承受的数据量阀值，需根据数据库和并发量的差异，通过实际测试获得。 2.单机数据库的瓶颈问题，处理不了...
- MPP数据库
在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据 库...
- 详解数据仓库和数据库的区别
一、数据仓库 什么是数据仓库？ 数据仓库（Data Warehouse）,可简写为DW或DWH,数据仓库，是为了企业所有级别的决策制定计划过程，提供所有类型数据类型的战略集合。它出于分析性报告和决策支持的目的而创建。为...
- 解决数据库高并发访问瓶颈问题
在Web层和db层之间加一层cache层，主要目的：减少数据库读取负担，提高数据读取速度。cache存取的媒介是内存，可以考虑采用分布式的cache层，这样更容易破除内存容量的限制，同时增加了灵活性。 二、业务拆分：...
- 从关系型数据库到非关系型数据库
关系型数据库，是指采用了关系模型来组织数据的数据库。 关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出的，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型。 简单来...
- 数据仓库和数据库有什么区别？
通常情况下基于业务数据库数据分析人员也能完成数据分析需求，但是为...基于业务数据库来做分析，主要有以下几个问题：结构复杂，数据脏乱，难以理解，历史缺失，数据量大时查询缓慢。 结构复杂 业务数据库通常是根据
- 面试题：大批量数据高效插入数据库表
题目：将一批10万数据通过系统（Java语言）导入数据库表，并要求实时看到导入的进度，请设计出系统方案，重点要考虑导入效率！ 这个题场景很简单！ 题中提到了两个重要需求： 1、实时看到导入的进度； 2、导入效率。...
- 多公司使用统一个平台，数据库如何设计？
公司目前让我们开发一个平台，这个平台类似与saas平台，多个公司租用同一个平台，每一个公司数据如何存入数据库，以至于可以建立数据库来区分每一个公司自己的数据。
- 数据库分区、分表、分库、分片
一、分区的概念 数据分区是一种物理数据库的设计技术，它的目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间。 分区并不是生成新的数据表，而是将表的数据均衡分摊到不同的硬盘，系统或是不同服务器...
- Mysql导入数据量较大的SQL文件
问题描述：Navicat for Mysql 导入数据量较大的sql文件时，会提示操作失败，如图， 解决方法： 采用mysql source命令导入； 操作步骤： 1. 打开cmd，输入命令：mysql -h localhost -u root -p 2. 输入数据库...
- 数据库读写分离和数据一致性的冲突
读写分离： 为保证数据库数据的一致性，我们要求所有对于数据库的更新操作都是针对主数据库的，但是读操作是可以针对从数据库来进行。大多数站点的数据库读操作比写操作更加密集，而且查询条件相对复杂，数据库的大...
- mysql 查看数据库表数据量大小
查看某个数据库下每张表的数据量大小 use information_schema; select table_name,table_rows from tables where TABLE_SCHEMA = '数据库名字' order by table_rows desc;
- EF实现大批量数据库插入操作
**EF实现大批量数据库插入操作最近项目需求需要往SQL Service数据库中创建表来插入大批量数据，数据量为100万左右，因此需要考虑插入效率的问题。根据需求，主要采用EF6.0（EntityFramework）+SQL Service Express...
- 数据库分库分表，何时分？怎样分？详细解读，一篇就够了
amp;utm_campaign=client_share&timestamp=1549497317&app=news_article&utm_source=mobile_qq&iid=59568063679&utm_medium=...