网站千万级数据的性能问题，寻求解决方案

2009-09-08 10:10:59 424 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

FileZilla Server目录显示失败的处理方法这两天河南大暴雨挺严重导致多处停电，我远在郑州机房的服务器也断网连不上了。一直到今天下午才恢复，影响较大，有些客户要数据，可是数据因为断网拿不到。于是我想，要是能把服务器的数据备份到其他地方，比如我的本机或者另外一台电脑该多好。于是今天一整天我都在找远程备份数据的方法，把一台服务器上的数据实时同步到另外一台上。或者两台服务器互相同步。找了半天发现了FreeFileSync这个宝藏软件，它的原理很简单是通过ftp传输数据。我得先在服务器上安装个ftp服务，首选filezilla server，安.. 阅读详情

我们网站SQL Server数据库,其中的两个表目前各自有产品数据约200万条，在网页产品页面，需要inner join两个表来显示该产品的数据到网页上，当前页面平均加载时间在100-200毫秒。
现在，新的版本新增了大量的产品数据，两个表的各自的产品数据将达到约2000万条，由于数据量达到了以前的10倍，页面平均加载时间肯定会变慢许多。
请问，在添加如此多的数据之后，有什么办法可以保持数据库的性能跟以前差不多？

...全文

AI驱动的CNC闭环加工系统：边缘实时控制与IIoT反馈实践闭环控制是工业自动化的核心概念，指通过实时反馈调节系统输出以逼近目标值；其技术原理在于构建短于被控对象时间常数的确定性反馈链路，从而保障动态响应精度与稳定性。在智能制造落地中，AI正从离线分析工具演进为嵌入式实时决策单元，其核心价值在于将工艺知识模型化、控制指令轻量化、执行路径边缘化。典型应用场景包括CNC加工过程中的振动自适应调参、刀具磨损在线补偿及多机协同优化。本实践聚焦FANUC 0i-MF平台，基于Modbus TCP硬实时通信与轻量LSTM+CNN融合模型，实现217毫秒级AI推理与PMC寄存器直阅读详情

qiuji

MS-SQL Server 34,876 成员 254,635 内容

+ 关注 + 加入社区

切换为时间正序

qiuji 2009-09-09

打赏
举报

谢谢大家的建议，现在还有个问题就是，该数据库在后台有一个一模一样的镜像数据库，每天有多个程序读写这个镜像数据库（其中有些是做统计分析的工作），CPU的使用率越来越高。
请问，有没有办法把这个镜像数据库部署到多台服务器上来减轻压力？

yinwei520 2009-09-08

打赏
举报

加索引优化数据库架构

xuejiecn 2009-09-08

打赏
举报

水平分割表。

sdhdy 2009-09-08

打赏
举报

1、转移历史数据
2、考虑用分区表
3、连接字段加索引

you_tube 2009-09-08

打赏
举报

我来看看....

soft_wsx 2009-09-08

打赏
举报

高性能网站建设之 MS Sql Server数据库分区 

什么是数据库分区？

数据库分区是一种对表的横向分割，Sql server 2005企业版和之后的Sql server版本才提供这种技术，这种对表的横向分割不同于2000中的表分割，它对访问用户是透明的，用户并不会感觉的表被横向分割了。（2000中的表横向分割是建n个表例如按时间建表每月一个表，表名不同，最后需要做一个大视图）



关于具体的如何做分区，请参考数据库分区演练http://www.cnblogs.com/yukaizhao/archive/2008/05/07/sql_partition_test.html 



为什么要分区？

显而易见分区是为了提高数据库的读写性能，提高数据库的效率；



分区是否总是可以提高效率？

分区是一把双刃剑，并不总能提高效率，这和具体情况有关系。

之所以有分区技术，分区技术用的好的话可以提高性能，是因为一方面分区把一大块数据分成了n小块，这样查询的时候很快定位到某一小块上，在小块中寻址要快很多；另一方面CPU比磁盘IO快很多倍，而硬件上又有多个磁盘，或者是RAID（廉价磁盘冗余阵列），可以让数据库驱动CPU同时去读写不同的磁盘，这样才有可能可以提高效率。

分区在有些时候并不能提高读写效率，比如说我们经常看到的按照日期字段去分区MSDN例子，这个实例中是按照记录的生成时间来分区的，把一年的数据分割成12个分区，每月一个。这样的分区导致分区并不能实现CPU同步写并提高写入性能，因为在同一个时段CPU总是要写入到最新的那一个分区对应的磁盘中。另一个问题是：这样分区是否可以提高读取性能呢？答案是不一定，要看根据什么字段来查询，如果是根据时间来查询，根据时间生成报表那么这种分区肯定会提高查询的效率，但是如果是按照某个客户查询客户最近1年内的账单数据，这样数据分布到不同的分区上，这样的话效率就不一定能提高了，这要看数据在同一个分区上连续分布的读性能高，还是CPU从几个磁盘上同步读取，然后在合并数据的性能更高一些，这和读取数据的记录数也有关系。



如何分区？用什么字段做分区依据？

具体如何分区和涉及的业务有关系，要看业务上最经常的写入和读取操作是什么，然后再考虑分区的策略。



既然与具体业务相关，我们就假定一个业务环境，假如我们要做一个论坛，对论坛的帖子和回复表进行分区。

论坛中最常见的写操作是1）发帖 2）回复帖子，

最常见的读操作是

1） 根据帖子id显示帖子详情和分页的帖子回复 

2） 根据帖子版面帖子列表页根据版面id分页读取帖子列表数据

怎么分区更合适呢？现在还没有准确答案，我有两种可能的方案，写下来，大家讨论看看。

方案1. 根据帖子ID区域段分区（1-300w一个分区、300w-600w一个分区…），这样理论上可以提高帖子详细页的读取速度，而对于写操作性能没有益处，对于根据版面id读取帖子列表页有可能有益

方案2. 根据版面id进行分区，这样对于写性能应该有提高，不同的分区对应不同的版面，当有两个版面同时有发帖回帖操作时，有可能可以并发写。对于根据版面id获得帖子列表页数据也可以提高性能，而对于帖子详细信息页没有性能影响。



多大的数据量才需要分区？

这个问题我只能说一个内部标准，如果一张表的记录超过在超过1000w，并以每月百万的数据量增长，那就需要分区。大家有不同的看法请回复讨论



关于具体的如何做分区，请参考数据库分区演练http://www.cnblogs.com/yukaizhao/archive/2008/05/07/sql_partition_test.html



[code=SQL]代码加注释，希望对初学者有用。



USE [master]

GO

if exists (select * from sys.databases where name = 'Test_1')

drop database Test_1

GO

--创建新库，要演练分区所以我们会多创建两个文件组Test_A,Test_B，以便在后面的分区方案中使用。

CREATE DATABASE [Test_1] ON  PRIMARY 

( NAME = N'test_1', FILENAME = N'D:\sqldata\test_1.mdf' , SIZE = 10240KB , MAXSIZE = UNLIMITED, FILEGROWTH = 1024KB ),

 FILEGROUP [test_A] 

( NAME = N'Test_A', FILENAME = N'D:\sqldata\test_A.ndf' , SIZE = 1024KB , MAXSIZE = UNLIMITED, FILEGROWTH = 1024KB ),

FILEGROUP [test_B] 

( NAME = N'Test_B', FILENAME = N'D:\sqldata\test_B.ndf' , SIZE = 1024KB , MAXSIZE = UNLIMITED, FILEGROWTH = 1024KB )

 LOG ON 

( NAME = N'Test_log', FILENAME = N'D:\sqldata\Test_log.ldf' , SIZE = 7616KB , MAXSIZE = 2048GB , FILEGROWTH = 10%)

 COLLATE Chinese_PRC_CI_AS

GO

USE [Test_1]

GO

--若分区函数存在则先drop掉

IF  EXISTS (SELECT * FROM sys.partition_functions WHERE name = N'test_partition')

DROP PARTITION FUNCTION [test_partition]

GO

/**//*创建分区函数给后面的分区方案使用，分区函数很简单就是指定一个范围确定在某个值为什么的时候放在那个分区上*/

--新建一个简单的分区函数，该函数以1000为界分两个区

create partition function test_partition(int)

AS

RANGE LEFT FOR VALUES (1000) 

go

/**//*看分区方案是否存在，若存在先drop掉*/

IF  EXISTS (SELECT * FROM sys.partition_schemes WHERE name = N'test_scheme')

DROP PARTITION SCHEME test_scheme

GO

--创建分区方案，分区方案需要指定一个分区函数，并指定在分区函数中分的区需要放在哪一个文件组上

create partition scheme test_scheme 

AS 

PARTITION [test_partition] TO (test_A,test_B)

GO

--创建分区表

if object_id('student','U') is not null

drop table student;

go

create table student

(

    id int identity(1,1) not null,

    name varchar(10) not null,

    class int not null,

    grade int

) on test_scheme(class) --在此处指定该表要使用的分区方案，并将指定分区依据列

go

--随便插入几条数据

insert into student values ('AQU',10,100); -- 这条数据在A分区上

insert into student values ('AQU_边界',1000,89); -- 这边数据也在A分区上是个边界，因为我们上面在函数中指定的是RANGE LEFT，所以1000在A分区上

insert into student values ('BQU',1001,90); -- 这一条肯定是在B分区上了。



go

--最后看看结果。$partition.分区函数(分区列)可以返回某一行所在的分区序号

select *,分区序号 = $partition.test_partition(class) from student

GO

[/code]楼上方法经典哦！