关于一个频繁读写数据库的问题，怎么提高性能

zjysky 2008-10-08 09:48:39
我目前要设计一个对外webservice接口，这个接口是接收数据的，这个数据量很小就是一条记录而已，但是很频繁，然后我把数据存储在数据表
现在问题是这个接口要被频繁调用。所以就要频繁的写入数据表，这个数据表的数据可想而只也是很大的

有两个问题
1频繁写入数据库怎么设计，写入可以有延迟。
我的设想是先把数据存储在一个文件中，比如xml，然后设计一个后台程序来轮询定时处理这个文件。把里面的数据全部一次插入数据库。但是我担心对这个文件读写可能会有冲突

2怎么读这个数据表。这个数据表要频繁的来读取。也可以有延迟的。
我设想是分表来处理，

不知道大家还有什么好的建议


...全文
1604 30 打赏 收藏 转发到动态 举报
写回复
用AI写文章
30 条回复
切换为时间正序
请发表友善的回复…
发表回复
nickwangge 2011-01-13
  • 打赏
  • 举报
 回复
楼主，能留个QQ吗？？我现在正好要考虑这个问题，帮一下，谢谢哈
networkit 2010-01-19
  • 打赏
  • 举报
 回复
都一年多了，我也学习了不少，谢谢楼主这个问题了，现在在做Web聊天，正在考虑
一游 2008-11-12
  • 打赏
  • 举报
 回复
这算什么，我做的要求更高，把我快了搞死！
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
幕白兄，这个提议太好了。就是啊。万一服务器挂了，怎么办了。不过这些信息丢失也无所谓，就是感觉少了写用户记录而已

这么一说还是xml文件比较好了吧？？
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
打算就是cache中放dataset
cpp2017 2008-10-08
  • 打赏
  • 举报
 回复
cache还是内存操作,也不难搞,代码也很简单,唯一的就是安全性问题,比如服务器down机,数据会丢失.
POPO_POPO 2008-10-08
  • 打赏
  • 举报
 回复
LZ可关注一下DataSet
如果只是写数据库而没有并发的读 使用DataSet作为中介还是很不错的
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
难道就是使用一个页面隔以一段时间就刷新来引发时间，这样效果好吗

还有就是如果写如xml文件中，有什么好办法来避免读写冲突吗？？
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
每条记录写一个文件！这个也考虑过，不过我记录数据都很小，但是频繁，这样一来会生成很多文件，不知道io文件处理好不好

使用webservice。先把数据汇总到cache中。然后定时去轮训这个cache，把里面的数据取出来插入数据库中。然后清空cache，这个在asp.net中轮训处理好像比较难搞吧
msnadair 2008-10-08
  • 打赏
  • 举报
 回复
既然是WEBSERVICE，那就是服务启动时读出数据库表中所有数据加密保存到内存表中，往后所有操作都等于在内存中进行。服务结束时将内存中的数据更新到数据库表中。

中间可以加一定时器判断内存表中的数据达到了一定数时进行批量更新到数据库表中。
greystar 2008-10-08
  • 打赏
  • 举报
 回复
不要使用xml
放到cache中去.特定时间再插入数据库.
取的时候也可以也放到cache中,可以定时一下.使用通知服务来获取最新的数据.
紫气东来_999 2008-10-08
  • 打赏
  • 举报
 回复
频繁读写，用存储过程吧。。。
搞个事物加锁的。。。

稳啊
cpp2017 2008-10-08
  • 打赏
  • 举报
 回复
长连接是指一个不关闭的连接去写.

xml文件,多个线程写可能会出现共享冲突,换个方法就是每条记录写一个文件.
cpp2017 2008-10-08
  • 打赏
  • 举报
 回复
长连接是指一个不关闭的连接去写.

xml文件,多个线程写可能会出现共享冲突,换个方法就是每条记录写一个文件.
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
哦。长连接就是服务器推送技术吧。这个和我说的频繁读写数据库关系不大。我可以牺牲时效性的。
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
我就是楼主啊。

2楼说放到临时表里面，那不是还是要插入数据库中，关系不大吧，好像不能解决问题

幕白兄也来啊。
我数据比较重要的，你说的意思写内存。就是先把数据临时存储在内存中了。cache，session。application中了吧。但是也要过一段时间插入到数据库中的
你说的长连接是什么意思。
cpp2017 2008-10-08
  • 打赏
  • 举报
 回复
如果数据不是十分重要的话,建议写内存.
如果重要的话,还是写表,可用长连接.
palm_java 2008-10-08
  • 打赏
  • 举报
 回复
怎么看不到楼主 ?
写入 可以先放到临时表里 在特定时间内(服务器不忙的时候)在写入
啃代码 2008-10-08
  • 打赏
  • 举报
 回复
楼主做什么系统啊.实时性要求那么高啊.
zjysky 2008-10-08
  • 打赏
  • 举报
 回复
24楼说的不错。可以实现。
但就是担心文件共享冲突
加载更多回复（10）
Discuz!NT数据库读写分离方案详解
目前在Discuz!NT这个产品中，数据库作为数据持久化工具，必定在并发访问频繁且负载压力较大的情况下成 为系统性能的‘瓶颈’。即使使用本地缓存等方式来解决频繁访问数据库的问题，但仍旧会有大量的并发请求要访问动态数据，虽然 SQL2005及2008以上版本中性能不断提升，查询计划和存储过程运行得越来越高效，但最终还是 要面临‘瓶颈’这一问 题。当然这也是许多大型网站不断研究探索各式各样的方案来有效降低数据访问负荷的原 因， 其中的‘读写分离’方案就是一种被广泛采用的方案。      Discuz!NT这个产品在其企业版中提供了对‘读写分离’机制的支持，使对CPU及内存消耗严重的操作(CUD)被
如何优化读写频繁的数据库
大部分数据库都支持多读，一般是使用行锁。 写=插入（批量操作，id独立生成，不实用自增）、更新、删除 读写分离之外，还有降级，还有缓存读写，延迟处理等。 处理策略主要看用户场景，秒杀场景和普通场景又不一样。 CAP原则一只能满足两样，所以要根据实际场景选择合适的处理策略 读在数据能力下是基本满足不了高并发场景的，所以一般会使用缓存， 读频繁的可以考虑使用本地缓存，数据量稍大的可以使用...
磁盘文件读写和数据库读写哪个效率更高
假定在程序效率和关键过程相当且不计入缓存等措施的条件下，读写任何类型的数据都没有直接操作文件来的快，不论MSYQL过程如何，最后都要到磁盘上去读这个“文件”(记录存储区等效)，所以当然这一切的前提是只读 内容，无关任何排序或查找操作。 动态网站一般都是用数据库来存储信息，如果信息的及时性要求不高 可以加入缓存来减少频繁读写数据库。 两种方式一般都支持，但是绕过操作系统直接操作磁盘的性能较高，而且安全性也较高，数据库中的磁盘性能一直都是瓶颈，大型数据库一般基于unix系统，当然win下也有，不常用应为wi
android 频繁访问数据库_Android SQLite数据库批量操作效率相关问题
应用程序初始化时需要批量的向SQLite中插入大量数据，单独的使用for-insert方法导致应用响应缓慢，因为SQLite的数据库本质上来讲就是一个磁盘上的文件，所以一切的数据库操作其实都会转化为对文件的操作，而频繁的文件操作是一个很耗时的过程，极大地影响了数据库的存取速度，延迟了应用的响应速度。SQLite插入数据时默认一条语句就是一个事务，有多少条数据就有多少次磁盘操作，当数据量过大的时候，...
分析：数据库在高频读写情况写，如何保证数据库的安全稳定？
分析：数据库在高频读写情况写，如何保证数据库的安全稳定？ 解决方案： 1.首先需要保证连接数和qps在应对最高峰时仍有余量； 2.高频读： （1）对查询进行优化 （2）对频繁操作要加缓存 3.高频写： （1）增大数据库连接数和qps （2）累计n条数据，再进行写入一次（减少写时连接数） 4.高频读写： 以上第2和3条就是应对高频读写的解决办法 选择一个合理的连接数和qps的云mysql 优化查询 ...
.NET社区

62,074

社区成员

669,028

社区内容

发帖
与我相关
我的任务
社区描述
.NET技术交流专区
javascript云原生 企业社区
社区管理员
  • ASP.NET
  • .Net开发者社区
  • R小R
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章