求对大数据量的表的新增与查询同时操作的速度解决?

lliuxxingw 2007-11-15 09:50:53
现有一个数据库,每小时得往其中的表插入数据(从不规则文本中用JAVA处理),数据量较大,现在数据需保留近三月的数据,近230G 的数据,当不进行查询操作时,插入数据时候的每一个文件(1M左右)只需4-7s ,当有用户也在查询数据库时,此时插入数据的速度非常慢,有时就是停止的状态 ?
不知大家有什么办法来处理这个问题呢 ?
我自己的一个想法看能不能用所谓的同步数据库的办法,在服务器上建两个相同结构的数据库A,B
数据库A对应由插入数据的JAVA程序来处理,只保存一天OR两天的记录,
数据库B就由用查询的程序(如WEB方面的应用)来调用,
这样就可以分开A 与B ,但是用户对数据的实时性要求稍紧,希望到库A 的数据能尽量查询到,这就得让A 库的数据能较快地更新到库B中
不知有什么好的处理办法 ?
...全文
163 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
w2jc 2007-11-30
  • 打赏
  • 举报
回复
我的系统和你说的有点像,
每天有很多用户输入数据,但是另一方面也运行一些很大的报表
我们的做法是:
在生产环境的主数据库A中更新数据,另一个服务器有一个查询专用的数据库B
每天都把A的更新转移到B上面,目前用的是日志传送
没有使用数据库复制和数据库镜像

xxsoft2007 2007-11-29
  • 打赏
  • 举报
回复
建立一个表A做为提交数据缓冲,当数据提交到缓冲表A完成后,将缓冲表数据A转移到表B(转移过程可用存储过程处理)
jwt1982 2007-11-15
  • 打赏
  • 举报
回复
1、订阅复制,选择更新时间为1天

2、1M的数据,处理进去应该很快,建议JAVA处理时,不要在事务过程中去处理不规则数据,建议对原始数据做处理后,一下提交事务,这样处理速度就上去了。

22,207

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧