如何将大量数据写入数据库

小付同学 2014-01-09 07:17:36

本人遇到一个问题

，大致描述如下

：一个项目中，有大约300多个频道，每一个频道都有一个采集程序每隔2秒

(很关键啊)把数据发送至Redis服务器，我需要全部订阅这些频道，并把这些频道中的所有数据点都保存到Ihistorian数据库中。现在的做法是写一个专门接受频道数据的程序，先保存到本地文件，然后另外一个程序读取这些文件并写入到数据库中。
好问题开始出现了----如果有很多的频道的数据点有3000~4000个的话且都每隔2秒发送一次，那么写数据库的程序根本处理不过来，导致大量数据积压，有可能不到5分钟写满1G的本地文件，该如何处理？

有没有大大知道啊。本人想到的唯一的方法即多启动几个写数据库的程序。

或者应该怎么优化处理，怎么不通过本地文件这一块进行处理？？

...全文

469 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

小付同学 2014-02-22

打赏
举报

回复

引用 4 楼 spoilkite 的回复:

是只做INSERT，有没有UPDATE？

谢谢了，已经完成了。

spoilkite 2014-02-19

打赏
举报

回复

是只做INSERT，有没有UPDATE？

futao875296303 2014-01-11

打赏
举报

回复

哪位前辈赐教卡想学习

小付同学 2014-01-09

打赏
举报

回复

没有人吗

小付同学 2014-01-09

打赏
举报

回复

有没有人遇到这样的问题

使用Python读取大容量的数据并存入数据库中一、读数据二、连接数据库1.在数据库中建立一个新的表2.将数据写入到数据库中3.检查数据是否正确一、读数据我使用的是第三方包openpyxl进行数据的读取，读取的文件是xlsx格式的，如下： from openpyxl import workbook main_book = openpyxl.load_workbook(r'D:\final.xlsx') main_sheet = main_book.active row = main_sheet.max_r

qt多线程读写数据库

大量数据批量插入数据库 前言工作时遇到了大量数据需要插入到数据库的情况，一条条的插入速度慢效率低下，不能满足需求，为了解决此问题采用了sql中使用foreach，并在service中设置批量来进行批量插入。此外查找资料时发现还有一种batch方法，但是自己没能实现，希望有大佬可以指点我一下。。一、在oracle中使用foreach语句的一些注意事项 1、不能使用values语句：最开始使用了 insert into table_name (xxx,xxx,xxx) values 《foreach》

原因以 Mysql 为例插入大量数据导致越来越慢甚至崩溃越来越慢说明执行当前的操作可能已经占用了你大量的内存，数据库本身执行操作越来越费力，电脑是在被搞得太忙了处理的事情太多，几乎处理不过来了，这个时候显然如果能释放不需要的内存资源，或者提高数据库本身处理数据的性能自然是最有效的提升方式。大批量的数据操作一方面是我们的代码对数据库数据的操作逻辑有直接的影响，因为我们直接决定了数据库操作数据的方式。一方面是我们环境本身硬件设备的投入和建设力度。还有一方面 数据库为了应对不同的场景时需要修改

在工作中遇到了频繁写入数据库的问题,造成写入数据库慢,到别的界面比较卡的现象.二次开发的代码本来照着少改动少出错的原则,但是有点卡,不得不对数据库操作进行优化; 源代码操作的伪代码: if (dataList!=null&&dataList.size()>){ for(Data data:dataList){ ...

数据库开发

8,028

社区成员

1,361

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章