分析文件后，记录入库 请教

[色郎中]

写段代码，分析文件夹内的文本文件，每秒产生一个文件，每个文件大概500-1000条记录，简单分析一下，将每条记录存入数据库；
按最低记录数算 500条，一天下来也有5000-6000W条记录了：

处理过程：在一个线程里处理文本文件，分析文件后，将500条记录，一次性也在线程里插入数据库，程序跑一段时发现后，感觉本本抗不住，文件夹里很多文件来不及处理；
大概如下的样子；

 json= parsing_files(currentFileName)   //保存处理一个文本后的500条记录
db_handle.write_points( json)//调用库函数，写数据库

分别测试，只分析文件，并生成json（类似一个文件，即将文本文件分析过后的500条记录存一个json里），不做插入数据库操作，发现CPU, 内存，磁盘IO 都变化不大；
但是，调用库接口函数做入库操作，跑一段时间后，发现CPU，内存基本都给占用了

请教一下有啥的办法，分析文本 和 入库操作分开？ 处理的结果放队列，然后，开新线程做入库？ 或者其他，

[sanGuo_uu]

"发现CPU, 内存，磁盘IO 都变化不大" 这个你是怎么看的？启动任务管理器？ 处理的结果放队列，队列还不是要占内存哈。这样应该没用吧 听你的意思，是操作数据库的时候占cpu和内存，那分开后，也还是要写入数据库啊 --------------------------------------------------- 定个临界值，让它只执行固定时间or固定数据。然后手动执行下一次。——这也是一种思路啦。 看看是“数据分析”or“入库操作”占资源。 如果是“入库操作”的问题，那优化下sql语句？

[wutong9509]

sqlldr命令就可以解决解析文本然后导入数据库问题。

[色郎中]

哈哈 想多了，，是数据库自身原因，或者说，对这个数据库特性不熟悉，influxDB数据库，，tags的值乘积越大越耗内存， 调整Tags, 就OK了