sqlite3速度太慢的解决办法

AARR978 2012-08-10 11:42:00

呵呵，我是自己没办法来求办法的。
入正题，最近碰到一个项目，要用到内存数据库，然后对比之下选择了sqlite3，完成之后测试结果让我大失所望，速度太慢了，反复调试，发现慢就是慢在一个对比逻辑过程，该过程是来一条数据，然后和以前相同ID的数据对比，如果有，更新，没有，插入。这样一条执行下来，居然要0.015s，这个速度太是了，我完全接受了不，因为我的数据来得很快，1s内少说也有接近10000条数据来，所以来此请教各位，有没有什么好的办法分享一下

不要说用事物，因为我的模式是来一条数据就有查询，更新，新增和删除的，这情况下事物不起什么作用的

在线等，非常感谢!

...全文

2850 18 打赏收藏转发到动态举报

写回复

用AI写文章

18 条回复

切换为时间正序

请发表友善的回复…

发表回复

vprotect 2014-05-05

打赏
举报

如果需要保存在内存中完全不需要sqlite,用xml保存数据(其它任何格式都可以), 程序启动时读一下, 根据你的需要放在map或list里就可以了

mujiok2003 2014-05-05

打赏
举报

引用 12 楼 gongxujun 的回复:

Replace into

引用 16 楼 Fire_Lord 的回复:

在不修改任何逻辑的情况下有一个办法可以帮助你提高性能，使用prepared statement 而不是使用简单的SQL语句执行。将statement 进行编译，保存编译后的statement, 每次来数据的时候通过sqlite3_bind_text16 来绑定参数构造一个完整的SQL命令。 SQLITE内部有一个虚拟机，在执行SQL语句时需要先编译成内部的命令码，这个编译过程还是很消耗时间的，所以尽量只编译一次，每次使用bind parameter的方式来执行。参考API
sqlite3_prepare16_v2
sqlite3_bind_text
//其它prepare 和 bind 函数

Fire_Lord 2014-05-05

打赏
举报

在不修改任何逻辑的情况下有一个办法可以帮助你提高性能，使用prepared statement 而不是使用简单的SQL语句执行。将statement 进行编译，保存编译后的statement, 每次来数据的时候通过sqlite3_bind_text16 来绑定参数构造一个完整的SQL命令。 SQLITE内部有一个虚拟机，在执行SQL语句时需要先编译成内部的命令码，这个编译过程还是很消耗时间的，所以尽量只编译一次，每次使用bind parameter的方式来执行。参考API


sqlite3_prepare16_v2
sqlite3_bind_text
//其它prepare 和 bind 函数

哈几油 2014-05-04

打赏
举报

当然，插入肯定还是要用事物，把比较完了以后的insert语句集合起来，一起插入，这样就快多了。

哈几油 2014-05-04

打赏
举报

考虑先把需要比较的数据放到内存或者文件，然后比较内存或者文件，插入的数据有需要比较的也放入内存或者文件，最好能排好序，这样就可以比较查询，二分法，很快。

wshn13 2012-08-23

打赏
举报

先做事务在说

gongxujun 2012-08-23

打赏
举报

Replace into

yifanernei 2012-08-10

打赏
举报

你是select后再insert/update
还是直接replace into

如果不批量的操作，sqlite的插入操作速度是不算太快

AARR978 2012-08-10

打赏
举报

[Quote=引用 4 楼的回复:]
这个判断动作可以在内存中做。
[/Quote]

就是在内存，我用的是sqlite内存模式，所有的操作都是在内存，但是结果还是太慢了

aopha 2012-08-10

打赏
举报

这个判断动作可以在内存中做。

AARR978 2012-08-10

打赏
举报

[Quote=引用 1 楼的回复:]
sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。
[/Quote]

额，看漏了，你是说更新和新增分离，我想过，不过这样也不太理想，因为每交的标准，都是以最新一条数据为准，如果把数据先缓存，那样业务逻辑会出错

AARR978 2012-08-10

打赏
举报

[Quote=引用 1 楼的回复:]
sqlite3是嵌入式数据库，不是内存数据库。
1、ID建索引没有。
2、为何要每条都入库，能否在内存中缓存再批量入库。或者说加一个缓存队列，把更新和入库分离。
[/Quote]

sqlite是可以建内存数据库的吧
你说的方法不行，因为来的每一条数据我都要判断一下，要不我都不知道这条数据到底是要插入还是更新的，所以不能批量

aopha 2012-08-10