[d]Python多线程的问题

[konig2012]

使用Python创建了两个线程，线程A接收并解析消息，然后把解析出来的信息放入队列中，线程B从队列中取出信息来写数据库。当信令的速度是每秒十几个时，线程B写一次数据库一般都是1毫秒左右。当信令的速度是每秒几十个或者上百时，线程B写一次数据库甚至达到了几百毫秒，结果队列中的信息越来越多，线程B都来不及处理。
查看程序的日志，发现在线程调度中，线程A不停地在接收和解析信令，占用了大量的时间。在线程A大量的处理日志中，偶尔能发现线程B写数据库的操作，感觉CPU时间都被线程A占用。
怎样优化处理？使得信令量大时，线程B能够正常写数据库。
-----------------------------
Double行动：
原帖分数：90

[Gloveing]

使用线程同步，或者当队列达到一定长度，就暂停线程A的操作一会

[qq120848369]

Python的多线程有坑，是伪多线程。

也就是说，两个线程不是并发的，是线程1执行完了停下才执行线程2，线程2完了再执行线程1.

用 _thread 模块吧。

[xugangjava]

开两个进程multiprocessing 进程A 进程B A B间共享一个队列， B进程写数据 批量写更快 队列累计到 几千条后告诉进程B开个数据库连接 begin tran 1000 次 insert end tran; 批量一次写入，减少请求数据库连接次数，同时提高写入效率。

[konig2012]

引用 3 楼 xugangjava 的回复:

开两个进程multiprocessing 进程A 进程B A B间共享一个队列， B进程写数据 批量写更快 队列累计到 几千条后告诉进程B开个数据库连接 begin tran 1000 次 insert end tran; 批量一次写入，减少请求数据库连接次数，同时提高写入效率。

我数据库连接就一直连着的，不是写一条就连接一次。

[惟愿莲心不染尘]

确实，用python多线程和轮询差不多……不是真多线程，我们项目里也踩过这个坑

[qq120848369]

引用 6 楼 howema 的回复:

引用 2 楼 qq120848369 的回复:Python的多线程有坑，是伪多线程。

也就是说，两个线程不是并发的，是线程1执行完了停下才执行线程2，线程2完了再执行线程1.

用 _thread 模块吧。

有验证过吗？

用Python有经验的同学都吃过亏，总有那么一天你也会遇到。

[xugangjava]

没看到代码， 那就是写一次commit一次吧？换成批量commit吧

[howema]

引用 2 楼 qq120848369 的回复:

Python的多线程有坑，是伪多线程。 也就是说，两个线程不是并发的，是线程1执行完了停下才执行线程2，线程2完了再执行线程1. 用 _thread 模块吧。

有验证过吗？

[konig2012]

看来只能尽量不救，想要用Python彻底解决这个问题很难啊。

[konig2012]

引用 7 楼 xmnathan 的回复:

确实，用python多线程和轮询差不多……不是真多线程，我们项目里也踩过这个坑

你能讲解一下当时你的现象吗？我想进一步了解一下。

[panghuhu250]

引用 6 楼 howema 的回复:

引用 2 楼 qq120848369 的回复:Python的多线程有坑，是伪多线程。 也就是说，两个线程不是并发的，是线程1执行完了停下才执行线程2，线程2完了再执行线程1. 用 _thread 模块吧。 有验证过吗？

search "python GIL". http://wiki.python.org/moin/GlobalInterpreterLock

[tkminigame]

引用 3 楼 xugangjava 的回复:

开两个进程multiprocessing 进程A 进程B A B间共享一个队列， B进程写数据 批量写更快 队列累计到 几千条后告诉进程B开个数据库连接 begin tran 1000 次 insert end tran; 批量一次写入，减少请求数据库连接次数，同时提高写入效率。

怎么共享一个队列？求请教