社区
Linux/Unix社区
帖子详情
popen频繁调用问题,请各位大侠帮忙分析下~
virus0jing
2011-01-22 10:10:05
目前调的一个程序:
10个线程专门做文件解析,解析的数据通过另外的10个线程调用popen来刷新专门的文件
问题是,现在调用popen的频率太高了,每秒50次以上,导致专门解析的线程处理非常的缓慢,
请各位大侠帮忙分析下原因?
ps:1,开始以为硬盘的io会比较高,但是iostat出来的结果,iowait很小(popen刷新文件的数据量非常小)
2,16CPU时测试,CPU占用率一致在150%左右,平均idle也都会在85%以上
...全文
332
3
打赏
收藏
popen频繁调用问题,请各位大侠帮忙分析下~
目前调的一个程序: 10个线程专门做文件解析,解析的数据通过另外的10个线程调用popen来刷新专门的文件 问题是,现在调用popen的频率太高了,每秒50次以上,导致专门解析的线程处理非常的缓慢, 请各位大侠帮忙分析下原因? ps:1,开始以为硬盘的io会比较高,但是iostat出来的结果,iowait很小(popen刷新文件的数据量非常小) 2,16CPU时测试,CPU占用率一致在150%左右,平均idle也都会在85%以上
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
cceczjxy
2011-01-25
打赏
举报
回复
每秒50次popen,那么就是每秒至少100次的进程创建和释放,那你的系统想快也够呛。
快乐田伯光
2011-01-22
打赏
举报
回复
为什么要频烦调用popen()? 调用一次不释放供下一次使用不更好吗?
[Quote=引用楼主 virus0jing 的回复:]
目前调的一个程序:
10个线程专门做文件解析,解析的数据通过另外的10个线程调用popen来刷新专门的文件
问题是,现在调用popen的频率太高了,每秒50次以上,导致专门解析的线程处理非常的缓慢,
请各位大侠帮忙分析下原因?
ps:1,开始以为硬盘的io会比较高,但是iostat出来的结果,iowait很小(popen刷新文件的数据量非常小)
2,16CPU时测试,CPU占用率……
[/Quote]
wuyu637
2011-01-22
打赏
举报
回复
每次写的东西太少了吧。你可以先把解析的结果存在一个buffer里面,每次等到buffer满了,再去刷一下,这样等于每次popen传输的量大一点,总得次数和频度就减小了
subprocess.
Popen
调用
缓慢
使用 python 的 subprocess.
Popen
调用
脚本时,发现虽然设置了直接返回状态码,不必等待脚本执行完毕,但依然会有很慢的情况出现,经过排查,发现原因在于fd被多个子进程同时继承导致的。在存在并发的时候,
Popen
中...
Python用subprocess的
Popen
来
调用
系统命令
当我们需要
调用
系统的命令的时候,最先考虑的os模块。用os.system()和os.
popen
()来进行操作。但是这两个命令过于简单,不能完成一些复杂的操作,如给运行的命令提供输入或者读取命令的输出,判断该命令的运行状态,...
popen
的用法及与system
调用
的区别
首先用man查看下
popen
的介绍:
popen
(3) - Linux man page Name
popen
, pclose - pipe stream to or from a process Synopsis #include stdio.h> FILE *
popen
(const char *command, const char *type); ...
c语言
popen
函数多线程,对
POPEN
的
调用
导致线程内挂起
您提到过“如果返回代码为非零,
请
检查输出栏”,
请
查看check_output docs它引发了一个CalledProcessError异常,您可以捕捉到该异常,并将所有错误详细信息包含在一个很好的结构中。在import threading, subprocess,...
Windows C++ 在程序中使用
popen
来
调用
dos,解决黑窗口一闪而过的情况
完美解决程序中
调用
popen
执行dos命令,shell窗口一闪而过,不美观的情况。
Linux/Unix社区
23,116
社区成员
74,506
社区内容
发帖
与我相关
我的任务
Linux/Unix社区
Linux/Unix社区 应用程序开发区
复制链接
扫一扫
分享
社区描述
Linux/Unix社区 应用程序开发区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章