linux下sleep太频繁会不会有问题

fenghaibo00 2012-04-03 03:03:06
我现在开发一款视频播发服务程序,按照视频码率进行播发视频。通过每20ms计算发包的数量来控制播发视频的码率,中间用的是nanosleep来做。操作系统是RHEL 6.1(32位系统),由于我播发了几十个视频,每个视频的播发都要用到nanosleep来控制码率,当连续播发几个小时候,我的播发程序cpu占用率突然变得不稳定,正常时是20%左右,但是一出现问题,就会从4%到30%之间频繁波动,波动幅度很大。用sar -n DEV 1查看网卡的发包情况,正常情况下会在15MB/s,当时一旦出现问题时,就会出现最小0MB/s,最大80MB/s的情况,而且每次都持续5分钟左右。已经做过以下测试:
1. 更换OS为RHEL 6.2, 问题依旧
2. 全部换成内存播发同一个问题,去除I/O因素, 问题依旧。
3. 减少几个视频,问题出现的间隔从几个小时变为几天,但是还是会出现
4. 更换一个好的CPU,连续测试了几天,没有问题

难道真的和CPU有关系?我觉得可能和sleep太频繁有一定的关系,但是没有理论根据。请问有人遇到过这样的问题吗?或者从这样的现象可以判断出问题可能出在哪里。我总觉得和程序没有太大关系,换了两台机器,只是CPU好了一点,都没有问题。

...全文
1026 14 打赏 收藏 转发到动态 举报
写回复
用AI写文章
14 条回复
切换为时间正序
请发表友善的回复…
发表回复
chen_quan 2013-09-24
  • 打赏
  • 举报
回复
2.6.18内核 时钟并不能精确到纳秒,nanosleep函数实际上是1us唤醒一次 2.6.32内核修复了这个问题,nanosleep可以真正每ns唤醒 所以同一个程序在2.6.18内核上没问题,在2.6.18内核上会因为唤醒过于频繁,导致cpu过高
dongjiawei316 2012-04-19
  • 打赏
  • 举报
回复
啊!会有这样的问题?幸亏我的2.6.18没有出过。。。。以后要注意下了,谢谢楼主
fenghaibo00 2012-04-18
  • 打赏
  • 举报
回复
通过打印nanosleep的日志发现,当连续运行10个小时左右,nanosleep有时候会非常不准确,我一般设置的是20ms,但是出问题时已经sleep了1400多ms。RHEL 5.4上尚未发现这个问题,CPU好点这个问题出现的几率就小点。半个月跟踪得出的结论,悲剧啊~使用nanosleep的兄弟们注意下这个问题
fenghaibo00 2012-04-10
  • 打赏
  • 举报
回复
我测试的select还可以,内核是2.6.32,但是我把同样的程序换到2.6.18(RHEL 5.4)上运行,跑了接近3天没有发现问题,纳闷儿中~~~
不知道是不是RHEL 6.x的问题。。。难道越升级bug越多
dongjiawei316 2012-04-08
  • 打赏
  • 举报
回复
我测试了一下,select做的sleep时间相当不准啊!sleep 5ms,经常到10ms左右,我用的是linux 2.6.18
root_jli 2012-04-05
  • 打赏
  • 举报
回复
与sleep太频繁有关系
写个死循环while(1){sleep(1)}cpu负载为1
一般cpu(单核)负载为3.5以上会不稳定。
cpu(24核)启动了1000个类似的程序,结果起来了400个,桌面鼠标全部卡了(不是不响应,是cpu忙不过来)

所以sleep()很费资源,慎重使用,查看你的负载是否过高。
fenghaibo00 2012-04-05
  • 打赏
  • 举报
回复
[Quote=引用 6 楼 的回复:]

linux里的nanosleep不是真正精确到纳秒级的,大概是微秒吧,具体你可以搜索下。进程频繁切换会导致这样的问题
[/Quote]
我用线程做的,也有进程测试过,现象是一样的。这个问题不是很快就出现的,每次出现大概都要等上一天左右。。。
fenghaibo00 2012-04-05
  • 打赏
  • 举报
回复
[Quote=引用 3 楼 的回复:]

与sleep太频繁有关系
写个死循环while(1){sleep(1)}cpu负载为1
一般cpu(单核)负载为3.5以上会不稳定。
cpu(24核)启动了1000个类似的程序,结果起来了400个,桌面鼠标全部卡了(不是不响应,是cpu忙不过来)

所以sleep()很费资源,慎重使用,查看你的负载是否过高。
[/Quote]
我的nanosleep确实很频繁,但是CPU的负载只有20%左右,我的CPU是4核CPU,换到6核CPU上就没有这个问题,这个有理论根据吗?
fenghaibo00 2012-04-05
  • 打赏
  • 举报
回复
[Quote=引用 5 楼 的回复:]

引用 1 楼 的回复:
不太清楚,要不用select模拟sleep试试?

nanosleep的机制与select阻塞的机制有什么区别啊?
[/Quote]
同样求解~我测试了一下,好像select也是有问题的
falloutmx 2012-04-05
  • 打赏
  • 举报
回复
linux里的nanosleep不是真正精确到纳秒级的,大概是微秒吧,具体你可以搜索下。进程频繁切换会导致这样的问题
dongjiawei316 2012-04-05
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 的回复:]
不太清楚,要不用select模拟sleep试试?
[/Quote]
nanosleep的机制与select阻塞的机制有什么区别啊?
dongjiawei316 2012-04-05
  • 打赏
  • 举报
回复
楼上的说法,有确定的依据吗?sleep和nanosleep的开销都大吗?我的程序里用的都是nanosleep啊!
fenghaibo00 2012-04-03
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 的回复:]

不太清楚,要不用select模拟sleep试试?
[/Quote]
我也想到这点了,正在测试~~希望可以解决问题,但是始终不知道问题的根源在哪里。
谢啦~
昵称很不好取 2012-04-03
  • 打赏
  • 举报
回复
不太清楚,要不用select模拟sleep试试?
 OpenGL-自主高性能三维GIS平台架构与实现/第二季:实现三维GIS球体+ 高程数据章节名称DEM基础1DEM基础知识1.介绍基本的DEM知识2.什么是DEM,作用是什么2DEM数据1.如何获取/ 传统测量/激光扫描/无人机测量/ 点云数据/ 倾斜摄影2.如何使用/局部小规模(栅格数据,图片/tif),3. 组织方式4. 根据使用目的不同,介绍多种优化方法3DEM图层的实现原理14DEM数据结构定义struct  V3U3N4顶点数据的生成和计算WGS84投影计算5wgs84 投影球体被切成一个个小圆弧,一共60个投影带,分别为01,02.........60WGS的最新版本为WGS 84(也称作WGS 1984、EPSG:4326),1984年定义、最后修订于2004年。接口定义坐标转换Wgs84 数据加载6瓦片编号计算生成算法1. 经纬度到大地坐标的转换2.大地坐标到经纬度坐标转换3. 根据经纬度获取瓦片编号框架重构7智能指针重构框架1. 基类定义(所有的类继承自基类),基类派生自 std::enbale_shared_from_this2. 实现智能指针的动态转换接口3. 实现向下转换4. 已有的类实现全部使用智能指针重构5. 任务系统(多线程加载任务)8引入图层(Layer)1. 介绍图层的概念以及重要性2. 图层类实现3. 修改框架(使用图层的方式重构框架)9Layer-bug排查(绘制过程中出现错位,偶发)1. 框架重构后遇到问题(绘制结果错误)2. 瓦片索引方式发生变化,多线程中引起内存问题3. 修改索引方式,解决绘制偶发错误问题10引入数据源(TileSource)1. 数据源的作用与设计目的2. 当前存在的问题,数据调度中存在问题3. 数据源(TileSource)类实现11数据格式管理(FormatMgr)1. 数据格式管理(FormatMgr) 提出的目的,需要解决的问题2. CELLFormat基类接口抽象3. 实现几个标准格式类4. 修改框架流程,使用FormatMgr重构流程5. 扩展支持,后续支持任务格式数据加入系统12Task(任务)优化1. 任务中低耦合数据结构,目的是让Task更加的通用2. 修改任务读取代码与任务处理代码,完善处理流程DEM高程13DEM-数字高程定义1. 什么是数字化高程数据2. 当下GIS系统中有哪些常见的高程格式3. 课程体体系中使用的哪种格式4. 高程类定义以及实现,并加入到FormatMgr 管理系统中14高程瓦片数据读取1. 介绍GIS系统相关的工具(在数据转换)数据生成方面可以解决大量时间2. 自定义高程瓦片格式说明3. 自定义高程格式文件解析,并以智能对象的方式引入到系统中4. 完善框架代码,适配高程数据15高程瓦片文件的读取1. 实现基本的读取算法2. 增加格式化组件,并加入到系统中3. 配置高程图层以及高程数据源,并加载数据,验证数据正确性16瓦片数据结构重构1.顶点生成2.UV坐标计算3.面数据生成17DEM重构绘制流程1. 修改绘制数据结构,去除无用字段2. 增加Mesh类,实现光栅数据转换成三角面数据,计算UV数据,提炼接口3. 修改系统调度,实现顶点数据,UV数据,以及面数据的生成与更新4. 按需更新数据,而不是每一帧更新18DEM-数据精度问题(CPU)1. 因为瓦片数据使用大地坐标作为系统输入,造成瓦片坐标很大,单浮点数据精度不够2. 使用局部坐标的方式解决单浮点精度问题3. 调整相机参数,解决投影矩阵数据计算深度精度问题4. 修改绘制shader 实现对瓦片数据的绘制19DEM-数据精度问题(LogDepth)1. 使用对数深度(log depth )算法在GPU中 计算解决单浮点经纬计算问题2. 修改shader ,增加对(logDepth)算法支持3. 修改C++端代码,实现对shader数据的输入20DEM-数据结构优化1.当下使用CPU端数据通过接口的方式传递给GPU,速度慢2. 使用Instance 方式降低Vertex Buffer 的大小,优化渲染系统21DEM-GPU缓冲区优化1. 使用Vertex Buffer Object / Index Buffer Object  / Instance  方式优化渲染系统2. 修改绘制接口,使用DrawElementsInstanceBaseInstance方式提升系统性能内存池与对象池22瓦片生成优化/对象池1. 相机移动过程中频繁的建立与释放瓦片,对CPU有较大的消耗2. 引入内存池,避免频繁的内存申请与释放,降低CPU时间3. 改造智能指针对象,对象释放通知到内存管理,回收对象内存23改造任务系统支持对象池1. 任务系统是一个公用模块,被多个模块使用,避免频繁的内存操作,引起的内存碎片2. 实现对象池,并应用到任务模块法线计算24法线计算1. 修改现有顶点结构,增加法线支持2. 修改shader,增加法线顶点输入,使用平行光光照模型3. 修改绘制流程,支持光照计算,使用探照灯作为光源输入25顶点法线计算/共享法线计算1. 增加数据结构保存顶点数据被多个面共享的次数2. 计算面法线,并累加到顶点法线中3. 根据顶点被面共享的次数做平均法线计算4. 修改流程,按需更新法线数据26法线数据压缩1. 法线数据使用3 * float 数据存储,大大的增加了系统的数据2. 实现算法,将3 * float 数据压缩成4字节数据3. 改造绘制代码,支持压缩数据输入27GPU中计算产生法线数据(去掉CPU中计算)1. 引擎支持 Geometry Shader 阶段2. 编写 Geometry Shader,实现法线计算系统功能优化28重构CPU拾取流程1. 当下的拾取流程,只支撑二维数据拾取,无法准群的拾取三维数据2. Terrain中增加拾取接口,输入射线,输出拾取到顶点数据29绘制拾取结果1. 增加一个绘制点的方法,实现绘制代码2. 修改shader,增加logdepth3. 调试代码,花费了很多时间排查错误,最总排查到是因为uniform参数笔误写错造成。30任务系统完善,避免任务队列无线膨胀1. 任务系统中,没有限制队列的大小,生产者的能力远大于消费者的能力,造成任务队列膨胀2. 处理办法,限制生产者的生产能力,而不是限制任务队列大小(这种方式造成业务逻辑异常复杂)3. 使用sleep休眠方式(这种方式是严重错误的)31如何避免瓦片数据抖动1. 产生瓦片抖动的原因 ? 分裂算法与回退算法中间没有过度2. 引入过度流程,避免内存抖动,参数因子是一个重要的数据,需要谨慎使用3. 有必要结合瓦片自身数据动态计算参数因子32瓦片数据管理-fepk文件格式支持-全球数据加载1. 支持fepk文件格式,增加fepk读取组件,适配fepk文件2. fepk管理数据方式:一般情况选择全球前10级别作为基础级别,因数据量不大(1G)左右,后续以8级作为基础级别,全球19级别数据被划分为 2^8 * 2^7(512 * 256)个块。每个块中包含了256 * 256 张小瓦片33fepk高程数据读取 34高程分裂处理当瓦片没有高程数据,那么子节点以及其他后代节点该如何共享父节点的数据35lesson-734-高程瓦片分裂处理(2)-算法实现高程数据分裂算法实现实现对高程数据的切分,并对特殊数据进行处理36高程瓦片分裂处理(3)-问题排查 37高程瓦片分裂处理(4)-(后代节点更新问题)当一个瓦片高程数据更新后,他的儿子节点,孙子节点...该如何处理?38瓦片视锥裁剪错误高程数据更新后,没有技术计算瓦片包围盒信息,造成包围盒错误,进而引视锥计算错误39http支持1.引入三方库 Libcurl2.http类封装,支持http读取数据40fepk.server使用 生成三维地球41改造四叉树-统一使用经纬度输入42地形网络生成算法重构 43引入球体坐标系 44使用球体坐标改造瓦片 45多图层(加载标签数据) 课时截图:镜头拉近后,显示细节数据加载矢量SHP国界线数据:加载矢量三维白膜数据截图高程数据加载点云数据 加载倾斜摄影数据 

23,131

社区成员

发帖
与我相关
我的任务
社区描述
Linux/Unix社区 应用程序开发区
社区管理员
  • 应用程序开发区社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧