音视频同步的简单控制

NBW_GX 2023-01-12 23:39:56

课时名称	课时知识点
音视频同步的简单控制

...全文

182 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一般来说，视频同步指的是视频和音频同步，也就是说播放的声音要和当前显示的画面保持一致。想象以下，看一部电影的时候只看到人物嘴动没有声音传出；或者画面是激烈的战斗场景，而声音不是枪炮声却是人物说话的声音，这是非常差的一种体验。在视频流和音频流中已包含了其以怎样的速度播放的相关数据，视频的帧率（Frame Rate）指示视频一秒显示的帧数（图像数）；音频的采样率（Sample Rate）表示音频一秒播放的样本（Sample）的个数。可以使用以上数据通过简单的计算得到其在某一Frame（Sample）的播放时间，以这样的速度音频和视频各自播放互不影响，在理想条件下，其应该是同步的，不会出现偏差。但，理想条件是什么大家都懂得。如果用上面那种简单的计算方式，慢慢的就会出现音视频不同步的情况。要不是视频播放快了，要么是音频播放快了，很难准确的同步。这就需要一种随着时间会线性增长的量，视频和音频的播放速度都以该量为标准，播放快了就减慢播放速度；播放快了就加快播放的速度。所以呢，视频和音频的同步实际上是一个动态的过程，同步是暂时的，不同步则是常态。以选择的播放速度量为标准，快的等待慢的，慢的则加快速度，是一个你等我赶的过程。

将ffmpeg_play的同步代码,移植成MFC会话框程序,同时使用GDI显示,去掉SDL显示方式,同时克服console程序视频解码时发生中断的情况. 编译环境vs2005..

本文设计实现了一种适应不同网络环境的音视频同步方案。设计中利用RTP时间戳及循环缓冲区在可靠网络环境下对音视频进行同步，以及在动态网络环境下，利用RTCP反馈控制来动态改变音视频编码方式的同步方案。此方案已经成功应用于作者开发的网络多媒体终端上，保持了较低的丢包率，保证了终端之间多媒体信息的传输质量。

ffmpeg-qt-视频播放器小demo，已简单实现音视频同步

包含了音视频处理模块（采集、编解码）、流媒体管理模块（丢包重传、抖动平滑、动态缓冲）、流媒体播放模块（多路混音、音视频同步）以及P2P网络模块（NAT穿透、UPnP支持、IP组播支持）等多个子模块，封装了底层的硬件操作（音视频采集、播放）、封装了流媒体处理（编解码、网络传输）等非常专业和复杂的技术，为上层应用提供简单的API控制接口，可以在极短的开发周期，以及极少的人力资源投入下为客户的现有平台增加音视频即时通讯、多方会议的功能。这是客户端SDK源码，用于实现语音、视频的交互以及其它客户端相关的功能。

关翔的课程社区_NO_1

1

社区成员

23

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章