低广播延迟已经成为任何关于建设源端站和CDN的招标和竞争中的必要特性。以前这种标准只适用于体育广播，但现在运营商要求每个领域的广播设备供应商提供低延迟，比如：广播新闻、音乐会、表演、采访、谈话节目、辩论、电子竞技等等。什么是低延迟？一般来说，延迟是指某一特定视频帧被设备（摄像机、播放机、编码器等）捕获的时间与该帧在终端用户显示器上播放的时间之间的时间差。什么是低延迟视频流？低延迟不应降低信号传输的质量，这意味着在编码和复用时使用最小的缓冲，同时在任何设备的屏幕上需要保持流畅和

导读：疫情期间，视频会议等远程办公产品备受青睐，众多互联网玩家切入视频会议市场，加剧市场竞争。但是，产品虽多，能够带来稳定可靠体验的产品却凤毛麟角，他的难点在哪里？视频会议的门槛倒地有多高，又能做到怎样的极致体验？从0到1，和大家分享如何基于WebRTC来搭建一个视频会议。入门篇先请出我们今天的主角 - WebRTC，它是由谷歌推广的实时音视频技术栈，是音视频领域搜索热度最高的技术。它有多重身份，既是W3C的标准，也是一个开源项目，还有一个对应的IETF工作组(RTCWEB)。在WebRTC出现..

在前端领域，WebRTC是一个相对小众的技术；但对于在线教育而言，却又是非常的核心。网上关于WebRTC的文章很多，本文将尝试以WebRTC工作过程为脉络进行介绍，让读者对这门技术有一个完整的概念。WebRTC（Web Real-Time Communications） 是由谷歌开源并推进纳入W3C标准的一项音视频技术，旨在通过 点对点 的方式，在不借助中间媒介的情况下，实现浏览器之间的实时音视频通信。与Web世界经典的B/S架构最大的不同是，WebRTC的通信不经过服务器，而直接与客户端连接，在节

前文中，我们已经利用 FFmpeg + OpenGLES + OpenSLES 实现了一个多媒体播放器，本文将基于此播放器实现一个酷炫的 3D 全景播放器。全景播放器原理全景视频是由多台摄像机在一个位置同时向四面八方拍摄，最后经过后期拼接处理生成的。普通播放器播放全景视频画面会扭曲变形用普通的多媒体播放器播放全景视频，画面会呈现出严重的拉伸和扭曲变形。全景播放器将视频画面渲染到球面上，相当于从球心去观察内部球面，观察到的画面 360 度无死角，这也就是市面上大多数“ VR 盒子”的实

本文将利用 Android AudioRecorder 采集 PCM 音频，然后利用 FFmpeg 对其编码生成 aac 文件。提前预告下，在该系列的下一篇文章将介绍 FFmpeg 同时对 Android Camera 采集的预览帧和 AudioRecorder 采集的音频数据进行编码，生成一个 mp4 文件。AudioRecorder 使用这里利用 Android AudioRecorder API 采集音频 PCM 裸数据，然后通过 jni 传递到 Native 层供 FFmpeg 编

前文中，我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染，本文将实现播放器的最后一个重要功能：音视频同步。老人们经常说，播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。音视频的同步方式有 3 种，即：音视频向系统时钟同步、音频向视频同步及视频向音频同步。音视频解码器结构在实现音视频同步之前，我们先简单说下本文播放器的大致结构，方便后面实现不同的音视频同步方式。.

总体来讲，音视频开发是有一定的技术门槛的，我觉得至少需要在这个领域踏踏实实积累个3-5年，才能对音视频相关的开发知识有一个整体、深刻的理解。从技术上来讲，需要从如下两个大类知识点上去积累：C/C++通用开发知识音视频开发的主要编程语言就是C和C++。这块的专业知识积累是通用的，并不局限于某个特定的行业，属于程序员的技术功底。可以重点关注如下几个方面：计算机系统的底层工作原理操作系统原理程序的编译、链接和加载机制C/C++语言特性背后蕴含的思想，底层工作原理，适用场景，存在

现在有一种新型的 WebRTC 应用程序架构正在发展，称为 WebRTC Unbundling，尽管它可能不适用于所有应用程序场景，但至少在开发新的实时视频开发项目时应该考虑一下它。在过去，三种不同类型的 WebRTC 应用架构即符合标准的 WebRTC、开源媒体服务器和称为 CPaaS 的商业媒体服务器是基于 WebRTC 开发的选项，这三个仍然是有效的架构选择，WebRTC Unbundling 只是第四个选择，可以认为它是符合标准的 WebRTC选项的另一种形式。介绍对于使用 WebRTC 的

本文将利用 FFmpeg 对一个 Mp4 文件的视频流进行解码，然后使用 libswscale 将解码后的 YUV 帧转换为 RGBA 帧，最后使用 ANativeWindow 进行渲染。视频解码播放FFmpeg 视频解码雷霄骅博士的音视频处理流程图参考雷霄骅博士的音视频处理流程图，我们大概了解了本节的处理流程：（Mp4文件）解协议->解封装->视频解码->缩放或格式转换->渲染。关于 FFmpeg 需要了解的几个结构体：AVFormatCo.

本文将利用 FFmpeg 对一个 Mp4 文件的音频流进行解码，然后使用 libswresample 将解码后的 PCM 音频数据转换为目标格式的数据，最后利用 OpenSLES 进行播放。FFmpeg 音频解码旧文中，我们已经对视频解码流程进行了详细的介绍，一个多媒体文件（Mp4）一般包含一个音频流和一个视频流，而FFmpeg 对音频流和视频流的解码流程一致。因此，本节将不再对音频解码流程进行赘述。类似于视频流的处理，音频流的处理流程为：（Mp4文件）解协议->解封装->音频解码-

基本概念WebRTC是由Google主导的，由一组标准、协议和JavaScript API组成，用于实现浏览器之间（端到端之间）的音频、视频及数据共享。WebRTC不需要安装任何插件，通过简单的JavaScript API就可以使得实时通信变成一种标准功能。现在各大浏览器以及终端已经逐渐加大对WebRTC技术的支持。下图是webrtc官网给出的现在已经提供支持了的浏览器和平台。Android上实现一个WebRTC项目在深入讲解协议之前，我们先来看实例。我们先来看下在Androi.

1. 概述音视频领域早期采用模拟化技术，目前已发展为数字化技术。数字化的主要好处有：可靠性高、能够消除传输及存储损耗，便于计算机处理及网络传输等。数字化后，音视频处理就进入了计算机技术领域，音视频处理本质上就是对计算机数据的处理。图像信息经采集后生成的原始视频数据，数据量非常大，对于某些采集后直接本地播放的应用场合，不需要考虑压缩技术。但现实中更多的应用场合，涉及视频的传输与存储，传输网络与存储设备无法容忍原始视频数据的巨大数据量，必须将原始视频数据经过编码压缩后，再进行传输与存储。本文仅关注视

下面是 2022.04 月音视频面试题集锦内容的节选：1）RTMP 消息分优先级的设计有什么好处？RTMP 的消息优先级是：控制消息 > 音频消息 > 视频消息。当网络传输能力受限时，优先传输高优先级消息的数据。要使优先级能够有效执行，分块也很关键：将大消息切割成小块，可以避免大的低优先级的消息（如视频消息）堵塞了发送缓冲从而阻塞了小的高优先级的消息（如音频消息或控制消息）。2）什么是 DTS 和 PTS？它们有什么区别？DTS 是解码时间戳；PTS 是显示时间戳。

如何实现两个人的实时视频通话呢？你可能会首先想到直播手段：采流 -> 推流 -> 拉流。但是，如果把这个过程放在前端去实现，那只能天台见了。然而，WebRTC的出现，扭转了这个现状。借助WebRTC，前端可以不用去关注“采流 -> 推流 -> 拉流”这种过程，倾轻松就可以实现直播甚至实时音视频通话。WebRTC是什么？底层原理是什么？怎么用？让烧烤哥给你娓娓道来！什么是WebRTC？WebRTC全称Web Real-time Communication，网..

今天，你刘畊宏女孩了吗？持续大热的“李佳琦女生”和近期大势的“刘畊宏女孩”都在证明着，直播行业依然热度不减。经过多年发展，直播已经衍生出了越来越丰富的玩法，比如连麦 PK、一起看等。而这些场景，都非常依赖 RTC 实时音视频技术的兴起。疫情反复，很多人又进入了居家时刻。把生活和工作转向线上成为大家对抗“停摆”焦虑的解决方案。除了直播、语聊房等娱乐社交场景，还有线上课堂、视频会议，乃至线上问诊咨询。 在我们把娱乐、社交和生活的方方面面搬到线上的过程中，RTC 实时音视频技术迅速发展，不断打卡新应用，渗透新

软件定位SRS 定位是运营级的互联网直播服务器集群，追求更好的概念完整性和最简单实现的代码。运营级：商业运营追求极高的稳定性、良好的系统对接、错误排查和处理机制。譬如日志文件格式、reload、系统 HTTP 接口、提供 init.d 脚本、转发、转码和边缘回多源站，都是根据 CDN 运营经验作为判断这些功能作为核心的依据。互联网：互联网最大的特征是变化，唯一不变的就是不断变化的客户要求，唯一不变的是基础结构的概念完整性和简洁性。互联网还意味着参与性，听取用户的需求和变更，持续改进和维护。直播服务

1、基本介绍WebRTC（全称 Web Real-Time Communication），即网页即时通信。是一个支持网页浏览器进行实时语音对话或视频对话的技术方案。从前端技术开发的视角来看，是一组可调用的API标准。​2012年1月：谷歌已经把这款软件集成到Chrome浏览器中，Opera初步集成WebRTC。 2013年 6月：Mozilla Firefox[5]发布22.0版本正式集成及支持WebRTC。 2017年11月：W3C WebRTC 1.0 草案正式定稿。 2021年1

1、引言在一个典型的IM应用里，使用实时音视频聊天功能时，视频首帧的显示，是一项很重要的用户体验指标。本文主要通过对WebRTC接收端的音视频处理过程分析，来了解和优化视频首帧的显示时间，并进行了总结和分享。2、什么是WebRTC？对于没接触过实时音视频技术的人来说，总是看到别人在提WebRTC，那WebRTC是什么？我们有必要简单介绍一下。说到 WebRTC，我们不得不提到 Gobal IP Solutions，简称 GIPS。这是一家 1990 年成立于瑞典斯德哥尔摩的 Vo.

概述随着移动互联网的快速发展以及智能终端性能的逐步提高，智能终端间进行实时音视频通讯成为移动互联网发展的一个重要方向。那么如何保证智能终端之间实时音视频数据通讯成为一个很现实的问题。实际上，实时音视频通讯 = 音视频处理 + 网络传输。包括采集、编码、网络传输、解码、播放等环节。其中采集、编解码和播放属于“音视频处理”是不受网络条件影响的，只受限于编解码算法，播放策略等因素。而网络传输的丢包、抖动和乱序对实时音视频应用的体验影响最为重大，如何解决好这些问题，是个很大的研究课题，好在目前已经存在多种非

前言即时通讯应用中的实时音视频技术，几乎是IM开发中的最后一道高墙。原因在于：实时音视频技术 = 音视频处理技术 + 网络传输技术 的横向技术应用集合体，而公共互联网不是为了实时通信设计的。本文是一篇详细介绍实时语音通讯过程中的丢包补偿技术的文章。内容概述现如今，随着移动互联网越来越普及，实时语音通讯应用越来越流行，但因网络状况及相关因素的影响，实时语音通讯的丢包问题在所难免，与视频不同，语音丢包处理不佳，会让通话双方体验非常糟糕。好在已经有越来越成熟的丢包补偿技术。丢包补偿技术可以分