FFmpeg为什么选择FFmpeg？每个主流平台基本都有自己的音视频开发库（API），用以处理音视频数据，比如：iOS：AVFoundation、AudioUnit等 Android：MediaPlayer、MediaCodec等 Windows：DirectShow等 ...为了让所有平台的开发者都能够学习到音视频开发的通用技术，本教程主要讲解跨平台的音视频开发库FFmpeg。其实只要你掌握了FFmpeg，也可以很快上手其他音视频开发库，因为底层原理都是一样的，你最终操作的都是一样的数

通过编程录音开发录音功能的主要步骤是：注册设备 获取输入格式对象 打开设备 采集数据 释放资源需要用到的FFmpeg库有4个。extern "C" {// 设备相关API#include <libavdevice/avdevice.h>// 格式相关API#include <libavformat/avformat.h>// 工具相关API（比如错误处理）#include <libavutil/avutil.h>// 编码相关A.

ffplay可以使用ffplay播放《音频录制02_编程》中录制好的PCM文件，测试一下是否录制成功。播放PCM需要指定相关参数：ar：采样率 ac：声道数 f：采样格式 s16le：PCM signed 16-bit little-endian 更多PCM的采样格式可以使用命令查看 Windows：ffmpeg -formats | findstr PCM Mac：ffmpeg -formats | grep PCM ffplay -ar 44100 -ac 2

播放器是无法直接播放PCM的，因为播放器并不知道PCM的采样率、声道数、位深度等参数。当PCM转成某种特定的音频文件格式后（比如转成WAV），就能够被播放器识别播放了。本文通过2种方式（命令行、编程）演示一下：如何将PCM转成WAV。WAV文件格式在进行PCM转WAV之前，先再来认识一下WAV的文件格式。WAV、AVI文件都是基于RIFF标准的文件格式 RIFF（Resource Interchange File Format，资源交换文件格式）由Microsoft和IBM提出 所以WA

AAC（AdvancedAudioCoding，译为：高级音频编码），是由Fraunhofer IIS、杜比实验室、AT&amp;T、Sony、Nokia等公司共同开发的有损音频编码和文件格式。对比MP3AAC被设计为MP3格式的后继产品，通常在相同的比特率下可以获得比MP3更高的声音质量，是iPhone、iPod、iPad、iTunes的标准音频格式。AAC相较于MP3的改进包含：更多的采样率选择：8kHz ~ 96kHz，MP3为16kHz ~ 48kHz 更高的声道数上限...

低广播延迟已经成为任何关于建设源端站和CDN的招标和竞争中的必要特性。以前这种标准只适用于体育广播，但现在运营商要求每个领域的广播设备供应商提供低延迟，比如：广播新闻、音乐会、表演、采访、谈话节目、辩论、电子竞技等等。什么是低延迟？一般来说，延迟是指某一特定视频帧被设备（摄像机、播放机、编码器等）捕获的时间与该帧在终端用户显示器上播放的时间之间的时间差。什么是低延迟视频流？低延迟不应降低信号传输的质量，这意味着在编码和复用时使用最小的缓冲，同时在任何设备的屏幕上需要保持流畅和

导读：疫情期间，视频会议等远程办公产品备受青睐，众多互联网玩家切入视频会议市场，加剧市场竞争。但是，产品虽多，能够带来稳定可靠体验的产品却凤毛麟角，他的难点在哪里？视频会议的门槛倒地有多高，又能做到怎样的极致体验？从0到1，和大家分享如何基于WebRTC来搭建一个视频会议。入门篇先请出我们今天的主角 - WebRTC，它是由谷歌推广的实时音视频技术栈，是音视频领域搜索热度最高的技术。它有多重身份，既是W3C的标准，也是一个开源项目，还有一个对应的IETF工作组(RTCWEB)。在WebRTC出现..

在前端领域，WebRTC是一个相对小众的技术；但对于在线教育而言，却又是非常的核心。网上关于WebRTC的文章很多，本文将尝试以WebRTC工作过程为脉络进行介绍，让读者对这门技术有一个完整的概念。WebRTC（Web Real-Time Communications） 是由谷歌开源并推进纳入W3C标准的一项音视频技术，旨在通过 点对点 的方式，在不借助中间媒介的情况下，实现浏览器之间的实时音视频通信。与Web世界经典的B/S架构最大的不同是，WebRTC的通信不经过服务器，而直接与客户端连接，在节

前文中，我们已经利用 FFmpeg + OpenGLES + OpenSLES 实现了一个多媒体播放器，本文将基于此播放器实现一个酷炫的 3D 全景播放器。全景播放器原理全景视频是由多台摄像机在一个位置同时向四面八方拍摄，最后经过后期拼接处理生成的。普通播放器播放全景视频画面会扭曲变形用普通的多媒体播放器播放全景视频，画面会呈现出严重的拉伸和扭曲变形。全景播放器将视频画面渲染到球面上，相当于从球心去观察内部球面，观察到的画面 360 度无死角，这也就是市面上大多数“ VR 盒子”的实

本文将利用 Android AudioRecorder 采集 PCM 音频，然后利用 FFmpeg 对其编码生成 aac 文件。提前预告下，在该系列的下一篇文章将介绍 FFmpeg 同时对 Android Camera 采集的预览帧和 AudioRecorder 采集的音频数据进行编码，生成一个 mp4 文件。AudioRecorder 使用这里利用 Android AudioRecorder API 采集音频 PCM 裸数据，然后通过 jni 传递到 Native 层供 FFmpeg 编

前文中，我们基于 FFmpeg 利用 OpenGL ES 和 OpenSL ES 分别实现了对解码后视频和音频的渲染，本文将实现播放器的最后一个重要功能：音视频同步。老人们经常说，播放器对音频和视频的播放没有绝对的静态的同步，只有相对的动态的同步，实际上音视频同步就是一个“你追我赶”的过程。音视频的同步方式有 3 种，即：音视频向系统时钟同步、音频向视频同步及视频向音频同步。音视频解码器结构在实现音视频同步之前，我们先简单说下本文播放器的大致结构，方便后面实现不同的音视频同步方式。.

总体来讲，音视频开发是有一定的技术门槛的，我觉得至少需要在这个领域踏踏实实积累个3-5年，才能对音视频相关的开发知识有一个整体、深刻的理解。从技术上来讲，需要从如下两个大类知识点上去积累：C/C++通用开发知识音视频开发的主要编程语言就是C和C++。这块的专业知识积累是通用的，并不局限于某个特定的行业，属于程序员的技术功底。可以重点关注如下几个方面：计算机系统的底层工作原理操作系统原理程序的编译、链接和加载机制C/C++语言特性背后蕴含的思想，底层工作原理，适用场景，存在

现在有一种新型的 WebRTC 应用程序架构正在发展，称为 WebRTC Unbundling，尽管它可能不适用于所有应用程序场景，但至少在开发新的实时视频开发项目时应该考虑一下它。在过去，三种不同类型的 WebRTC 应用架构即符合标准的 WebRTC、开源媒体服务器和称为 CPaaS 的商业媒体服务器是基于 WebRTC 开发的选项，这三个仍然是有效的架构选择，WebRTC Unbundling 只是第四个选择，可以认为它是符合标准的 WebRTC选项的另一种形式。介绍对于使用 WebRTC 的

本文将利用 FFmpeg 对一个 Mp4 文件的视频流进行解码，然后使用 libswscale 将解码后的 YUV 帧转换为 RGBA 帧，最后使用 ANativeWindow 进行渲染。视频解码播放FFmpeg 视频解码雷霄骅博士的音视频处理流程图参考雷霄骅博士的音视频处理流程图，我们大概了解了本节的处理流程：（Mp4文件）解协议->解封装->视频解码->缩放或格式转换->渲染。关于 FFmpeg 需要了解的几个结构体：AVFormatCo.

本文将利用 FFmpeg 对一个 Mp4 文件的音频流进行解码，然后使用 libswresample 将解码后的 PCM 音频数据转换为目标格式的数据，最后利用 OpenSLES 进行播放。FFmpeg 音频解码旧文中，我们已经对视频解码流程进行了详细的介绍，一个多媒体文件（Mp4）一般包含一个音频流和一个视频流，而FFmpeg 对音频流和视频流的解码流程一致。因此，本节将不再对音频解码流程进行赘述。类似于视频流的处理，音频流的处理流程为：（Mp4文件）解协议->解封装->音频解码-

基本概念WebRTC是由Google主导的，由一组标准、协议和JavaScript API组成，用于实现浏览器之间（端到端之间）的音频、视频及数据共享。WebRTC不需要安装任何插件，通过简单的JavaScript API就可以使得实时通信变成一种标准功能。现在各大浏览器以及终端已经逐渐加大对WebRTC技术的支持。下图是webrtc官网给出的现在已经提供支持了的浏览器和平台。Android上实现一个WebRTC项目在深入讲解协议之前，我们先来看实例。我们先来看下在Androi.

1. 概述音视频领域早期采用模拟化技术，目前已发展为数字化技术。数字化的主要好处有：可靠性高、能够消除传输及存储损耗，便于计算机处理及网络传输等。数字化后，音视频处理就进入了计算机技术领域，音视频处理本质上就是对计算机数据的处理。图像信息经采集后生成的原始视频数据，数据量非常大，对于某些采集后直接本地播放的应用场合，不需要考虑压缩技术。但现实中更多的应用场合，涉及视频的传输与存储，传输网络与存储设备无法容忍原始视频数据的巨大数据量，必须将原始视频数据经过编码压缩后，再进行传输与存储。本文仅关注视

下面是 2022.04 月音视频面试题集锦内容的节选：1）RTMP 消息分优先级的设计有什么好处？RTMP 的消息优先级是：控制消息 > 音频消息 > 视频消息。当网络传输能力受限时，优先传输高优先级消息的数据。要使优先级能够有效执行，分块也很关键：将大消息切割成小块，可以避免大的低优先级的消息（如视频消息）堵塞了发送缓冲从而阻塞了小的高优先级的消息（如音频消息或控制消息）。2）什么是 DTS 和 PTS？它们有什么区别？DTS 是解码时间戳；PTS 是显示时间戳。

如何实现两个人的实时视频通话呢？你可能会首先想到直播手段：采流 -> 推流 -> 拉流。但是，如果把这个过程放在前端去实现，那只能天台见了。然而，WebRTC的出现，扭转了这个现状。借助WebRTC，前端可以不用去关注“采流 -> 推流 -> 拉流”这种过程，倾轻松就可以实现直播甚至实时音视频通话。WebRTC是什么？底层原理是什么？怎么用？让烧烤哥给你娓娓道来！什么是WebRTC？WebRTC全称Web Real-time Communication，网..

今天，你刘畊宏女孩了吗？持续大热的“李佳琦女生”和近期大势的“刘畊宏女孩”都在证明着，直播行业依然热度不减。经过多年发展，直播已经衍生出了越来越丰富的玩法，比如连麦 PK、一起看等。而这些场景，都非常依赖 RTC 实时音视频技术的兴起。疫情反复，很多人又进入了居家时刻。把生活和工作转向线上成为大家对抗“停摆”焦虑的解决方案。除了直播、语聊房等娱乐社交场景，还有线上课堂、视频会议，乃至线上问诊咨询。 在我们把娱乐、社交和生活的方方面面搬到线上的过程中，RTC 实时音视频技术迅速发展，不断打卡新应用，渗透新