3.3.RTP传输视频实战

朱有鹏老师 2023-01-12 15:07:00

课时名称	课时知识点
3.3.RTP传输视频实战

...全文

198 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

实时音视频（RTC）通信是嵌入式边缘设备的关键能力，其核心在于低延迟处理、硬件加速与协议栈轻量化。基于ESP32-S3 AI SoC的异构架构，通过VSP语音处理单元和ISP Lite图像加速器实现端侧3A算法与MJPEG硬解，显著降低CPU负载与端到端延迟；结合精简SIP信令与自适应RTP/RTCP机制（如G.729编码、FEC前向纠错、ABR码率调控），可在弱网环境下保障语音可懂度与视频流畅性。该方案广泛适用于可视门铃、宠物监控等资源受限IoT场景，是嵌入式RTC开发从理论走向稳定落地的技术范本。

linux 下基于jrtplib库的实时传送实现
一、RTP 是进行实时流媒体传输的标准协议和关键技术
实时传输协议（Real-time Transport Protocol，PRT）是在 Internet 上处理多媒体数据流的一种网络协议，利用它能够在一对一（unicas，单播）或者一对多（multicas，多播）的网络环境中实现传流媒体数据的实时传输。RTP 通常使用 UDP 来进行多媒体数据的传输，但如果需要的话可以使用 TCP 或者 ATM 等其它协议。

本文介绍了RTP协议的相关协议，RTP数据包格式，H264的RTP封包、AAC的RTP封包格式等

WebRTC（Web Real-Time Communication）是一项实时通信技术，它允许网络应用或站点，在不需要中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流、音频流或者任意数据的传输。WebRTC被设计用于在各种设备之间提供高质量的实时音视频通信。

之前用Jrtp的库来传输H264视频时，将摄像头编码后的视频数据直接发送，然后在另外一个开放板接收数据，解码，显示，实现效果很不错。一个开发板编码发送，一个开发板接收解码，不用考虑帧率，也不用考虑RTP数据报头部数据各个位的含义。然而想做到在开发板上采集，电脑上通过VLC播放时，却一直实现不了。后来在网上找了个通过UDP实现RTP协议的代码，终于OK了。通过WireShark抓包发现，我在用Jrt

朱有鹏的课程社区_NO_12

1

社区成员

157

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章