rtp音视频延迟问题

[找不到工作不改名·]

用rtp单独发送音频流或者视频流，延迟正常。同时发送音视频（未用rtcp做同步）视频的延迟越来越大，音频延迟正常。用的是vlc播放器，通信范围是局域网。

我的理解是，未做同步的情况下，vlc拿到rtp数据后不是直接按照各自流的时间戳进行播放嘛？

那只会出现很小的不同步，为何是视频延迟越来月大，音频延迟正常呢?

请问大佬们改如何解决这个问题？