跑团Replay素材整理：基于语音转写与事件索引的自动化处理流水线

跑团ReplayFFmpegfaster-whisper

于 2026-08-31 03:53:31 修改

·本内容遵循CC 4.0 BY-SA版权协议

跑团replay视频在游戏内容里一直有稳定的受众，尤其是“寄生者之间”这类PVP秘密团，玩家要不断判断谁在说谎、谁是警察、谁是寄生者，观众看的就是推理过程。制作一集replay，真正麻烦的不是套模板剪辑，而是把几十分钟甚至几小时的语音录音，变成能定位、能跳转、能查询的时间轴和事件记录。如果只靠人工听写，效率低，还容易漏掉前后呼应的线索。这篇文章从“素材整理”出发，用FFmpeg、faster-whisper和SQLite搭一条可落地的处理链路，把原始录音转成带时间戳的文本、字幕和事件索引，方便后续剪辑复盘。

1. 跑团replay素材要先从“视频文件”变成“事件时间轴”

1.1 replay制作本质上是信息重建，不是单纯剪辑

观众看到的replay，是把一场跑团里最关键的讨论、判定、身份揭露和阵营冲突重新组织出来的视频。对“寄生者之间”这类社交推理团来说，信息密度很高：谁在什么时候自称警察、谁提出了怀疑、谁被投票出局、寄生者什么时候动手。判断这些信息是否完整，依赖的不是画面好不好看，而是“这段内容发生在哪一秒、说话人是谁、说的是什么”。

所以第一步不该直接打开剪辑软件，而是先把素材还原成一条可检索的时间轴。时间轴里要包含开始时间、结束时间、说话内容、说话人、所属回合或阶段。有了这条时间轴，后续剪视频、做字幕、对线复盘、导出关键片段都会容易很多。

1.2 输入素材的常见形态

跑团录制素材通常有四种形态，处理方式差别很大：

素材形态	典型来源	主要问题
单条屏幕录像	直播回放、本地录屏	画音同步、多人声音混在一条音轨里
多条玩家独立录音	每个玩家用录音软件各录一条	需要按时间合并或单独转写
会议软件录音	语音会议自动录音	声道可能混乱、存在回声
视频平台切片	短视频下架前的备份	码率低、可能有BGM或弹幕声混入

原始材料不统一时，不要急着转写。先把所有素材归入一个固定目录，统一命名，再决定按“整段录音”处理还是按“单轨分离”处理。

1.3 处理完成后的目标输出形态

一次完整的素材整理，最终应得到四类产物：

标准音轨文件：16kHz、单声道、WAV格式，供语音识别工具使用。
时间轴JSON文件：每个语音片段的开始时间、结束时间、文本内容。
字幕文件：SRT格式，可以直接导入剪辑软件或上传视频平台。
事件索引数据库：SQLite文件，能按角色、关键词、时间段查询。

后续所有工作都建立在这四类产物之上。第一次跑通后，每次新素材只需替换输入文件，重新执行脚本，就能得到相同结构的结果。

1.4 这套流程的适用边界

语音转写不是内容理解的替代品。转写结果可以帮你快速定位“谁在哪一段说了什么”，但哪些内容是真实身份、哪些是玩家故意说谎、哪些是主持人临时裁决，必须人工确认。尤其在“寄生者之间”这类阵营对抗团里，身份信息一旦标错，后续复盘会跟着错。

所以本文的定位是“提高素材整理效率”，不是“自动生成replay”。流程跑完后，人仍然要负责校对身份标记和关键事件。

2. 环境准备：Python、FFmpeg和语音识别模型怎么选

2.1 基础依赖

推荐使用Python 3.10及以上版本。主要依赖只有两个：FFmpeg负责音轨抽取和格式转换，faster-whisper负责语音转写。

faster-whisper是一个本地运行的开源语音识别库，底层使用CTranslate2，比原始Whisper实现更适合CPU场景，也支持int8量化。它和OpenAI提供的那套API不是同一个东西，这里用的是本地模型，不需要申请接口令牌。

安装命令：

BASH

pip install faster-whisper

FFmpeg根据操作系统安装即可。Linux环境常用apt install ffmpeg，macOS环境可以用brew install ffmpeg，Windows用户下载官方编译包并配置环境变量。安装完成后执行下面命令确认：

BASH

ffmpeg -version

如果命令能打印版本信息，说明FFmpeg可用。新版FFmpeg一般默认支持WAV、MP4、MKV、FLAC等常见格式，不需要额外编译扩展。

2.2 模型档位选择

faster-whisper首次使用时，会按模型名称自动下载模型文件到本地缓存目录。模型越小下载越快、转写越快，但中文识别准确度会下降。以跑团语音为主要场景时，模型选择可以参考下面这张表：

模型名称	资源消耗	转写速度	适合场景
tiny	低	快	快速粗看素材里有没有有效内容
base	低	快	单人发言、安静环境、时间轴大致定位
small	中	中	常见跑团语音转写的起点
medium	高	慢	多人讨论、背景噪声多、字幕质量要求高
large-v3	很高	很慢	最终精校环节，配合GPU更现实

这里给出的选型是经验参考，不是官方基准线。实际选型还要看机器配置和素材时长。如果只是“先看这段录音里有没有关键线索”，用small模型已经足够；如果要做发布级字幕，建议medium或以上，并且准备足够内存和推理时间。

2.3 项目目录结构

建议每个跑团replay工程都使用固定目录结构，避免脚本散落、素材乱放：

TEXT

replay_workspace/

├── raw/

│ ├── meet_20250106.mkv

│ └── player_luo.mp3

├── work/

│ └── output.wav

├── out/

│ ├── timeline.json

│ ├── subtitle.srt

│ └── replay.db

└── scripts/

├── 01_extract_audio.py

├── 02_vad_split.py

├── 03_transcribe.py

├── 04_build_srt.py

└── 05_build_db.py

raw目录放原始录制文件，不入库、不修改。work目录放中间产物，比如转换后的标准音轨。out目录放最终产物，包括时间轴、字幕和数据库。脚本固定编号，保证执行顺序可循。

2.4 先做一段短音频验证环境

不要一上来就跑完整录音。先用FFmpeg截取开头两分钟验证环境是否正常：

BASH

ffmpeg -y -i raw/meet_20250106.mkv -vn -ac 1 -ar 16000 -t 120 work/sample.wav

参数含义：

参数	作用
-y	覆盖已有文件
-i	指定输入文件
-vn	不输出视频轨
-ac 1	转为单声道
-ar 16000	采样率设为16000Hz
-t 120	只处理前120秒

用这个短wav文件跑转写脚本，能快速发现依赖、路径、权限和中文乱码问题。

3. 实现核心脚本：音轨抽取、VAD分段、语音转写、字幕生成

3.1 从录制文件里抽取标准音轨

单条录像里通常同时包含视频和音频。抽取音轨时要统一改成16kHz单声道WAV。这个格式是语音识别最常用的输入规格，Whisper系模型对16k采样率支持最稳定。

BASH

ffmpeg -y -i raw/meet_20250106.mkv -vn -ac 1 -ar 16000 -f wav work/output.wav

-f wav明确指定输出格式为WAV。抽出来的work/output.wav会作为后续转写的输入文件。如果原始文件本身是mp3或m4a，同样用这条命令转换。

这里要提醒一点：如果录制时玩家声音很小，或离麦克风远，音量可能不足。可以先加一个音量归一化参数：

BASH

ffmpeg -y -i raw/meet_20250106.mkv -vn -ac 1 -ar 16000 -af loudnorm=I=-16:TP=-1.5:LRA=11 -f wav work/output.wav

loudnorm是FFmpeg内置的响度归一化滤镜，能让不同玩家的音量差异变小。但它会改变整体音频动态，如果后续还要做声纹识别或说话人分离，建议保留一份未处理版本。

3.2 用能量检测把长录音切出语音片段

长录音直接交给Whisper转写，速度慢，而且会消耗大量内存。可以先做一个轻量VAD，也就是语音活动检测，把静音段剔除。这里不依赖第三方模型，只按音频能量阈值切分，逻辑简单、适合跑团录音这种大体安静、发言间歇明显的场景。

PYTHON

import wave

import math

import struct

def read_mono_wav(path):

with wave.open(path, "rb") as wf:

rate = wf.getframerate()

channels = wf.getnchannels()

sampwidth = wf.getsampwidth()

frames = wf.readframes(wf.getnframes())

if sampwidth != 2:

raise ValueError("只支持16bit PCM音频，请先用ffmpeg转换")

fmt = "<" + str(len(frames) // 2) + "h"

values = struct.unpack(fmt, frames)

if channels > 1:

values = values[0::channels]

return rate, values

def rms(chunk):

if not chunk:

return 0.0

s = sum(v * v for v in chunk) / len(chunk)

return math.sqrt(s)

def split_by_energy(samples, rate, chunk_sec=0.5, threshold=0.02, min_sec=1.0):

chunk_len = int(rate * chunk_sec)

segments = []

in_speech = False

start = 0.0

for pos in range(0, len(samples), chunk_len):

chunk = samples[pos:pos + chunk_len]

energy = rms(chunk)

if energy >= threshold and not in_speech:

in_speech = True

start = pos / rate

elif energy < threshold and in_speech:

in_speech = False

if pos / rate - start >= min_sec:

segments.append((start, pos / rate))

if in_speech and len(samples) / rate - start >= min_sec:

segments.append((start, len(samples) / rate))

return segments

if __name__ == "__main__":

rate, samples = read_mono_wav("work/output.wav")

segs = split_by_energy(samples, rate)

for s, e in segs:

print(f"{s:.2f} -> {e:.2f}")

对于跑团语音，threshold可以先用0.02。太低会把呼吸声和鼠标声当成语音，太高会把低语漏掉。实际项目里可以先打印前两分钟的能量分布，再调整阈值。

不过这个脚本只是辅助预览。faster-whisper自己也有VAD选项，转写时可以开启vad_filter=True，它会过滤掉空段。两个VAD不是必须同时用：如果只做完整转写，直接依赖Whisper的VAD即可；如果想先切段预览，再用能量脚本也不会冲突。

3.3 用faster-whisper转写并输出JSON时间轴

核心转写代码尽量简单直接，不要过度封装：

PYTHON

import json

from faster_whisper import WhisperModel

def transcribe_audio(wav_path, output_json="out/timeline.json"):

model = WhisperModel("small", device="cpu", compute_type="int8")

segments, info = model.transcribe(

wav_path,

language="zh",

vad_filter=True,

beam_size=5,

)

items = []

for seg in segments:

text = seg.text.strip()

if not text:

continue

items.append({

"start": round(seg.start, 3),

"end": round(seg.end, 3),

"text": text,

})

with open(output_json, "w", encoding="utf-8") as f:

json.dump(items, f, ensure_ascii=False, indent=2)

print(f"总计识别 {len(items)} 条片段")

return items

if __name__ == "__main__":

transcribe_audio("work/output.wav")

关键参数说明：

参数	作用	建议
device	使用CPU还是GPU	无GPU时用cpu
compute_type	计算精度	cpu场景用int8，速度更快
language	指定识别语言	中文跑团固定为zh
vad_filter	开启静音过滤	建议开启
beam_size	解码搜索宽度	5到10之间，越大越慢但可能更准

转写完成后，out/timeline.json里每个条目都包含start、end、text三个字段。这是后续生成字幕和写入数据库的基础数据。

3.4 把时间轴生成SRT字幕

SRT字幕的关键点是时间格式必须是小时:分钟:秒,毫秒。写一个转换函数，把JSON里的秒数转成SRT标准时间：

PYTHON

import json

def format_srt_time(seconds: float) -> str:

seconds = max(0, seconds)

ms = int((seconds - int(seconds)) * 1000)

h = int(seconds // 3600)

m = int((seconds % 3600) // 60)

s = int(seconds % 60)

return f"{h:02d}:{m:02d}:{s:02d},{ms:03d}"

def build_srt(json_path, srt_path="out/subtitle.srt"):

with open(json_path, "r", encoding="utf-8") as f:

items = json.load(f)

lines = []

for i, item in enumerate(items, 1):

start = format_srt_time(item["start"])

end = format_srt_time(item["end"])

lines.append(f"{i}")

lines.append(f"{start} --> {end}")

lines.append(item["text"])

lines.append("")

with open(srt_path, "w", encoding="utf-8") as f:

f.write("\n".join(lines))

生成的字幕可以直接导入剪映、PR等剪辑工具。如果转写文本里有明显错字，手工改字幕也比重新转写整段录音更快。

3.5 给PVP跑团片段打身份标记

对“寄生者之间”这类游戏，身份标记很有用。比如警察的发言和寄生者的发言需要分成不同时间线查看。这里可以做一个基于关键词的启发式标记：

PYTHON

MARKERS = {

"警察": ["我是警察", "验出来", "查到", "金水"],

"寄生者": ["今晚动手", "寄生成功", "我是寄生者", "刀谁"],

"投票": ["我投", "投出", "出局", "票型"],

}

def guess_marker(text: str):

for marker, keywords in MARKERS.items():

for keyword in keywords:

if keyword in text:

return marker

return None

def add_markers(items):

for item in items:

item["marker"] = guess_marker(item["text"])

return items

这个脚本只能作为剪辑提示。玩家可能故意说反话，也可能用自造黑话避开关键词。身份标记最终要以人工校对结果为准。跑完脚本后，把marker字段导成Excel或CSV，一个人半小时内就能把重要片段审一遍。

4. 用SQLite建立事件索引，按角色、关键词和回合回放

4.1 事件表结构设计

时间轴JSON适合程序读取，但不适合做大量筛选和排序。把时间轴导入SQLite后，可以用SQL快速组合查询。事件表设计尽量简单，字段少、查询快：

SQL

CREATE TABLE IF NOT EXISTS events (

id INTEGER PRIMARY KEY AUTOINCREMENT,

start_time REAL NOT NULL,

end_time REAL NOT NULL,

speaker TEXT DEFAULT '',

marker TEXT DEFAULT '',

content TEXT NOT NULL,

source_file TEXT DEFAULT ''

);

字段含义：

字段	含义
start_time	片段开始时间，单位秒
end_time	片段结束时间，单位秒
speaker	说话人姓名或游戏昵称
marker	身份或事件标记，如警察、投票
content	转写文本
source_file	原始素材文件名，便于回溯

实际项目还可以加round_no字段表示第几回合，但回合的起点和终点往往需要人工标注，首版流程可以先不加。

4.2 把JSON时间轴写入SQLite

导入脚本如下：

PYTHON

import json

import sqlite3

def import_timeline(json_path, db_path="out/replay.db"):

with open(json_path, "r", encoding="utf-8") as f:

items = json.load(f)

conn = sqlite3.connect(db_path)

cur = conn.cursor()

cur.execute("""

CREATE TABLE IF NOT EXISTS events (

id INTEGER PRIMARY KEY AUTOINCREMENT,

start_time REAL NOT NULL,

end_time REAL NOT NULL,

speaker TEXT DEFAULT '',

marker TEXT DEFAULT '',

content TEXT NOT NULL,

source_file TEXT DEFAULT ''

)

""")

rows = [

(

item["start"],

item["end"],

item.get("speaker", ""),

item.get("marker", ""),

item["text"],

item.get("source_file", ""),

)

for item in items

]

cur.executemany(

"INSERT INTO events(start_time,end_time,speaker,marker,content,source_file) VALUES (?,?,?,?,?,?)",

rows,

)

conn.commit()

conn.close()

print(f"导入 {len(rows)} 条记录")

if __name__ == "__main__":

import_timeline("out/timeline.json")

写入前建议先清空旧表，否则重复运行脚本会产生大量重复记录。可以在建表后执行DELETE FROM events，或者使用DROP TABLE IF EXISTS events重建。

4.3 按角色、关键词和回合查询

数据库建好后，几个常用查询就很有价值。

查询所有标记为“警察”的发言段落：

SQL

SELECT start_time, content

FROM events

WHERE marker = '警察'

ORDER BY start_time;

查询文本中包含“寄生”的段落：

SQL

SELECT start_time, content

FROM events

WHERE content LIKE '%寄生%'

ORDER BY start_time;

查询某段事件窗口内的内容，比如第5分钟到第10分钟：

SQL

SELECT start_time, end_time, speaker, content

FROM events

WHERE start_time >= 300 AND end_time <= 600

ORDER BY start_time;

这些查询结果可以直接复制到Excel，或者作为剪辑定位表。配合replay.db，后期不需要反复听整段原声。

4.4 按时间戳切片成剪辑素材

查到关键时间点后，可以用FFmpeg把原始视频的对应片段切出来。这里要注意复制流和重新编码的区别：

BASH

ffmpeg -y -ss 300 -to 360 -i raw/meet_20250106.mkv -c copy out/clip_300_360.mkv

-c copy不做重新编码，速度快，但切割点会落在最近的关键帧上，实际开始时间可能比指定时间早一两秒。对时间精度要求高的场景，去掉-c copy，让FFmpeg重新编码，代价是更慢：

BASH

ffmpeg -y -ss 300 -to 360 -i raw/meet_20250106.mkv -c:v libx264 -c:a aac out/clip_300_360.mp4

如果需要批量切割，可以先在SQLite里查出所有目标片段，再用Python调用FFmpeg循环执行。这样就能实现“按关键词检索时间点，再批量导出素材”的完整链路。

5. PVP跑团场景里的关键参数和经验值

5.1 音频采样率、声道和响度怎么取舍

语音识别对采样率不敏感的上限较高，但16kHz以下会明显损失高频信息，影响中文声母识别。统一用16000Hz单声道，既减少数据量，又匹配Whisper训练分布。不要直接拿48kHz立体声的原始文件转写，尽量先经过FFmpeg标准化。

响度方面，跑团语音经常出现“一个人大喊、一个人低语”的情况。低语一旦低于阈值，转写结果会大面积为空。先用loudnorm归一化，能减少这种情况。归一化会牺牲原始动态范围，但对字幕生成这个场景利大于弊。

5.2 VAD阈值和片段长度怎么调

VAD阈值设置见表：

阈值	表现	适用场景
0.005	几乎把呼吸声都当语音，片段过长	环境非常安静
0.01	适中，能抓住大部分发言	常见起点
0.02	偏保守，只保留明显语音	有空调声、电流声
0.05	很保守，会漏掉低语	环境噪声大但只想要强发言

片段最小长度min_sec也可以调整。跑团里玩家经常说“嗯”“啊”这种短词，min_sec设1秒可以过滤掉无意义短音，但也可能把连续语音强切一刀。建议保持1秒，后续按need微调。

5.3 多人同时说话会导致内容混叠

“寄生者之间”这类社交推理团经常出现几个人同时说“就是他”“不是不是”的混乱场面。Whisper对多说话人同时发声的音频处理能力有限，结果可能只识别出其中一个人的声音，或者产生完全错误的文本。

遇到这种情况，不要指望一条公式解决。更实际的方案是：混乱片段单独标记为overlap，由人工听写或直接放弃转写。数据库里可以加一个speaking_type字段，区分单人、重叠、噪声三种类型。

5.4 多音轨素材的处理思路

如果每个玩家都单独录了一条音轨，就不要把音轨混成一条再做转写。混音后说话人信息会丢失。更好的做法是对每个音轨单独转写，并把speaker字段写入数据库：

PYTHON

import json

from pathlib import Path

from faster_whisper import WhisperModel

def transcribe_multi_tracks(track_dir, output_json="out/timeline.json"):

model = WhisperModel("small", device="cpu", compute_type="int8")

items = []

for wav_file in sorted(Path(track_dir).glob("*.wav")):

segments, _ = model.transcribe(

str(wav_file),

language="zh",

vad_filter=True,

)

speaker = wav_file.stem

for seg in segments:

items.append({

"start": round(seg.start, 3),

"end": round(seg.end, 3),

"speaker": speaker,

"text": seg.text.strip(),

})

with open(output