基于开源大模型与语音技术构建AI英语口语陪练应用
很多开发者都曾想过提升自己的英语口语能力，但苦于没有真实的对话环境和及时的反馈。传统的学习软件要么是单向的输入，要么是与预设脚本的僵硬对话，缺乏真实感和互动性。随着大语言模型（LLM）能力的爆发，我们终于可以亲手打造一个专属的、智能的、24小时在线的AI口语陪练伙伴。本文将带你从零开始，基于开源大模型和语音技术，构建一个完整的“AI英语口语陪练”应用。无论你是想学习技术实现，还是想为自己创造一个实用的学习工具，这篇文章都将提供从环境搭建、核心原理到代码实现的完整闭环方案。
1. 项目概述与核心价值
1.1 什么是AI口语陪练？
AI口语陪练是一个结合了自动语音识别（ASR）、大语言模型（LLM）和文本转语音（TTS）技术的智能应用。它的工作流程模拟了真实的人类对话：
- 用户说话：应用通过麦克风采集你的英语语音。
- 语音转文字：ASR模型将你的语音实时转换为文本。
- 生成对话回复：LLM（如ChatGLM、Qwen、Llama等）扮演对话伙伴的角色，根据你的文本内容，生成符合语境、自然流畅的英文回复文本。
- 文字转语音：TTS模型将LLM生成的回复文本转换为逼真的英语语音，播放出来。
这样，你就完成了一次与AI的完整口语对话循环。其核心价值在于提供了一个安全、可定制、无限耐心的练习环境，你可以随时就任何话题进行练习，并获得语法正确、表达地道的反馈。
1.2 技术栈选型
为了实现一个功能完整且可本地部署（保护隐私）的应用，我们将采用以下技术栈：
- 后端框架：FastAPI。轻量级、异步支持好，非常适合构建实时性要求较高的API服务。
- 大语言模型：Ollama。一个强大的本地大模型运行和管理的工具，可以轻松在本地运行多种开源LLM，如
llama3.2、qwen2.5等，无需GPU也能运行较小参数模型。 - 语音识别：OpenAI Whisper（离线版）。开源、精准的语音识别模型，支持多种语言，我们可以将其集成到本地。
- 文本转语音：Edge-TTS 或 VITS。
Edge-TTS利用微软Edge浏览器的在线语音合成接口，免费且音质不错；若需完全离线，可考虑VITS等本地TTS模型。 - 前端：简单的HTML/JavaScript网页。用于提供录音按钮、显示对话记录和播放音频。
- 音频处理：PyAudio / SoundDevice 用于录音，ffmpeg 用于音频格式处理。
2. 环境准备与项目初始化
2.1 系统与Python环境
- 操作系统：Windows 10/11, macOS, 或 Linux (Ubuntu 22.04+)。本文以Windows为例，其他系统命令略有不同。
- Python版本：>= 3.9。推荐使用 3.10 或 3.11，以获得更好的兼容性。
- 包管理工具：使用
pip和venv创建虚拟环境。
首先，创建项目目录并初始化虚拟环境。
BASH
# 创建项目文件夹
mkdir ai_english_tutor
cd ai_english_tutor
# 创建Python虚拟环境
python -m venv venv
# 激活虚拟环境
# Windows:
venv\Scripts\activate
# macOS/Linux:
# source venv/bin/activate
2.2 安装核心依赖
创建 requirements.txt 文件，并安装依赖。
TXT
# requirements.txt
fastapi==0.104.1
uvicorn[standard]==0.24.0
openai-whisper==20231117
sounddevice==0.4.6
numpy==1.24.3
scipy==1.11.4
pydub==0.25.1
edge-tts==6.1.9
websockets==12.0
python-multipart==0.0.6
使用pip安装：
BASH
pip install -r requirements.txt
注意：Whisper 依赖 PyTorch。上述命令会安装CPU版本的PyTorch。如果你有NVIDIA GPU并希望加速，请先根据 PyTorch官网 的指引安装对应CUDA版本的PyTorch，再安装其他依赖。
2.3 安装并配置Ollama
Ollama是我们运行本地大模型的核心。前往 Ollama官网 下载并安装对应操作系统的客户端。
安装完成后，打开终端（或命令提示符/PowerShell），拉取一个适合对话的模型。对于英语口语陪练，一个7B参数左右的模型在性能和资源消耗上比较平衡。
BASH
# 拉取并运行 Llama 3.2 模型 (约11亿参数，对硬件要求较低)
ollama pull llama3.2
# 或者拉取 Qwen2.5 模型
# ollama pull qwen2.5:7b
运行模型以测试是否成功：
BASH
ollama run llama3.2
在出现的提示符后输入 Hello，看到模型回复即表示成功。按 Ctrl+D 退出。
3. 核心模块设计与实现
我们的应用主要分为三个后端服务模块和一个前端界面。
3.1 项目结构
创建如下项目结构：
TEXT
ai_english_tutor/
├── app/
│ ├── __init__.py
│ ├── main.py # FastAPI 主应用
│ ├── llm_client.py # Ollama 客户端
│ ├── stt_engine.py # 语音识别引擎 (Whisper)
│ └── tts_engine.py # 文本转语音引擎 (Edge-TTS)
├── static/ # 存放前端静态文件
│ ├── index.html
│ └── app.js
├── temp_audio/ # 临时存放音频文件
│ ├── user_input.wav
│ └── ai_response.mp3
├── requirements.txt
└── README.md
3.2 大语言模型客户端 (llm_client.py)
这个模块负责与本地运行的Ollama服务交互，发送用户文本并获取AI回复。
PYTHON
# app/llm_client.py
import requests
import json
class OllamaClient:
def __init__(self, base_url="http://localhost:11434", model="llama3.2"):
"""
初始化Ollama客户端。
:param base_url: Ollama服务地址，默认本地11434端口。
:param model: 要使用的模型名称。
"""
self.base_url = base_url
self.model = model
self.api_url = f"{base_url}/api/generate"
# 可选的系统提示词，用于设定AI的角色和行为
self.system_prompt = """You are a friendly and patient English tutor. Your task is to have a natural conversation with the user to help them practice spoken English.
Rules:
1. Respond in English only.
2. Keep your responses concise and conversational (1-2 sentences usually).
3. If the user makes a grammatical error, gently correct them in a supportive way within your response.
4. Ask follow-up questions to keep the conversation flowing.
5. Adapt to the user's apparent proficiency level.
"""
def generate_response(self, user_message: str, conversation_history: list = None) -> str:
"""
生成AI回复。
:param user_message: 用户输入的文本。
:param conversation_history: 可选的对话历史，格式为 [{"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]
:return: AI生成的回复文本。
"""
# 构建消息列表
messages = []
if self.system_prompt:
messages.append({"role": "system", "content": self.system_prompt})
if conversation_history:
messages.extend(conversation_history[-6:]) # 只保留最近6轮对话，防止上下文过长
messages.append({"role": "user", "content": user_message})
# 准备请求数据
data = {
"model": self.model,
"prompt": user_message, # 简单起见，这里只发送最新消息。更复杂的可以使用 `messages` 字段（如果模型支持）。
"stream": False,
"options": {
"temperature": 0.7, # 控制创造性，0.7比较平衡
"top_p": 0.9,
}
}
# 注意：Ollama的 /api/generate 端点主要使用 `prompt`。
# 对于完整的对话历史，需要自己管理上下文。这里为简化，每次只基于最新输入生成。
# 更高级的实现可以使用 /api/chat 端点（如果模型支持）并传入 messages。
try:
response = requests.post(self.api_url, json=data, timeout=60)
response.raise_for_status()
result = response.json()
return result.get("response", "Sorry, I didn't get that.").strip()
except requests.exceptions.RequestException as e:
print(f"Error calling Ollama API: {e}")
return "I'm having trouble connecting to my brain. Please try again."
3.3 语音识别引擎 (stt_engine.py)
使用Whisper将用户上传的音频文件转换为文本。
PYTHON
# app/stt_engine.py
import whisper
import tempfile
import os
class WhisperSTT:
def __init__(self, model_size="base"):
"""
初始化Whisper语音识别引擎。
:param model_size: Whisper模型大小，可选 tiny, base, small, medium, large。越大越准，越慢。
"""
# 首次运行会下载模型，请保持网络通畅
print(f"Loading Whisper {model_size} model...")
self.model = whisper.load_model(model_size)
print("Model loaded.")
def transcribe_audio(self, audio_file_path: str) -> str:
"""
将音频文件转录为文本。
:param audio_file_path: 音频文件路径（支持wav, mp3, m4a等）。
:return: 识别出的文本。
"""
if not os.path.exists(audio_file_path):
return "Error: Audio file not found."
try:
# 使用Whisper进行转录
result = self.model.transcribe(audio_file_path, fp16=False) # fp16=False 在CPU上运行更稳定
text = result["text"].strip()
return text if text else "I didn't catch that. Could you please repeat?"
except Exception as e:
print(f"Transcription error: {e}")
return "Sorry, there was an error processing your speech."
3.4 文本转语音引擎 (tts_engine.py)
使用Edge-TTS将AI回复的文本转换为语音，并保存为MP3文件。
PYTHON
# app/tts_engine.py
import edge_tts
import asyncio
import os
class EdgeTTS:
def __init__(self, voice="en-US-AriaNeural"):
"""
初始化Edge-TTS引擎。
:param voice: 语音名称。推荐英语语音：en-US-AriaNeural, en-US-GuyNeural, en-GB-SoniaNeural
"""
self.voice = voice
async def text_to_speech_async(self, text: str, output_path: str) -> bool:
"""
异步将文本转换为语音并保存。
:param text: 要转换的文本。
:param output_path: 输出MP3文件路径。
:return: 成功返回True，失败返回False。
"""
try:
communicate = edge_tts.Communicate(text, self.voice)
await communicate.save(output_path)
return True
except Exception as e:
print(f"TTS error: {e}")
return False
def text_to_speech(self, text: str, output_path: str) -> bool:
"""
同步包装方法，方便在非异步上下文中调用。
"""
return asyncio.run(self.text_to_speech_async(text, output_path))
4. 构建FastAPI后端服务 (main.py)
现在我们将所有模块整合到一个FastAPI应用中，提供WebSocket和HTTP接口。