20202428 2023-2024-2 《移动平台开发与实践》第6次作业

白鹤大人泰库拉 2024-06-25 11:08:45

实验六语音识别系统

一、实验目标

掌握基于Android平台的程序设计技术，并能够编写完成语音识别系统。

二、实验内容

设计并开发一个语音识别应用系统。

通过使用RecognizerIntent实现语音识别功能，开发一个Android语音识别系统。

三、实验过程

在科大讯飞控制台创建app，下载对应的sdk

将sdk目录下lib中的文件复制到android studio中的项目，同时将Msc.jar文件add as library。

将SDK下载包中的assets文件夹中的包复制到main文件目录下。

将SpeechApplication.java的代码进行调整。首先将appid更改为在科大讯飞控制台申请的appid。

修改AndroidManifest.xml中的代码：

在build.gradle(:app)的Android中添加如下代码，重新sync一下。

sourceSets{
main{
jniLibs.srcDir 'libs'
}
}

主函数代码如下：

package com.example.sr2415;
import android.os.Bundle;
import android.speech.SpeechRecognizer;
import android.view.View;
import android.widget.Button;
import android.widget.EditText;
import androidx.appcompat.app.AppCompatActivity;
import com.iflytek.cloud.ui.RecognizerDialog;
import java.util.HashMap;
import java.util.LinkedHashMap;
public class MainActivity {
package com.example.sr2415;
import androidx.appcompat.app.AppCompatActivity;
import android.app.AlertDialog;
import android.os.Bundle;
import android.os.Environment;
import android.os.Handler;
import android.os.Message;
import android.util.Log;
import android.view.View;
import android.widget.Button;
import android.widget.EditText;
import android.widget.Toast;
import com.iflytek.cloud.ErrorCode;
import com.iflytek.cloud.InitListener;
import com.iflytek.cloud.RecognizerListener;
import com.iflytek.cloud.RecognizerResult;
import com.iflytek.cloud.SpeechConstant;
import com.iflytek.cloud.SpeechError;
import com.iflytek.cloud.SpeechRecognizer;
//import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.ui.RecognizerDialog;
import com.iflytek.cloud.ui.RecognizerDialogListener;
import org.json.JSONException;
import org.json.JSONObject;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.LinkedHashMap;
public class MainActivity extends AppCompatActivity implements View.OnClickListener {
private static final String TAG = "MainActivity";
private SpeechRecognizer mIat;
private RecognizerDialog mIatDialog;
// 用HashMap存储听写结果
private HashMap<String, String> mIatResults = new LinkedHashMap<>();
private EditText mResultText;
private Button languageText, dialogButton;
private String language = "zh_cn";
private String resultType = "json";
private boolean cyclic = false;//音频流识别是否循环调用
//拼接字符串
private StringBuffer buffer = new StringBuffer();
//Handler码
private int handlerCode = 0x123;
// 函数调用返回值
private int resultCode = 0;
// 切换中英文
private boolean languageType;
// 弹框是否显示
private int dialogType;
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);
SpeechUtility.createUtility(this, SpeechConstant.APPID +"=6ba03230");
//初始化控件
findViewById(R.id.iat_recognize).setOnClickListener(this);
findViewById(R.id.iat_recognize_stream).setOnClickListener(this);
findViewById(R.id.iat_stop).setOnClickListener(this);
findViewById(R.id.iat_cancel).setOnClickListener(this);
mResultText = this.findViewById(R.id.iat_text);
mIat = SpeechRecognizer.createRecognizer(this, mInitListener);
mIatDialog = new RecognizerDialog(MainActivity.this, mInitListener);
}
@Override
public void onClick(View view) {
if (null == mIat) {
showToast("创建对象失败，请确认 libmsc.so 放置正确，且有调用 createUtility 进行初始化");
return;
}
switch (view.getId()) {
case R.id.iat_recognize:
buffer.setLength(0);//长度清空
mResultText.setText(null);// 清空显示内容
mIatResults.clear();//清除存贮结果
// 设置参数
setParam();
if (dialogType == 0) {
// 显示听写对话框
mIatDialog.setListener(mRecognizerDialogListener);
mIatDialog.show();
showToast("开始听写");
} else if (dialogType == 1) {
// 不显示听写对话框
resultCode = mIat.startListening(mRecognizerListener);
if (resultCode != ErrorCode.SUCCESS) {
showToast("听写失败,错误码：" + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
} else {
showToast("开始听写");
}
} else if (dialogType == 2) {
// 自定义听写对话框
showAlertDialog();
resultCode = mIat.startListening(mRecognizerListener);
if (resultCode != ErrorCode.SUCCESS) {
showToast("听写失败,错误码：" + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
} else {
showToast("开始听写");
}
}
break;
// 音频流识别
case R.id.iat_recognize_stream:
executeStream();
break;
case R.id.iat_stop:
mIat.stopListening();
showToast("停止听写");
break;
case R.id.iat_cancel:
mIat.cancel();
showToast("取消听写");
break;
}
}
/**
* 初始化监听器。
*/
private InitListener mInitListener = new InitListener() {
@Override
public void onInit(int code) {
Log.e(TAG, "SpeechRecognizer init() code = " + code);
if (code != ErrorCode.SUCCESS) {
showToast("初始化失败，错误码：" + code + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
}
}
};
/**
* 听写监听器。
*/
private RecognizerListener mRecognizerListener = new RecognizerListener() {
@Override
public void onBeginOfSpeech() {
// 此回调表示：sdk内部录音机已经准备好了，用户可以开始语音输入
showToast("开始说话");
}
@Override
public void onError(SpeechError error) {
// Tips：
// 错误码：10118(您没有说话)，可能是录音机权限被禁，需要提示用户打开应用的录音权限。
showToast(error.getPlainDescription(true));
if (null != dialog) {
dialog.dismiss();
}
}
@Override
public void onEndOfSpeech() {
// 此回调表示：检测到了语音的尾端点，已经进入识别过程，不再接受语音输入
showToast("结束说话");
if (null != dialog) {
dialog.dismiss();
}
}
@Override
public void onResult(RecognizerResult results, boolean isLast) {
Log.e(TAG, "onResult: " + results.getResultString());
if (resultType.equals(resultType)) {
printResult(results);
} else if (resultType.equals("plain")) {
buffer.append(results.getResultString());
mResultText.setText(buffer.toString());
mResultText.setSelection(mResultText.length());
}
if (isLast & cyclic) {
// TODO 最后的结果
Message message = Message.obtain();
message.what = handlerCode;
handler.sendMessageDelayed(message, 100);
}
}
@Override
public void onVolumeChanged(int volume, byte[] data) {
//showToast("当前正在说话，音量大小：" + volume);
Log.e(TAG, "onVolumeChanged: " + data.length);
}
@Override
public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {
// 以下代码用于获取与云端的会话id，当业务出错时将会话id提供给技术支持人员，可用于查询会话日志，定位出错原因
// 若使用本地能力，会话id为null
// if (SpeechEvent.EVENT_SESSION_ID == eventType) {
// String sid = obj.getString(SpeechEvent.KEY_EVENT_SESSION_ID);
// Log.d(TAG, "session id =" + sid);
// }
}
};
private Handler handler = new Handler() {
@Override
public void handleMessage(Message msg) {
super.handleMessage(msg);
if (msg.what == handlerCode) {
executeStream();
}
}
};
/**
* 听写UI监听器
*/
private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() {
/**
* 识别回调成功
*/
public void onResult(RecognizerResult results, boolean isLast) {
printResult(results);
}
/**
* 识别回调错误.
*/
public void onError(SpeechError error) {
showToast(error.getPlainDescription(true));
}
};
/**
* 打印听写结果
*/
private void printResult(RecognizerResult results) {
String text = JsonParser.parseIatResult(results.getResultString());
String sn = null;
// 读取json结果中的sn字段
try {
JSONObject resultJson = new JSONObject(results.getResultString());
sn = resultJson.optString("sn");
} catch (JSONException e) {
e.printStackTrace();
}
mIatResults.put(sn, text);
StringBuffer resultBuffer = new StringBuffer();
for (String key : mIatResults.keySet()) {
resultBuffer.append(mIatResults.get(key));
}
mResultText.setText(resultBuffer.toString());
mResultText.setSelection(mResultText.length());
}
/**
* 听写参数设置
*/
public void setParam() {
mIat.setParameter(SpeechConstant.PARAMS, null);
mIat.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);
mIat.setParameter(SpeechConstant.RESULT_TYPE, resultType);
mIat.setParameter(SpeechConstant.LANGUAGE, language);
mIat.setParameter(SpeechConstant.ACCENT, "mandarin");
Log.e(TAG, "last language:" + mIat.getParameter(SpeechConstant.LANGUAGE));
mIat.setParameter(SpeechConstant.VAD_BOS, "5000");
mIat.setParameter(SpeechConstant.VAD_EOS, "1800");
mIat.setParameter(SpeechConstant.ASR_PTT, "1");
mIat.setParameter(SpeechConstant.AUDIO_FORMAT, "wav");
mIat.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory() + "/msc/helloword.wav");
}
//执行音频流识别操作
private void executeStream() {
buffer.setLength(0);
mResultText.setText(null);// 清空显示内容
mIatResults.clear();
setParam();
mIat.setParameter(SpeechConstant.AUDIO_SOURCE, "-1");
mIat.setParameter(SpeechConstant.LANGUAGE, language);
resultCode = mIat.startListening(mRecognizerListener);
if (resultCode != ErrorCode.SUCCESS) {
showToast("识别失败,错误码：" + resultCode + ",请点击网址https://www.xfyun.cn/document/error-code查询解决方案");
} else {
byte[] audioData = FucUtil.readAudioFile(MainActivity.this, "iattest.wav");
if (null != audioData) {
showToast("开始音频流识别");
ArrayList<byte[]> bytes = FucUtil.splitBuffer(audioData, audioData.length, audioData.length / 3);
for (int i = 0; i < bytes.size(); i++) {
mIat.writeAudio(bytes.get(i), 0, bytes.get(i).length);
try {
Thread.sleep(1000);//休眠1秒
} catch (Exception e) {
}
}
mIat.stopListening();
} else {
mIat.cancel();
showToast("读取音频流失败");
}
}
}
@Override
protected void onResume() {
super.onResume();
}
@Override
protected void onPause() {
super.onPause();
}
private void showToast(final String str) {
Toast.makeText(this, str, Toast.LENGTH_SHORT).show();
}
private AlertDialog dialog;
private void showAlertDialog() {
dialog = new AlertDialog.Builder(this)
.setTitle("自定弹框")//标题
.setMessage("正在识别，请稍后...")//内容
.setIcon(R.mipmap.ic_launcher)//图标
.create();
dialog.show();
}
}
}

运行结果如下：

三、遇到的问题以及解决方法

问题：运行app时无法识别。

解决方法：打开手机的录音权限即可。

4.学习感悟、思考等

在实验开始之前，我首先下载并安装了科大讯飞的SDK，阅读了相关的文档和教程。文档中详细介绍了SDK的使用方法和注意事项然而，当我真正开始动手时，发现事情并没有想象中那么简单。在这个实验过程中，我有幸能够使用科大讯飞的语音识别技术，并将其集成到一个Android应用中。整个过程让我学到了许多技术知识。通过这个实验，我掌握了科大讯飞语音识别技术的使用方法，还学会了如何在实际项目中集成第三方服务。这种技能在未来的工作和学习中将大有裨益。最后感谢老师的指导！