20212119 2023-2024-2 《移动平台开发与实践》第6次作业

20212119 2024-06-30 18:48:04

20212119 2023-2024-2 《移动平台开发与实践》第6次作业

1.实验内容

设计并开发一个语音识别应用系统。
通过使用RecognizerIntent实现语音识别功能，开发一个Android语音识别系统。

2.实验过程

2.1 下载对应的SDK

访问https://www.xfyun.cn/?jump=login进行注册，然后创建一个应用并进行相应SDK下载

img

完成实名认证

img

接着设置唤醒词

img

随后开始下载

img

2.2 创建新的项目

img

在libs目录下导入libs,并且把Msc.jar Add as library

img

在项目“/module/src/main/”下新建JniLibs文件夹，将”/Demo/libs/“下存放so文件的文件夹复制过去

img

将“Demo/scr/main/assets/”下的文件复制到项目对应文件夹下

img

以及样例中的两个库函数

img

最后结果如下所示：

img

2.3 编写实验代码

在AndroidManifest.xml中添加权限


<uses-permission android:name="android.permission.INTERNET" />
<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.CAMERA" />
<uses-permission android:name="android.permission.READ_PHONE_STATE" />

这部分代码用于允许应用程序访问互联网，允许应用程序录制音频，允许应用程序使用设备的摄像头，允许应用程序读取手机状态和身份信息。

最终mainfest.xml文件：


<?xml version="1.0" encoding="utf-8"?>
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:tools="http://schemas.android.com/tools">

    <uses-feature
        android:name="android.hardware.camera"
        android:required="false" />
    <application
        android:allowBackup="true"
        android:dataExtractionRules="@xml/data_extraction_rules"
        android:fullBackupContent="@xml/backup_rules"
        android:icon="@mipmap/ic_launcher"
        android:label="@string/app_name"
        android:roundIcon="@mipmap/ic_launcher_round"
        android:supportsRtl="true"
        android:theme="@style/Theme.MySpeech"
        tools:targetApi="31">
        <activity
            android:name=".MainActivity"
            android:exported="true">
            <intent-filter>
                <action android:name="android.intent.action.MAIN" />

                <category android:name="android.intent.category.LAUNCHER" />
            </intent-filter>
        </activity>
    </application>

    <uses-permission android:name="android.permission.INTERNET" />
    <uses-permission android:name="android.permission.RECORD_AUDIO" />
    <uses-permission android:name="android.permission.CAMERA" />
    <uses-permission android:name="android.permission.READ_PHONE_STATE" />

</manifest>

activity_main.xml
layout文件：


<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:background="#519D9E"
    android:gravity="center_horizontal"
    android:orientation="vertical"
    android:paddingLeft="10dp"
    android:paddingRight="10dp">

    <TextView
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_centerInParent="true"
        android:layout_margin="15dp"
        android:text="讯飞听写示例"
        android:textSize="30sp" />

    <EditText

        android:id="@+id/iat_text"
        android:layout_width="match_parent"
        android:layout_height="0dp"
        android:layout_weight="1"
        android:gravity="top|left"
        android:hint="听写结果显示"
        android:paddingBottom="10dp"
        android:textColorHint="@color/white"
        android:textColor="@color/white"
        android:textSize="20sp" />

    <LinearLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_marginTop="10dp"
        android:layout_marginBottom="2dp"
        android:gravity="center_horizontal"
        android:orientation="horizontal">

        <Button
            android:id="@+id/iat_recognize"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="开始"
            android:textSize="20sp" />

        <Button
            android:id="@+id/iat_stop"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="停止"
            android:textSize="20sp" />
        <Button
            android:id="@+id/iat_cancel"
            android:layout_width="0dp"
            android:layout_height="wrap_content"
            android:layout_weight="1"
            android:text="取消"
            android:textSize="20sp" />
    </LinearLayout>
    <Button
        android:id="@+id/iat_recognize_stream"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:text="音频流识别"
        android:textSize="20sp" />

</LinearLayout>

MainActivity.java文件:



package com.example.myspeech;

import android.app.AlertDialog;
import android.os.Bundle;
import android.os.Environment;
import android.os.Handler;
import android.os.Message;
import android.util.Log;
import android.view.View;
import android.widget.Button;
import android.widget.EditText;
import android.widget.Toast;

import androidx.activity.ComponentActivity;

import com.iflytek.cloud.ErrorCode;
import com.iflytek.cloud.InitListener;
import com.iflytek.cloud.RecognizerListener;
import com.iflytek.cloud.RecognizerResult;
import com.iflytek.cloud.SpeechConstant;
import com.iflytek.cloud.SpeechError;
import com.iflytek.cloud.SpeechRecognizer;
import com.iflytek.cloud.SpeechUtility;
import com.iflytek.cloud.ui.RecognizerDialog;
import com.iflytek.cloud.ui.RecognizerDialogListener;

import org.json.JSONException;
import org.json.JSONObject;

import java.util.ArrayList;
import java.util.HashMap;

public class MainActivity extends ComponentActivity implements View.OnClickListener {

    private static final String TAG = "MainActivity";
    private SpeechRecognizer mIat;
    private RecognizerDialog mIatDialog;
    private HashMap<String, String> mIatResults = new HashMap<>();
    private EditText mResultText;
    private String language = "zh_cn";
    private String resultType = "json";
    private StringBuffer buffer = new StringBuffer();
    private int handlerCode = 0x123;
    private int resultCode = 0;
    private AlertDialog dialog;

    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        SpeechUtility.createUtility(this, SpeechConstant.APPID + "=c9d19afd");

        findViewById(R.id.iat_recognize).setOnClickListener(this);
        findViewById(R.id.iat_recognize_stream).setOnClickListener(this);
        findViewById(R.id.iat_stop).setOnClickListener(this);
        findViewById(R.id.iat_cancel).setOnClickListener(this);
        mResultText = findViewById(R.id.iat_text);

        mIat = SpeechRecognizer.createRecognizer(this, mInitListener);
        mIatDialog = new RecognizerDialog(MainActivity.this, mInitListener);
    }

    @Override
    public void onClick(View view) {
        if (null == mIat) {
            showToast("创建对象失败，请确认 libmsc.so 放置正确，且有调用 createUtility 进行初始化");
            return;
        }
        switch (view.getId()) {
            case R.id.iat_recognize:
                buffer.setLength(0);
                mResultText.setText(null);
                mIatResults.clear();
                setParam();
                mIatDialog.setListener(mRecognizerDialogListener);
                mIatDialog.show();
                showToast("开始听写");
                break;
            case R.id.iat_recognize_stream:
                executeStream();
                break;
            case R.id.iat_stop:
                mIat.stopListening();
                showToast("停止听写");
                break;
            case R.id.iat_cancel:
                mIat.cancel();
                showToast("取消听写");
                break;
        }
    }

    private InitListener mInitListener = new InitListener() {
        @Override
        public void onInit(int code) {
            Log.e(TAG, "SpeechRecognizer init() code = " + code);
            if (code != ErrorCode.SUCCESS) {
                showToast("初始化失败，错误码：" + code);
            }
        }
    };

    private RecognizerListener mRecognizerListener = new RecognizerListener() {
        @Override
        public void onBeginOfSpeech() {
            showToast("开始说话");
        }

        @Override
        public void onError(SpeechError error) {
            showToast(error.getPlainDescription(true));
            if (dialog != null) {
                dialog.dismiss();
            }
        }

        @Override
        public void onEndOfSpeech() {
            showToast("结束说话");
            if (dialog != null) {
                dialog.dismiss();
            }
        }

        @Override
        public void onResult(RecognizerResult results, boolean isLast) {
            printResult(results);
            if (isLast) {
                Message message = Message.obtain();
                message.what = handlerCode;
                handler.sendMessageDelayed(message, 100);
            }
        }

        @Override
        public void onVolumeChanged(int volume, byte[] data) {
            Log.e(TAG, "onVolumeChanged: " + data.length);
        }

        @Override
        public void onEvent(int eventType, int arg1, int arg2, Bundle obj) {

        }
    };

    private Handler handler = new Handler() {
        @Override
        public void handleMessage(Message msg) {
            super.handleMessage(msg);
            if (msg.what == handlerCode) {
                executeStream();
            }
        }
    };

    private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() {
        @Override
        public void onResult(RecognizerResult results, boolean isLast) {
            printResult(results);
        }

        @Override
        public void onError(SpeechError error) {
            showToast(error.getPlainDescription(true));
        }
    };

    private void printResult(RecognizerResult results) {
        String text = JsonParser.parseIatResult(results.getResultString());
        String sn = null;
        try {
            JSONObject resultJson = new JSONObject(results.getResultString());
            sn = resultJson.optString("sn");
        } catch (JSONException e) {
            e.printStackTrace();
        }
        mIatResults.put(sn, text);
        StringBuffer resultBuffer = new StringBuffer();
        for (String key : mIatResults.keySet()) {
            resultBuffer.append(mIatResults.get(key));
        }
        mResultText.setText(resultBuffer.toString());
        mResultText.setSelection(mResultText.length());
    }

    public void setParam() {
        mIat.setParameter(SpeechConstant.PARAMS, null);
        mIat.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD);
        mIat.setParameter(SpeechConstant.RESULT_TYPE, resultType);
        mIat.setParameter(SpeechConstant.LANGUAGE, language);
        mIat.setParameter(SpeechConstant.ACCENT, "mandarin");
        mIat.setParameter(SpeechConstant.VAD_BOS, "5000");
        mIat.setParameter(SpeechConstant.VAD_EOS, "1800");
        mIat.setParameter(SpeechConstant.ASR_PTT, "1");
        mIat.setParameter(SpeechConstant.AUDIO_FORMAT, "wav");
        mIat.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory() + "/msc/helloword.wav");
    }

    private void executeStream() {
        buffer.setLength(0);
        mResultText.setText(null);
        mIatResults.clear();
        setParam();
        mIat.setParameter(SpeechConstant.AUDIO_SOURCE, "-1");
        mIat.setParameter(SpeechConstant.LANGUAGE, language);
        resultCode = mIat.startListening(mRecognizerListener);
        if (resultCode != ErrorCode.SUCCESS) {
            showToast("识别失败,错误码：" + resultCode);
        } else {
            byte[] audioData = FucUtil.readAudioFile(MainActivity.this, "iattest.wav");
            if (audioData != null) {
                showToast("开始音频流识别");
                ArrayList<byte[]> bytes = FucUtil.splitBuffer(audioData, audioData.length, audioData.length / 3);
                for (int i = 0; i < bytes.size(); i++) {
                    mIat.writeAudio(bytes.get(i), 0, bytes.get(i).length);
                    try {
                        Thread.sleep(1000);
                    } catch (Exception e) {
                        e.printStackTrace();
                    }
                }
                mIat.stopListening();
            } else {
                mIat.cancel();
                showToast("读取音频流失败");
            }
        }
    }

    @Override
    protected void onResume() {
        super.onResume();
    }

    @Override
    protected void onPause() {
        super.onPause();
    }

    private void showToast(final String str) {
        Toast.makeText(this, str, Toast.LENGTH_SHORT).show();
    }
}

运行结果如下：

img


3.学习中遇到的问题及解决

  • 问题1：报错

img

  • 问题1解决方案：XXXXXX

4.学习感悟和思考

通过本次实验，我深入了解了语音识别技术在Android平台上的应用。使用RecognizerIntent实现语音识别功能，不仅让我体验到了编程的乐趣，也让我认识到了技术在实际问题解决中的强大。在开发过程中，我遇到了不少挑战，但通过不断调试和优化，最终成功实现了系统。这次实验让我更加坚信，只有不断学习和实践，才能不断进步。

参考资料

https://book.douban.com/subject/26851579/

...全文
212 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
20212301gzy 2023-2024-2 《移动平台开发与实践》第2次作业
【代码】20212301gzy 2023-2024-2 《移动平台开发与实践》第2次作业。
20212313 2023-2024-2 《移动平台开发与实践》第1次作业
（2）运行结果 都是我在csdn上找到的教程，下载汉化包即可 本次是移动平台的第一次实验，整体来说较为简单，只要下好软件，配置好环境，修改一下代码就完成了。不需要太多的难度，但是我对于手机模拟器来说是比较感兴趣的，我觉得以后我可以试着开发一个好玩的app，然后弄到自己的手机里。这次的实验让我大大增加了对于安卓app开发的兴趣，并且有效掌握了kotlin语言的用法，实现了给我代码我全能看得懂，我可以能写出一些简单的句子的能力。1.Android studio中文汉化详细教程 2.2022年Android St
20212313 2023-2024-2 《移动平台开发与实践》第6次作业
设计并开发一个语音识别应用系统。通过使用RecognizerIntent实现语音识别功能，开发一个Android语音识别系统。
20212419 2023-2024-2 《移动平台开发与实践》第2次作业
在创建新的Android项目时，我学会了如何使用Android Studio来创建项目，设置基本的项目结构和属性。这让我对一个Android应用的整体结构有了更清晰的认识，也提高了我的项目管理能力。最重要的是，在实现计算器的基本功能时，我学会了如何编写Kotlin代码来实现应用的逻辑。通过这个过程，我不仅加深了对Kotlin语言的理解，也提高了我的编程能力和解决问题的能力。在设计计算器的用户界面时，我学会了如何使用布局来实现界面的设计，如何添加和配置控件。设置控件的属性，如id、文本内容、背景等。
20212421 2023-2024-2 《移动平台开发与实践》第6次作业
在实验中，我也遇到过问题，但在网上查找资料后就基本都解决了。其中动态权限的申请之类的还是比较重要的。开始在真机上测试时，就因为没有申请麦克风权限，导致一直不能进行语音识别，只能手动的设置软件的权限管理，最后通过查询资料，也实现了麦克风权限的动态申请，也就不用手动那么麻烦了。解决方案：在运行代码时，代码没有问题，但总是运行失败，后发现jniLibs文件下有重复的.so文件，将重复的部分删掉就行。解决方案：详细见实验参考的申请格式，查询相应的麦克风权限名称，转化为kotlin代码即可。
2024移动平台开发与实践

102

社区成员

540

社区内容

发帖
与我相关
我的任务
社区描述
实验报告
android 高校
社区管理员
  • blackwall0321
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章