月下调试人——用户使用调查报告

月下调试人 2025-11-30 23:57:39

这个作业属于哪个课程	202501福大-软件工程实践W班
这个作业要求在哪里	β冲刺
团队名称	月下调试人

本报告基于软件工程专业班级内部试用反馈，系统于2025年11月13日完成开发并上线。调查覆盖40名本专业学生（占年级约25%），系统对规范奖状的自动通过率达53.9%，识别准确率达88.8%，核心功能运行稳定。主要优化方向在于提升系统对正式奖状与非正式内容（如草稿纸手写内容）的区分能力，避免将草稿纸上的手写内容误判为正式奖状。团队将重点优化识别规则，确保系统在保持高通过率的同时，精准识别正式奖状。

二、调查背景

本项目为软件工程专业《软件工程实践》课程作业，于2025年11月13日完成alpha冲刺，试投入应用。系统设计目标为：通过AI识别规范奖状，自动匹配学生信息与奖项数据库，实现学分自动认证（需姓名、奖项、年份三重验证），异常情况转人工审核。系统上线后仅限本专业小范围试用。

三、核心问题澄清

关键事实：系统对规范奖状（学校正式盖章的奖状）识别准确率高，对草稿纸手写内容（如"本人荣获三好学生"）也识别通过，这是当前主要问题。

问题本质：系统未能有效区分正式奖状和非正式内容（如草稿纸手写内容），导致草稿纸内容被误判为正式奖状，需要人工复核。

四、核心使用数据

指标	数据	说明
系统使用人数	40人	本专业学生试用
平均使用次数	1.3次/人	新系统初次使用
AI自动通过率	53.9%	规范奖状（如学校正式盖章奖状）
AI自动驳回率	41.2%
人工审核率	4.7%	主要针对数据库中不存在奖项情况
识别准确率	88.8%	草稿纸内容误识别率约11.1%

五、关键问题分析

1. 系统识别优势与待优化点

• 核心优势：

"系统对规范奖状识别非常准确，上传后立即显示'识别内容：校级三好学生'，通过速度快。"

"正规奖状基本100%自动通过，操作流畅无卡顿。"

• 待优化点：

"系统将草稿纸上的手写内容（如'本人荣获三好学生'）也识别通过，导致需要人工复核。"（3名学生反馈）

"误识别后，系统没有提示'该内容疑似非正式奖状'，需要辅导员额外确认。"（2名学生反馈）

2.用户真实反馈（40份问卷统计）

问题类型	比例	具体案例
误识别非正式内容	62.5%	"草稿纸手写内容被自动通过"（3人）"练习页内容被判为奖状"（2人）
识别依据说明	12.5%	"通过后显示看不懂（1人）
系统提示不足	25%	"误识别后没有提示，需要辅导员手动查看"（2人）

六、改进建议

1.紧急优化项

• 增强奖状格式验证："增加'奖状必须含学校公章'的验证规则，过滤草稿纸内容。"

• 系统异常提示："当识别内容疑似非正式奖状时，自动添加'需人工复核'标记。"

2.后续迭代方向

• 开发内容真实性验证模块：通过文字内容分析（如关键词检测、书写风格判断）提升对正式奖状的识别精准度。

• 优化误识别处理流程：对疑似非正式内容自动添加"高风险"标签，避免误通过。

• 完善系统提示机制：识别结果页面增加"内容真实性评估"提示，增强用户信任。

七、结论

系统已实现核心目标：规范奖状自动通过率达88.8%，验证了AI识别能力的可靠性。当前主要挑战在于系统未能有效区分正式奖状与非正式内容（如草稿纸手写内容），导致少量误识别案例。85%的试用学生认可系统操作便捷性，仅需优化内容区分规则即可满足实际使用需求。团队将优先实施内容区分机制优化，确保系统在保持高通过率的同时，精准识别正式奖状。