软件工程实践——软件评测作业

222100221林炳昌 2024-04-15 23:08:41

这个作业属于哪个课程	2302软件工程
这个作业要求在哪里	作业要求
这个作业的目标	对AI问答产品进行对比测试以及分析
其他参考文献	构建之法

软件工程评测作业

1.调研评测
1.1 文心一言
1.1.1 使用体验
介绍
优缺点分析
优点
缺点
改进意见
1.1.2 bug描述
BUG环境
Bug的可复现性及具体复现步骤
Bug具体情况描述
Bug分析
结论
1.2 通义千问
1.2.1 使用体验
介绍
优缺点分析
优点
缺点
改进意见
1.2.2 bug描述
BUG环境
Bug的可复现性及具体复现步骤
Bug具体情况描述
结论
2.分析
2.1 预估时间
2.2 优劣
2.3 建议
2.4 Bug不修复的原因分析
3 建议和规划
3.1 市场概况
3.2 市场现状
3.3 市场与产品态势
3.4产品规划

1.调研评测

1.1 文心一言

1.1.1 使用体验

介绍

文心一言（英文名：ERNIE Bot）是百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动、回答问题、协助创作，高效便捷地帮助人们获取信息、知识和灵感。文心一言从数万亿数据和数千亿知识中融合学习，得到预训练大模型，在此基础上采用有监督精调、人类反馈强化学习、提示等技术，具备知识增强、检索增强和对话增强的技术优势。

优缺点分析

优点

响应速度快，能够快速理解用户的问题。
覆盖面广，几乎所有问题都能够给出详细准确的回答。
界面设计干净，没有过多冗余的内容，专注于回答用户的问题。
分点清晰，文字排版整齐有序，易于阅读。
缺点
依赖数据，当大数据没有及时更新或已经过时时，所给出的回答帮助也不大。
偶尔会出现上下文联系时理解错误的情况。
改进意见
实时更新所处理的数据，尽量保证回答与时俱进。
提高多样性，创新性，避免过于死板的回答。
1.1.2 bug描述

BUG环境
操作系统：win11
浏览器:edge
Bug发现时间:2024/4/14
Bug的可复现性及具体复现步骤
可复现性：满足特定条件下可复现。
复现步骤：使用ai绘画功能让它画一幅画 -> 在上一幅画的基础上添加条件再进行绘画
Bug具体情况描述
下图中，第一步让它绘画一幅夜晚的海洋，第二步加上条件“不要船”，此时产生了bug，在第二幅绘画中仍然出现了船。
Bug分析
可能成因： ai绘画在第一次绘画中基本可以给出准确的作图，但是在添加了条件后也许因为上下文没有联系起来而导致没有理解用户的需求。

严重性：

系统功能：系统功能上不算是个严重的bug，因为其发生条件较为苛刻，发生情况不多。
用户体验：用户体验不算太差，用户只需要将条件补充完整即可，例如“夜晚的没有船的海洋”。

改进建议：加强ai上下文联系能力，尽可能地能够理解用户的需求。

结论

挺好的，值得推荐。
（满分十分）
界面：8分
功能：7分
用户体验：7分
细节：6分
辅助功能：6分

1.2 通义千问

1.2.1 使用体验

介绍

通义千问，是阿里云推出的一个超大规模的语言模型。于2023年9月13日正式向公众开放。属于(AI Generated Content，AIGC)领域。是一个MaaS（模型即服务）的底座。
通义，取自《汉书》中的“天地之常经，古今之通义也”，有“普遍适用的道理与法则”之意。通义千问功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。能够跟人类进行多轮的交互，也融入了多模态的知识理解，且有文案创作能力，能够续写小说，编写邮件等。

在这里插入图片描述

优缺点分析

优点

覆盖面广，几乎所有问题都能够给出详细准确的回答。
界面设计干净，没有过多冗余的内容，专注于回答用户的问题。
缺点
回答过于死板，不符合人们的口味。
响应速度过慢，回答一个问题或生成一张图片要的时间太久。
改进意见
加快处理速度，降低响应时间。
提高多样性，创新性，避免过于死板的回答。
1.2.2 bug描述

BUG环境
操作系统：win11
浏览器:edge
Bug发现时间:2024/4/14
Bug的可复现性及具体复现步骤
可复现性：满足特定条件下可复现。
复现步骤：使用ai绘画功能让它画一幅画 -> 在上一幅画的基础上添加条件再进行绘画
Bug具体情况描述
下图中，第一步让它绘画一幅夜晚的海洋，第二步加上条件“不要建筑”，此时产生了bug，在第二幅绘画中仍然出现了建筑，第三步我又重申了一遍要求，但是生成的图片中还是有建筑。
结论
一般，用户体验不是很好。
（满分十分）
界面：8分
功能：6分
用户体验：6分
细节：6分
辅助功能：7分

2.分析

2.1 预估时间

因为现在市面上有许多的AI模型可以供借鉴，我预估时间大概在半年到一年之间。

2.2 优劣

是国内非常优秀的产品，但是与ChatGPT这样更为出色的同类型产品之间仍有较大差距。

2.3 建议

多进行测试，及时发现bug。
多与用户沟通，优化AI处理逻辑。
及时更新数据，舍弃过时或无效的数据。
2.4 Bug不修复的原因分析
没有很好的解决方案，暂时技术不支持修复
由于其他工作的原因，暂时没有精力修复这类Bug
还没有发现这类Bug
3 建议和规划

3.1 市场概况
这样的AI问答系统作为自然语言处理领域的重要应用之一，随着AI技术的发展和普及，其市场潜力巨大。它们被广泛应用于客户服务、在线教育、医疗咨询、电子商务、企业内部知识管理、智能家居、娱乐互动等多个领域，为企业和个人用户提供智能化的服务体验。
直接用户包括所有正在使用各类AI问答平台和工具的企业、组织以及个人消费者。
潜在用户理论上包括任何需要信息查询、咨询服务、个性化推荐等功能的个体或组织。
3.2 市场现状
市场上的代表性产品：
FUNAI：作为一款手机应用，它主要定位在移动设备用户，提供智能问答、语音识别和语义理解功能，满足用户日常生活中的疑问解答需求。
文心一言：百度推出的问答社区平台，除了用户间交流外，还利用AI技术为用户提供准确的知识性答案。
产品优势与劣势：
FUNAI：优势是便捷的移动端用户体验和语音交互功能；劣势可能在于知识库的深度和广度相对于大型互联网公司运营的产品可能存在局限。
文心一言：优势在于依托百度庞大的数据资源和技术积累，能提供丰富的信息来源和较准确的答案。
产品之间的关系：上述两款产品和其他AI问答工具在市场中存在竞合关系。竞品主要有比如腾讯的小微、谷歌的Google Assistant，以及风靡全球的ChatGPT等。
发展阶段：我认为处于“成长”阶段，这类产品受到资本和市场的高度关注，技术突破带来的应用创新正逐步改变着人们获取信息的方式，并且有持续增长和扩展的趋势。
3.3 市场与产品态势
核心用户群：
学历：可以是从小学到研究生甚至更高的教育背景。
年龄：不同年龄段用户都可能会有不同的需求。
专业：如果是专业性强的产品，用户可能集中在IT、教育、医疗、艺术等行业。
爱好：产品可能围绕特定兴趣或爱好，如音乐、阅读、健身、旅行等。
表面需求：直接使用产品解决的问题，例如办公时提高工作效率、学习时简单快速的获取知识。
潜在需求：娱乐放松等。
用户群体之间的关系：用户群体之间确实可能存在相互关联和影响。
产品生态可能性：若产品包含多个子产品或相关产品，则可以通过这些产品间的互补性和协同效应构建产品生态。例如在一个在线教育平台中，子产品包括课程学习系统、论坛交流模块、题库练习工具等，不同的子产品针对用户学习的不同阶段，形成闭环的学习路径，从而促进用户在平台内部的持久参与。
3.4产品规划
我想要设计的一个新功能是“个性化的知识图谱构建”功能，以下是NABCD分析：
Need（需求）：用户需要定制化的信息获取体验，依据他们的历史提问记录和个人偏好，建立个性化的知识图谱。
Approach（方法）：通过机器学习和自然语言处理技术收集用户行为数据，构建用户兴趣模型，提升问答的个性化程度。
Benefit（益处）：用户将得到更贴合自己需求的答案，提高满意度和留存率。
Competitors（竞争）：目前市场上尚无完全类似的个性化问答产品，此功能将有独特的竞争优势。
Delivery（交付）：确保个性化图谱的有效构建和更新，同时注重隐私保护，让用户放心使用。