软件工程实践——软件评测作业

222100206蒙欣 2024-04-16 17:30:47

这个作业属于哪个课程	2302软件工程
这个作业要求在哪里	软件工程实践——软件评测作业
这个作业的目标	对产品进行调研、评测、分析，并给出规划和建议
其他参考文献	《构建之法》

一、调研和评测
1.kimi
1.1介绍
1.2使用体验
1.3优缺点分析
1.4改进意见
1.5采访用户
1.6Bug描述
1.6.1测试环境
1.6.2Bug量化指标
1.6.3Bug具体情况描述
竖版日语图片的翻译识别有缺陷
1.7结论
1.7.1定性结论
1.7.2定量结论
2.文心一言
2.1介绍
2.2使用体验
2.3优缺点分析
2.4改进意见
2.5采访用户
2.6Bug描述
2.6.1测试环境
2.6.2Bug量化指标
2.6.3Bug具体情况描述
(1)绘画功能某些需求的结果答非所问
(2)网页内容识别有误
2.7结论
2.7.1定性结论
2.7.2定量结论
二、分析
1.开发时间估计
2.同类产品对比排名
3.软件工程方面建议
4.Bug存在的原因分析
三、建议和规划
1.市场概括
2.市场现状
2.1市场上已有产品
2.2kimi、文心一言的定位，优势和劣势
2.3kimi和文心一言的关系
2.4这个领域所处阶段
3.市场与产品生态
3.1核心用户群
3.2用户群体关系
3.3产品之间关系
4.产品规划
4.1新功能及NABCD
4.2配置角色
4.3 16周计划

一、调研和评测

1.kimi

1.1介绍

Kimi智能助手是一款网页版、App和小程序的智能助手，它能够支持约20万汉字的上下文输入，具备显著的中文优势，能够为用户提供回答问题、速读文件、整理资料、激发灵感、辅助创作等服务。

1.2使用体验

界面简洁大方，但是对于第一次使用这个网站的人来说，不太清楚它能做什么，关于它的功能的介绍得询问它才能知道。

可以很方便的根据用户上传的网址和pdf文件提取信息

但是对于一些资料的搜索获取仍存在缺陷，回答的结果答非所问，不够具体。

1.3优缺点分析

优点：

界面简洁
能解析和理解用户上传的网页和文件（pdf，doc，xlxs，ppt，txt，图片等）
能进行实时搜索

缺点：

有些问题得到的回答不够具体，很模糊，甚至是答非所问
联网搜索在上传文件后会自动关闭并且不能重新开启，只能另外新开一个对话才有联网搜索功能
初始界面没有对ai功能的介绍，第一次使用的用户不清楚ai的功能是什么，需要在会话中询问才能知道

1.4改进意见

增加让用户自己开启或关闭联网搜索的选项
增大信息的获取搜索范围，有的问题得到的答案模糊，不够具体
在初始界面增加关于ai功能的简短介绍

1.5采访用户

采访对象的背景

我选择的是软件工程的同学，这位同学的代码能力很强，在使用ai方面也很熟练，能注意到很多细节。
采访对象使用过程中遇到的问题和亮点

问题：询问今天的新闻回答的内容里有以前的新闻；在历史会话界面刷新时会跳回最近的会话界面。
亮点：可以查看解析文件和网站内容；可以提炼长文档中的关键信息。

采访对象觉得从用户体验角度需要改进的地方

改进检索资料的时效性；在历史会话刷新时保持在原页面

1.6Bug描述

1.6.1测试环境

操作系统版本：19045.4291
计算机版本：Windows 10 家庭中文版
浏览器：edge

1.6.2Bug量化指标

严重程度	注释
★	细小的交互/显示错误，不影响用户使用
★★	显著的交互/显示错误，对系统功能有较小影响
★★★	在某些极端情况下会出现的功能问题
★★★★	某模块或功能在某些场合不能使用，用户体验较差
★★★★★	某模块或功能完全不能使用，用户信息泄露，用户体验严重影响

1.6.3Bug具体情况描述

竖版日语图片的翻译识别有缺陷

可复现性：必然发生
复现步骤：上传竖排日语小说的图片
情况描述：识别图片内容有bug，上传了一张竖排日语小说的图片并要求翻译图片内容后，出来的结果提示图片很多内容都是乱码或句子不全，并且提取出来的文字也不对，尽管提示了是图片内容是竖排日语还是说乱码或内容不全，然而图片的内容是完整的。

可能成因：竖版日语相对少见点，对它的识别提取就比较生疏。
Bug的严重性：★★★
对Bug的预期及改进建议：
预期：用户在上传竖版日语的图片时，能准确提取并翻译文字内容。
建议：增强图片文字的识别提取功能。

1.7结论

1.7.1定性结论

结论：不错
理由：

界面简洁，能识别理解用户上传的网址和文件；可以提炼长文档的关键信息；可以同时识别理解多个文件多个网站

1.7.2定量结论

参考资料：https://www.cnblogs.com/xinz/p/3308608.html

类别	评分（满分10分）
核心功能	7
界面	7
用户体验	8
差异化功能	6
成长性	6
综合	7

2.文心一言

2.1介绍

文心一言是百度全新一代知识增强大语言模型，文心大模型家族的新成员，能够与人对话互动、回答问题、协助创作，高效便捷地帮助人们获取信息、知识和灵感。

2.2使用体验

功能介绍简单明了，很快就能知道它能做什么

回答的结果也很准确具体

但是百宝箱的设置很鸡肋，每个专栏下的内容很多都是重复的，区别就是他们的指令不一样而已

2.3优缺点分析

优点：

总体的功能介绍简单明了
回答结果精准具体
能识别用户自己上传的网站和文件

缺点：

百宝箱的设计不太好，各模块下很多内容都是重复的

2.4改进意见

删掉百宝箱或者改进百宝箱的界面设计，让其更简洁明了

2.5采访用户

采访对象的背景

我选择的是软件工程的同学，这位同学的代码能力很强，在使用ai方面也很熟练，能注意到很多细节。
采访对象使用过程中遇到的问题和亮点

问题：界面不够简洁；百宝箱和插件很多用处不大。
亮点：检索信息的能力很强，检索出来的信息很精准。

采访对象觉得从用户体验角度需要改进的地方

把界面改进得更简洁些，加强插件的功能。

2.6Bug描述

2.6.1测试环境

操作系统版本：19045.4291
计算机版本：Windows 10 家庭中文版
浏览器：edge

2.6.2Bug量化指标

严重程度	注释
★	细小的交互/显示错误，不影响用户使用
★★	显著的交互/显示错误，对系统功能有较小影响
★★★	在某些极端情况下会出现的功能问题
★★★★	某模块或功能在某些场合不能使用，用户体验较差
★★★★★	某模块或功能完全不能使用，用户信息泄露，用户体验严重影响

2.6.3Bug具体情况描述

(1)绘画功能某些需求的结果答非所问

可复现性：特定条件下发生
复现步骤：画出指定人物的图片或者某些指定特征的图片
情况描述：当我让它画一张白发异色瞳的少女图片时，第一次出来的图片完全不符合要求（黑发黑瞳），当我让它画一张双眼颜色不同的少女图片时，说了几次得到的结果都是黑瞳。

可能成因：ai的训练太少，对某些精细部位的颜色识别处理不行。
Bug的严重性：★★★
对Bug的预期及改进建议：
预期：能满足用户要绘制的图片需求。
建议：对ai进行更多的数据训练。

(2)网页内容识别有误

可复现性：偶尔发生
复现步骤：发给它一个网页让它概括网页内容
情况描述：分别发了三个网站：知乎的英国博士申请专栏和chatgpt原理的提问页面、csdn上对fork函数的解释文章给它，依次让它概括这三个网页的内容，有时候能准确概括出内容，有时候则是得到一些答非所问的内容。

可能成因：ai的联网功能不稳定，掉网后就会出来答非所问的回答
Bug的严重性：★★★
对Bug的预期及改进建议：
预期：能准确识别用户上传的网站内容
建议：增强ai的联网功能

2.7结论

2.7.1定性结论

评价：一般
理由：界面不够简洁，百宝箱有很多功能是重复的；绘画功能不够完善；很多插件使用有缺陷。

2.7.2定量结论

参考资料：https://www.cnblogs.com/xinz/p/3308608.html

类别	评分（满分10分）
核心功能	7
界面	5
用户体验	6
差异化功能	4
成长性	5
综合	6

二、分析

1.开发时间估计

网站	功能	估计时间
kimi	多语言对话、信息检索、文件分析、网站分析	150-200天
文心一言	信息检索、文件分析、网站分析、图片生成	180-230天

2.同类产品对比排名

方面	kimi	文心一言3.5	chatgpt3.5
界面设计	7	6	7
实用性	7	6	7
用户体验	7	5	6
解决需求能力	6	5	6
综合	7	5	6

个人排名：kimi>chatgpt3.5>文心一言3.5

3.软件工程方面建议

网站	建议
kimi	在初始界面增加关于其功能的简要介绍；增强图片的文字识别功能
文心一言	界面设计更简洁；引入更多的学习数据

4.Bug存在的原因分析

kimi：图片的文字识别没考虑到竖排文字的情况。
文心一言：测试敷衍了事；ai的训练数据不够。

三、建议和规划

1.市场概括

市场大小：基于语言模型的学习型ai正处于火速成长阶段，它也满足了很多人需求，随着它的发展，以后的市场会越来越大。
直接用户：需要使用大语言模型来提升产品和服务能力的企业和开发者，如处理大量数据。
潜在用户：目前还未使用大语言模型，但未来随着技术发展和需求增加，而基于某些原因使用的用户，如内容创作者、医疗咨询用户。

2.市场现状

2.1市场上已有产品

讯飞星火：科大讯飞发布的一款AI大语言模型，具备强大的自然语言理解、知识问答、逻辑推理、数学能力、代码能力以及多模交互等核心能力。
谷歌BEAT：通用预训练语言模型，用于改善各种NLP任务的性能。
通义千问：阿里云推出的一款超大规模的语言模型，其优势在于知识广度和深度。
混元AI大模型：由腾讯公司研发的人工智能认知大模型，该模型基于腾讯自主研发的混元架构和大规模预训练技术，具备跨领域知识和自适应性特点。腾讯混元AI大模型在内容理解、对话系统、游戏AI等领域有广泛应用。

2.2kimi、文心一言的定位，优势和劣势

kimi：
- 定位：擅长长文本数据的处理，能够理解和处理大量文本。
- 优势：擅长长文本的解析和处理，中文识别能力强。
- 劣势：信息检索能力较小；信息的结果依靠搜索能力的强弱，自身逻辑能力较弱；缺乏足够的用户自定义选项。
文心一言：
- 定位：文心一言定位于人工智能基座型的赋能平台，帮助金融、能源、媒体、政务等千行百业的智能化变革。
- 优势：中文自然语言处理能力强，应用场景广泛，快速响应用户需求，具有多模态生成能力。
- 劣势：作为国内新兴产品，与国际gpt-4等大模型仍有一定差距，需要不断优化和提升。

2.3kimi和文心一言的关系

二者是互相竞争的关系，kimi以长文本的解析处理为优势和卖点，文心一言则在多模态生成和图文理解上有优势，二者都在不断优化，相互竞争，给用户更好的体验。

2.4这个领域所处阶段

这个领域正处于快速成长的阶段，chatgpt的爆火可以看出这个领域的市场发展潜力很强，随着深度学习和自然语言处理技术的进步，ai语言模型的能力还可以提升，能够应用的场景将会更多，处理的任务也将更复杂，满足更多用户的需求。

3.市场与产品生态

3.1核心用户群

核心用户：
- 技术开发者：计算机相关从业者，利用AI来debug，辅助代码编写，学习新技术。
- 学生和教育工作者：利用AI辅助学习，获取知识和知识整理。
- 内容创作者：利用AI生成草稿，优化创作内容，激发灵感。
典型用户描述：
- 学历：通常为拥有中等或以上教育水平，能够理解使用产品。
- 年龄：以年轻和中年人为主。
- 专业：覆盖面很广，主要是电子信息、教育、媒体等对信息处理需求较高的专业。
- 爱好：在科技、阅读、写作、学习新知识、提高工作效率等方面有浓厚兴趣。
- 收入：中等偏上，这类人更愿意为高质量服务的AI付费。
- 表面需求：学习新知识，信息整理，提高工作效率。
- 潜在需求：个性化服务的需求，用户隐私保护。

3.2用户群体关系

AI大模型的用户往往会在各社交平台上交流分享经验和资源，内容创作者和技术开发者等都可能会和自己的消费群体接触，了解市场需求。这种互补性和合作性，使用户特定生态圈的构成成为可能。

3.3产品之间关系

每个产品都有各自的特色和优势，可以利用这些特色功能，互补各自的缺点构成新的产品生态。

4.产品规划

4.1新功能及NABCD

功能描述：以kimi为例，增加一个"情感系统"的功能。用户可以设置AI的角色、性格，该功能通过识别用户的情感情绪，并基于用户的历史数据、行为模式和偏好等，提供更个性化、情感化的行为和服务。
用户使用原因：现在的AI大模型普遍一股人工智能味，忽视了用户的情感需求。引入该功能，用户可以更轻松愉快的与AI交流，某些用户在特殊情况下需要情感抚慰时也可以利用AI获得情绪价值。
创新点：提升了用户体验和交互质量，为有情感需求的用户提供帮助。

NABCD	详情
Need（需求）	现在的AI产品普遍都回答生硬，忽视了用户的情感需求，用户需要更个性化、情感化的对话交互，以满足情感需求和达到更好的使用体验
Approach (方法)	基于用户的历史数据、偏好、行为模式及预先设定的角色性格等，通过情感分析，为用户提供更个性化、情感化的服务
Benefit (好处)	大大提升用户体验和交互质量，满足用户的情感需求、个性化需求等，增强用户黏性和市场产品竞争力
Competition (竞争)	市面上的AI产品普遍都回答生硬，没有照顾到用户的情感需求，这一功能的引入将大大提高用户体验从而增强用户黏性，扩大市场竞争力
Delivery (交付)	通过社交媒体、内容营销和合作伙伴关系等进行推广，收集用户反馈，根据用户反馈不断改进优化