软件工程实践——软件评测作业

222200329徐文彬 2024-10-14 19:08:22

这个作业属于哪个课程	2401_CS_SE_FZU
这个作业要求在哪里	软件工程实践——软件评测作业
结对学号	222200329
这个作业的目标	评测现有网站
其他参考文献	《构建之法》、CSDN

1. 调研，评测
1.1文心一言
1.1.1 使用体验
1.1.2 BUG描述
1.1.3 结论
1.2 Kimi
1.2.1 使用体验
1.2.2 BUG描述
1.2.3 结论
1.3 采访
2. 分析
2.1 开发时间估计
2.2 同类产品对比和排名
2.3 软件工程方面的建议
2.4 BUG存在的原因分析
3. 建议和规划
3.1 市场概况
3.2 市场现状
3.3 市场与产品生态
3.4 产品规划
3.4.1 功能
3.4.2 角色配置
3.4.3 16周的详细计划

1. 调研，评测

1.1文心一言

1.1.1 使用体验

介绍和使用软件

文心一言是百度打造出来的人工智能大语言模型，具备跨模态、跨语言的深度语义理解与生成能力，文心一言有五大能力，文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成，其在搜索问答、内容创作生成、智能办公等众多领域都有更广阔的想象空间。文心一言企业服务由千帆大模型平台提供，包括推理服务及大模型微调等一系列开发和应用工具链。
- 拥有多种功能，例如创意写作、文档分析、网页分析、语种翻译等等。同时点击最左上角块可生成新的对话页面。
- 输入内容的类型种类多，支持文字输入，图片输入，链接输入，文件输入。
- 左侧有记录历史会话的模块，上方还有搜索历史会话的搜索框。
- 最左侧栏目可以选择 百宝箱 找到一些常用的指令，选择 使用指南 可以查看官方撰写的收手册，选择反馈会弹出反馈窗口，同时还有充值窗口和用户窗口。
优缺点分析
- 优点
  - 功能丰富，满足绝大部分人的需求。
  - 免费体验大部分功能。
  - 相比chatgpt，无需使用VPN即可访问。，降低了使用门槛。
  - 内容生成速度较快。
- 缺点
  - 广告内容多。
  - 文心一言有时候会出现服务器爆满的情况，无法快速响应用户请求。（当前提问人数过多）。
  - 内容分享没有以生成图片的方式。只能以链接或者直接复制文字的方式分享，不够直观，方便。
  - 有时对文字内容理解错误或者说不准确，例如，我询问文心一言，想要要一张仅仅只有海洋的图片，结果它还是生成了带有船只的海洋图片。
改进建议
- 定期更新知识库，引入最新的信息和专业知识，确保内容的时效性和深度。
- 持续收集和整理更多领域的数据，提升软件的回答准确度和覆盖范围。
- 减少广告占据整体页面的空间大小

1.1.2 BUG描述

BUG量化标准

星级	严重程度	说明
⭐⭐⭐⭐⭐	严重	导致系统崩溃或严重功能失效，用户无法使用软件，且没有临时解决方案。需要立即修复。
⭐⭐⭐⭐	高	功能严重受限或存在数据丢失的风险，对用户体验影响很大，但软件仍可在一定程度上使用。
⭐⭐⭐	中	功能正常，但存在明显的缺陷，可能影响部分用户的使用体验，修复优先级较高。
⭐⭐	低	一些小缺陷或视觉问题，对软件功能没有明显影响，影响用户体验，但修复可以安排在后续版本中。
⭐	轻微	极小的问题或建议，用户可忽略，通常与界面或细节相关，不影响功能。

BUG1
- 测试环境
  - 操作系统：Windows 11
  - 计算机：ASUS TUF Gaming F16 FX607JV_FX607JV
  - 浏览器：edge
- 可复现性：可复现
- 复现步骤
  - 选择新会话
  - 点击百宝箱图标稍偏上处
  - 页面跳转到个性化模块内容中
- BUG详细描述
- BUG分析
  - BUG原因：个性化按钮具有较大下边距，一直到百宝箱图标顶部，没有给百宝箱图标预留足够的上边距，所以当鼠标移动到百宝箱图标往上一点点时，就会出现该bug。
  - BUG星级：⭐
    
    这类Bug对用户体验的影响相对较小，通常表现为界面上的微小瑕疵或者非核心功能的bug。尽管这个bug会让用户感到不便，但它不会阻碍用户完成主要任务，也不会对系统的整体稳定性构成威胁。
  - 对于Bug的预期及改进建议
    
    对界面布局边距进行重新设计，确保每个按钮都有足够的边界，避免用户在操作时的误触。当用户鼠标悬停在按钮上时，按钮应该有明确的高亮显示，以确认用户的意图。

1.1.3 结论

类别	描述	评分
核心功能	核心功能的设计和质量	7
用户体验	当用户完成功能时，不干扰用户(无广告或者其他提示)	7
辅助功能	一些辅助功能	8
差异化功能	软件独特的功能	9
软件能效	占用内存, 启动速度, 内存泄漏情况	8
软件适应性	在不同大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作	7
用户有控制权	用户方便地从错误中恢复工作, 快捷操作键可调整。	8
回答质量	对一个问题，大预言模型回复内容是否正确、全面周到且无废话套话	7
成长性	记住用户的选择, 适应用户的特点，用户越用越方便	8
先进性	与外国同类产品相比，可以得几分	8
最终得分	优秀（90-100）、良好（80-89）、一般（70-79）、合格（60-69）、不合格（<60）	78

1.2 Kimi

1.2.1 使用体验

介绍和使用软件

Kimi是北京月之暗面科技有限公司于2023年10月9日推出的一款智能助手，主要应用场景为专业学术论文的翻译和理解、辅助分析法律问题、快速理解 API 开发文档等，是全球首个支持输入20万汉字的智能助手产品。
- 鼠标悬浮文本框右侧按钮，可以查看按钮功能。文本框下方5个模块是介绍Kimi的主要功能
- 支持多种输入，文字，图片，链接，文件等形式的数据输入。其中文件还支持TXT，PDF，Word，PPT，Excel等文件形式输入。
- 左侧工具栏，可以选择回到首页，新建会话，查看历史记录，Kimi+，用户以及网页助手。
优缺点分析
- 优点
  - 界面美观整洁，没有过多广告，加载快速
  - 无需使用VPN即可使用
  - 能够处理大量数据，能处理高达20万字的输入和输出。
  - 支持多格式文件输入。
  - Kimi具备互联网搜索功能，处理和获取数据具有及时性。
  - 会话分享形式多样，可以直接以图片的形式分享。
- 缺点
  - 无法自定义，以适应个人的需求和喜好。
  - 无法根据用户需求画出图片
改进建议
- 希望Kimi能够生成图片，或者用图片来回答某些问题，用图片比较直观和易于理解。
- Kimi可以使用文件满足用户的需求。

1.2.2 BUG描述

BUG量化标准

星级	严重程度	说明
⭐⭐⭐⭐⭐	严重	导致系统崩溃或严重功能失效，用户无法使用软件，且没有临时解决方案。需要立即修复。
⭐⭐⭐⭐	高	功能严重受限或存在数据丢失的风险，对用户体验影响很大，但软件仍可在一定程度上使用。
⭐⭐⭐	中	功能正常，但存在明显的缺陷，可能影响部分用户的使用体验，修复优先级较高。
⭐⭐	低	一些小缺陷或视觉问题，对软件功能没有明显影响，影响用户体验，但修复可以安排在后续版本中。
⭐	轻微	极小的问题或建议，用户可忽略，通常与界面或细节相关，不影响功能。

BUG1
- 测试环境
  - 操作系统：Windows 11
  - 计算机：ASUS TUF Gaming F16 FX607JV_FX607JV
  - 浏览器：edge
- 可复现性：可复现
- 复现步骤
  - 保持历史会话只有一条记录。
  - 将历史会话记录删除
  - 退出历史会话记录，发现已删除的会话忍让存在，并且对于输入新的内容无反应。
- BUG详细描述
- BUG分析
  - BUG原因：删除所有历史会话纪录后，对应的组件没有及时地更新操作，没有实现一致性。
  - BUG星级：⭐⭐
    
    虽然这个bug可以通过在新建一个会话解决，但是对于初次使用Kimi地用户来说，这个bug可能会是用户误认为是系统服务崩溃，降低用户的产品体验。
  - 对于Bug的预期及改进建议
    
    删除所有历史会话并退出后，建议及时将页面跳转到首页。实现模块功能的强一致性。

1.2.3 结论

类别	描述	评分
核心功能	核心功能的设计和质量	7
用户体验	当用户完成功能时，不干扰用户(无广告或者其他提示)	10
辅助功能	一些辅助功能	8
差异化功能	软件独特的功能	9
软件能效	占用内存, 启动速度, 内存泄漏情况	7
软件适应性	在不同大小屏幕, 没有鼠标的情况下都可以顺畅操作. 和不同平台的软件能流畅协作	7
用户有控制权	用户方便地从错误中恢复工作, 快捷操作键可调整。	8
回答质量	对一个问题，大预言模型回复内容是否正确、全面周到且无废话套话	7
成长性	记住用户的选择, 适应用户的特点，用户越用越方便	8
先进性	与外国同类产品相比，可以得几分	8
最终得分	优秀（90-100）、良好（80-89）、一般（70-79）、合格（60-69）、不合格（<60）	79

1.3 采访

采访对象的背景，为什么选择这个人采访？TA的需求是什么？
- 背景：福州大学软件工程大三学生
- 原因：对方是大三学生课业内容量多、难度大，在大语言模型的辅助下，能更好的完成课业。
- 需求：使用人工智能来帮助我快速地写代码，和画UML图
采访对象实际使用的产品栏目

Kimi的AI对话功能
采访对象使用软件的过程中会遇到的问题
采访对象使用软件的过程中会遇到的亮点
采访对象觉得从用户体验的角度来说需要改进的地方有哪些？

2. 分析

2.1 开发时间估计

前提条件：团队人数6人左右，计算机大学毕业生，并有专业UI支持。

阶段	描述	估计时间
需求分析与规划	明确项目目标、功能需求、模型的用途；讨论数据隐私、安全性、合规性等问题。	2-3个月
数据收集与处理	进行大规模数据的收集、清洗和预处理；标注和确保数据合规性。	6-8个月
模型设计与开发	设计大语言模型的架构（如Transformer），决定超参数设置，进行初步实验。	3-4个月
模型训练	在大规模数据集上进行模型训练，调整超参数，确保训练效果。	6-10个月
模型评估与测试	评估模型的生成效果、安全性、性能和用户体验。	3-4个月
部署与集成	将模型部署至生产环境，并开发相关的API接口，确保系统可扩展性。	2-3个月
总计		22-30个月

2.2 同类产品对比和排名

对比维度	GPT	文心一言	Kimi
UI设计	9	6	7
交互逻辑	8	7	7
大陆地区易用度	4	7	7
数学计算	8	5	5
文本生成质量	8	5	7
代码能力	7	5	5
长文本处理能力	6	6	9

结果：GPT > Kimi > 文心一言

2.3 软件工程方面的建议

文心一言
- 增多输入文件格式：目前暂不支持markdown和其他别的文件格式，降低了使用场景的多样性。
- 减少广告提示：广告提示或者暗示多，整体界面不够简洁，干扰用户的使用体验。
- 增强画图能力：文心一言识别语言图画能力弱，并且画出的图片AI感强，质量不高。
- 界面布局调整：用户在操作过程中遇到了由于按钮布局导致的误操作问题。文心一言应该重新审视和调整界面布局，确保用户能够准确无误地执行他们想要的操作。
- 回答质量提升：文心一言应该致力于减少回答中的套话和水话，确保用户能够获得实质性的帮助。
Kimi
- 图像处理能力：希望Kimi能够利用图片回答问题或展示信息，建议开发图像识别和生成技术，以便在需要图像辅助的情况下，实现更直观有效的交流。
- 文件生成与编辑：期待Kimi能具备生成和编辑文件的功能，如Excel表格等。开发相关模块可以让用户直接在平台上创建、编辑和下载文件，从而提升工作效率。
- 功能扩展：虽然Kimi已支持文本对话、文件阅读和互联网搜索，但在某些专业领域的深度服务上仍有提升空间。建议考虑与专业工具和服务整合，以提供更全面的行业解决方案。

2.4 BUG存在的原因分析

文心一言Bug：
- 开发人员粗心大意
- 测试人员敷衍了事，没有进行全面的测试
KimiBug：
- 开发人员粗心大意
- 测试人员敷衍了事，没有进行全面的测试

3. 建议和规划

3.1 市场概况

市场规模：基于《人工智能市场规模、份额、增长报告》。2023 年全球人工智能 (AI) 市场规模为 5,153.1 亿美元，预计将从 2024 年的 6,211.9 亿美元增长到 2032 年的 27,404.6 亿美元，预测期内（2024 年）复合年增长率为 20.4% -2032）。

直接用户数量：大语言模型的直接用户包括普通用户、开发者、企业和组织、教育领域以及内容创作者，普通用户通过聊天工具获取信息，开发者通过API集成模型功能，企业利用模型优化客服、生成内容，教育领域师生则用其辅助教学，内容创作者借助其进行创作。

潜在用户数量：潜在用户则涵盖医疗、法律、招聘、游戏开发、政府服务、金融等行业，未来这些领域的从业者可能使用大语言模型进行诊断支持、法律文书生成、智能招聘、游戏剧情创作、公共服务自动化以及金融分析等应用，随着技术的普及和进步，潜在用户有望逐渐成为活跃用户。

3.2 市场现状

已有产品

软件	研发公司	描述
ChatGPT	OpenAI	ChatGPT是一个基于人工智能的对话模型，旨在理解和生成自然语言。它由OpenAI开发，能够进行对话、回答问题、提供信息、写作建议等。ChatGPT使用深度学习技术，经过大量文本数据的训练，以生成连贯且相关的回答。无论是日常聊天、学习辅导，还是创意写作，ChatGPT都可以帮助用户实现各种需求。
Gemini	Google DeepMind	Gemini是一个先进的人工智能模型，能够同时识别和处理文本、图像、音频、视频和代码等五种类型的信息。它不仅具备理解和生成主流编程语言高质量代码的能力，还拥有全面的安全性评估功能。这使得Gemini在各种应用场景中表现出色，尤其是在需要多模态数据处理和编程的任务中。其灵活性和综合能力使其成为开发者和企业在人工智能领域的有力工具。
文心一言	百度	文心一言是百度打造出来的人工智能大语言模型，具备跨模态、跨语言的深度语义理解与生成能力，文心一言有五大能力，文学创作、商业文案创作、数理逻辑推算、中文理解、多模态生成，其在搜索问答、内容创作生成、智能办公等众多领域都有更广阔的想象空间。文心一言企业服务由千帆大模型平台提供，包括推理服务及大模型微调等一系列开发和应用工具链。
Kimi	月之暗面	Kimi是一款智能助手，主要应用场景为专业学术论文的翻译和理解、辅助分析法律问题、快速理解AAPI开发文档等，是全球首个支持输入20万汉字的智能助手产品。
通义千问	阿里云	通义千问是一种大型语言模型，旨在提供高效、智能的问答和对话服务。它可以理解和生成自然语言，适用于多种应用场景，如客户服务、教育辅导和内容创作。通义千问通过训练海量数据，能够提供准确的信息和丰富的互动体验，帮助用户解决问题和获取知识。
讯飞星火	科大讯飞	讯飞星火是一款由科大讯飞开发的人工智能语言模型，旨在提供自然语言处理服务。它能够理解和生成中文文本，应用于智能客服、内容创作、翻译等多个领域。讯飞星火强调语音识别和自然语言理解的结合，力求提升用户的互动体验和信息获取效率

产品定位

软件	定位	优势	劣势
ChatGPT	通用对话型AI，专注于自然语言理解与生成	强大的语言生成能力，适合对话和文本创作。用户友好的交互界面，容易上手。支持多种主题的讨论和问题解答。	对于特定领域的专业知识可能存在局限。有时生成的内容可能不够准确或相关。
Gemini	多模态AI，能够处理文本、图像、音频、视频和代码	综合能力强，适用于多种类型的任务。能够理解和生成高质量的编程代码。拥有全面的安全性评估功能。	可能需要较高的计算资源，适合企业或开发者使用。使用门槛相对较高，普通用户可能不易掌握。
文心一言	中文对话生成模型，专注于中文自然语言处理。	针对中文用户优化，理解和生成中文文本的能力强。适合中文市场的各类应用场景。	在非中文环境中的表现可能不如其他多语言模型。相对较新的产品，生态系统和用户基础尚在发展中。
Kimi	月之暗面科技有限公司开发的智能助手	擅长专业学术论文翻译和理解	作为新产品，市场地位和用户接受度需时间证明
通义千问	大型问答系统，提供高效的信息检索与问答服务。	强调问答的准确性和效率。适合用于客户服务和教育领域。	可能在复杂的对话中表现不如通用对话模型。对于开放式问题的生成能力可能有限。
讯飞星火	语言理解和生成模型，特别强调语音识别的结合。	优秀的语音识别能力，适合语音交互场景。多领域应用，尤其是在智能客服和教育中。	在纯文本生成方面可能与其他专注于文本的模型有差距。受限于特定的语音和语言数据，可能影响多语种支持。

产品间的关系

产品对象	竞争关系描述
ChatGPT 和通义千问	两者都专注于自然语言处理与生成，提供对话和问答服务，形成直接竞争关系。
Gemini 和讯飞星火	都具备多模态能力，Gemini更强调综合性和代码生成，而讯飞星火在语音识别上更具优势，形成间接竞争。
文心一言与ChatGPT	文心一言专注于中文市场，直接竞争于中文对话生成，尤其在中文用户中。

竞争态势

技术创新：各方都在不断提升技术，增强模型的理解能力和生成质量，以满足不同应用需求。
市场细分：一些模型如文心一言和讯飞星火，专注于特定语言或功能，形成细分市场的竞争。
应用场景扩展：许多公司正在寻找更多应用场景，如教育、客服和内容创作，推动产品的多样化和功能扩展。
用户基础：大型模型如ChatGPT和Gemini有更广泛的用户基础，而新兴模型可能需要时间来建立市场认知。

领域阶段

当前，人工智能领域正迎来快速发展与技术创新的浪潮，成为一个关键的风口。像GPT和Gemini这样的热门大模型在多个领域展现出强大能力，吸引了众多科技公司投入资源进行研发和应用。同时，人工智能的应用场景不断扩展，从文本生成、翻译、问答到更复杂的任务，如编程和艺术创作等。随着模型的迭代和优化，生成内容的准确性和实用性逐渐提升，但仍面临偏见和时效性差等挑战。

3.3 市场与产品生态

核心用户群和典型用户特征

该产品的核心用户群主要包括科技行业的专业人士（如软件开发者和数据科学家）、教育工作者和学生（尤其是计算机、语言和艺术专业），以及创作者和内容生产者（如作家和设计师）。典型用户通常具有本科及以上学历，年龄在18到40岁之间，热衷于科技、编程和创作，收入水平差异较大。表面需求包括高效生成文本、代码或创作内容，而潜在需求则是提升工作效率、创作质量和学习能力，同时寻求易用且人性化的技术工具。

用户群体之间的关系

大语言模型平台的用户群体之间确实存在密切的关系。例如，技术开发者可以利用这些平台来创建新的应用，而企业决策者则可能会采购这些应用，以提高运营效率。同时，教育工作者借助这些工具创新教学方法，内容创作者也能够使用它们来辅助创作。这种相互作用形成了一个动态的用户生态系统，各个群体都能在平台中找到价值，并可能催生新的合作和创新机会。

产品的子产品和其他相关产品之间的关系

大语言模型产品的子产品以及其他相关产品之间确实存在一定的关系。这些子产品通常在功能上相辅相成，例如，特定的应用插件、API接口或数据分析工具可以与主语言模型产品整合，提供更全面的解决方案。此外，其他相关产品，如数据处理工具、图像生成软件或音频处理平台，也可以与大语言模型协同工作，形成互补的产品组合。

利用各个产品特性之间的相互关系，有可能二次构成一个丰富的产品生态。例如，开发者可以结合大语言模型的自然语言处理能力与其他工具的特定功能，创建多样化的应用场景，如智能客服系统、教育辅助工具和创作平台。这种生态系统不仅能够提升用户体验，还能促进创新，推动不同产品之间的协作和资源共享，增强整体市场竞争力。

3.4 产品规划

3.4.1 功能

新功能：添加一个智能知识管理助手。

NABCD分析

Need（需求）：
当前大语言模型产品能够帮助用户进行对话、撰写和编程，但在知识管理和高效任务管理方面仍然不足。用户希望不仅能获得即时答案，还能有效管理他们的知识、任务、项目和时间。
Approach（方法）：
在现有模型的基础上，添加一个智能任务和知识管理系统，可以帮助用户自动整理、总结日常学习和工作的关键信息，并将其与任务管理结合，提供智能提醒、进度追踪和知识整理功能。
- 该功能通过用户的交互信息（如对话、文档、项目任务）自动生成知识卡片，并与任务时间线结合，帮助用户合理规划时间和任务，智能化管理学习与工作。
- 同时，该系统可以根据用户习惯和进展推荐相关资源，提升学习和工作效率。
Benefit（收益）：
- 用户能够有效整合知识，并且可以减少日常时间管理的负担。
- 系统能主动提供个性化建议，使用户的工作、学习流程更顺畅。
Compelling（吸引力）：
该功能提供了自动化的任务管理和知识整理，与现有产品相比更加智能化。与市面上的任务管理工具相比，能提供更深层次的个性化推荐和关联知识的整合，既能帮助日常管理，又能帮助用户掌握学习和工作内容。
Differentiation（差异化）：
创新点在于将任务管理和知识整合相结合，打通工作、学习、信息获取和应用的闭环。通过人工智能驱动，系统不仅能帮助用户做具体任务，还能自动生成知识卡片、总结用户的日常学习工作内容，并提出合理的任务优化建议。

3.4.2 角色配置

角色	人数	任务
产品经理	1人	负责整体规划、需求分析、项目协调
后端开发	2人	负责大语言模型的功能开发、API集成，以及后台系统的开发与优化。
前端开发	1人	负责用户界面的设计和实现，确保前后端功能的无缝对接。
测试人员	1人	负责测试各模块功能，发现并解决Bug，保证软件的质量。
UI/UX设计师	1人	负责用户体验设计和界面美观，确保产品易用性和视觉吸引力。