软件工程实践——软件评测

[222200216张上毅]

这个作业属于哪个课程	软件工程实践2024
这个作业要求在哪里	软件工程实践软件评测作业
这个作业的目标	评测两款软件
其他参考文献	《构建之法》、CSDN

@

目录

• 1.软件评测，调研
• 1.1 kimi软件评测
• 1.1.1 kimi基本功能介绍和使用
• 1.1.2 kimi优缺点分析
• 1.1.3 kimi改进意见
• 1.1.4 用户采访
• 1.1.5 Bug
• 1.1.6 结论
• 1.2 文心一言软件评测
• 1.2.1 文心一言基本功能介绍和使用
• 1.2.2 文心一言优缺点分析
• 1.2.3 文心一言改进意见
• 1.2.4 用户采访
• 1.2.5 结论
• 2. 分析
• 2.1 开发时间估计
• 2.1.1 需求分析（1周）
• 2.1.2 系统设计（1周）
• 2.1.3 开发（6周）
• 2.1.4 测试（2周）
• 2.1.5 部署和上线（1周）
• 2.1.6 维护和迭代（持续）
• 2.2 同类产品对比排名
• 2.3 软件工程方面建议
• 2.4 BUG存在原因分析
• 3. 建议和规划
• 3.1 市场概况
• 3.2 市场现状
• 3.3 市场与产品生态
• 3.4 产品规划

1.软件评测，调研

1.1 kimi软件评测

1.1.1 kimi基本功能介绍和使用

• 语言理解与对话：kimi能够理解中文和英文，与用户进行流畅的对话。
  

  

• 信息检索：kimi可以查找信息，解答问题。
  

  

• 文件阅读：kimi能够TXT、PDF、Word文档、PPT幻灯片、Excel电子表格等格式的文件。

• 网页内容解析：kimi可以通过提供的网址解析网页内容。

• 数学计算：kimi能够进行基本的数学计算和逻辑推理，解决数学问题。

• 写作辅助：kimi可以帮助用户撰写或编辑文本，提供写作建议。

  1.1.2 kimi优缺点分析

  优点：

• 功能丰富有趣：kimi在基础问题功能上分化出了许多有趣的功能如塔罗牌占卜等，更加符合年轻人需求。
  

  

• 高效信息处理：快速理解和回应用户问题，支持超长无损上下文。
• 广泛知识覆盖：提供多领域信息，满足用户多样化需求。
• 便捷文件处理：支持TXT、PDF、Word等多种文件格式，方便资料整理和信息查询。
• 安全网络访问：确保用户隐私和数据安全，同时安全获取网络信息。
• 友好交互体验：在回答问题后显示出用户可能提的其他问题。
• 简洁界面设计：界面由对话框和对话记录组成，简洁美观

缺点：

• 情感理解限制：缺乏真正的情感和同理心。
  

  

• 创造力局限：可能不如人类那样具有高度的创造力和灵活性，尤其是在处理非常复杂或需要深度创新的任务时。
• 无法执行实际操作：只能提供文字回复，无法执行实际的物理操作或直接与外部系统交互。
• 误解复杂指令：对于模糊或复杂的指令，可能需要用户进一步澄清才能提供准确的回答。
• 输出格式单一：输出时总是习惯分点输出，AI感较强，不够人性化。

1.1.3 kimi改进意见

• 增强文本生成：提高上下文理解，生成更自然、连贯的文本。
• 优化长文本处理：改进超长文本的处理能力。
• 用户体验：优化界面，提供多种登录和支付方式，加强隐私保护。
• 多模态能力：考虑引入图像、语音识别技术。

1.1.4 用户采访

• 用户背景

  • 计算机专业学生，经常使用GPT等AI大模型

• 使用栏目

  • AI对话
  • 内容检索

• 使用过程遇到的亮点或问题
  

  

• 改进之处

  • 加强专业领域的训练，提高手写识别能力。

1.1.5 Bug

测试环境：

• 操作系统：Windows 11, version 23H2
• 浏览器：Edge 129.0.2792.89

可复现性：偶然发生，二十次中实现4次

具体描述：在kimi+的诺贝尔吐槽奖功能中，如果你提供的照片过于非人类则可能生成不了人像

复现步骤：首先输入获奖人姓名，职业和性别，在他要求你提供照片时提供一张并非人类的照片，则有可能不生成画像。

Bug分析：
该功能实现主要通过kimi首先对图片进行解析，生成相应的关键词，随后kimi根据关键词生成诺贝尔风格的图像，但如果提供的照片不具备人类的特征，则kimi无法生成匹配的关键词，而后在生成诺贝尔风格图像的函数中由于没有传入关键词，所以无法生成图片。
Bug严重性：
评价表格：
| Level | Urgency | Impact | Example | Response |
| --- | --- | --- | --- | --- |
| P0 | Critical | Extensive | System outage | Immediate |
| P1 | High | Large | Major feature malfunctioning | Urgent but not out of BAU schedule |
| P2 | Moderate | Moderate | Minor feature malfunctioning | Important but needs to be prioritized against other issues |
| P3 | Low | Minor | Functionality or feature prevents a few users from using the product | Part of routine work |
| P4 | Negligible | Negligible | Minor issue that doesn't affect user base | Should be placed on backlog |

• 系统功能：不影响系统功能
• 安全性：不影响平台安全性
• 用户体验：因为在多次生成后可能实现画像，并且bug发生频率较低，取决于用户提供图片的非人类程度，所以影响不大

评分：P1
理由：只有在用户提供照片非人类的极端情况下才发生，因此认为影响不大。

1.1.6 结论

我认为KIMI是一款界面简洁，功能丰富有趣，适合学生使用的AI大模型。
| 类别 | 描述 | 评分（满分 10 分，良好 6 分，及格 4 分，聊胜于无 1 分，很差 -3 分） |
| --- | --- | --- |
| 核心功能 | 支持多语言多种类的输入，能够访问用户提供的网站，能够检索信息回答问题 | 8 |
| 细节 | 使用过的功能会在侧边框中保留，符合局部性原理 | 10 |
| 用户体验 | 对话后会提供一些可能想问的提示词，方便了后续提问| 9 |
| 辅助功能 | 在手机端也能提供服务 | 9 |
| 差异化功能 | 有更多如诺贝尔吐槽奖紧跟时事的功能 | 10 |
| 软件的效能 | 生成回答速度快 | 9 |
| 软件的体验 | 功能强大，支持多种文件输入 | 10 |
| 成长性 | 保存对话历史；一次对话中支持上下文分析，使得后续回答更精准 | 9 |
| 用户有控制权 | 答案生成过程中，用户可以中止生成 | 10 |
| 其他 | 软件的专业性 | 10 |
| 总分 | | 92 |

1.2 文心一言软件评测

1.2.1 文心一言基本功能介绍和使用

文心一言的基本功能与kimi相差不大，其亮点在于能根据关键词生成图片。

1.2.2 文心一言优缺点分析

优点：

• 模块更加丰富：相较于kimi，文心一言提供了生成图片的功能，模块更加丰富。
  

  

• 功能专业化：相较于kimi的塔罗牌等功能，文心一言的功能更偏向专业化，职业化，为不同职业提供更符合其要求的功能。

• 功能场景化：能根据不同对话场景提供不同的对话内容，如创意写作，美食旅游等。
  

  

• 语言更加人性化：相较于kimi他的输出方式更像人类，不像kimi那样习惯分点输出。

缺点

• 响应速度慢：按下回车时会有明显的卡顿感。并且后台生成极度缓慢甚至不生成！
• 生成图片不够生动：生成的图片有强烈的AI感，不真实。

  1.2.3 文心一言改进意见

• 优化响应速度：优化对话的响应时间，提升用户体验，减少卡顿感
• 提高图片生成质量：加大生成图片的训练数据，优化算法。

1.2.4 用户采访

• 用户背景
  • 计算机专业学生，经常使用GPT等AI大模型
• 使用栏目
  • AI对话
  • 内容检索
• 使用过程遇到的亮点或问题
  

  

• 改进之处
  • 提高响应速度

1.2.5 结论

文心一言更注重专业性，使用领域更广泛，更适合职场人士使用的AI大模型
我认为KIMI是一款界面简洁，功能丰富有趣，适合学生使用的AI大模型。
| 类别 | 描述 | 评分（满分 10 分，良好 6 分，及格 4 分，聊胜于无 1 分，很差 -3 分） |
| --- | --- | --- |
| 核心功能 | 支持多语言多种类的输入，能够访问用户提供的网站，能够检索信息回答问题 ，能够生成图片| 9 |
| 细节 | 左侧边框保留聊天记录，方便查找 | 10 |
| 用户体验 | 对话后会提供一些可能想问的提示词，方便了后续提问| 9 |
| 辅助功能 | 支持语音输入 | 10 |
| 差异化功能 | 有许多应用过不同场景不同职业的功能 | 10 |
| 软件的效能 | 生成速度极慢，并且在后台基本不生成 | 5 |
| 软件的体验 | 功能强大，支持多种文件输入 | 10 |
| 成长性 | 保存对话历史；一次对话中支持上下文分析，使得后续回答更精准 | 9 |
| 用户有控制权 | 答案生成过程中，用户可以中止生成 | 10 |
| 其他 | 软件的专业性 | 10 |
| 总分 | | 89 |

2. 分析

2.1 开发时间估计

2.1.1 需求分析（1周）

• 目标定义：确定平台的目标用户、核心功能和非功能需求。
• 市场调研：分析竞争对手和市场需求。
• 技术调研：研究所需的技术栈和工具。

2.1.2 系统设计（1周）

• 架构设计：设计系统的技术架构，包括数据流和组件划分。
• 数据库设计：设计数据库模型，确定数据存储方案。
• 接口设计：定义API接口和数据交换格式。

2.1.3 开发（6周）

• 环境搭建：设置开发环境和工具。
• 核心功能开发：
  • 自然语言处理（NLP）模块（2周）：实现语言理解和生成。
  • 对话管理（2周）：管理对话流程和状态。
  • 知识库（1周）：构建和维护知识库，用于回答用户问题。
• 集成开发：将各个模块集成到一个统一的平台（1周）。

2.1.4 测试（2周）

• 单元测试：对每个模块进行单独测试。
• 集成测试：测试模块间的交互。
• 性能测试：确保系统在高负载下的性能。
• 安全测试：检查潜在的安全漏洞。

2.1.5 部署和上线（1周）

• 部署：将应用部署到服务器。
• 上线前测试：在生产环境中进行最后的测试。

2.1.6 维护和迭代（持续）

• 用户反馈收集：收集用户反馈，用于改进产品。
• 功能迭代：根据反馈和市场变化，不断迭代产品。

总时间估计：约12周

2.2 同类产品对比排名

• 第一名：CHATGPT，因为我认为它是当前应用场景最广泛，生成能力最强的AI大语言模型
• 第二名：kimi虽然在信息检索的能力上不如文心一言，但是他能处理更多种类的文件，并且在处理长文方面更加优秀
• 第三名：文心一言由于背靠百度深厚的搜索引擎基础，信息检索的能力较强。但是后台生成速度慢，生成时容易卡顿。

  2.3 软件工程方面建议

对于kimi：

• 加强测试：
  • 包括单元测试、集成测试、系统测试和验收测试。
  • 考虑使用不同的测试类型，如功能测试、性能测试、安全测试、可用性测试和兼容性测试。

对于文心一言：

• 提高性能：优化算法，确保在各种情况下都能保持高性能的输出

2.4 BUG存在原因分析

• 开发人员粗心大意：没有给诺贝尔风格图片提供默认的关键词，并且在没能分析出关键词的情况下仍然能够运行而不是提示用户换一张图。

• 其他：为了抓住热点过于赶工导致出现疏忽。

  3. 建议和规划

  3.1 市场概况

• 市场规模：当前AI大模型市场正处于快速发展阶段。根据2024年的行业研究报告，大模型市场容量及规模巨大，预计到2028年将达到1179亿元人民币的规模

• 用户规模

  • 直接用户：我国生成式人工智能服务大模型的注册用户已超过6亿
  • 潜在用户：C端用户可能对智能家居控制、个性化内容推荐、娱乐体验等方面感兴趣；B端企业用户可能更关注数据分析、生产效率提升、产品质量优化等方面；而G端客户（政府机构）则可能更关注政务服务效率提升、政策制定的合理性等方面

    3.2 市场现状

• 竞争对手：国外的有chatGPT，国内有通义千问，星火大模型，豆包等

• 产品定位：

  • ChatGPT：ChatGPT的优势在于其强大的语言处理能力、多轮对话的连贯性、广泛的应用场景以及高效的内容创作能力
  • 星火大模型：专注于语音识别和自然语言处理领域。
  • 文心一言：百度推出的大模型，旨在提供更加精准的搜索结果和语言理解能力。
  • Kimi：处理长文本能力强，特长生，联网搜索能力也不错。

• 产品关系：
  ChatGPT在技术上暂时领先，占据国际市场，星火大模型在语音识别方面较为领先，kimi在处理长文本方面特长，文心一言在搜索方面较为强大，但是免费版体验较差

• 市场分析：
  该领域当前处于风口阶段

  3.3 市场与产品生态

• 用户群体：

  • 学历：大学及以上学历，可能从事专业工作。
  • 年龄：18至45岁，对新技术有一定了解和兴趣。
  • 专业：IT、金融、法律、教育等信息密集型行业。
  • 爱好：阅读、研究、技术探索等知识型爱好。
  • 收入：中等至中上，愿意为提高效率投资。
  • 表面需求：快速获取信息、提高工作效率、处理文档和数据。
  • 潜在需求：持续学习、创意灵感、隐私保护。

• 用户关系：
  用户虽然来自不同领域，但他们可以通过分享使用技巧、协作项目和建立社区来互相帮助。要促进这种互动，可以创建交流平台，增加协作工具，设置激励机制，举办聚会活动，并听取用户的反馈。这样，用户之间就能形成一个互相支持、共同进步的生态环境。

• 产品生态：
  利用AI大模型之间的特性关系构建产品生态是可行的。核心产品可提供基础服务，辅助产品扩展功能，技术基础设施确保高效运行，第三方合作拓展服务范围。通过这种方式，不同产品可以相互促进，共同为用户提供更多价值，推动整个生态系统的发展。

  3.4 产品规划

新功能：
提供用户定制体验，根据用户的使用情况，说话风格提供定制化体验，为每个用户提供独一无二的服务。

理由：
提供定制化服务可以给客户更完美的体验，帮助我们留住客户

NABCD分析：

• 问题（Need）
  用户可能会希望AI大模型提供更加个性化的体验
• 解决方法（Approach）
  对每个用户建立画像，为不同用户提供不同体验
• 收益（Benefit）
  能够提供更好的体验，留住更多客户
• 竞争对手（Competitors）
  大部分AI还不能记录每个用户的喜好，生成用户画像，提供个性化体验
• 细节（Details）
  在与客户对话的过程中不断完善客户画像，并且不断更新。

项目规划：

• 项目规划和团队配置阶段（第1-2周）

  • 项目经理：
    负责整体规划、资源分配、风险管理、团队协调和与利益相关者沟通。

  • AI工程师/数据科学家（2人）
    负责AI大模型的开发、训练和优化。
    一人专注于模型架构和算法优化。
    另一人负责数据处理和训练。

  • 后端开发工程师（1人）
    负责平台的后端逻辑、数据库设计和API开发。
    确保平台能够处理和存储用户数据，并与AI模型有效交互。

  • 前端开发工程师（1人）
    负责平台的用户界面和用户体验设计。
    确保用户界面直观、易用，并且能够无缝集成AI模型的输出。

  • 测试工程师（1人）
    负责编写测试用例，进行单元测试、集成测试和系统测试。
    确保平台的稳定性和性能。

• 开发和测试阶段（第3-14周）

  • AI工程师/数据科学家
    持续进行模型训练、测试和优化。
    与后端开发工程师紧密合作，确保模型可以高效地集成到平台中。

  • 后端开发工程师
    开发和优化后端服务，包括用户数据处理、模型调用接口和数据库管理。

  • 前端开发工程师
    设计和实现前端界面。
    确保它能够根据AI模型的输出动态调整，提供个性化体验。

  • 测试工程师
    与开发团队紧密合作，进行持续集成和测试。
    确保新功能和改进按时添加到平台中，并且没有引入新的错误。

• 发布准备阶段（第15周）

  • 所有团队成员共同参与，进行最后的系统集成测试、性能测试和用户验收测试（UAT）。
  • 修复在测试过程中发现的任何问题，并进行性能优化。

• 发布和后续支持阶段（第16周及以后）
  团队成员继续监控平台的性能，收集用户反馈，并准备后续的维护和更新。