书生·浦语大模型实战营第二期-lesson3-笔记

[kv-chiu]

这一课的主角是我们的——茴香豆ai助手

对于豆哥，其实我在去年就已经看到了，当时豆哥还比较智障，随着技术发展模型迭代，效果看来确实是越来越好了。

豆哥是一种rag，此外他还有群聊场景下的ai这一个角色

在豆哥的技术报告中，官方原话如下：

茴香豆是一个基于 LLM（Large-Language-Model，大语言模型）的领域知识助手，工作在群聊里（微信、飞书、钉钉等）。不同于 chatgpt 这类单人聊天工具，群聊场景有些特殊：

 

• 禁止消息泛滥。茴香豆需要找到真正需要帮助的用户，杜绝闲聊

• 需要方便添加领域知识。gpt 能处理体育新闻，但面对职业化的竞技体育知识（如 “truck circle”）就会失灵

• 100% 无幻觉。哪怕一次胡言乱语，也会让用户质疑 bot 的可靠性

 

为了解决这些需求，我们从基线版本开始，经过两次改进达到了当前的解决方案。为了便于理解，我们用冷兵器形容这些方案。

 

• 基础版-“匕首”，直接微调 LLM 来处理问题。意为用匕首硬怼。

• 改进版-“长矛”，首先找到问题的靶点，然后用 LLM 处理。就像是将匕首固定在木杆上，消除干扰并定位问题。

• 最终版-“钉耙”。找到多个信息点，把它们搂起来，然后用 LLM 处理。因为与长矛相比，耙子的齿覆盖了更大的目标区域。

 

需要注意的是，1、2 方案都有致命缺陷，第 3 版才开始得到用户好评。

在课程版本中的豆哥侧重点在于rag，群聊场景的这些特点被淡化了。

据说豆哥判断群聊消息是否值得回复，也是通过llm给出值然后判断是否超过阈值

除此之外，课程中的豆哥有一些我未曾想过的地方，例如，embedding和排序都使用了专门的模型——网易bce，看来值得卷的不仅有llm，embedding和排序都值得一试

如此一来，豆哥改行做推荐好像也不是什么难事了

llm作为推荐模型，有一个框架——UniLLMRec，未来继续追踪