书生·浦语大模型实战营第二期-lesson4-笔记本期主角是xtuner，大模型修改自我认知的过程，可以简化成先生成唐僧念经般的10000次重复的“请问你是？”“我是xxxx”这样的对话，然后对这llm念经，大概300个iter，llm就会忘了过去

2024-04-25 02:56:36 273 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

书生浦语第二期实战营学习笔记（作业）（第四节课）根据微调的目的，主要分为两种1.增量预训练微调2.指令跟随微调1.多数据拼接2.使用Flash Attention和DeepSpeed。阅读详情

书生·浦语大模型实战营第二期-lesson4-笔记本期主角是xtuner，大模型修改自我认知的过程，可以简化成先生成唐僧念经般的10000次重复的“请问你是？”“我是xxxx”这样的对话，然后对这llm念经，大概300个iter，llm就会忘了过去的自己这个故事有两点值得注意，一是大模型微调其实并没有特别难，基于qlora和lora，微调也可以很容易，二是数据很重要，其实不仅仅是修改认知，合适的数据还可以让ai进行角色扮演、代理行动。最近看了一篇关于llm自动爬虫到文章，就是如此。llm被微调为输入html输出xpath，在特定的框架下，这样的llm就能完成自动爬虫任务。想法很美好，可惜现实并不如意，虽然一些厉害的模型可以是sota，但可惜最高的准确率也仅仅是70左右。除此之外，还有别的微调案例，例如八戒、甄嬛，其实本质上都差不多，最主要的差别还是来自数据。

...全文