【LongChain-03】在本地运行LLM的另一些案例

人工智能领域优质创作者

博客专家认证

2024-02-06 09:47:58

【LongChain-03】在本地运行LLM的另一些案例-CSDN博客

...全文

313 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

LangChain是一个专为开发者设计的开源编程框架，旨在帮助他们利用大型语言模型（LLMs）打造各种应用。无论是聊天机器人、生成式问答系统，还是内容摘要工具，LangChain 都能通过灵活串联多个模块的组件，使开发者能够充分发挥 LLM 的强大能力，打造出卓越的应用程序。解释下langchain中各模块作用前面文章讲了如何通过ollama运行llama3:8b和qwen2:7b飞行模式下本机运行结果。

这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。如果启动在线的API服务（如 OPENAI 的 API 接口），则无需启动 LLM 服务，如需使用开源模型进行本地部署，需首先启动 LLM 服务，参照项目部署手册，LLM服务启动方式有三种，我们只选择其中之一即可，这里采用的是。Langchain-Chatchat支持的开源 LLM 与 Embedding 模型，如果使用在线LLM服务，如OpenAI的API，则请直接查看下一节。

一种利用langchain思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。受的项目和创建的启发，建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于langchain框架支持通过基于FastAPI提供的 API用服务，或使用基于Streamlit的 WebUI 进行操作。

虽然使用Chatchat整个过程中的坑还是挺多的，但是至少跑起来了，而且在跑这个项目中遇到了很多自己没有接触过的知识。比如量化模型这个概念，是在优化返回速度的时候才知道可以把模型的精度改小，提高计算速度。现在本地还只运行成功了项目本身支持的几个模型，像界面中的知识库问答，文件对话，搜索引擎问答，自定义agent都还没跑成功，还有挺多东西要去研究和尝试的，还是挺有意思的。我想了想后面可能会针对其他的几个模式也写一些记录。如何学习AI大模型？我在一线互联网企业工作十余年里，指导过不少同行后辈。

一个处女座的程序猿【问答社区】

642,608

社区成员

1,414

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章