【LongChain-03】在本地运行LLM的另一些案例

人工智能领域优质创作者

博客专家认证

2024-02-06 09:47:58

【LongChain-03】在本地运行LLM的另一些案例-CSDN博客

...全文

325 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

LangChain是一个专为开发者设计的开源编程框架，旨在帮助他们利用大型语言模型（LLMs）打造各种应用。无论是聊天机器人、生成式问答系统，还是内容摘要工具，LangChain 都能通过灵活串联多个模块的组件，使开发者能够充分发挥 LLM 的强大能力，打造出卓越的应用程序。解释下langchain中各模块作用前面文章讲了如何通过ollama运行llama3:8b和qwen2:7b飞行模式下本机运行结果。

将Qwen3与Qwen-Agent、MCP和Ollama结合使用，可以得到一个不依赖任何外部云服务的本地AI助手。您可以运行多轮对话，启用实时信息检索，并执行Python代码——全部在本地基础设施内完成。这使其成为开发人员、研究人员和产品团队的理想设置，特别是那些关注隐私、灵活性和可扩展性的人。随着Qwen3的不断发展，我们可以期待其对复杂任务的更强大支持和与自定义工具的无缝集成，为真正自主的本地AI代理铺平道路。

这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。如果启动在线的API服务（如 OPENAI 的 API 接口），则无需启动 LLM 服务，如需使用开源模型进行本地部署，需首先启动 LLM 服务，参照项目部署手册，LLM服务启动方式有三种，我们只选择其中之一即可，这里采用的是。Langchain-Chatchat支持的开源 LLM 与 Embedding 模型，如果使用在线LLM服务，如OpenAI的API，则请直接查看下一节。

一种利用langchain思想实现的基于本地知识库的问答应用，目标期望建立一套对中文场景与开源模型支持友好、可离线运行的知识库问答解决方案。受的项目和创建的启发，建立了全流程可使用开源模型实现的本地知识库问答应用。本项目的最新版本中通过使用FastChat接入 Vicuna, Alpaca, LLaMA, Koala, RWKV 等模型，依托于langchain框架支持通过基于FastAPI提供的 API用服务，或使用基于Streamlit的 WebUI 进行操作。

一个处女座的程序猿【问答社区】

642,604

社区成员

1,571

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章