chatglm-6b接收提问不到参数

HanWang~ 2023-07-19 10:53:56

如题，部署chatglm-6b 成功启动了web_demo.py 但是从网页提问问题时，提问参数无法传递。

请大佬看看我应该改哪，和gradio版本或者pydantic有关吗？

...全文

207 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

2301_76529575 2023-08-28

打赏
举报

回复

pydantic版本不合适，可以试试版本1.10.9

内容概要：本文首先梳理了一下FastLLM的调用链和关键的数据结构，然后解析了 FastLLM 的一些实现细节和CPU/GPU后端实现采用的优化技巧。 LLMSampling实现了一种基于温度和惩罚的采样策略，用于从给定的 logits 中选择一个 id。这种采样的方法可以控制输出文本的多样性。本资源以chatglm-6b的支持为例，从开发者角度通过大量源代码（Java语言描述）对大模型部署框架FastLLM 的实现细节进行解析。适用人群：大模型爱好者；大模型技术研究人员；开发人员使用场景：大模型框架FastLLM的应用目标：通过对本资源的学习，深入理解并熟练掌握FastLLM框架的原理及使用，并对其CPU及GPU算子算法有深入的理解，训练出更为智能的机器人。

ChatGLM-6B 是由清华大学和智谱 AI 开发的一款对话模型，基于 GLM 架构，拥有 62 亿参数，支持中英文对话。DAMODEL 提供了在云平台上部署该模型的详细指南。用户首先通过 DAMODEL 云平台创建 GPU 实例，配置硬件和环境，然后克隆 ChatGLM-6B 项目并安装依赖。模型可以通过命令行或网页接口与用户进行交互。此外，DAMODEL 支持通过 API 本地调用模型，帮助用户实现对话系统的部署和使用。ChatGLM-6B 是一款轻量级的对话模型，旨在支持高效的多轮对话生成。

ChatGLM-6B是由清华大学和智谱AI开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。本篇将介绍使用DAMODEL深度学习平台部署ChatGLM-6B模型，然后通过Web API的形式使用本地代码调用服务端的模型进行对话。一、DAMODEL-ChatGLM-6B服务端部署。

近期，清华开源了其中文对话大模型的小参数量版本 ChatGLM-6B（GitHub地址：https://github.com/THUDM/ChatGLM-6B）。其不仅可以单卡部署在个人电脑上，甚至 INT4 量化还可以最低部署到 6G 显存的电脑上，当然 CPU 也可以。随着大语言模型的通用对话热潮展开，庞大的参数量也使得这些模型只能在大公司自己平台上在线部署或者提供 api 接口。所以 ChatGLM-6B 的开源和部署在个人电脑上，都具有重要的意义。

介绍使用 DAMODEL 深度学习平台部署 ChatGLM-6B 模型，然后通过 Web API 的形式使用本地代码调用服务端的模型进行对话。

7

社区成员

76

社区内容

发帖

与我相关

我的任务

数据库知识图谱技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章