zhengyucai0504 2026-01-21 10:03:42
Webui相关操作和指标问题 1.WebUI|Genie App里的左下角customer prompt栏目在AI运行时好像不会处理它(也不记录在token里面),似乎是用来存input的(防止页面刷新时input没了),是吗? 2.WebUI|Genie App里左边界面框的max length是指max token吗?这个token是怎么计算的?是指input的token量+AI的output的token量 的极限 吗? 3. WebUI|Genie App界面里没有system prompt的选项,是真的不能调system prompt吗(即使直接用代码)?(如果有的话,应该也是算在token里面的吧?)还是图形界面上没有这个选项而已。
...全文
30 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复

1.Customer Prompt(左下角 customer prompt 栏目)作用
代码中 customer prompt(cust_prompt)只是作为一个输入框,内容会被写入 customprompt.txt 文件,并在页面刷新时自动读取,防止丢失。
但在 AI 推理(predict/chat)流程中,_sys_prompt 变量虽然会被赋值为 cust_prompt.value,但实际调用 llm.stream 或 llm.invoke 时,只有在“定制功能”模式(🍸 Customerized Function)下,才会把 _sys_prompt 传递给 chat() 并进一步传递给 llm.stream。
其他模式(如解题答疑、文档总结、翻译等)并不会用到 _sys_prompt。
2. max length(左边界面 max length)含义
代码中 max_length 直接传递给 llm.set_params(str(max_length), ...)。
max_length 是“input token + output token 总和的上限”,即 prompt token + 生成 token 之和不能超过 max_length。
3. system prompt 支持情况
图形界面没有 system prompt 选项,只有 customer prompt。
但在“定制功能”模式(🍸 Customerized Function)下,customer prompt 的内容会作为 _sys_prompt 传递给 llm.stream,等价于 system prompt。
其它模式(如解题答疑、文档总结等)不会用到 system prompt。
system prompt 的 token 也会计入总 token 限制(max_length),因为它会拼接到 prompt 里。

6,677

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧