6,677
社区成员
发帖
与我相关
我的任务
分享1.Customer Prompt(左下角 customer prompt 栏目)作用
代码中 customer prompt(cust_prompt)只是作为一个输入框,内容会被写入 customprompt.txt 文件,并在页面刷新时自动读取,防止丢失。
但在 AI 推理(predict/chat)流程中,_sys_prompt 变量虽然会被赋值为 cust_prompt.value,但实际调用 llm.stream 或 llm.invoke 时,只有在“定制功能”模式(🍸 Customerized Function)下,才会把 _sys_prompt 传递给 chat() 并进一步传递给 llm.stream。
其他模式(如解题答疑、文档总结、翻译等)并不会用到 _sys_prompt。
2. max length(左边界面 max length)含义
代码中 max_length 直接传递给 llm.set_params(str(max_length), ...)。
max_length 是“input token + output token 总和的上限”,即 prompt token + 生成 token 之和不能超过 max_length。
3. system prompt 支持情况
图形界面没有 system prompt 选项,只有 customer prompt。
但在“定制功能”模式(🍸 Customerized Function)下,customer prompt 的内容会作为 _sys_prompt 传递给 llm.stream,等价于 system prompt。
其它模式(如解题答疑、文档总结等)不会用到 system prompt。
system prompt 的 token 也会计入总 token 限制(max_length),因为它会拼接到 prompt 里。