6,690
社区成员
发帖
与我相关
我的任务
分享请发表友善的回复…
发表回复
创达-技术-李晋 22小时前
- 打赏
- 举报
- Langflow 的调用链路确认
Langflow 的流程（Flow）并不直接调用 QAI AppBuilder 或 Genie 的 Python API（如 GenieContext）。
调用方式：Langflow 使用其内置的 OpenAIModel 组件（实际上配置为 Qualcomm LLM 自定义组件），通过 HTTP 请求 连接到本地运行的 GenieAPIService。
服务地址： http://127.0.0.1:8910/v1 （对应 GenieAPIService 的监听端口）。
结论：Langflow 只是一个客户端，真正的模型推理和性能数据产生于 GenieAPIService 服务端。因此，性能测试必须在 GenieAPIService 端进行观测。 - 如何测试性能（Profiling）
要在骁龙 AI 大赛中测试模型性能，主要关注以下两个层面：
A. 应用层性能（Token 速率、首词延迟）
GenieAPIService 本身内置了性能统计（Prompt Speed, Eval Speed 等）。
查看位置：运行 GenieAPIService 的终端窗口（Console）。
开启方式：
GenieAPIService.py 代码中通过 _profile 变量控制是否打印性能数据。
该变量通过命令行参数 --profile 开启。
操作：检查启动服务的脚本（如 4.Start_GenieAPIService.bat），确保传递了相关参数（脚本中看到的 -l 或需要在对应的 Python 启动命令中添加 --profile）。
效果：每次 Langflow 发起对话后，终端会输出类似 Prompt Speed: ... tokens/s 的日志。
B. 底层引擎性能（算子级耗时 - QAI AppBuilder Profiling）
如果你需要更底层的 QNN Profiling 数据（即 profiling level 参数），需要修改模型的配置文件。
修改目标：模型的 config.json 文件。
路径通常在：samples/genie/python/models//config.json
修改内容：在 JSON 根对象中添加或修改 "profiling_level" 字段。**
0: Off (默认)
1: Basic (基本性能数据)
2: Detailed (详细算子级数据，会显著降低推理速度，仅用于调试)
生效步骤：
修改 config.json。
重启 GenieAPIService （关闭并重新运行 4.Start_GenieAPIService.bat）。
在 Langflow 中运行 Flow 进行对话。
此时底层引擎会将 Profiling 结果输出到日志文件或标准输出中（取决于具体实现，通常会在工作目录生成 trace 文件或在 log 中打印）。
