大语言模型系列(2): 本地 OpenAI 兼容 API 服务的配置与部署

[csdnsqst0050]

WebUI 是在 Windows on Snapdragon 平台用 QAI AppBuilder 和 Python Gradio 扩展构建的 WebUI AI 应用。主要提供 ImageRepairApp、StableDiffusionApp、GenieWebUI 三款应用，可通过命令或双击对应 bat 文件启动。其中 GenieWebUI 和 GenieAPIService 需先配置大语言模型及参数方可使用。 GenieAPIService 是 QAI AppBuilder 中提供的和 OpenAI API 兼容的服务，支持 C++ 和 Python 实现，让开发者以熟悉方式与 NPU 上的本地大语言模型交互，使用 OpenAI API 的第三方应用也可无缝切换以调用本地大语言模型。

了解详情，点击阅读→ https://blog.csdn.net/csdnsqst0050/article/details/150208814