高性能的内部AI:高通跃龙AI本地设备解决方案+高通AI推理套件
中的软件和服务相结合,支持从近边缘到云的AI推理。如下图所示,您可以使用实验平台中提供的示例应用程序和API端点,实现图像生成、翻译、转录、嵌入、代码生成、通用聊天、检索增强生成以及摘要生成等功能。无论您是专注于设计、编码和维护软件应用程序的软件开发者,还是对设计、构建和销售硬件感兴趣的硬件设计师,我们的高通跃龙AI本地设备解决方案中都有您的位置。您只需提供Hugging Face的模型卡(或本地模型的路径),高通高效转换器库就会对您的模型进行转换和优化,从而在高通云AI加速器上实现高性能。