OpenVINO常见问题FAQ

企业官方账号

2023-12-19 14:06:56

Q1:问题:OpenVINO 下载地址？

A1:https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html

Q2:支持SavedModel吗？是针对TensorFlow吗？

A2:是的，支持savedmodel format，请参考详细技术文档。 https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html

Q3:支持ChatGPT吗？

A3:支持gpt2，后续的OpenAI gpt版本目前还没有开放。

Q4:在英特尔的显卡上，INT8的性能好还是FP16？

A4:理论上INT8比FP16好。

Q5:编程和2022.3的版本一样吗？

A5:前端编程还是有一些变化的，NNCF API也有变化,详细参考openvino.ai上的文档。

Q6:我的i5-13500H支持BF16吗？

A6:13600H CPU不支持BF16， iGPU支持BF16

Q7:哪些模型开了超线程，性能反而不好？

A7:这个问题最好还是拿模型实际测一下，不同模型情况不完全一样，需要针对具体情况进行分析。

Q8:只支持Win11？

A8:Win10也支持的。

Q9:低精度小于 32 位长度吗?

A9:是的，这里主要是指量化到 8 位整数类型的精度。

Q10:内存消耗呢？

A10:与高精度模型相比，低精度模型占用的推理内存空间更少。

Q11:运行 NNCF 需要什么样的硬件和软件环境？

A11:具体信息可以在这里找到：
https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/system-requirements.html 和 https://github.com/openvinotoolkit/nncf

Q12:从哪里获取 Paddle 刚刚共享的文档？

A12:Paddle 量化相关文档可在以下位置找到：https://github.com/PaddlePaddle/PaddleSlim

Q13:我可以在普通计算机上进行模型构建吗？

A13:是的，在个人计算机上构建它完全没有问题。

Q14:这种优化可以达到什么程度的改进？

A14:如果参考应用量化工具NNCF后的优化，在模型大小上，量化后的Int8模型可以压缩到原始fp32模型大小的3/4左右;同时，推理速度也将得到显著提升。具体改进可能因使用的硬件而异。

Q15:机器在运行时是如何配制的？

A15:具体配置可以查看：https://github.com/openvinotoolkit/openvino_notebooks/tree/recipes/recipes/intelligent_queue_management#platform-configurations-for-performance-benchmarks-for-yolov8m-model

Q16:算法难开发吗？

A16:该模型可以直接使用 yolov8 进行预训练，无需对算法进行二次开发

Q17:使用 OpenVINO™ 的 api 是否支持自定义？

A17:是的。到目前为止，在社区贡献中，我们已经看到了很多对基于 OpenVINO™ 的其他语言的调用，例如在 C# 中，这些调用是由开发人员使用自定义 API 实现的，请参阅: github.com/openvinotoolkit/openvino_contrib

Q18:OpenVINO™如何解决高并发多线程问题？

A18:可以通过以下方式自动优化任务并行度和吞吐量：https://docs.openvino.ai/2023.1/openvino_docs_deployment_optimization_guide_tput.html

Q19:将科学数据和自定义 AI 模型与 OpenVINO™ 模型服务器结合在一起时，如何保持数据的安全性和私密性？

A19:您可以参考以下结构和方法: https://docs.openvino.ai/2023.1/ovsa_get_started.html; https://docs.openvino.ai/2023.1/ovms_extras_nginx-mtls-auth-readme.html#doxid-ovms-extras-nginx-mtls-auth-readme

Q20:如何使用 OpenVINO™ 的 Benchmark App 工具测试不同硬件上 IR 模型的推理性能？

A20:Benchmark_app -d GPU 可以帮助在不同的硬件工作站之间切换。

Q21:在执行折衷算法时，哪种算法更受青睐?

A21:这里的折衷是指模型落地使用，考虑到模型大小、流水线效率、精度等方面的折衷，所以更多的考虑是基于用户的实际使用环境和数据情况的折衷。

Q22:在开发基于OpenVINO™的模型服务时，如何实现模型的热加载和切换？

A22:可以通过以下方式动态更新模型版本和配置：https://docs.openvino.ai/2023.1/ovms_docs_online_config_changes.html

Q23:OpenVINO对YOLOv8模型的动态 shapes 和精度支持情况如何?

A23:OpenVINO已经支持动态shapes

Q24:YOLOv8模型压缩是否可行和有效?OpenVINO给出了哪些模型压缩方案或工具?

A24:OpenVINO支持使用NNCF压缩与量化YOLOv8

Q25:YOLOv8中的注意力机制等新结构,OpenVINO对其进行了哪些针对性加速?

A25:YOLOv8原生模型好像没有注意力模块，视觉注意力模块OpenVINO一样可以加速