第六堂直播课答疑问题汇总FAQ

[高校俱乐部]

Q1:请问作品采用的是云服务，无法进行本地部署，那该如何在大赛的AI PC 上体现呢？

A1:这一块还是取决于您这边所开发的项目的应用场景，如果大部分的AI算力会集中在云端，我想应该也不是一个太大问题，但是还是要体现AI边缘计算或者AI PC它的一个能力，可以把一部分可能附在负荷比较低的一些算力的推移任务放在我们的AI PC上执行，有些可能负载比较重的任务，你可以采用云服务API接口调用的方式进行部署。就是因为我们本次大赛的话重点还是在于AI PC的一个应用，就说您可以针对您的整个应用来看，就是说把一些比较重的负载是可以在云端，在AI PC上面的话可以结合在边缘侧的应用，然后做一些边缘侧的部署。另外的话从英特尔的角度来讲，我们也提供了像Openvino和BigDL-LLm这样的一些工具，然后来帮助像类似于说像一些大模型，然后在本地化的一些轻量化部署的实现。

 

Q2:请问 openvino主要是在哪一个开发环节发挥作用呢？

A2:openvino主要是一个深度学习模型的这样的一个推理工具，所以我们的开发者如果在整个AI PC的构建中会用到深度学习模型的能力的话，我们会非常建议大家去使用openvino，去进行这样一个深度学习模型的承载和推理任务的部署。比如说纹身图图生图模型的一个推理等等，我们都可以使用openvino去进行一个加速和实现，为此我们也提供了很多openvino的事例，包括在屏幕上二维码的示例，就是体现了openvino运动如何利用一些异构计算平台，比如说我们的CPU GPU去同时部署我们的深度学习模型。

 

Q3:如何使用 OpenVINO部署ChatGLM这样的开源模型呢？利用OpenVINO 部署和直接部署到电脑上有什么区别呢？有部署步骤的参考资料吗，比如使用 OpenVINO 部署ChatGLM这样的开源模型的步骤？

A3:使用openvino部署chatglm模型示例：https://github.com/OpenVINO-dev-contest/chatglm3.openvino

这个区别可能还是在于它的性能的差异，但首先在电脑上部署的话，肯定也是需要一个承载模型的框架去执行模型推理任务。如果是一些原生的大语言模型预算的模型，它提供的框架基本是基于通用性的框架去部署的，它的性能肯定没有办法和像openvino这样的专业的加速器进行一个比拟，所以我们首先一点说openvino可以使你的深度学习模型，它的执行效率，它的延迟达到一个相对更优化的水准。其次就是openvino是支持在英特尔平台上这样的一个多平台异构部署的，你可以将你的模型部署在CPU，不管是CPU侧、GPU侧，充分发挥我们AI PC它多异构多硬件平台的这样一个特性和能力。

 

Q4:openvino针对SD部署也能加速吗？

A4:针对SD模型能够加速这一块是肯定没问题的。Sd模型中它的整个任务负载，它扮演中它的任务负载最重的其实是 unit部分，所以openvino对于unit部分的加速和优化也是非常显著的，对于unit模型做多次迭代以后， openvino的整个加速比可以达到差不多10倍左右性能提升。

 

Q5:请问对于 intelcore ultra7内部集成的NPU，也就3700 系列的 3720的NPU，它的寄存器手册有吗?

A5:我们不提供寄存器手册，因为用户不是通过操作NPU寄存器来跑模型的。是通过OV的 NPU Plugin 来把模型部署在NPU上。这个ov npu plugin是包含在OV官方最新release里的。

 

Q6:请问能否直接再发给我们的AI PC上部署好openvino后再把AI PC发给我们用呢？河阳可以省略部署的复杂步骤。

A6:可以实现，但openvino会不断的更新迭代，收到笔记本电脑以后，上面的openvino版本可能就不是最新的，它的性能不是最优的，所以我还是强烈推荐大家去自己动手安装一下openvino，去安装我们最新的版本，来获得更好的硬件兼容性和更佳的性能。

 

Q7:后续请提供一些不同大语言模型使用openvino部署的具体步骤的案例，谢谢。

A7:https://github.com/OpenVINO-dev-contest/openvino_notebooks/tree/main/notebooks/254-llm-chatbot

https://github.com/openvinotoolkit/openvino.genai/tree/master/llm_bench/python

 

Q8:两款AI PC的AI能力有多大区别？

A8:这两款 PC的 GPU和npu的能力算力是几乎是差不多的，或者是区别非常小的。

 

Q9:请问两款AI PC的RAM（ddr内存）是多大的？

A9:我们统一的内存大小是32GB，所以如果参入围决赛的选手收到的设备应该也是32GB这样一个内存空间大小。

 

Q10:请问WebGPU的开发IDE有哪些?像常规传统的Unity3D?Qt3D?

A10:Unity支持WebGPU，Unreal也有个非官方的port，其它很多web上有名的框架，如微软的babylonjs和google的three.js，都支持webgpu。还有很多web上的游戏引擎，如playcanvas等，都支持webgpu。基于webgpu的Web Al擎，正如这里介绍的，包含tensorflowjs,onnx runtime webgpu, tvm, transformers.js等。