【常见问题合集】大赛赛制问题及技术问题FAQ

[高校俱乐部]

 

赛制问题：

Q1：比赛中使用的模型由谁提供？

A1：英特尔作为平台方，提供算力平台的使用和基于算力平台的优化软件选择。本次比赛中使用的模型，英特尔不做开源或闭源的具体要求，但由开发者自行解决费用和许可证等相关问题。

 

Q2：比赛中使用的硬件设备由谁提供？

A2：英特尔作为主办方，提供半决赛和决赛硬件设备；初赛阶段设备，由开发者自行准备。

 

Q3：请问队伍报名过了，还可以添加队伍成员吗？

A3：您好，可以联系群管理员修改报名信息。

 

Q4：我们是高校的参赛队伍，请问在哪里填写指导老师的信息呢？报名页面只看到“最多5人”的队员信息。

A4：您好，指导老师可以填写在团队成员里面，也可以不写在团队里面，后期如果参与领奖给工作人员审核教师工作证即可。

 

Q5：比赛有训练平台吗？还是在本地训练？

A5：大赛没有提供专门的训练平台，可以在本地完成训练。

 

Q6：学习课程需要哪个方面的基础知识?

A6：首先要具备一定的编程的基础，其次，要对英特尔AI的框架有熟悉度，再次，英特尔做硬件提供商很多年，所以在这个上面开发了大量的一些帮助，帮助大家去用平台的工具，就比如说因为它是自己有自己的编译器，用这种编译器呢，你可以在一个的CPU上编译出来更高效的程序。

 

Q7：培训资料获取（回放视频、PPT）

A7：可在大赛官网底部获取。大赛链接：https://marketing.csdn.net/p/f899a982bae56cc4b8ac9d65e41e387f%0D

 

Q8：想问一下这个报名是截止到什么时候？

A8：2月24日初赛作品截止提交即停止报名。

 

Q9：官方推荐的机器是联想新出的笔记本还是服务器英特尔cpu+英特尔独立显卡

A9：两者都可以，AI PC会更加契合大赛主旨

 

Q10：关于这个比赛，是不是只要由比较有趣的点子，用生成式AI技术实现出来，然后落地在Intel ultra笔记本上就可以吗？

A10：是的。

 

Q11：初赛24号是提交想法还是说需要提交一个成品？

A11：初赛填写作品表单即可，进入半决赛的话需要提交demo。

 

Q12：硬件环境可以是基于Intel的cpu和英伟达的显卡可以吗？

A12：进入半决赛之后的开发应用产品需要完全落在Intel平台上，不建议使用英伟达显卡。

 

Q13：请问流程图是发我们项目的实施流程图还是思维导图？

A13：流程图是作为程序框架的一个补充，它真必填项，可如果有的话可以上传。

 

Q14：作品提交页面团队名称输入关键字查询不到，是什么原因？

A14：需要输入全称即可搜索到。

 

Q15：请问初赛的方案可以修改润色后多次提交吗？

A15：可以修改，如需修改请联系管理员。

 

Q16：请问指导教师可以是两个人吗？

A16：可以的。

 

Q17：如何查询投递状态？

A17：可以私聊群管理员，帮忙查询一下是否提交成功。

 

Q18：请问如果组队报名，成员来自两个不同学校，参赛单位怎么写呢？

A18：都写上去，以“高校1，高校2”的形式。

 

Q19：请问初赛的作品有格式吗？需要提交ppt吗？

A19：初赛填写好作品提交表单即可。提交链接：https://jinshuju.net/f/PvE1y9

 

 

 

技术问题：

Q1：问题:OpenVINO 下载地址？

A1：https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html

 

Q2：支持SavedModel吗？是针对TensorFlow吗？

A2：是的，支持savedmodel format，请参考详细技术文档。

https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit/overview.html

 

Q3：支持ChatGPT吗？

A3：支持gpt2，后续的OpenAI gpt版本目前还没有开放。

 

Q4：在英特尔的显卡上，INT8的性能好还是FP16？

A4：理论上INT8比FP16好。

 

Q5：编程和2022.3的版本一样吗？

A5：前端编程还是有一些变化的，NNCF API也有变化,详细参考openvino.ai上的文档。

 

Q6：我的i5-13500H支持BF16吗？

A6：13600H CPU不支持BF16，iGPU支持BF16

 

Q7：哪些模型开了超线程，性能反而不好？

A7：这个问题最好还是拿模型实际测一下，不同模型情况不完全一样，需要针对具体情况进行分析。

 

Q8：只支持Win11？

A8：Win10也支持的。

 

Q9：Win10还是Linux好？

A9：这个的话得看开发者实际的应用的特点，比如说你的作品需要在客户的设备上去本地的运行一些模型，如果说能支持windows，对用户来说会更加友好；如果是需要在服务器上跑的话，那Linux会更主流一点；对于OpenVINO来说，它在Windows和Linux上都是可以运行的，我们都有对应的runtime。

 

Q10：低精度小于 32 位长度吗?

A10：是的，这里主要是指量化到 8 位整数类型的精度。

 

Q11：内存消耗呢？

A11：与高精度模型相比，低精度模型占用的推理内存空间更少。

 

Q12：运行 NNCF 需要什么样的硬件和软件环境？

A12：具体信息可以在这里找到：

https://www.intel.com/content/www/us/en/developer/tools/openvino-toolkit/system-requirements.html 和 https://github.com/openvinotoolkit/nncf

 

Q13：从哪里获取 Paddle 刚刚共享的文档？

A13：Paddle 量化相关文档可在以下位置找到：https://github.com/PaddlePaddle/PaddleSlim

 

Q14：我可以在普通计算机上进行模型构建吗？

A14：是的，在个人计算机上构建它完全没有问题。

 

Q15：这种优化可以达到什么程度的改进？

A15：如果参考应用量化工具NNCF后的优化，在模型大小上，量化后的Int8模型可以压缩到原始fp32模型大小的3/4左右;同时，推理速度也将得到显著提升。具体改进可能因使用的硬件而异。

 

Q16：机器在运行时是如何配制的？

A16：具体配置可以查看:

https://github.com/openvinotoolkit/openvino_notebooks/tree/recipes/recipes/intelligent_queue_management#platform-configurations-for-performance-benchmarks-for-yolov8m-model

 

Q17：算法难开发吗？

A17：该模型可以直接使用 yolov8 进行预训练，无需对算法进行二次开发

 

Q18：使用 OpenVINO™ 的 api 是否支持自定义？

A18：是的。到目前为止，在社区贡献中，我们已经看到了很多对基于 OpenVINO™ 的其他语言的调用，例如在 C# 中，这些调用是由开发人员使用自定义 API 实现的，请参阅: github.com/openvinotoolkit/openvino_contrib

 

Q19：OpenVINO™如何解决高并发多线程问题？

A19：可以通过以下方式自动优化任务并行度和吞吐量：https://docs.openvino.ai/2023.1/openvino_docs_deployment_optimization_guide_tput.html

 

Q20：将科学数据和自定义 AI 模型与 OpenVINO™ 模型服务器结合在一起时，如何保持数据的安全性和私密性？

A20：您可以参考以下结构和方法: https://docs.openvino.ai/2023.1/ovsa_get_started.html; https://docs.openvino.ai/2023.1/ovms_extras_nginx-mtls-auth-readme.html#doxid-ovms-extras-nginx-mtls-auth-readme

 

Q21：如何使用 OpenVINO™ 的 Benchmark App 工具测试不同硬件上 IR 模型的推理性能？

A21：Benchmark_app -d GPU 可以帮助在不同的硬件工作站之间切换。

 

Q22：在执行折衷算法时，哪种算法更受青睐?

A22：这里的折衷是指模型落地使用，考虑到模型大小、流水线效率、精度等方面的折衷，所以更多的考虑是基于用户的实际使用环境和数据情况的折衷。

 

Q23：在开发基于OpenVINO™的模型服务时，如何实现模型的热加载和切换？

A23：可以通过以下方式动态更新模型版本和配置：https://docs.openvino.ai/2023.1/ovms_docs_online_config_changes.html

 

Q24：OpenVINO对YOLOv8模型的动态 shapes 和精度支持情况如何?

A24：OpenVINO已经支持动态shapes

 

Q25：YOLOv8模型压缩是否可行和有效?OpenVINO给出了哪些模型压缩方案或工具?

A25：OpenVINO支持使用NNCF压缩与量化YOLOv8

 

Q26：YOLOv8中的注意力机制等新结构,OpenVINO对其进行了哪些针对性加速?

A26：YOLOv8原生模型好像没有注意力模块，视觉注意力模块OpenVINO一样可以加速

 

Q27：这次比赛的模型一定要用扩散模型或大语言模型吗？可以使用其它类型的神经网络模型吗？

A27：是可以的。但是能结合transformer，diffusion更好。如实在无法结合，是机器学习，深度学习的都行。评委会考虑和赛题的契合度和创新性，模型选择最终会影响这两方面的打分。

 

Q28：大赛对于用到intel的程度有多大的要求？比如说只需要有其中技术参与进来，还是说必须要用BigDL-LLM？亦或是还需要部署在指定的服务器上？另外，选题是完全自由定义的吗？只要和生成式AI有关就行吗？

A28：您好，初赛没有要求，只要是和生成式AI相关就可以。进入复赛以后，需要把方案落地到Intel的ultra笔记本上。这里面多大比例落地到笔记本算力，是可以选手决定。用到Intel的ultra笔记本算力，自然就需要Intel的软件框架。

 

Q29：请问对于OpenVINO将AI模型部署到FPGA上的时候，它的大概原理是什么呢？是能将现有的IR模型直接转换成verilog代码吗？然后综合成RTL下载到FPGA里面吗？

A29：不光是对于FPGA，OpenVINO将AI模型部署到FPGA的话，它其实跟我们部署到CPU、部署到GPU上是一样的，也就是说，在内部的话是有针对FPGA专门的插件，有了这样的一个插件之后，转换的这个IR格式这个模型它就会有相应的算子支持，在我们FPGA的这个插件上面去将模型的这些算子给运行起来，所以就是整个从内部的原理上面，它是基于我们内部构建的这个FPGA的插件，可以把OpenVINO的这些算子，在FPGA上面去运行起来的。

 

Q30：Github地址能帮忙粘贴一下吗

A30：https://github.com/intel-analytics/bigdl-llm-tutorial

 

Q31：请问中文生成图片的模型有推荐的吗?

A31：中文生成图片跟武卓老师讲的stable diffusion可能更加相关，因为我们的大语言模型主要是生成文字。当然有一些多模态大语言模型可以输入图片，然后再去生成文字或者生成图片，然后如果只是说用文字生成图片的话，可能就是和之前那个武卓老师讲的那个stable diffusion这里面的相关的模型会比较相关。

A31：中文生成图片的模型的话，大家可以直接在Hugging Face的平台上面去搜索类似，只要是基于diffusion的文身图的这些模型，都可以来尝试一下，我自己尝试过的是太乙这个中文的图片上的模型，是完全可以跑我们的OpenVINO去进行加速和优化的，没有任何问题。

 

Q32：在使用OpenVINO的optimum.intel.openvino情况下，请问在模型完成编译后，如果将模型编译后的结果保存？以便于下次再次启动程序的时候，无需编译，直接载入上一次的编译结果来使用呢？

A32：关于在optimum-intel开启模型缓存，可以参考这个说明：https://huggingface.co/docs/optimum/main/en/intel/inference#configuration:~:text=Optimum%20Intel%20leverages,an%20empty%20string.

 

Q33：大赛重点的方向是pc端使用大模型吗？大场景的类似城市规划的那种，跑在服务器上的项目适合参赛吗？

A33：是的。如果可以把这种场景和边侧结合起来，利用到本次大赛复赛期间提供的基于英特尔 ultra平台的笔记本，那一定更有竞争力。

 

Q34：这个比赛如果全用云上模型 可以吗？还是要求有本地模型？

A34：一定要用本地模型，因为全部用云上模型和本地算力无关。初赛，本地算力跑在任何平台都行。复赛，是需要把本地模型跑到Intel的ultra系列笔记本上。

 

Q35：半决赛npu大概有都少算力？能看住多大的LLM？

A35：MTL的NPU pTOPS 11， 如果运行LLM，GPU算力更大,适合跑在GPU上。

 

Q36：比赛推荐使用哪些芯片？

A36：主要看你手头现在有什么样的硬件平台。假设你有我刚刚提到的ARC GPU，那上面能够做很多非常有趣的AI的应用，这个是完全ok的，而且GPU本身也非常适合去做一下应用啊，如果没有的话呢，其实CPU上嗯去做这个事情做AI的一些应用也是非常有意义的，因为CPU的保有量是非常大的，所以说如果能在CPU上对一些AI的应用进行了优化之后呢，那可能收益的人更多。

A36：平台相当于是一个给大家提供一个算力，也就是说你的算法如果说比较比较重是吧，那我们肯定在目前来讲，我们肯定会推荐GPU，甚至是独立显卡就是显卡或者是独立显卡；但如果您的这个算法呢其实比较轻，那它如果说还适合长期地去跑，那我们肯定推荐NPU；那对于普适性更高地情况，那可以用CPU，这样的话，不管是哪一个机器都能跑。所以它其实是根据算法来的，不同的应用或者说不同的算法其实是需要不同的硬件来进行支撑。

 

Q37：个人电脑配置咨询：Intel core（TM） i5-2520M CPU @2.50GHz

A37：初赛阶段硬件设备不限，以创意为优先考量标准。建议搭载第10代英特尔酷睿及更高版本的处理器和至少8GB内存的个人电脑。

 

Q38：6B大模型的CPU或者显卡型号可以同步一下吗？

A38：首先这个6B的大模型也就是60亿参数的话啊，如果说使用我们BigDL-LLM这个INT4的这个优化的话，它在运行的时候会大约需要一个呃3GB的显存和内存。那这么说的话，其实绝大部分我们Intel的这个CPU或者CPU型号都是能够运行的，但是首先这边需要强调的一点，那肯定是我们BigDL-LLM主要是要支持这个Intel的CPU或者GPU的，当然无论是无论是客户端还是服务器端都都可以支持。那因为像60亿参数的这个大模型，它运行只需要大概3GB的内存或者显存，在集显也就是iGPU上，我们甚至都可以比较顺畅的运行，那比方像我们才发布不久的，这个media link上60亿参数大模型就可以得到一个非常好的运行体验。

 

Q39：N5105平台配置多大合适， OpenVINO和平台相关吗

A39：OpenVINO目前支持intel的CPU，GPU和NPU平台，以及ARM的CPU平台

 

Q40：可以演示一下大模型下载吗

A40：大模型下载可能不是非常方便去展示，因为整个流程会比较的长，但是我们是有提供大模型下载相应的这个guide的，后续我们会有一些链接在答疑最后分享给大家，所以后续大家可以啊，自行去了解一下，然后呢，遇到任何问题，都欢迎在我们的这个get up的仓库里面提一手。

 

Q41：对于paddlepaddle的pdmodel格式的模型，如果不转换为IR格式，直接使用OpenVINO的Core方式调用，也会起到加速的效果吗？

A41：这个加速效果是和IR格式是一致的，因为OpenVINO是使用的是同一套，不管是你是用IR格式的模型做推理，还是用的paddle的pdmodel格式模型做推理，它用的的后端Core代码是同一套脚本，因此这个加速项目是一致的。只是说我们在读取IR格式模型的时候，我们会把这一步转换为OpenVINO的中间对象的流程给缩短，所以我们更推荐大家去使用IR格式作为OpenVINO的加载，或者模型推理的这样一个模型格式，因为这样可以去间接地去减少我们第一次推理的延时。

 

Q42：生成式AI模型可以是GPT4吗？

A42：如果规则实在aipc本地构建应用的话，那gpt4是不合适的。