第七堂直播课问题汇总FAQ

[高校俱乐部]

Q1：BigDl支持intel core ultra7上的NPU吗?然后在linux中如何查看这个NPU的负载率呢?

A1：BigDl暂时还不支持npu的，然后相关的支持的话我们正在进行中。

 

Q2：顺便问一下，有stable diffusion的训练的详细文档吗?

A2：这一块暂时没有。

 

Q3：bigdl的ft训练代码可以用在max上吗？

A3：整体是不支持MAC机器的，然后像训练代码的话，在Intel的CPU跟GPU上是都可以进行训练的。

 

Q4：运行openvino notebook上的示例，选择device为npu时，经常会遇到这个报错。

A4：需要后半场的老师进行解答。bigdl这边的话是不支持npu的，然后相关的支持的话还在进行中。

 

Q5：运行的时候打开命令行不是必须运行三行命令，就执行setvars.bat那个，然后命令行执行大模型demo测试就没问题。然后在pycharm里面运行就报错。

A5：在GPU上运行bigdl-llm的话，确实需要去配置为YAPI的环境变量，也就是你说的执行setvars.bat，必须要先做这一步，然后才可以正常的就是去跑demo。

 

Q6：ultra平台上大语言模型是建议用gpu运行还是用npu运行?

A6：使用bigdl-llm的话建议还是建议是使用GPU进行运行。

 

Q7：请问在linux系统中如何查看OpenVINO调用NPU的负载率?

A7： Linux可能需要使用到我们一些定制化的工具。

 

Q8：请问量化的时候，量化程序本身，是如何判断出哪一些参数是对精度影响不大的参数呢?

A8：可能有很多不同的评价指标，有一种方法就是对大语言模型生成结果的困惑度的一个评价。如果你实在找不到一个比较适合你的精度，你可以先尝试一下使用我们的默认的比例，比如说0.8这样的一个racial。先测一下这个模型在一些聊天的或者是应用场景和输出准确度如何，然后再根据你实际场景下文本内容的可靠性，再去进行统一量化进度的一个调整。但一般情况下0.8这个值，在大部分的模型都是一个比较比较合适的配置参数。有同学说是AWQ技术，我们在量化的过程中是可以通过AWQ去搜索我们的这样一个混合精度量化的策略。

 

Q9：可以演示一下在NPU上跑吗?

A9：很遗憾，现在npu目前还不太能支持动态的输入，很多大语言模型它的输入长度都是不定长的，我们更多的会用npu去执行一些比如说像CV类的应用场景，这类模型它相对大语言模型更轻量化点。

Q10：请问在OpenVINO notebooks中有stable diffusion的训练/调参加速的demo吗?

A10：很遗憾，openvino现在还暂时不能支持对模型的反确定和check，所以这部分其实我们目前是没有这一块的设立的，假设我们的同学希望去生成一些自定的画面的话，我们也建议大家去使用第三方的一些lora，通过在原生的拍摄直播屏中加载lora的方式，然后导出一个加载完lora的这样的unit模型，来实现我们的一些自定义的绘画风格。

 

Q11：请问模型转换对内存有多大需求，包括刚刚的lm，很大会不会oom？

A11：取决于原始模型的大小，因为它在转化过程中可能会把模型完整的载到内存中，所以如果是参加我们比赛的选手，我们一般是配置一个32GB内存的AI PC，这种情况下，我们的模型对于6GB的模型转化应该是没有什么太大问题的，包括13GB的模型应该也是可以转化的。