高通针对大模型的量化方法适配性

[chenfeng0232]

请问，针对目前大模型（qwen系列）量化方法，目前高通支持的情况如何了呢，如想在高通平台上，快速验证某一种新的量化方法，是否可以通过生成encoding文件来验证呢。或者说，能否不借助AIMET来生成，自定义encoding文件也能搞定。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

[chenfeng0232]

@weixin_38498942 非常感谢你的回答，请问一下，现在若高通AIMET集成的gptq量化方法，导出encoding,在应用的时候， snpe-dlc-quantizer 需要注意配置那些参数吗？目前我用的是snpe-dlc-quantize --input_dlc /Qwen2.5-0.5B-Instruct-old/dlc/qwen-0.5.dlc --output_dlc /Qwen2.5-0.5B-Instruct-old/dlc/qwen-0.5-quant.dlc --input_list /Qwen2.5-0.5B-Instruct-old/raw_input.txt --enable_htp --act_bitwidth 16 --enable_htp --htp_socs qcs6490 --override_params 导出encoding 文件中包括 "quantizer_args": { "activation_bitwidth": 8, "dtype": "int", "is_symmetric": true, "param_bitwidth": 4, "per_channel_quantization": true, "quant_scheme": "post_training_tf_enhanced"

[weixin_38498942]

高通平台支持qwen的量化方法。
理论上不用AIMET来量化，用Encoding来量化也是可以的。