QNN SDK dynamic input shape support or not?

[hgwang2016]

从QNN sdk 的converter python源码中，倒是翻到了dynamic shape设定的方法，即在具体维度添加*后缀，但分别在ONNX TF TF-Lite等模型上尝试，均失败。

QNN 什么时候直至动态shape呢？各位有什么好的方法没？

[weixin_38498942]

目前 QNN 不支持开箱即用的动态输入形状。但是，有几种方法可以模拟这种行为：

具有共享权重的多个图。QNN 支持从多个共享模型库创建上下文二进制文件。上下文二进制文件会对权重进行去重，因此您实际上可以在单个二进制文件中调用多个模型/函数。在 qnn 文档中搜索
“context”：{
“weight_sharing_enabled”：True
}
这就是 Llama 或 LLM 通常能够处理提示标记并有效生成标记的方式。

使用切片/掩码将固定形状输入转换为可变形状输入。这可能不一定能减少较短序列的计算量，但可以得到正确的输出。