请教一下，对于snpe不支持的算子（例如SiLU），我是否可以拆成更低级的形式（x * sigmoid(x)）？这样做会有什么问题吗？对于激活函数来说，支持和不支持的边界在哪？

[起名困难症患者1]

请教一下，对于snpe不支持的算子（例如SiLU），我是否可以拆成更低级的形式（x * sigmoid(x)）？这样做会有什么问题吗？对于激活函数来说，支持和不支持的边界在哪？

[weixin_38498942]

可以的，这也是一种比较普遍的做法。所有的激活函数都可以按照表达式拆成低级形式，因此考虑的不是支持和不支持，而是这个激活函数支持的好不好/掉点是不是严重。实际上，SiLU就是一个掉点严重的算子，一种可能的解释是来自于乘法的误差传递。工程上，对于snpe而言，边端的模型使用ReLU6（模型中表现为一个Clip算子）或者HardSwish（snpe支持的hswish算子）会常见一些，其他的需要慎重考虑。