量化vit这一transformer类型的encodert时softmax掉点严重

量化vit这一transformer类型的encoder模型时时softmax这一量化算子单个的余弦相似度只有0.8 ,经过多层之后完全无法使用,调整校准集大小也无法提高精度。

并且softmax算子显示是在float32上运行

想了解一下是否现有量化算法无法解决这一问题

模型以及校准集

通过网盘分享的文件:model.zip

链接: 百度网盘-链接不存在 提取码: qx2k

config.yaml-
DeitEncoder_quant_info.json

Softmax本身就量化不友好,建议fp32计算,或者int16量化,X3上基本上都是CPU计算了。可以获取最新的工具链尝试,或者根据更新的RDK板卡的工具链,来选择适合您的RDK设备