想转成8bit量化的输出,后处理直接根据zeropoing和scale定点打表
您好,bpu加速计算都是int8形式的,浮点类型是最后的softymax之类的层,需要保留较高精度,因此还原到float,否则目标检测之类的坐标还原会出问题
好的,谢谢,想再问下是网络层里只要有reshape,模型就会到cpu上吗,这中间是不是要定点转float,比较耗时
支持reshape的,也在bpu上哈,频繁出现cpu bpu算子会比较耗时,涉及到内存数据的转移
那正常的conv后直接输出的可以不输出float吗,直接输出int8,我现在转的总是CONV后加个Dequantize层输出浮点数据
conv之后都是int8啊、、、可以查看下转化的时候模型的输出层运行在cpu上还是bpu上