输入输出节点在CPU上执行

用户您好,请详细描述您所遇到的问题,这会帮助我们快速定位问题~

1.芯片型号:J5

2.天工开物开发包OpenExplorer版本:J5_OE_1.1.40

3.问题定位:板端部署等

4.问题具体描述:PTQ模型导出bin,输入输出一定要在CPU上执行吗?我的模型输入输出节点在CPU上耗时占推理50%;若QAT导出,输入输出是不是在BPU上执行?

感谢您使用地平线芯片算法工具链,最近我们在收集大家的满意度反馈,欢迎您填写问卷,详细情况可见:https://developer.horizon.ai/forumDetail/146177053698464782

您好,建议您查看一下用户手册的 算子支持与约束列表,对应节点是否满足BPU的约束限制,满足的话,可以在yaml中配置run_on_bpu参数,将其强制跑在BPU上。

如果输入输出节点为量化反量化节点,您可以将其删除,合入前后处理中。

并不是说QAT导出输入输出就在BPU上运行哈。