python推理与板端推理不一致

开发与问题 Model Zoo
, ,
1

1.芯片型号：J5

2.天工开物开发包OpenExplorer版本：J5_OE_1.1.40

3.问题定位：板端部署

4.问题具体描述：python用HB_ONNXRuntime 推理quantized_model.onnx与板端用bin文件推理的结果不一致。这是否正常，不正常的话需要怎么解决？

RDK x5量化st-gcn后效果失真，应该怎么修改
2

感谢您使用地平线芯片算法工具链，最近我们在收集大家的满意度反馈，欢迎您填写问卷，详细情况可见：https://developer.horizon.ai/forumDetail/146177053698464782

3

你好，可以使用hb_model_verifier工具验证quantized.onnx和.bin的一致性，模型输出应至少满足小数点后2-3位对齐，

更具体的，可参考链接：https://developer.horizon.ai/forumDetail/71036815603174578

4

这里input shape为什么会显示地址？

5

补充一下，关于之前的dimensionSize，可以参考runtime sample的00 quick start，定义int *shape = tensor->properties.validShape.dimensionSize;然后shape[i]就是第i个维度的数据了

6

输入也可以参考runtime sample的00 quick start，float score = reinterpret_cast<float *>(tensor->sysMem[0].virAddr)[i];

7

我是参考的这个runtime sample，但是input tensor会有异常数据。因为我的输入是稀疏的feature，会有很多0，但是很多0有数据。这个要怎么处理。

8

根据你的这个回复，理解是输入tensor有很多0对吧，就按照正常数据准备就好了呀。是不是因为数据对齐导致的问题呢？可参考https://developer.horizon.ai/forumDetail/118364000835765837