模型推理

应用开发 算法工具链
1

用户您好，请详细描述您所遇到的问题，这会帮助我们快速定位问题~

1.芯片型号：J5等

2.天工开物开发包OpenExplorer版本：J5_OE_1.1.60等

3.问题定位：模型推理

4.问题具体描述：若我的模型大小为1*3*768*960，要分别对环视图像进行并行推理，请问我需要怎么实现？

2

您好，方便再补充一些问题描述吗，我们好给出更精准的建议。根据目前的信息，让一个模型推理一个摄像头的数据就可以了。

3

根据《Batch模型推理》这篇文章，我试图将1*3*768*960的onnx文件转换为bin文件并进行推理，报图片中的错误，请问一下这是什么原因？是因为我模型转换的问题还是什么？

977×701 0 Bytes

4

batch模式适合输入尺寸较小的模型，比如长宽都在200多像素。 像你这种报错，就是因为batch模式下输入尺寸较大，导致板子内存不够了，这种情况就不建议使用batch方式了，用普通的batch=1推理即可。

5

请问这个输入的大小怎么计算呢，是4x3x768x960x1.5吗

6

如果是nv12，batch=4的话，输入侧申请的内存是这么多，输出侧也需要申请内存。

7

现在的输出是两类别的语义掩膜，若输出内存为4x2x960x768=5898240，加上输入的话不是小于2^32-4096

8

模型太小会导致我的推理结果很差，普通的batch=1推理又过于耗时，请问还有什么方案吗？

9

4.1.1.7. 模型性能分析与调优 — Horizon Open Explorer 可以根据这个指导检查一下模型，比如说如果有cpu算子，可以配置run_on_bpu提升推理速度，还可以利用DSP做反量化计算，你的模型尺寸较大，反量化给DSP应该有比较理想的受益，可以参考 6.5.1. 前言 — Horizon Open Explorer