请问YAMNet模型可以走onnx->bin工具链吗

开发与问题 Model Zoo
1

在RDK X5上部署YAMNet模型时，遇到两个核心问题：

1. 用TensorFlow加载的YAMNet模型包含 Loop 和 Slice 算子，RDK X5的NPU硬件不支持，无法转成纯硬件计算流。

2. 转换时一直报错： Only allow to append input for main graph ，即使尝试过本地构建YAMNet模型也无法解决。

2

针对您在 RDK X5 上部署 YAMNet 遇到的两个核心问题，结论如下：

核心结论

  1. 关于 Loop 和 Slice 算子：YAMNet 原生模型无法直接通过纯 NPU (BPU) 加速。
    • 原因：RDK X5 的 BPU 对动态控制流（如 Loop）支持有限，且部分 Slice 用法可能超出 BPU 支持范围。
    • 现状：强行转换会导致算子回退到 CPU 执行，失去 NPU 加速意义，或直接报错。
  2. 关于 Only allow to append input for main graph 报错：这是典型的模型结构或工具链配置问题，通常是因为模型中存在子图（Subgraph）或工具链无法正确解析的拓扑结构。

详细排查与解决方案

1. 针对算子不支持 (Loop/Slice) 的解决路径

由于 YAMNet 是音频分类模型，其结构包含时序处理，容易触发 Loop。

  • 方案 A：算子回退 (CPU + NPU 混合)

    • 操作：在量化配置 YAML 中，强制将不支持的算子（Loop, Slice）指定为 cpu 执行。
    • 代价：推理延迟会增加，无法享受纯 BPU 的低延迟优势，但能跑通。
    • 配置示例 (config.yaml)：
      # 在 quantization 配置中指定
cpu_ops:
  - "Loop"
  - "Slice"
    • 注意：需确认工具链版本是否支持这种细粒度的算子指定（较新版本支持更好）。

  • 方案 B：模型重构 (推荐)

    • 思路：在导出 ONNX 前，修改 PyTorch/TensorFlow 模型代码，将 Loop 展开为固定次数的循环（Unroll），或将 Slice 替换为 BPU 支持的 Split 或 Crop。
    • 步骤：
      1. 检查 YAMNet 源码，找到 Loop 对应的逻辑（通常是 RNN/LSTM 或重复模块）。
      2. 如果时序长度固定，手动展开循环。
      3. 重新导出 ONNX，并使用 netron 检查是否还有 Loop 节点。

2. 针对 Only allow to append input for main graph 报错

这个错误通常意味着工具链在解析模型图时，遇到了非预期的输入连接或子图结构。

  • 排查步骤：
    1. 检查 ONNX 模型结构：
      使用 netron 打开您的 .onnx 文件，查看是否有多个 Graph（主图 + 子图）。地平线工具链通常要求单图结构。
    2. 简化导出参数：
      如果是从 PyTorch 导出，尝试添加 do_constant_folding=True 和 opset_version=11 (或 13/15，需测试兼容性)。
      torch.onnx.export(
    model, 
    dummy_input, 
    "yamnet.onnx",
    opset_version=11,
    do_constant_folding=True,
    input_names=['input'],
    output_names=['output'],
    dynamic_axes=None  # 尽量固定输入维度
)
    3. 使用官方校验工具：
      在运行转换脚本前，先运行 hb_check 或工具链自带的校验脚本，查看具体的算子支持情况和图结构警告。
      hb_mapper check --model yamnet.onnx

3. 替代方案建议

如果上述修改成本过高，建议考虑以下路径：

  • 使用 CPU 推理：YAMNet 模型较小，RDK X5 的 CPU (A53) 性能尚可。直接使用 onnxruntime 在 CPU 上运行 .onnx 模型，避开 BPU 转换的坑。
    • 命令示例：
      pip install onnxruntime
# 编写 Python 脚本加载 onnx 推理
  • 寻找替代模型：社区是否有其他已适配 BPU 的音频分类模型？（可搜索关键词 音频分类 RDK X5）。

下一步行动建议

  1. 上传模型校验日志：请在帖子中补充 hb_mapper check 的完整输出日志，这能精确定位哪个算子导致了图结构错误。
  2. 尝试 CPU 推理验证：先确保模型逻辑在板端 CPU 上运行正常，排除数据预处理问题。
  3. 参考类似案例：

总结：YAMNet 原生结构对 RDK X5 BPU 不友好。最稳妥的短期方案是 CPU 推理；若必须上 BPU，需手动修改模型结构去除 Loop 算子。