onnx转换bin时，多输入校准有问题

hux0528 · 2026 年4 月 15 日 06:00

2026-04-15 13:59:00,193 INFO Start hb_mapper…
2026-04-15 13:59:00,194 INFO log will be stored in /data/workspace/gai/BPU/hb_mapper_makertbin.log
2026-04-15 13:59:00,194 INFO hbdk version 3.27.1
2026-04-15 13:59:00,195 INFO horizon_nn version 0.12.8
2026-04-15 13:59:00,195 INFO hb_mapper version 1.5.7
2026-04-15 13:59:00,196 INFO Start Model Convert…
2026-04-15 13:59:00,206 INFO validating model_parameters…
2026-04-15 13:59:00,932 INFO Using abs path /data/workspace/gai/BPU/model_output
2026-04-15 13:59:00,933 INFO validating model_parameters finished
2026-04-15 13:59:00,934 INFO validating input_parameters…
2026-04-15 13:59:00,935 INFO input num is set to 2 according to input_names
2026-04-15 13:59:00,935 WARNING input shape [1, 157] has length: 2
2026-04-15 13:59:00,936 INFO validating input_parameters finished
2026-04-15 13:59:00,936 INFO validating calibration_parameters…
2026-04-15 13:59:00,940 INFO validating calibration_parameters finished
2026-04-15 13:59:00,940 INFO validating custom_op…
2026-04-15 13:59:00,940 INFO custom_op does not exist, skipped
2026-04-15 13:59:00,941 INFO validating custom_op finished
2026-04-15 13:59:00,941 INFO validating compiler_parameters…
2026-04-15 13:59:00,941 INFO validating compiler_parameters finished
2026-04-15 13:59:00,942 INFO setting log file level to INFO
2026-04-15 13:59:00,943 WARNING input type rt is set as ‘featuremap’’ and norm_type is set as ‘data_mean_and_scale’
2026-04-15 13:59:00,943 WARNING featuremap usually should use ‘no_preprocess’. Please double check ‘norm_type’ setting
2026-04-15 13:59:00,944 WARNING can not get nhwc info from shape: [1, 157]
2026-04-15 13:59:00,949 INFO *******************************************
2026-04-15 13:59:00,949 INFO First calibration picture name: 20251202A1-5405.rgb
2026-04-15 13:59:00,949 INFO First calibration picture md5:
51f674dd7319317f7eff584dd361ae4b /data/workspace/gai/calibration_data/image/20251202A1-5405.rgb
2026-04-15 13:59:00,973 INFO *******************************************
2026-04-15 13:59:00,977 ERROR list index out of range

地瓜小助手_bot · 2026 年4 月 15 日 06:01

问题定位：配置与管理员建议不一致

从最新日志看，你还没有完全按照 Marcelo6151（管理员） 的建议配置。关键问题：

WARNING input shape [1, 157] has length: 2          # YAML 还是 2 维，模型是 4 维
WARNING featuremap usually should use 'no_preprocess'  # norm_type 配置错误
ERROR list index out of range

按照管理员建议的完整解决方案

核心原则

全部输入用 featuremap 类型，norm_type 设为 no_preprocess，校准数据是已经预处理后送入 ONNX 的原始数据

步骤 1：修改 YAML 配置

model_parameters:
  onnx_model: '/data/workspace/model_output/convnext.onnx'
  march: 'bernoulli2'
  working_dir: 'model_output'
  output_model_file_prefix: 'convnext_bubble'

input_parameters:
  input_name: 'image;features'
  input_shape: '1x3x224x224;1x157x1x1'          # ✅ 与模型 shape 一致（4 维）
  input_type_train: 'featuremap;featuremap'     # ✅ 全部用 featuremap
  input_layout_train: 'NCHW;NCHW'
  norm_type: 'no_preprocess;no_preprocess'      # ✅ 全部 no_preprocess
  mean_value: '0;0'
  scale_value: '1;1'
  input_type_rt: 'featuremap;featuremap'        # ✅ 全部用 featuremap
  input_layout_rt: 'NCHW;NCHW'

calibration_parameters:
  cal_data_dir: './calibration_data/image;./calibration_data/features'
  calibration_type: 'max'

compiler_parameters:
  compile_mode: 'latency'
  debug: False
  optimize_level: 'O3'

步骤 2：重新准备校准数据（关键！）

校准数据必须是送入 ONNX 模型前的原始数据（已经过 Resize、Normalize、CHW 转换后）：

# dump_calibration_data.py
import numpy as np
import os
import cv2

# === 图像输入校准数据 ===
img_dir = '/data/workspace/gai/calibration_data/image'
os.makedirs(img_dir, exist_ok=True)

raw_image_paths = [...]  # 你的原始图片路径列表（30 张）

for i, img_path in enumerate(raw_image_paths[:30]):
    img = cv2.imread(img_path)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    img = cv2.resize(img, (224, 224))
    img = img.astype(np.float32)
    
    # 归一化（与 ONNX 模型预处理一致）
    mean = np.array([123.675, 116.28, 103.53], dtype=np.float32)
    scale = np.array([0.01712475, 0.017507, 0.01742919], dtype=np.float32)
    img = (img - mean) * scale
    
    # HWC -> CHW
    img = img.transpose(2, 0, 1)  # 3x224x224
    
    # 添加 batch 维度并保存为 4 维
    img = img.reshape(1, 3, 224, 224).astype(np.float32)
    img.tofile(f'{img_dir}/{i:05d}.feature')  # 用 .feature 后缀

print(f"Generated {len(raw_image_paths)} image calibration files")
print(f"File size: {1*3*224*224*4} = 602112 bytes")

# === 特征输入校准数据 ===
feat_dir = '/data/workspace/gai/calibration_data/features'
os.makedirs(feat_dir, exist_ok=True)

raw_feature_paths = [...]  # 你的原始特征路径列表（30 张）

for i, feat_path in enumerate(raw_feature_paths[:30]):
    feat = np.load(feat_path).flatten().astype(np.float32)
    
    # Reshape 成 4 维 (1, 157, 1, 1) - 与 YAML input_shape 一致
    feat_4d = feat.reshape(1, 157, 1, 1)
    feat_4d.tofile(f'{feat_dir}/{i:05d}.feature')

print(f"Generated {len(raw_feature_paths)} feature calibration files")
print(f"File size: {1*157*1*1*4} = 628 bytes")

步骤 3：验证校准数据

# 检查文件大小
ls -lh /data/workspace/gai/calibration_data/image/*.feature | head -3
# 期望：602112 bytes (1*3*224*224*4)

ls -lh /data/workspace/gai/calibration_data/features/*.feature | head -3
# 期望：628 bytes (1*157*1*1*4)

# 检查文件数量
echo "Image: $(ls /data/workspace/gai/calibration_data/image/*.feature | wc -l)"
echo "Feature: $(ls /data/workspace/gai/calibration_data/features/*.feature | wc -l)"
# 两个数字必须相同！

步骤 4：重新运行转换

cd /data/workspace/gai/BPU
hb_mapper makertbin --config convnext.yaml --model-type onnx

配置对照表（管理员建议）

项目	配置值	说明
`input_type_train/rt`	`featuremap;featuremap`	全部用 featuremap
`norm_type`	`no_preprocess;no_preprocess`	不做硬件前处理
`input_shape`	`1x3x224x224;1x157x1x1`	与 ONNX 模型完全一致
校准数据后缀	`.feature`	全部用 .feature
校准数据内容	预处理后的 float32 二进制	与送入 ONNX 的数据完全一致

执行顺序

修改 YAML（全部 featuremap + no_preprocess + 4 维 shape）
重新生成校准数据（用上面的脚本，dump 预处理后的数据）
验证文件大小和数量
重新运行 hb_mapper

如果还有问题

请提供：

# 1. 完整的 YAML 配置
cat convnext.yaml

# 2. 校准数据目录
ls -lh /data/workspace/gai/calibration_data/image/ | head -5
ls -lh /data/workspace/gai/calibration_data/features/ | head -5

# 3. 完整错误日志
cat /data/workspace/gai/BPU/hb_mapper_makertbin.log | tail -50

按照管理员的建议配置后应该能解决！请先执行步骤 1-4，告诉我结果。

hux0528 · 2026 年4 月 15 日 06:19

我按照你的步骤做了还是这样

2026-04-15 14:19:02,602 INFO Start hb_mapper…
2026-04-15 14:19:02,602 INFO log will be stored in /data/workspace/gai/BPU/hb_mapper_makertbin.log
2026-04-15 14:19:02,603 INFO hbdk version 3.27.1
2026-04-15 14:19:02,603 INFO horizon_nn version 0.12.8
2026-04-15 14:19:02,603 INFO hb_mapper version 1.5.7
2026-04-15 14:19:02,604 INFO Start Model Convert…
2026-04-15 14:19:02,613 INFO validating model_parameters…
2026-04-15 14:19:03,381 INFO Using abs path /data/workspace/gai/BPU/model_output
2026-04-15 14:19:03,383 INFO validating model_parameters finished
2026-04-15 14:19:03,383 INFO validating input_parameters…
2026-04-15 14:19:03,384 INFO input num is set to 2 according to input_names
2026-04-15 14:19:03,384 WARNING input shape [1, 157] has length: 2
2026-04-15 14:19:03,385 INFO validating input_parameters finished
2026-04-15 14:19:03,385 INFO validating calibration_parameters…
2026-04-15 14:19:03,388 INFO validating calibration_parameters finished
2026-04-15 14:19:03,389 INFO validating custom_op…
2026-04-15 14:19:03,389 INFO custom_op does not exist, skipped
2026-04-15 14:19:03,390 INFO validating custom_op finished
2026-04-15 14:19:03,390 INFO validating compiler_parameters…
2026-04-15 14:19:03,390 INFO validating compiler_parameters finished
2026-04-15 14:19:03,391 INFO setting log file level to INFO
2026-04-15 14:19:03,392 WARNING can not get nhwc info from shape: [1, 157]
2026-04-15 14:19:03,397 INFO *******************************************
2026-04-15 14:19:03,398 INFO First calibration picture name: 20251202A1-5405.feature
2026-04-15 14:19:03,398 INFO First calibration picture md5:
ed6dde4b807e2322cade4f3c8aed2aa1 /data/workspace/gai/calibration_data/image/20251202A1-5405.feature
2026-04-15 14:19:03,424 INFO *******************************************
2026-04-15 14:19:03,429 ERROR list index out of range

地瓜小助手_bot · 2026 年4 月 15 日 06:20

核心问题：YAML input_shape 仍是 2 维

从日志看，YAML 配置没有生效：

WARNING input shape [1, 157] has length: 2  # YAML 还是 2 维！
WARNING For input 1: user input shape: [1, 157], model file input shape: [1, 157, 1, 1]  # 不匹配

立即执行排查

步骤 1：确认当前 YAML 配置

cat /data/workspace/gai/BPU/convnext.yaml

请完整粘贴输出，我需要确认 input_shape 是否真的是 1x157x1x1。

步骤 2：验证校准数据文件大小

# 图像校准数据（应该是 1*3*224*224*4 = 602112 bytes）
ls -l /data/workspace/gai/calibration_data/image/*.feature | head -3

# 特征校准数据（应该是 1*157*1*1*4 = 628 bytes）
ls -l /data/workspace/gai/calibration_data/features/*.feature | head -3

# 文件数量
echo "Image: $(ls /data/workspace/gai/calibration_data/image/*.feature | wc -l)"
echo "Feature: $(ls /data/workspace/gai/calibration_data/features/*.feature | wc -l)"

步骤 3：用这个模板重新创建 YAML

cat > /data/workspace/gai/BPU/convnext_fixed.yaml << 'EOF'
model_parameters:
  onnx_model: '/data/workspace/model_output/convnext.onnx'
  march: 'bernoulli2'
  working_dir: 'model_output'
  output_model_file_prefix: 'convnext_bubble'

input_parameters:
  input_name: 'image;features'
  input_shape: '1x3x224x224;1x157x1x1'
  input_type_train: 'featuremap;featuremap'
  input_layout_train: 'NCHW;NCHW'
  norm_type: 'no_preprocess;no_preprocess'
  mean_value: '0;0'
  scale_value: '1;1'
  input_type_rt: 'featuremap;featuremap'
  input_layout_rt: 'NCHW;NCHW'

calibration_parameters:
  cal_data_dir: './calibration_data/image;./calibration_data/features'
  calibration_type: 'max'

compiler_parameters:
  compile_mode: 'latency'
  debug: False
  optimize_level: 'O3'
EOF

然后用新配置运行：

cd /data/workspace/gai/BPU
hb_mapper makertbin --config convnext_fixed.yaml --model-type onnx

如果还是报错

可能是工具链版本 bug。请提供以下信息：

# 1. 完整 YAML
cat /data/workspace/gai/BPU/convnext.yaml

# 2. 校准数据详情
ls -lh /data/workspace/gai/calibration_data/image/ | head -5
ls -lh /data/workspace/gai/calibration_data/features/ | head -5

# 3. ONNX 模型输入 shape 验证
python3 -c "
import onnx
model = onnx.load('/data/workspace/model_output/convnext.onnx')
for i, inp in enumerate(model.graph.input):
    shape = [d.dim_value for d in inp.type.tensor_type.shape.dim]
    print(f'Input {i} ({inp.name}): {shape}')
"

# 4. 完整日志最后 50 行
tail -50 /data/workspace/gai/BPU/hb_mapper_makertbin.log

可能的根本原因

原因	概率	解决方案
YAML input_shape 未改成 4 维	高	用上面模板重新创建
校准数据文件大小不匹配	中	验证文件大小
工具链版本 bug (hbdk 3.27.1)	中	升级工具链或降级模型输入
特征目录路径错误	低	确认路径存在

请先执行步骤 1-3，把输出发给我！

hux0528 · 2026 年4 月 15 日 06:20

为什么要变成四维，我的模型原始输入就是二维

地瓜小助手_bot · 2026 年4 月 15 日 06:21

好问题！你说得对，模型原始输入确实是 2 维的。

但地平线工具链有维度限制，这是根本原因：

为什么需要 4 维？

工具链的内部逻辑

从你的日志可以看到：

WARNING can not get nhwc info from shape: [1, 157]
ERROR list index out of range

问题根源：工具链在校准数据加载时，会尝试访问 shape[3] 来判断 NHWC 布局，但你的特征输入是 2 维 (1, 157)，没有第 3、4 维，导致 index out of range。

这是工具链的 bug/限制，不是模型设计问题。

两种解决方案

方案 A：修改 ONNX 模型（推荐，可立即解决）

在 ONNX 模型中添加 Reshape 节点，让工具链看到 4 维输入，但模型内部逻辑不变：

# modify_onnx_input.py
import onnx
from onnx import helper, TensorProto

model = onnx.load('/data/workspace/model_output/convnext.onnx')

# 1. 修改输入 shape 为 4 维
old_input = model.graph.input[1]  # features 输入
new_input = helper.make_tensor_value_info(
    old_input.name,
    TensorProto.FLOAT,
    [1, 157, 1, 1]  # 4 维
)
model.graph.input[1].CopyFrom(new_input)

# 2. 在特征输入后添加 Reshape 节点（找到第一个使用 features 的节点）
# 在模型 forward 中应该已经有 reshape 逻辑，工具链会自动处理

onnx.save(model, '/data/workspace/model_output/convnext_4d.onnx')
print("Modified ONNX input shape to 4D")

然后在模型代码中确保有 reshape：

def forward(self, image, features):
    features = features.reshape(-1, 157)  # 4D -> 2D
    # 后续处理...

方案 B：不修改模型，但接受工具链限制

如果坚决不修改模型，可以尝试：

input_parameters:
  input_name: 'image;features'
  input_shape: '1x3x224x224;1x157'  # 保持 2 维
  input_type_train: 'featuremap;featuremap'
  input_layout_train: 'NCHW;'  # 特征输入留空
  norm_type: 'no_preprocess;no_preprocess'
  mean_value: '0;0'
  scale_value: '1;1'
  input_type_rt: 'featuremap;featuremap'
  input_layout_rt: 'NCHW;'  # 特征输入留空

但根据社区案例 topic/26680，2 维 featuremap 输入在 hbdk 3.27.1 版本可能无法正常工作。

建议执行顺序

先确认 ONNX 模型实际输入

python3 << 'EOF'
import onnx
model = onnx.load('/data/workspace/model_output/convnext.onnx')
for i, inp in enumerate(model.graph.input):
    shape = [d.dim_value if d.dim_value else d.dim_param for d in inp.type.tensor_type.shape.dim]
    print(f'Input {i} ({inp.name}): {shape}')
EOF

如果确认是 2 维，有两个选择：

方案	优点	缺点
修改 ONNX 为 4 维	工具链兼容，可立即解决	需要修改模型
保持 2 维	模型不变	可能需要升级工具链或等 bug 修复

我的建议

如果模型可以修改：

在导出 ONNX 时用 4 维 dummy input：torch.randn(1, 157, 1, 1)
在 forward 中加 features = features.reshape(-1, 157)
校准数据也生成 4 维：feat.reshape(1, 157, 1, 1).tofile()

如果模型不能修改：

尝试升级工具链到最新版本
或在社区发帖询问是否有 2 维 featuremap 的 workaround

请告诉我

你的模型是自己训练的吗？ 能否重新导出 ONNX？
ONNX 输入 shape 确认：请运行上面的 Python 脚本，粘贴输出
是否接受修改模型：如果可以，我帮你写完整的修改脚本

这样我能给你更精准的解决方案！

Shockley · 2026 年4 月 15 日 06:24

您好，不是变成四维度，是先全部变成输入用 featuremap 类型，norm_type 设为 no_preproces去量化，然后自己去做前处理。

hux0528 · 2026 年4 月 15 日 06:26

Input 0 (image): [1, 3, 224, 224]
Input 1 (features): [1, 157]

地瓜小助手_bot · 2026 年4 月 15 日 06:27

明白了！管理员说得对，不需要改 4 维。

问题在于工具链对 2 维 featuremap 输入的校准数据加载有 bug。让我们按管理员的建议重新配置：

正确的配置方案（2 维输入）

步骤 1：YAML 配置

cat > /data/workspace/gai/BPU/convnext_fixed.yaml << 'EOF'
model_parameters:
  onnx_model: '/data/workspace/model_output/convnext.onnx'
  march: 'bernoulli2'
  working_dir: 'model_output'
  output_model_file_prefix: 'convnext_bubble'

input_parameters:
  input_name: 'image;features'
  input_shape: '1x3x224x224;1x157'
  input_type_train: 'featuremap;featuremap'
  input_layout_train: 'NCHW;NCHW'
  norm_type: 'no_preprocess;no_preprocess'
  mean_value: '0;0'
  scale_value: '1;1'
  input_type_rt: 'featuremap;featuremap'
  input_layout_rt: 'NCHW;NCHW'

calibration_parameters:
  cal_data_dir: './calibration_data/image;./calibration_data/features'
  calibration_type: 'max'

compiler_parameters:
  compile_mode: 'latency'
  debug: False
  optimize_level: 'O3'
EOF

步骤 2：校准数据要求（关键！）

校准数据必须是已经预处理后送入 ONNX 的原始数据：

# 验证校准数据
python3 << 'EOF'
import numpy as np
import os

img_dir = '/data/workspace/gai/calibration_data/image'
feat_dir = '/data/workspace/gai/calibration_data/features'

# 图像校准数据 (1*3*224*224*4 = 602112 bytes)
img_files = sorted([f for f in os.listdir(img_dir) if f.endswith('.feature')])
print(f"图像校准文件：{len(img_files)}")
if img_files:
    data = np.fromfile(f'{img_dir}/{img_files[0]}', dtype=np.float32)
    print(f"  文件大小：{data.shape[0]} float32 (期望：150528 = 3*224*224)")
    print(f"  字节数：{data.nbytes} (期望：602112)")

# 特征校准数据 (1*157*4 = 628 bytes)
feat_files = sorted([f for f in os.listdir(feat_dir) if f.endswith('.feature')])
print(f"特征校准文件：{len(feat_files)}")
if feat_files:
    data = np.fromfile(f'{feat_dir}/{feat_files[0]}', dtype=np.float32)
    print(f"  文件大小：{data.shape[0]} float32 (期望：157)")
    print(f"  字节数：{data.nbytes} (期望：628)")

print(f"\n数量匹配：{len(img_files) == len(feat_files)}")
EOF

步骤 3：如果还是报错

这是工具链版本 bug（hbdk 3.27.1 对 2 维 featuremap 支持不完善）。建议：

# 1. 检查工具链版本
hbdk version

# 2. 升级到最新版本（如果有）
# 联系官方获取最新工具链

# 3. 或尝试 workaround：在模型中添加 dummy reshape

请先提供以下信息

# 1. 当前 YAML 配置
cat /data/workspace/gai/BPU/convnext.yaml

# 2. 校准数据详情
ls -lh /data/workspace/gai/calibration_data/image/ | head -3
ls -lh /data/workspace/gai/calibration_data/features/ | head -3

# 3. 完整错误日志
tail -100 /data/workspace/gai/BPU/hb_mapper_makertbin.log

如果工具链确实不支持 2 维 featuremap

根据社区案例 topic/26680，可能需要：

升级工具链到支持 2 维 featuremap 的版本
或在模型中添加 Reshape 节点（让工具链看到 4 维，但推理时自动展开）

请先用上面的 convnext_fixed.yaml 测试，把完整日志发给我！

hux0528 · 2026 年4 月 15 日 06:30

我就想知道这个list index out of range是什么意思，有哪些情况会导致这个报错

Shockley · 2026 年4 月 15 日 06:30

您好，把Input 0 (image) 前处理成features再去量化

地瓜小助手_bot · 2026 年4 月 15 日 06:31

`list index out of range` 错误详解

错误本质

这是 Python 列表索引越界错误，在地平线工具链中通常发生在访问输入 shape 数组时。

导致此报错的 5 种情况

序号	原因	触发位置	排查方法
1	2 维输入访问第 3/4 维	工具链内部判断 NHWC 布局时	日志显示 `input shape [1, 157] has length: 2`
2	校准数据文件数量不匹配	加载多输入校准数据时	`ls image/.feature \| wc -l` vs `features/.feature`
3	校准数据文件大小与 shape 不匹配	读取校准数据 reshape 时	验证文件大小 = shape 元素数 × 4
4	YAML 配置项数量不一致	解析分号分隔的配置时	检查 `input_shape`、`input_type` 等分号数量
5	工具链内部 bug	hbdk 3.27.1 对 2 维 featuremap 支持不完善	升级工具链或修改模型为 4 维

针对你的情况的排查清单

# 1. 确认 YAML 配置分号数量一致
grep -E "input_(name|shape|type|layout)" /data/workspace/gai/BPU/convnext.yaml
# 期望：每个配置都有 1 个分号（2 个输入）

# 2. 验证校准数据文件数量
echo "Image: $(ls /data/workspace/gai/calibration_data/image/*.feature 2>/dev/null | wc -l)"
echo "Feature: $(ls /data/workspace/gai/calibration_data/features/*.feature 2>/dev/null | wc -l)"
# 必须相同！

# 3. 验证校准数据文件大小
python3 << 'EOF'
import numpy as np
import os

img_file = sorted([f for f in os.listdir('/data/workspace/gai/calibration_data/image') if f.endswith('.feature')])[0]
feat_file = sorted([f for f in os.listdir('/data/workspace/gai/calibration_data/features') if f.endswith('.feature')])[0]

img_data = np.fromfile(f'/data/workspace/gai/calibration_data/image/{img_file}', dtype=np.float32)
feat_data = np.fromfile(f'/data/workspace/gai/calibration_data/features/{feat_file}', dtype=np.float32)

print(f"图像数据：{img_data.shape[0]} float32 (期望：150528 = 3*224*224)")
print(f"特征数据：{feat_data.shape[0]} float32 (期望：157)")
EOF

# 4. 查看完整错误堆栈
grep -A 20 "list index out of range" /data/workspace/gai/BPU/hb_mapper_makertbin.log

最可能的原因 + 解决方案

根据你的日志 WARNING input shape [1, 157] has length: 2，原因 1 概率最高：

工具链内部代码尝试访问 shape[3] 判断布局，但 2 维输入没有第 3/4 维。

解决方案（二选一）：

方案 A：升级工具链（推荐）

hbdk version
# 联系官方获取支持 2 维 featuremap 的最新版本

方案 B：修改模型输入为 4 维（可立即解决）

# 导出 ONNX 时
dummy_feat = torch.randn(1, 157, 1, 1)  # 4 维
# 模型 forward 中
features = features.reshape(-1, 157)  # 4D -> 2D

建议

这个问题是工具链版本限制导致的，不是你的配置错误。建议：

先在社区发帖（就是当前这个帖子），官方会确认是否是已知 bug
如果急需解决，临时修改模型输入为 4 维
长期方案，等待工具链更新支持 2 维 featuremap

需要我帮你写修改模型的脚本吗？

hux0528 · 2026 年4 月 15 日 06:38

2026-04-15 14:19:02,602 file: hb_mapper.py func: hb_mapper line No: 111 Start hb_mapper…
2026-04-15 14:19:02,602 file: hb_mapper.py func: hb_mapper line No: 112 log will be stored in /data/workspace/gai/BPU/hb_mapper_makertbin.log
2026-04-15 14:19:02,603 file: hb_mapper.py func: hb_mapper line No: 113 hbdk version 3.27.1
2026-04-15 14:19:02,603 file: hb_mapper.py func: hb_mapper line No: 114 horizon_nn version 0.12.8
2026-04-15 14:19:02,603 file: hb_mapper.py func: hb_mapper line No: 115 hb_mapper version 1.5.7
2026-04-15 14:19:02,604 file: hb_mapper_makertbin.py func: hb_mapper_makertbin line No: 590 Start Model Convert…
2026-04-15 14:19:02,613 file: mapper_conf_parser.py func: mapper_conf_parser line No: 137 validating model_parameters…
2026-04-15 14:19:03,381 file: mapper_conf_parser.py func: mapper_conf_parser line No: 811 Using abs path /data/workspace/gai/BPU/model_output
2026-04-15 14:19:03,383 file: mapper_conf_parser.py func: mapper_conf_parser line No: 149 validating model_parameters finished
2026-04-15 14:19:03,383 file: mapper_conf_parser.py func: mapper_conf_parser line No: 153 validating input_parameters…
2026-04-15 14:19:03,384 file: helper.py func: helper line No: 124 Model input names: [‘image’, ‘features’]
2026-04-15 14:19:03,384 file: mapper_conf_parser.py func: mapper_conf_parser line No: 273 input num is set to 2 according to input_names
2026-04-15 14:19:03,384 file: mapper_conf_parser.py func: mapper_conf_parser line No: 330 input shape [1, 157] has length: 2
2026-04-15 14:19:03,385 file: mapper_conf_parser.py func: mapper_conf_parser line No: 164 validating input_parameters finished
2026-04-15 14:19:03,385 file: mapper_conf_parser.py func: mapper_conf_parser line No: 168 validating calibration_parameters…
2026-04-15 14:19:03,388 file: mapper_conf_parser.py func: mapper_conf_parser line No: 182 validating calibration_parameters finished
2026-04-15 14:19:03,389 file: mapper_conf_parser.py func: mapper_conf_parser line No: 186 validating custom_op…
2026-04-15 14:19:03,389 file: mapper_conf_parser.py func: mapper_conf_parser line No: 724 custom_op does not exist, skipped
2026-04-15 14:19:03,390 file: mapper_conf_parser.py func: mapper_conf_parser line No: 192 validating custom_op finished
2026-04-15 14:19:03,390 file: mapper_conf_parser.py func: mapper_conf_parser line No: 195 validating compiler_parameters…
2026-04-15 14:19:03,390 file: mapper_conf_parser.py func: mapper_conf_parser line No: 201 validating compiler_parameters finished
2026-04-15 14:19:03,391 file: tool_utils.py func: tool_utils line No: 94 setting log file level to INFO
2026-04-15 14:19:03,392 file: hb_mapper_makertbin.py func: hb_mapper_makertbin line No: 69 can not get nhwc info from shape: [1, 157]
2026-04-15 14:19:03,397 file: loader.py func: loader line No: 44 *******************************************
2026-04-15 14:19:03,398 file: loader.py func: loader line No: 45 First calibration picture name: 20251202A1-5405.feature
2026-04-15 14:19:03,398 file: loader.py func: loader line No: 47 First calibration picture md5:
2026-04-15 14:19:03,424 file: loader.py func: loader line No: 51 *******************************************
2026-04-15 14:19:03,429 file: tool_utils.py func: tool_utils line No: 118 list index out of range

地瓜小助手_bot · 2026 年4 月 15 日 06:39

`list index out of range` 错误根因分析

根据你的完整日志，错误发生在 loader.py 加载校准数据时：

file: loader.py func: loader line No: 47 First calibration picture md5: ...
file: tool_utils.py func: tool_utils line No: 118 list index out of range

根本原因

工具链内部代码在判断输入布局时，硬编码访问了 shape[3]，但你的特征输入是 2 维 [1, 157]，没有第 3/4 维。

日志明确显示：

WARNING can not get nhwc info from shape: [1, 157]

这是 hbdk 3.27.1 版本对 2 维 featuremap 输入的支持 bug。

解决方案（按管理员建议）

方案 A：图像输入也转成 featuremap（Shockley 建议）

核心：两个输入都用 featuremap + no_preprocess，你自己做前处理，dump 送入 ONNX 前的数据。

input_parameters:
  input_name: 'image;features'
  input_shape: '1x3x224x224;1x157'
  input_type_train: 'featuremap;featuremap'
  input_layout_train: 'NCHW;NCHW'
  norm_type: 'no_preprocess;no_preprocess'
  mean_value: '0;0'
  scale_value: '1;1'
  input_type_rt: 'featuremap;featuremap'
  input_layout_rt: 'NCHW;NCHW'

校准数据生成（关键！）：

# 图像校准数据 - dump 预处理后的数据
img = cv2.imread(path)
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
img = cv2.resize(img, (224, 224))
img = img.astype(np.float32)
img = (img - mean) / std  # 归一化
img = img.transpose(2, 0, 1)  # HWC -> CHW
img.reshape(1, 3, 224, 224).astype(np.float32).tofile('00000.feature')

# 特征校准数据
feat.reshape(1, 157).astype(np.float32).tofile('00000.feature')

方案 B：临时 workaround（如果方案 A 仍报错）

在模型中添加 dummy reshape，让工具链看到 4 维：

# 导出 ONNX 时
dummy_feat = torch.randn(1, 157, 1, 1)  # 4 维
# forward 中
features = features.reshape(-1, 157)  # 推理时自动展开

快速验证

# 1. 确认 YAML 配置
grep -E "input_(type|layout|shape)|norm_type" /data/workspace/gai/BPU/convnext.yaml

# 2. 验证校准数据
python3 -c "
import numpy as np
img = np.fromfile('/data/workspace/gai/calibration_data/image/00000.feature', np.float32)
feat = np.fromfile('/data/workspace/gai/calibration_data/features/00000.feature', np.float32)
print(f'图像：{img.shape} (期望：(150528,))')
print(f'特征：{feat.shape} (期望：(157,))')
"

# 3. 重新运行
hb_mapper makertbin --config convnext.yaml --model-type onnx

如果还是报错

这是工具链版本限制，建议：

在当前帖子回复，让官方确认是否是已知 bug
升级工具链到最新版本（联系官方）
临时方案：修改模型输入为 4 维

需要我帮你写完整的校准数据生成脚本吗？

hux0528 · 2026 年4 月 15 日 06:47

这样改成四维后，校准数据要改吗？

地瓜小助手_bot · 2026 年4 月 15 日 06:47

要改！校准数据维度必须与 YAML 配置一致

校准数据修改对照表

输入	原 shape (2 维)	新 shape (4 维)	文件大小
图像	`1x3x224x224`	`1x3x224x224`	602112 bytes (不变)
特征	`1x157`	`1x157x1x1`	628 bytes (不变)

关键：特征校准数据需要 reshape 成 4 维，但文件大小不变（都是 157 个 float32）。

校准数据生成脚本

# generate_calib_4d.py
import numpy as np
import os
import cv2

# === 配置 ===
img_dir = '/data/workspace/gai/calibration_data/image'
feat_dir = '/data/workspace/gai/calibration_data/features'
os.makedirs(img_dir, exist_ok=True)
os.makedirs(feat_dir, exist_ok=True)

calib_num = 30  # 校准数据数量

# 图像预处理参数
mean = np.array([123.675, 116.28, 103.53], dtype=np.float32)
scale = np.array([0.01712475, 0.017507, 0.01742919], dtype=np.float32)

# === 生成图像校准数据 (4 维：1x3x224x224) ===
raw_image_paths = [...]  # 你的原始图片路径列表

for i, img_path in enumerate(raw_image_paths[:calib_num]):
    img = cv2.imread(img_path)
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    img = cv2.resize(img, (224, 224))
    img = img.astype(np.float32)
    
    # 归一化
    img = (img - mean) * scale
    
    # HWC -> CHW
    img = img.transpose(2, 0, 1)
    
    # Reshape 成 4 维 (1, 3, 224, 224)
    img_4d = img.reshape(1, 3, 224, 224).astype(np.float32)
    img_4d.tofile(f'{img_dir}/{i:05d}.feature')

print(f"Generated {calib_num} image calibration files (4D)")

# === 生成特征校准数据 (4 维：1x157x1x1) ===
raw_feature_paths = [...]  # 你的原始特征路径列表

for i, feat_path in enumerate(raw_feature_paths[:calib_num]):
    # 加载特征数据
    feat = np.load(feat_path).flatten().astype(np.float32)
    
    # Reshape 成 4 维 (1, 157, 1, 1)
    feat_4d = feat.reshape(1, 157, 1, 1).astype(np.float32)
    feat_4d.tofile(f'{feat_dir}/{i:05d}.feature')

print(f"Generated {calib_num} feature calibration files (4D)")

验证校准数据

# 验证文件大小和维度
python3 << 'EOF'
import numpy as np
import os

img_dir = '/data/workspace/gai/calibration_data/image'
feat_dir = '/data/workspace/gai/calibration_data/features'

# 图像校准数据
img_file = sorted([f for f in os.listdir(img_dir) if f.endswith('.feature')])[0]
img_data = np.fromfile(f'{img_dir}/{img_file}', dtype=np.float32)
print(f"图像校准数据：{img_data.shape[0]} float32")
print(f"  字节数：{img_data.nbytes} (期望：602112 = 1*3*224*224*4)")
print(f"  可 reshape 为：{img_data.reshape(1, 3, 224, 224).shape}")

# 特征校准数据
feat_file = sorted([f for f in os.listdir(feat_dir) if f.endswith('.feature')])[0]
feat_data = np.fromfile(f'{feat_dir}/{feat_file}', dtype=np.float32)
print(f"特征校准数据：{feat_data.shape[0]} float32")
print(f"  字节数：{feat_data.nbytes} (期望：628 = 1*157*1*1*4)")
print(f"  可 reshape 为：{feat_data.reshape(1, 157, 1, 1).shape}")

# 文件数量
img_count = len([f for f in os.listdir(img_dir) if f.endswith('.feature')])
feat_count = len([f for f in os.listdir(feat_dir) if f.endswith('.feature')])
print(f"\n文件数量匹配：{img_count == feat_count} (Image: {img_count}, Feature: {feat_count})")
EOF

完整的 YAML 配置（4 维）

model_parameters:
  onnx_model: '/data/workspace/model_output/convnext.onnx'
  march: 'bernoulli2'
  working_dir: 'model_output'
  output_model_file_prefix: 'convnext_bubble'

input_parameters:
  input_name: 'image;features'
  input_shape: '1x3x224x224;1x157x1x1'   # ✅ 4 维
  input_type_train: 'featuremap;featuremap'
  input_layout_train: 'NCHW;NCHW'
  norm_type: 'no_preprocess;no_preprocess'
  mean_value: '0;0'
  scale_value: '1;1'
  input_type_rt: 'featuremap;featuremap'
  input_layout_rt: 'NCHW;NCHW'

calibration_parameters:
  cal_data_dir: './calibration_data/image;./calibration_data/features'
  calibration_type: 'max'

compiler_parameters:
  compile_mode: 'latency'
  debug: False
  optimize_level: 'O3'

执行顺序

修改 ONNX 模型（特征输入改成 4 维）
重新生成校准数据（用上面的脚本，reshape 成 4 维）
修改 YAML 配置（input_shape 改成 1x157x1x1）
验证校准数据（用上面的验证脚本）
重新运行转换

hb_mapper makertbin --config convnext.yaml --model-type onnx

关键提醒

项目	要求
ONNX 模型输入 shape	`[1, 3, 224, 224]` 和 `[1, 157, 1, 1]`
YAML input_shape	`1x3x224x224;1x157x1x1`
校准数据维度	图像 `(1,3,224,224)`，特征 `(1,157,1,1)`
校准数据后缀	`.feature`
校准数据数量	两个目录文件数量必须相同

三者必须一致！

需要我帮你写修改 ONNX 模型的脚本吗？

Marcelo6151 · 2026 年4 月 15 日 11:03

这个直接看手册会更快找到答案，如我上面的描述准备校准数据

或者可以尝试求助天工

onnx转换bin时，多输入校准有问题

问题定位：配置与管理员建议不一致

按照管理员建议的完整解决方案

核心原则

步骤 1：修改 YAML 配置

步骤 2：重新准备校准数据（关键！）

步骤 3：验证校准数据

步骤 4：重新运行转换

配置对照表（管理员建议）

执行顺序

如果还有问题

核心问题：YAML input_shape 仍是 2 维

立即执行排查

步骤 1：确认当前 YAML 配置

步骤 2：验证校准数据文件大小

步骤 3：用这个模板重新创建 YAML

如果还是报错

可能的根本原因

好问题！你说得对，模型原始输入确实是 2 维的。

为什么需要 4 维？

工具链的内部逻辑

两种解决方案

方案 A：修改 ONNX 模型（推荐，可立即解决）

方案 B：不修改模型，但接受工具链限制

建议执行顺序

先确认 ONNX 模型实际输入

如果确认是 2 维，有两个选择：

我的建议

请告诉我

明白了！管理员说得对，不需要改 4 维。

正确的配置方案（2 维输入）

步骤 1：YAML 配置

步骤 2：校准数据要求（关键！）

步骤 3：如果还是报错

请先提供以下信息

如果工具链确实不支持 2 维 featuremap

list index out of range 错误详解

错误本质

导致此报错的 5 种情况

针对你的情况的排查清单

最可能的原因 + 解决方案

解决方案（二选一）：

建议

list index out of range 错误根因分析

根本原因

解决方案（按管理员建议）

方案 A：图像输入也转成 featuremap（Shockley 建议）

方案 B：临时 workaround（如果方案 A 仍报错）

快速验证

如果还是报错

要改！校准数据维度必须与 YAML 配置一致

校准数据修改对照表

校准数据生成脚本

验证校准数据

完整的 YAML 配置（4 维）

执行顺序

关键提醒

`list index out of range` 错误详解

`list index out of range` 错误根因分析