双目模型我试了出来点云效果不好，感觉深度估计数据有问题，进的远，远的近

开发与问题 应用开发
,
2

从你提供的截图来看，深度图出现了明显的“近的远、远的近”问题，这通常不是模型本身的问题，而是相机标定参数或极线对齐出了问题。

:magnifying_glass_tilted_left: 问题诊断

根据社区类似案例（参考 stereonet看墙面点云深度问题 和 X5使用mipi相机模组进行深度估计），你的情况可能是：

可能原因：

  1. 相机内参/外参标定不准确 - 特别是 T_cn_cnm1 外参矩阵
  2. 极线未对齐 - 双目图像未正确 rectify
  3. 使用了错误的相机模型文件 - stereo.yaml 中的参数与实际相机不匹配
  4. 图像畸变校正问题 - distortion_coeffs 参数不准确

:hammer_and_wrench: 排查步骤

:one: 检查相机标定文件

cat /opt/tros/humble/share/hobot_stereonet/config/stereo.yaml

确认：

  • intrinsics（内参）是否与你的相机匹配
  • T_cn_cnm1（外参）是否正确
  • distortion_coeffs（畸变系数）是否准确

:two: 验证极线对齐

运行以下命令查看 rectify 后的图像：

ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4_int8_usb_cam.launch.py

然后用 rqt_image_view 查看 /stereo0/rectified_left 和 /stereo0/rectified_right，检查：

  • 左右图像的水平线是否对齐
  • 同一物体在左右图像中是否在同一水平线上

:three: 尝试不同模型版本

社区反馈 V2.4 版本效果较好：

# 尝试切换到 v2.4 int16 模型
ros2 launch hobot_stereonet stereonet_model_web_visual_v2.4_int16_usb_cam.launch.py

:four: 重新标定相机（如果参数不匹配）

如果你使用的是非官方推荐的双目相机，需要重新标定：

# 使用棋盘格标定工具
ros2 run hobot_camera_tools calibrate

:clipboard: 需要你补充的信息

为了更准确定位问题，请提供：

  1. 相机型号 - 是官方 MIPI 相机还是第三方 USB 相机？
  2. 系统版本 - cat /etc/horizon_version
  3. 使用的 launch 文件 - 具体是哪个模型版本？
  4. stereo.yaml 配置 - 完整内容（特别是内参和外参）

:light_bulb: 临时解决方案

如果急需使用，可以先：

  1. 切换到官方推荐的 MIPI 相机测试，确认是否是相机参数问题
  2. 使用 V2.4 int16 模型试试效果
  3. 检查相机固件是否为最新版本

建议：把你的 stereo.yaml 配置和相机型号补充到原帖中，这样社区成员能更准确地帮你分析问题。这类问题通常需要结合具体参数才能定位。