机器人视觉与六维位姿感知

机器人视觉工程实践现场的团队合影 — PROJECT CONTEXT项目团队与工程实践现场。

背景

这条视觉链路从 RealSense D435i 的对齐 RGB-D 数据开始。系统需要先在真实工作区中隔离目标支撑物，再为下游机器人计算给出相机坐标系下的空间位置与轴向；二维检测框或分割掩膜只能说明目标在哪里，不能直接回答坐标原点、方向和深度关系如何定义。图 1 展示了目标区域与六维位姿坐标轴在同一真实画面中的叠加。

真实机器人视觉画面中的目标支撑结构与六维位姿坐标轴 — FIG. 01 / 6D POSE真实工作区中的目标支撑物与六维位姿可视化。

坐标轴在画面中看起来合理，并不等于位姿已经能够用于工程计算。对于该对象，还需要检查目标隔离是否准确、深度样本是否来自有效顶部结构、坐标系语义是否一致，以及不同观测中是否出现方向翻转。后续方法与验证都围绕这四个问题展开。

方法与过程

目标支撑物最初也评估了 FoundationPose，希望通过模型配准直接获得 6D Pose。工程记录显示，这一对象曾选中上下颠倒的全局配准分支：渲染轮廓仍可能接近，但任务坐标系的方向已经不再符合使用要求。这不是对 FoundationPose 的普遍判断；图 3 所示的独立无人机仿真路线仍保留分割与 FoundationPose，因为对象几何和任务约束不同。

多帧目标支撑物 YOLO 识别与分割结果 — FIG. 02 / YOLO SEGMENTATION多帧目标区域分割结果，用于限定后续深度几何计算范围。

机器人视觉工作区中的另一组六维识别结果 — FIG. 03 / FOUNDATIONPOSE / SIMULATION独立无人机仿真语境中的分割与 FoundationPose 位姿结果，用于说明不同对象保留不同方法路线。

对目标支撑物而言，稳定可见的信息主要来自顶部承载结构。图 2 的 YOLO 分割先限定深度采样范围，随后从对齐深度中保留顶部有效点，以局部平面、中心、长短边和法向构造坐标系。目标支撑物的主位姿方法因此冻结为 YOLO_V2_PLUS_TOP_DEPTH_GEOMETRY，而不是继续把完整网格配准作为主路线。

使用 YOLO segmentation 隔离目标支撑物区域。
读取与彩色图对齐的有效顶部深度点。
由顶部平面、中心、长短边与法向构造坐标系。
检查合法 SE(3)，输出相机坐标系下的 T_camera_target。

机械臂末端与标定板构成的手眼标定场景 — FIG. 04 / CALIBRATION手眼/标定相关工程记录；该坐标变换链不属于本视觉包已冻结的验证范围。

目标标注数据的分布与框选结果 — FIG. 05 / DATA DISTRIBUTION目标支撑物标注分布，用于检查检测与分割数据的尺度和位置覆盖，不代表位姿精度。

图 4 保留了手眼/标定相关工程记录，但该坐标变换链尚不属于本视觉包的冻结验证范围；相机坐标系中的 T_camera_target 不能直接等同于机器人基坐标系下的可执行目标。图 5 则记录目标支撑物标注的尺度与位置分布，用来检查检测与分割数据覆盖，不作为位姿精度证据。对象本身存在平面内对称性，因此 yaw 按 180° 等价类解释，这是坐标定义需要保留的边界。

工程证据

验证需要分别回答两个问题：分割模型的优化过程是否可复核，以及最终坐标系在多帧观测中是否保持几何一致。图 6 保留训练与验证曲线，用于检查损失和检测指标随训练过程的变化；这些曲线本身不等同于六维位姿精度，也不能替代位姿的工程检查。

多组机器人视觉验证结果曲线 — FIG. 06 / TRAINING RECORD训练与验证曲线记录，用于检查分割模型优化过程；曲线本身不等同于六维位姿精度。

更直接的位姿证据来自逐帧复核。现有验证摘要记录：5 帧工程测试均为 GOOD；23 帧人工复核中 21 帧为 GOOD、2 帧为 USABLE，静态检查未发现上下翻转或无效 SE(3)。这支持在任务前完成一次“观察—求解—冻结”的位姿测量，但不构成高帧率连续追踪或真实机器人执行的证明。

当前链路约 1.7 秒的处理延迟也与这一使用边界一致。至此，流程已经建立从目标分割、顶部深度几何到相机坐标系位姿的可复核关系；手眼变换、机器人与夹爪执行仍需在后续系统范围内单独验证。