近日，觅蜂科技联合西北工业大学、西安交通大学发表论文，提出第一视角运动重建框架“MEgoVista”，用以将Ego视频更精准地转化为4D数据。
论文实验结果显示，MEgoVista在Ego视频上具备较高的重建精度，可将无需预先布置场景的第一视角录制数据，有效转化为具有真实尺度的双手动作和头部运动轨迹。
通过独立动捕系统测评和真实场景对比，研究团队检验了MEgoVista的重建精度与跟踪表现。
结果显示，经位置、朝向和尺度对齐后，MEgoVista的手指姿态误差为4.29毫米，低于HaWoR的16.30毫米和Dyn-HaMR的49.18毫米；动作抖动指标为1.11毫米／帧²，也低于两种对比方法。
在制作奶茶、美甲和给宠物洗澡三个真实场景的画面对比中，MEgoVista整体跟踪更稳定，在美甲场景中也是三者中唯一正确区分佩戴者与顾客双手的系统。
Ego视频要在模型训练阶段“派上用场”，关键是将人的操作精准“翻译”成机器人的动作，但从采集的视频中准确提炼4D数据仍面临诸多挑战，包括场景覆盖范围与重建精度往往难以兼顾、“姿势像”不等于“位置准”、真实操作中多人互动和遮挡增加识别难度、头部运动同样会影响重建。
因此，MEgoVista要应对一系列相互关联的挑战，在无需预先布置的场景中准确识别并持续跟踪佩戴者的双手，还原具有真实尺度的手部动作和头部轨迹，再通过独立的外部测量验证重建精度。
针对上述问题，MEgoVista设计了一套离线重建流程：先识别佩戴者的双手，再利用多摄像头测量距离，最后对整段动作进行优化。
研究团队使用一套由26台摄像头组成的独立光学动作捕捉系统，提供参考数据，检验MEgoVista的重建精度。评测手部漏检算作惩罚，避免算法通过跳过困难画面获得更好成绩。
测试中，MEgoVista的手指姿态误差为4.29毫米，HaWoR和Dyn-HaMR分别为16.30毫米和49.18毫米。
这一指标是在对齐位置、朝向和整体尺度后计算的，反映的是手指姿态精度，不代表整只手在空间中的绝对位置误差。
在这批测试数据中，MEgoVista没有出现手部漏检或误检，动作抖动也低于两种对比方法。两组头部轨迹测试中，完整片段的平均位置误差分别为2.87毫米和0.75毫米。
觅蜂科技正持续推进MEgo系列设备量产，以及数据采集、治理和评测能力建设。
此次MEgoVista的研究成果，为这一布局提供了新的技术支撑：在拓展数据来源的同时，提高三维动作重建精度，让真实生活的数据更好地服务于具身模型训练。
