11月20日,上海觅蜂具身智能科技有限公司(以下简称“觅蜂科技”)官方发布一项真机数据质量研究。团队称,该研究基于20.7万小时真机采集记录、2万余条任务记录,用微调后的π0.5模型做真机验证。
π0.5是Physical Intelligence开发的通用机器人基座模型,觅蜂团队用自采示教数据微调后,在真实机器人上评估。
团队将机器人本体适配、遥操作系统和模仿学习数据质量三个已有研究方向,放进同一条真机数据生产链路中讨论,并用具体实验量化其中的部分影响。
相关论文已于11月17日提交至arXiv。研究结论是,机器人成功完成任务,未必就能拿到好的训练数据,成功的示范也有可能教坏模型。
论文由觅蜂真机操作团队署名,属于尚未经同行评审的技术报告。在论文的贡献说明中,研究团队将参与人员分为核心贡献者、团队负责人、贡献者及Sponsor(项目支持)等类别。
项目支持名单列有觅蜂科技董事长兼CEO、智元联合创始人、联席总裁、具身业务体系总裁姚卯青及智元具身研究中心副总裁任广辉等人,未说明具体支持形式。觅蜂科技是智元机器人孵化的数据服务公司,论文首页同时列有智元机器人遥操作网站域名。
论文分别描述了三组受控实验。
第一组是观测缺失实验,团队把积木放在机器人视野外,比较三种采集协议。
从实验结果来看,操作员直接看见目标、机器人看不到时,模型选臂准确率50%,接近随机猜测;操作员与机器人同视角、凭先验直接选臂,为53%;先让机器人主动搜索确认目标再选臂,达到100%。
三组各做30次真机评估,完整抓放成功率分别为33%、40%、60%,前后差距的95%置信区间为27至64个百分点。
实验表明,操作员和机器人看到同样的东西还不够,示范必须把决策依据记进画面。
第二组是校准实验,团队在14个关节的状态数据里按批次人为加入零位偏移,模拟不同采集批次的校准差异,每组100条示范。
论文称,实验全部使用与部署零位一致的干净数据时,成功率63.3%;混入75%偏移数据但保留25%对齐锚点,为66.7%;没有干净锚点时只剩20%到26.7%。推理端机器人自身存在零位偏差时,30次测试全部失败。
团队表示,对后训练而言,校准一致性是模型在部署本体上可靠执行的前提。
第三组是冗余实验,团队向训练数据掺入0%到80%含停顿绕行的示教。模型保留了新增路径长度的约90%,执行耗时从25.3秒升至32.6秒。
这组实验对应采集现场的真实场景。实验结果说明,后训练数据的危险之处在于可能混淆任务成功率与动作质量。操作员为弥补设备限制做出的绕行和停顿,可能随成功示范一并进入训练集。
三类问题影响模型学习的方式并不相同。观测缺失让模型只看到操作结果,缺少决策所需的信息;校准不一致让相同的关节数值对应不同的实际姿态;冗余示范把操作员的补救动作当作正确路径交给模型。
为解释“隐形坏数据”产生的原理,团队从本体设计和遥操作控制两个层面分析。论文作者说明,端到端的因果验证仍属后续工作。
本体层面,团队分析了智元G1/G2、宇树G1-D、星海图、松灵、ARX、Franka等25款主流双臂机器人。结果显示,夹爪加长后,机器人够得到更远的位置,但可能伴随关节极限代价上升。
论文提出,机器人选型不能只比较机械臂长度,还应综合评估任务所需的位置、夹爪方向和关节余量;工作空间不足时,应优先考虑腰部运动。
控制层面,实验发现,控制系统引入的多余动作,最终会被后训练固化进模型的动作策略里。
团队提到,一个滤波算法可能只需要不到1毫秒完成计算,却给实际运动带来超过200毫秒的相位滞后。操作员看到的画面落后于机器人的真实动作后,容易越过目标、等待反馈,再反向修正。
因此,评估采集系统质量时,不能只考虑网络延迟、算法运行时间和任务成功率,还需要测量从操作指令、机器人响应到视觉反馈返回的整个过程。
关于人类示范数据的质量如何影响机器人模仿学习,学界已有相关研究,主要涉及模型对决策依据的识别、遥操作采集系统的设计,以及不同示范方式对下游策略的影响。
觅蜂这项研究的意义在于,将本体、控制、数据三类变量放进同一数据生产框架,给出真机量化结果。论文指出,实验只用单一策略模型和单一动作表示,部分偏移为人工注入,效应的普适性有待更多任务和架构验证。
今年9月,觅蜂发布众包平台觅蜂派。觅蜂方面表示,真正判断数据质量的,始终是下游模型是否愿意复购,以及使用之后有多少价值,平台结算按审核后的有效数据时长执行。
觅蜂此前宣传百万小时级无本体数据产能、年内目标千万小时级,论文披露的20.7万小时属于真机遥操口径。两者并非同一统计口径,未说明统计范围是否交叉。
论文验收清单提出检查完成时间、轨迹长度、动作连续性与决策信息完整性,与结算口径如何衔接有待确认。
对数据服务行业,这项研究的指向是验收标准可能从任务是否成功,扩展为观测完整性、校准一致性、路径效率的多维口径,能否进入采购与定价环节,待觅蜂客户端验证。
观察点是,同行数据服务商是否跟进同类质量指标,模型公司是否在采购验收中提出对应要求,第三方是否在π0.5之外的架构上复现这些效应。
