最近看到苹果发了一篇机器人控制系统的论文,叫 HALO,挂在 arXiv 上。有意思的是他们拿阿里千问当基座模型,自己只做规划层,真机验证平台是宇树的 G1。更抓眼球的是那个 91% 的平均成功率,而且是零样本迁移——训练全在仿真里,真机上一次没调过。我这两天翻了好几遍论文里的实验设计部分,觉得这个评测方法值得掰开聊一下,因为仿真到真机的坑太常见了,能按这个路数交出 91% 的数据,说明他们测试框架做得很实。
先说评测的具体设计。论文里写了,测试覆盖 6 类单项技能:抓取、放置、推、拉、打开容器、按按钮。每类技能在不同的环境里反复测,总共 360 次试跑。关键点是环境——他们选了 6 个全新场景,训练阶段完全没见过,连扫描数据都没有。这意味着机器人进到房间后的第一帧视觉输入就是陌生的,模型必须靠千问的视觉理解能力实时解读场景,再用 HALO 的规划层把理解转化成动作序列。
我觉得这个 91% 的含金量主要来自两个细节。第一,测试环境不是那种实验室白墙加固定光源的干净场景。论文里提到的场景包括厨房、书架、办公桌,光线和物体摆放都有变化。第二,360 次测试不是闭着眼睛重复同样动作,而是每次物体位置、朝向、背景都不一样。拿抓取来说,同一个杯子可能放在桌面正中、靠近边缘、或者被其他物体半挡住,模型必须适应这些变化。
不过 91% 不代表机器人真的能搞定一切。细看论文,他们定义的“成功”是任务级通过,比如“把杯子放到指定区域”就算一次成功,不管过程中碰倒了什么或者动作有多笨拙。而且测试只测了单项技能,没有组合——比如先推开门再进去抓东西这种多步操作没在 360 次测试里。所以 91% 是一个很具体很保守的数字,说明 HALO 在单步操作上已经能做到非常可靠的零样本泛化,但离“家里随便跑”还有不少距离。
说到仿真到真机的 gap,我自己折腾过类似的东西,深有体会。通常卡住的地方有两类:一是视觉 domain gap——仿真里渲染出来的图片太干净,真机摄像头拍出来有噪点、有反光、有阴影,模型就认不出来了。二是物理参数 mismatch——仿真里假设摩擦系数 0.3,真机桌面可能只有 0.1,机器人一推就滑过头。HALO 能用千问的视觉能力做实时理解,等于把第一类 gap 跳过去了——不需要传统域适应那一套,直接靠大模型的泛化性读真机画面。第二类 gap 他们是通过在仿真里随机化物理参数来覆盖的,论文提到训练时摩擦、质量、刚度都做了随机采样。
另外值得一提的是,苹果在 HALO 里没有自己训练千问这个级别的基座模型。他们直接调阿里千问的 API 或者本地部署的权重,只做感知理解层的推理,规划控制层才是他们自己 train 的。这个选择很务实,因为训练一个通用视觉语言模型的成本太高了,而且机器人场景不需要千问的全部能力,只需要它能把场景描述成结构化的语义。苹果的做法相当于把千问当成了一个可插拔的“视觉编码器”,自己专注做运动规划。
这个合作路线跟国行 Apple 智能那边的情况是一致的。之前有报道说 iOS 27.3 会整合阿里千问,Siri、写作工具、视觉智能都能调用千问的文本和图像理解能力。HALO 用千问做机器人视觉,等于把同一套模型能力延伸到物理世界,技术栈上可以复用苹果在手机端的部署经验。不过机器人对推理时延和稳定性要求比手机高得多,千问跑在 G1 上是不是云端调用还是本地推理,论文里没细说,我觉得大概率是云端,因为 G1 的板载算力跑千问级别的模型太吃力了。
再拉长远看,这个 91% 的实验放在整个行业里算是什么水平?同期特斯拉 Optimus 在工厂里做电池分拣,Meta 和傅利叶在迭代家庭原型,OpenAI 也在往物理世界延伸。HALO 的价值不在于它比 Optimus 强或者弱——根本没法比,因为测试任务和场景不一样。它的贡献是展示了一种“纯仿真训练+大模型视觉理解”的可行路线,成本低、迭代快,不需要真机大量试错。对于想做机器人但又没条件大规模部署真机的团队来说,这条路线很吸引人。
不过话说回来,91% 的成功率测的是“在未见环境里做未见物体的单步操作”,不代表着机器人的通用能力到了这个水平。如果场景里出现训练时完全没见过的物体类型(比如形状极不规则的),或者需要精细力控的操作(比如拧瓶盖),成功率大概率会掉下来。论文里也提到,HALO 在处理柔性物体和透明物体时表现会变差,因为千问的视觉理解在那类场景下本身就容易出错。
总结一下我的感觉:这个评测方法设计得很严谨,360 次、6 类技能、6 个未见环境,覆盖了常见的泛化维度,91% 的数据经得起推敲。但“零样本迁移成功”不等于“机器人真的学会了”,它只是证明了仿真训练加好的视觉理解模型可以跨越一部分 domain gap。下一步如果能测多步组合任务、增加失败恢复机制、把时延压到实时级别,那才真正接近实用。目前看,还是一个很扎实的起点。
苹果用阿里千问在宇树 G1 上跑 HALO,91% 成功率是怎么测出来的
| 人围观 |随便看看
- 美女的裸照自拍流出[19P]
- 和她好好玩一夜[12P]
- [微历史 2025/06/24] 每个人活着要讲真话,死了要把真
- [写真] 美女模特范小宣fancy皮直朋克黑色蕾丝[30P]
- 疯了,连他也被捧为顶流[46P]
- [原创]如何让少妇在你面前自己脱光光?
- [美色品鉴]明星相似度-酒井法子VS龚慈恩
- 5月26日历史的今天 大事记。
- 每天一分钟,知晓天下事!2024年10月1日
- 每日60秒读懂世界 11月21日,在这里每天读懂世界
- [亚洲] 536 木下 结衣 Yui Kinoshita 大桥るり [29P
- 今日早报 7/7
- 极品熟女一枚 [23P]
- [科普读物]元素的形成过程
- 绝顶恼杀闷绝动图之(168)3P-5 嬲和嫐
- 白嫩妹子干游戏陪玩被我钞能力诱惑线下猛猛干她[30P
- [亚洲] 西木野真姬旗袍 [94P]
- 长沙外卖员与某小区物业产生对峙,期间受到殴打,特警出
- [欧美] Diana Jam[20P]
- [写真] 漂亮的小姐姐[53P]
- 颜值好,皮肤好,身材好。三好学生[12P]
- [亚洲] 可爱娇嫩的极品女孩[58P]
- 妹子很鲜嫩 [21P]
- 我都准备好了你快来呀 [12P]
- 《巴比伦柏林》这部史上最贵德剧有消息了
- 体制内出轨和性交易真的很普遍吗?
- 空姐日常 [20P]
- 大家都是怎么找到楼凤渠道的
- [亚洲] 洛丽塔[31P]
- 没了请删除
- [老牛分享第53期] 人见人爱的反差婊爆光墙 第二十
- 公司招聘要求“35岁以上勿扰”,人社局:可要求退休年龄
- [扒B福利社]3.11精品移植手机游戏合集--战斗法则、
- [亚洲] 短发少妇气质很迷人[58P]
- 同样是女人,有没有“胸”,待遇差别有多大?
- 有兄弟尝过精液的味道吗?
- [写真] XIUREN秀人网 2025.09.12 No.10763 鱼子酱Fi
- 俄罗斯商品馆一夕消失?