蚂蚁灵波开源触觉预训练模型LingBot-Touch,π0.5接入手套数据后成功率升至74.17%
蚂蚁灵波11月10日开源触觉基础模型LingBot-Touch,将磁触觉、视触觉、压阻式触觉信号统一编码为触觉Token。团队实验显示,π0.5直接接入原始触觉信号时拉拉链成功率从39%降至15%,接入该模型后升至59%。
蚂蚁灵波11月10日开源触觉预训练基础模型LingBot-Touch,技术报告、代码、模型权重同步放出,轻量版LingBot-Touch-Tiny约532万参数。该模型位于触觉传感器和动作模型之间,接收磁触觉、视触觉、压阻式触觉三类信号,统一编码为触觉Token,从中读出接触位置、受力大小和力方向随时间的变化,再交给下游动作模型。
量子位报道中引用的实验由蚂蚁灵波完成:在Sharpa Wave灵巧手五指装上触觉传感器、使用π0.5动作模型拉袋子拉链,仅靠摄像头成功率39%;把指尖传感器读数原封不动喂给模型后,成功率降到15%。交接盒子任务从57%降至48%;换成XHand,6项任务平均成功率从49.71%降到48%。
三类传感器、三步训练
LingBot-Touch按传感原理分设轻量入口,把原始读数转成Token,后面共用一个触觉Transformer主干。团队先统一坐标:将不同触点数量和排布的传感器映射到标准化指尖空间,每个Token的地址由时间、手指和三维位置组成,经旋转位置编码进入模型,因此不要求固定触点数量。
第二步是在特征空间做预测,采用JEPA路线。训练时随机遮住90%的触点且整段时间保持遮蔽,模型根据剩余10%的变化预测被遮住部分的表征,而不逐点还原原始读数。团队称,同样用1000小时数据训练,LingBot-Touch判断接触中心的误差为0.90毫米,VAE和MAE均在3毫米以上。
第三步是扩充数据并防止模型背下固定布局。预训练数据4983小时、约13.3亿帧,三分之二来自人戴触觉手套,三分之一来自遥操作Sharpa Wave双臂机器人,只标注开、关、装配、倒水等任务类别,没有一帧标注力的大小。训练时随机改变触点采样密度并小幅移动每个触点位置。
真机测试与迁移结果
测试覆盖两款灵巧手和四种动作模型,每种模型在不用触觉、直接喂原始信号、接入LingBot-Touch三种设置下分别测试。蚂蚁灵波称,两款手上四种模型接入LingBot-Touch的平均成功率均最高;与不用触觉相比,T-Rex、π0.5、LingBot-VLA的成功率分别提升23.18、21.81、24.81个百分点,参数量代价为0.13%到0.16%。
报道中最能说明跨传感器迁移的是XHand一组:其磁触觉传感器型号从未出现在预训练数据中,预训练中的磁触觉数据全部来自人戴手套,接入时LingBot-Touch未改一个参数。π0.5在6项任务上的平均成功率从直接喂原始信号的48.00%升到74.17%,分离叠杯从32.5%升到72.5%。
- 拉拉链任务:仅摄像头39%,原始触觉信号15%,接入LingBot-Touch后59%
- 交接盒子:原始触觉信号48%,接入LingBot-Touch后63%
- 与FTP-1对比:接触中心误差在Sharpa Wave上0.12毫米对2.19毫米,在XHand上0.16毫米对5.89毫米;FTP-1在这两只手上各配专门适配器,LingBot-Touch使用同一个冻结编码器
- Scaling Law初步显现:Tiny版约4000小时开始饱和,更大的Small版到5000小时效果仍在上升
与灵波其他模型及落地测试
按报道,LingBot-Touch已与LingBot-VLA、LingBot-Depth融合,用于提升手眼协同和精细操作。落地方面,蚂蚁灵波正与乐聚、钛虎等本体伙伴,以及国大药房、隆盛等场景伙伴,在零售分拣、物流分拣和工业场景开展商业化测试,报道未给出这些测试的效果数据。
蚂蚁灵波CEO朱兴对量子位表示,GPT-6 Astra、Claude Fable 5.2等数字世界大模型的进展让机器人复杂任务推理和物理操作能力更强,灵波也在吸收;但跑通操作闭环仍绕不开物理操作泛化性,很大程度要靠具身基础模型自身突破。他称通用大模型与具身基础模型更接近1+1>2的关系。报道同时引用RoboDojo团队测试称,GPT-6 Astra在42项仿真操作任务综合得分排第一,但精度维度成功率仅4%,插管、搭塔等精确接触任务几乎失败。这些均为来源引述,非独立验证。