机器人缺的不是眼睛:LingBot-Touch 把触觉变成通用 Token

行业分析机器人缺的不是眼睛openstarry.com

视觉很强,不等于手上有分寸

Fable 5.2 在 RoboDojo 中拿下 64.9% 成功率,说明视觉模型在拼魔方、画机器人、安装齿轮等依赖观察的任务上继续进步。但同一类评测里,GPT-6 Astra 接入双灵巧手后,插充电器和插试管在 33 次真机测试中成功率为 0。问题不在眼睛不够好,而在插头已经顶歪卡死时,机械臂感觉不到阻力,仍按视觉指令继续用力。这个反差对落地很有价值:视觉适合判断位置、形状和步骤,触觉负责回答碰没碰到、用了多大力、力往哪走、有没有打滑。两者不是替代关系。

通用触觉 Token 解决什么问题

过去触觉难以复用,卡在两点。第一,视触觉、磁触觉和压阻式的底层原理不同,记录的是三种不通的方言,换一只手往往就要重训。第二,真实触觉数据稀缺,靠遥操作采集又慢又贵。

LingBot-Touch 的做法是把三类信号统一成动作模型可直接使用的通用触觉 Token。它不要求所有硬件长成一样,而是把接触理解抽象成四个问题:碰在哪、用多大力、力往哪走、是否滑动。Tiny 版只有 532 万参数,接入三类主流动作模型时参数量只增加 0.13% 到 0.16%,适合先做旁路增强,而不是推翻现有动作模型。

在测试中,接入 LingBot-Touch 后,T-Rex、π0.5 和 LingBot-VLA 的平均成功率分别提升 23.18、21.81 和 24.81 个百分点。团队用两款灵巧手、四款动作模型验证了 26 项真机任务和 12 项仿真操作。更关键的是跨硬件迁移:把触觉模型参数冻结后装到新款磁触觉灵巧手上,π0.5 的平均成功率由 48% 升到 74.17%。这说明触觉表征有机会从人手数据迁移到不同形态的灵巧手,减少每换一次硬件就重采数据、重训模型的负担。

哪些场景值得优先接入

不是所有机器人任务都需要触觉。物体刚性、位置固定、视觉无遮挡、容错空间大的任务,纯视觉可能已经够用。更值得优先评估的是接触频繁、力度敏感、遮挡严重,或者一次失误代价较高的环节。

选择标准可以归纳为五条:任务是否依赖力控和滑动感知;视觉是否被遮挡;失败是否会造成硬件损坏或高返工成本;现有动作模型是否支持外接触觉编码器;传感器延迟和算力预算是否可控。先用一条高价值工序做对照测试,比一上来铺满整只手更稳妥。

如何用起来

LingBot-Touch 已经开源,项目提供代码仓库、模型社区和技术报告入口,适合先做小范围验证。落地步骤可以按以下顺序推进。

  1. 明确现有动作模型接口。先核对输入输出格式,把触觉 Token 作为动作模型的附加输入,而不是重写整套控制链路。
  2. 从 Tiny 版开始。532 万参数带来的增量较小,适合在真实节拍下观察延迟、稳定性和对原有成功率的影响。
  3. 准备少量真机校准数据。优先采集打滑、顶歪、遮挡、力度过大等失败样本,不必一开始追求大规模数据。
  4. 先验证跨手迁移。可先冻结触觉模型参数,在新灵巧手上做零样本测试,再决定是否做轻量微调。
  5. 按部位混装传感器。指尖需要高分辨率,可考虑视触觉;手掌需要大面积、低成本受力感知,可考虑压阻阵列。同一个模型能读懂不同原理的信号,才有条件做这种性价比组合。
  6. 建立验收指标。至少跟踪任务成功率、力控误差、定位误差、单次操作耗时和硬件损伤次数,避免只看演示视频。

成本与落地建议

成本要分四块看。传感器硬件决定精度、耐用性和维护频率;数据采集决定前期投入;动作模型适配和产线集成决定工程周期;长期校准和更换决定运维成本。开源能降低模型训练和重复造轮子的门槛,但不等于零成本,具体许可、服务与硬件费用仍需按项目核实。

落地时建议先算清三笔账。第一,失败成本账。插头顶歪、玻璃杯滑落、软管挤爆造成的停机或损坏,是否足以覆盖触觉改造投入。第二,集成账。新增触觉 Token 后,控制环路是否仍满足节拍,传感器布线、供电和更换是否方便。第三,数据账。人手手套数据能降低采集难度,材料中提到近 5000 小时、13.3 亿帧真实触觉数据,其中约三分之二来自人类手套;但具体工位仍需要少量真机数据做校准。

更稳妥的路径是单点验证、逐步扩展:先选一个视觉容易失败但触觉收益明确的工序,做有无触觉的 A/B 对照;确认成功率和损伤率改善后,再扩展到同类工序。对传感器厂商,通用触觉 Token 可以减少每款新硬件都从头训练模型的负担;对灵巧手和整机厂,则可以在指尖和手掌采用不同原理的传感器,而不必为每种组合维护一套触觉模型。材料提到相关能力已在零售药房、仓储物流和工厂产线等场景与伙伴推进落地,但规模化前仍应以现场节拍、维护条件和投资回报为准,不宜把单点演示直接等同于全场景可用。

以 AI 之力,筑未来之境

现在注册,立即免费获赠 200 次大模型调用权益

免费注册 →