挖掘16自由度潜力，Allegro Hand实现多物体分批抓取

在机器人灵巧手科研领域Allegro Hand是使用非常广泛的四指科研灵巧手。它拥有拇指加三根手指共16个主动驱动自由度手掌尺寸接近成年人手掌常搭载于Franka协作机械臂末端用来开展抓取、手内操作算法验证。即便硬件自由度充足要让Allegro Hand像人一样在手中同时握住2‑4个分散的小物体依旧是一个极具挑战的问题。人类可以采用分批的策略抓取物件用部分手指捏住第一个物体之后保持关节锁死再调动其余空闲手指抓取下一个物体。但传统算法大多控制Allegro Hand所有手指同步动作只完成单个物体包裹抓取现有的多物体同步抓取方案又要求物体必须紧密聚集摆放。一旦物体分散抓取极易失败。瑞典皇家理工KTH研究团队围绕Allegro Hand这套硬件完整开发了SeqGrasp优化算法、SeqDataset大规模仿真抓取数据集、SeqDiffuser扩散抓取生成模型。这套方案每次只占用手部部分自由度逐个抓取物体已经抓取的物体保留在手内剩余自由度继续执行后续抓取最多可连续抓取4个物体。对比基线MultiGrasp抓取成功率最高提升43.33%SeqDiffuser抓取生成速度相比传统优化方法快750‑1250倍。一、硬件背景Allegro Hand的能力与现实约束Allegro Hand每根手指配备4个独立驱动关节合计16自由度关节无耦合支持对每个关节独立控制。把算法落地到这款灵巧手做多物体序列化抓取需要面对几个硬件带来的客观约束关节复用冲突不同夹持模式会共享部分关节。一旦某组关节被一次抓取占用冻结所有依赖这些关节的其余夹持模式都会失效算法需要精细化管理关节占用状态手掌空间有限Allegro Hand手掌物理空间有限当手中已经持有2‑3件物体留给新物体的操作空间被大幅压缩极易发生物体之间互相穿透挤压仿真与实物鸿沟仿真环境中稳定的抓取姿态迁移到真实Allegro Hand上微小的定位误差就会造成物体脱落。过去多物体抓取相关研究大多最多只支持2个物体或者仅适配球体、圆柱体这类简单几何体专门面向Allegro Hand的大规模序列化多物体抓取公开数据集处于空白。二、SeqGrasp面向Allegro Hand的序列化抓取优化算法SeqGrasp属于机械手无关的优化框架论文中主要在Allegro Hand上开展实现与验证。核心思路每次抓取仅启用Allegro Hand一部分自由度抓取完成后冻结对应关节剩余可用自由度留给后续物体循环执行最多完成4个物体的抓取序列。针对Allegro Hand论文定义7组对抗空间Opposition SpaceOS分别是中指‑无名指、食指‑中指、拇指‑食指、无名指‑手掌、中指‑手掌、食指‑手掌、拇指‑手掌。 每一组对抗空间由两部分组成二元掩码向量标记该模式需要使用Allegro Hand的哪些关节一组手部三维接触点集合代表可以施加夹持力的手部表面。仅依靠一组对抗空间的两个接触点就可以实现稳定夹持不需要调动全部16个关节。算法核心流程来自论文Algorithm 1在可用对抗空间集合中随机采样一组OS用于抓取当前目标物体使用MALAMetropolis‑Adjusted Langevin Algorithm做梯度优化求解抓取位姿能量函数共6项加权子项包含力封闭、接触距离、手‑物穿透、手自穿透、物体‑物体穿透、关节限位保证不破坏已经握在手内的物体同时姿态符合Allegro Hand硬件关节范围将已经使用完毕的对抗空间从可用集合剔除更新剩余全部对抗空间的关节掩码若某一组OS依赖的关节全部被占用则直接移除该OS循环执行直到没有剩余可用对抗空间或者完成预设物体抓取数量。整套优化输出的抓取序列全部满足Allegro Hand物理约束为数据集生成提供基础。三、SeqDatasetAllegro Hand专用大规模序列化抓取数据集现有公开多物体抓取数据集大多面向同步抓取很多适配Shadow Hand缺少Allegro Hand的序列化样本。SeqDataset是当前规模最大的序列化多物体灵巧手数据集。数据集目标灵巧手最大抓取物体数有效抓取样本抓取模式开源MOG人手Barrett手‑28K同步/序列化❌Grasp’EmShadow Hand290K同步✅SeqDataset(Ours)Allegro Hand4870K序列化✅源物体取自DexGraspNet共509个物体模型缩放物体包围盒至0.06‑0.10 m适配Allegro Hand手掌尺寸构造600套四物体组合做4次随机置换得到2400组唯一物体序列使用SeqGrasp生成原始抓取总量490万条在Isaac Gym仿真器中做物理有效性校验仿真验证条件物体密度500 kg/m³摩擦系数2.06个正交方向施加9.8 m/s²加速度持续100仿真步全部物体保持接触、最大穿透深度小于1 cm才判定为成功样本筛选后保留870K87万条有效无穿透抓取样本数据生成消耗约2500小时A100 GPU算力数据集开源。数据集统计得到贴合Allegro Hand硬件特性的客观结论手掌参与的对抗空间无名指‑手掌、中指‑手掌、食指‑手掌抓取成功率显著高于指尖‑指尖类对抗空间其中Ring‑Palm成功率45.57%Thumb‑Index成功率仅5.75%Thumb‑Palm为17.67%。论文假设该现象来源于Allegro Hand和人手生物力学结构差异人类擅长的拇指主导抓取在这款机械手上稳定性反而偏低统计显示96.12%样本具备抓取3‑4个物体的能力证明这套策略可以有效利用Allegro Hand的自由度资源。四、SeqDiffuser基于扩散模型面向Allegro Hand的高速抓取生成SeqGrasp优化得到的抓取质量高但计算开销巨大生成256个抓取样本SeqGrasp、MultiGrasp约需要900‑1000秒无法用于机器人实时任务。团队基于SeqDataset训练条件扩散模型SeqDiffuser。模型基于DexDiffuser架构改造把Allegro Hand的对抗空间OS作为条件输入将选中OS编码为one‑hot特征向量和抓取表征拼接设计二进制扩散选择掩码扩散加噪、去噪过程只更新当前OS所对应的关节与手部位姿已经被之前抓取冻结的关节保持不变使用BPSBasis Point Set对物体点云编码作为物体条件损失函数仅针对掩码选中维度计算。实测生成256个抓取仅需要0.8秒相比优化方法提速750‑1250倍。论文明确指出它的短板扩散生成样本普遍存在更大手‑物体穿透深度仿真可以通过但很多姿态无法直接在真实Allegro Hand硬件复现需要后处理优化。五、仿真与实物实验对比基线为SOTA同步多物体抓取方法MultiGrasp实物硬件平台Franka Panda机械臂 Allegro Hand灵巧手。测试物体分为两套3D打印适配尺寸的测试物体集、日常物体集。实物测试执行高加速度动态轨迹、手掌朝下手腕±90°旋转模拟扰动检验抓取稳定性。仿真实验Isaac Gym评价指标成功率SR、最大穿透深度Pene.、多样性Div.、生成耗时Eff. 1‑2个物体SeqGrasp、SeqDiffuser与MultiGrasp性能接近 3‑4个物体场景SeqGrasp成功率显著优于MultiGrasp。MultiGrasp调用Allegro Hand全部自由度同步抓取单物体接触点更多但随着物体数量增加手物挤压造成穿透快速增大成功率大幅衰减。 所有方法在4物体任务均出现性能下降3个物体已经占用Allegro Hand手掌大部分空间第四个物体抓取逼近机械手运动学极限物体间交互组合爆炸任务难度急剧上升。 SeqDiffuser速度优势极大但输出样本穿透数值显著高于SeqGrasp。真实硬件实验SeqGrasp打印物体集3物体任务10次试验5次成功4物体任务10次试验5次成功平均成功率约50%MultiGrasp平均成功率仅8.7%部分试验甚至无法输出有效抓取同步抓取依赖物体之间互相挤压维持稳定现实微小定位误差就直接导致物体掉落SeqDiffuser实物平均成功率仅13%。主要原因是扩散模型输出的穿透使得真实Allegro Hand无法复现仿真内的理想姿态。六、研究局限当前对抗空间选择、物体抓取顺序为随机采样目的获取多样性数据集不是任务最优抓取序列未来可以通过人类偏好学习得到面向任务的最优抓取时序该工作只输出目标抓取关节位姿没有做机械臂运动规划无法直接得到无碰撞到达抓取姿态的运动轨迹因此没有完成完整端到端抓取演示后续可以结合强化学习以目标抓取位姿为条件学习运动策略。Allegro Hand是机器人研究中最主流的科研灵巧手之一大量研究集中在单物体抓取。该工作跳出“全部手指同步包裹物体”的思路通过分次占用自由度充分利用Allegro Hand的16自由度实现手内连续抓取多个物体。