重磅!中科院Casia Hand创始团队连发T-RO顶刊,灵巧手具身智能新高度!

纵观全球机器人产业发展历程,每一次关键技术的突破都会带来新的市场机遇。孵化自中国科学院自动化研究所的中科硅纪Casia Hand具身智能机器人创始团队,近期在机器人学领域顶级国际期刊《IEEE Transactions on Robotics》(T-RO)连续发表两项突破性成果。团队在国际上首次实现人和机器人之间的类人双向反应式物体交接,以及多种构型灵巧手对多样化工具的功能性抓取操作,在工业制造、家庭服务、特种应用等领域建立起显著技术优势。这些突破性进展标志着中科硅纪成为国际上兼具灵巧手硬件和类人灵巧操作具身智能算法的顶级团队。

在机器人与人类协作日益紧密的今天,赋予机器人类人般的灵活操作能力已成为产业界和学术界的共同焦点。中科硅纪通过持续的具身智能算法创新,突破了机器人“能用”和“会用”工具的关键技术壁垒,有效解决了传统灵巧手机器人在数据集稀缺、手-物接触关系模糊、对人工数据标注高度依赖以及系统效率低下等方面的固有局限。这一创新方案在泛化能力、安全性、实用性和可靠性等方面均实现突破,为降低部署成本、提升适应性开创了新的技术路径。 

 

图1 人与机器人间的物体交接

图2 人类使用工具VS灵巧手使用工具

机器人大讲堂了解到,中科硅纪Casia Hand创始团队十多年来专注于机器人“上肢”能力的软硬件技术突破,在国内最早系统性开展腱绳驱动灵巧手和“灵巧手+具身智能”研究。作为领域稀缺的长期将“硬”(灵巧手)和“软”(AI算法)深度结合的团队,公司成立不到一年便凭借深厚技术积累迅速崭露头角,已构建起“算法-部件-整机-应用”的完整技术体系。自主研发的“Casia Hand系列仿人灵巧手及具身智能机器人系统”先后获“第49届日内瓦国际发明展金奖”和“ISTA全球创新与发明奖”,连续被央视新闻联播、央视财经频道等重要媒体报道,同时标志着团队成功实现从实验室到产业化的关键跨越,为解决机器人领域的“最后一公里”难题开辟新途径,展现出卓越的技术实力和广阔的市场前景。 

 

让机器人更懂人类:突破人-机物体交接的智能边界

              

中科硅纪创始团队近期在类人灵巧操作具身智能领域取得重要突破,成功开发出可实现人与机器人之间双向动态响应式物体交接框架,为实现高效、流畅、自然的人机协同操作与交互提供了关键技术支持,将促进人机交互协作向更高水平发展,对促进机器人在实际应用中的推广具有重要意义。

              

              

相关研究成果《Reactive Human-to-Robot Dexterous Handovers for Anthropomorphic Hand》已发表于机器人学顶级期刊IEEE Transactions on Robotics (T-RO)。这是该团队半年内继机器人功能抓取学习研究后在T-RO发表的又一重要突破,凸显了我国在通用类人灵巧操作具身智能领域的研发实力。

                  

图3 灵巧手机器人的响应式物体交接方法框架

              

研究团队针对现有灵巧手机器人在物体交接过程中对人类动态行为适应性不足的问题,创新性地提出了一个包含跟随、抓取和响应三个核心模块的方法框架。该框架通过高帧率RGB-D相机实现实时视觉感知,该方法在保留对多样物体抓取泛化能力的基础上,实现了系统的闭环运行,显著提升了机器人的适应性。

              

工作系统地使用深度学习技术进行人体分割和关键点检测,结合空间剪裁策略精确定位目标手掌位置。基于Transformer架构的抓取网络能够通过低分辨率点云输入预测高精度的抓取配置,显著提升了系统的实时性和准确性。

              

图4 基于Transformer的抓取网络架构

   

为了实现更智能的抓取决策,研究团队创新设计了一种综合考虑抓取置信度、接近可达性和抓取分类可靠性权重的抓取选择策略。其中,抓取置信度反映了预测抓取的稳定性,接近可达性通过计算机械臂末端执行器与目标姿态之间的四元数距离来评估,而抓取分类可靠性权重则基于网络对不同抓取类型的预测分布确定。这种多维度的评估方法显著提升了系统的适应性和可靠性。


在安全性设计方面,研究人员开发了一种基于轨迹插值的碰撞检测方法。该方法在物理仿真器中建模了实验平台及其周围环境,通过对机械臂关节角度进行线性插值,快速检测运动过程中是否存在碰撞风险。这种方法能够在2毫秒内完成检测,满足实时控制的需求。


在实验验证阶段,该方法框架展现出卓越性能。系统在1000个未知物体的交接任务中实现了80.67%的成功率,将执行时间从传统方法的16.28秒显著缩短至6.85秒。特别值得注意的是,抓取网络仅在仿真环境合成的数据集上进行训练,便能泛化至现实场景中的新物体。在面对复杂或不常见的传递姿势时,机器人能够灵活选择适宜的抓取模态,充分体现了方法框架的泛化能力。

                  

图5 各种交接物体

              

通过深入的用户研究进一步验证了系统的实用性。研究团队邀请了不同年龄段和不同机器人操作经验的8名参与者进行测试,结果显示系统能够很好地适应不同用户的传递习惯。在安全性、抓取合适性、意图理解和协作性等关键评估指标上,大多数用户给出了高度认可的评价,证实了该系统在实际应用场景中的可靠性和友好性。

              

图6 人-机物体交接


图7 物体交接中的多样传递姿势

          

赋予机器人灵活使用工具的能力:迈向真正的类人智能操作

          

“使用工具”是人类智慧最重要的表现形式之一,从家庭日常用品的使用、到工厂各种生产工具的操作、到空间站在轨维护工具的应用,人类已离不开各式各样的工具。像人一样使用工具是人类期望机器人能具有的通用灵巧操作能力之一,将深刻影响人类的生产和生活方式。

中科硅纪创始团队通过借鉴人类使用工具的功能性抓取方式,提出了基于精细化手-物接触表示的仿人灵巧手功能性抓取方法,通过少量的人类工具使用的示教数据学习,实现多种构型灵巧手对多样化工具的功能性抓取操作。相关研究Learning Human-like Functional Grasping for Multi-finger Hands from Few Demonstrations,发表于机器人领域顶级期刊IEEE Transactions on Robotics (T-RO),成为该领域的引领性工作。

            

            

对工具的功能性抓取是灵巧手使用工具的前提,旨在模仿人手的灵活性,在抓取规划时需要考虑该工具的使用目的。团队针对功能性抓取生成面临的数据集稀缺、手-物接触关系模糊、对人工数据标注的高度依赖以及低效率等问题,借鉴人类根据工具形状、类别及使用目的来选择抓取方式的特点,提出了基于精细化手-物接触表示的仿人灵巧手功能性抓取生成框架DexFG(Dexterous Functional Grasping)。   

            

图8 灵巧手工具使用的功能性抓取生成框架

            

该框架通过精细化手-物接触表示,清晰地定义手部各关节与物体表面接触区域的关系,并利用物体类别间的稠密形状对应关系,以及人手与仿人灵巧手之间的形态学相似性,实现从单一物体到同一类别物体、从人手到多种仿人灵巧手的抓取泛化。框架包含两个部分:一是仿人灵巧手功能性抓取数据集的构建;二是基于精细化手-物接触表示的功能性抓取生成网络,其包括类别级物体重建、基于操作意图的功能性抓取生成、以及迭代式手-物接触微调三个网络模块。

                

图9 基于精细化手-物接触表示的功能性抓取生成网络

团队还建立了灵巧手功能性抓取的大规模数据集,包含 40 类共 2500 个常见工具(物体)的超过 37500个灵巧手功能性抓取标注,支持多种构型灵巧手的包括Tool-use Grasp、Human-to-robot Handover Grasp、Pickup Grasp等工具使用操作任务的功能性抓取。

            

图10 灵巧手功能性抓取数据集

                

为全面验证所提出的灵巧手功能性抓取生成框架的有效性和鲁棒性,针对多种不同构型的灵巧手进行了系统性的功能性抓取的虚拟和实际场景验证,实验结果表明,融合了类别级物体先验知识的单视角物体重建网络模块,能够实现更为稳健与精细的物体重建,方法能够针对工具使用、交递工具和拾取工具等操作,生成高度类人的多样化工具(物体)的功能性抓取。


图11 多种构型灵巧手的功能性抓取生成

            

聚焦包括工具使用在内的类人灵巧操作能力,该研究成果为机器人像人一样自主使用工具能力的突破提供了强有力的具身智能算法支撑。


核心技术优势:十年磨一剑,从实验室创新到产业化突破


中科硅纪孵化自中国科学院自动化研究所多模态人工智能系统全国重点实验室王鹏教授Casia Hand具身智能机器人团队。王鹏教授团队十多年来专注于机器人“上肢”灵巧操作能力的技术突破,是国际上具身智能机器人领域的顶尖团队。基于物体交接和工具使用两项突破性研究成果,中科硅纪创始团队在具身智能领域开创了新的技术路径。目前市面上的机器人要么使用结构简单但功能有限的双指夹持器,要么采用灵活度高但控制复杂、成本高昂的多指机械手,难以满足产业需求。中科硅纪在类人灵巧操作具身智能领域的创新性解决方案,通过深度学习算法让机器人能够“看懂”物体功能特征并生成抓取策略,不依赖昂贵传感器和复杂力反馈控制,有望显著降低系统复杂度和成本。   


深耕类人灵巧操作具身智能领域多年,中科硅纪的技术优势体现在多个方面。首先是强大的学习能力,通过少量示教数据即可掌握各类工具使用方法,从日常生活用品到工业工具,再到空间站维护设备都能适应。其次是出色的泛化能力,基于类别的形状对应技术让系统能够处理未见过的物体和场景,将对单个物体的操作经验快速迁移到同类其他物体上。此外,相关技术已在包括Casia Hand、Shadow Hand、SchunK Hand、DLR Hand等不同灵巧手平台上进行了验证测试,展现出技术方案在不同硬件系统上的适用潜力。


经过系统性研发,中科硅纪已打造出一套涵盖“整机-算法-部件”的Casia Hand完备产品体系。研发了面向工业和服务场景的“无忧”机器人,以及面向特种场景的“无畏”机器人;建立了通用类人灵巧操作“大脑-小脑”协同具身智能算法体系;在领域内最早实现了灵巧手的系列化,结合不同应用场景形成了“高-中-低”自由度多个型号灵巧手,并推出了数据手套等数据采集和动作捕捉产品。


目前,这套完整的”整机-算法-部件”技术方案已在特种应用、工业和服务场景进行了应用验证,并与多家上市公司建立了合作关系,通过典型客户和场景牵引产品的快速迭代。  

  

图12 央视新闻联播等媒体对Casia Hand的报道

具身智能引领机器人变革:“上肢”能力驱动万亿级市场增长


随着具身智能技术的快速发展,据研究报告显示,具身智能产业规模已从2018年的2,923亿元增长至2023年的7,487亿元,预计2030年全球人形机器人关键部件灵巧手的市场规模有望突破879.7亿元。


具身智能正在重构机器人产业的技术路径和应用边界。市场预测显示,到2025年,协作机器人市场规模将达150亿美元,其中灵巧抓取与操作占比超40%;服务机器人市场规模预计突破500亿美元,具备灵活操作能力的产品将成为主要增长引擎


基于物体交接和工具使用的突破性成果,中科硅纪的类人灵巧操作具身智能技术与这些快速增长的市场需求高度契合,将在多个领域展现应用价值。在工业制造中,智能化生产需求日渐高涨,全球工业机器人市场规模预计2027年突破500亿美元,柔性化需求驱动的灵巧手市场占比将超20%。通用类人灵巧操作机器人有望适应多品种生产,提升生产线的柔性化水平和生产效率。在3C电子制造领域,中国3C电子自动化装配市场年增速达25%,由自动化向智能化转型的趋势逐渐凸显,精细化的手物接触建模和实时轨迹优化技术有望实现精密零部件的柔性装配。物流仓储方面,全球仓储自动化市场2025年将达300亿美元,具备通用抓取能力的机器人有望突破传统自动化系统的局限,实现各类商品的灵活拣选,为物流仓储行业提供智能化灵巧操作赋能。    


服务机器人和特种应用领域,具身智能的应用潜力更为广阔。服务机器人市场年复合增长率达35%,所覆盖的行业及场景趋向多样化,对机器人灵巧操作的能力需求与日俱增;中科硅纪的先进AI算法使得即使相对低成本的硬件平台也有可能操作任务,这将加速高性能机器人的普及应用。在特种应用领域,针对高危、特殊、多样场景下的危险操作需求,可以充分发挥算法优势,远程操作处置任务目标,如爆炸物或放射性物质等危险品类,保障人员安全。


从技术创新到市场应用的发展轨迹表明,以中科硅纪为代表的具身智能企业正以扎实的技术积累推动行业深刻变革。在全球机器人技术竞争日益激烈的背景下,掌握核心算法、构建技术壁垒的创新企业,必将在这场产业变革中占据先机,推动具身智能产业持续蓬勃发展。

          

中科硅纪告诉机器人大讲堂记者,公司未来将继续聚焦机器人类人灵巧操作能力的持续深化与创新,深化在“整机-算法-部件”方面的全链条技术优势和应用落地能力。将技术优化转化为产品优势,继而通过与细分场景的深度融合,通过典型用户牵引,在实战中迭代产品性能。同时,中科硅纪将继续加大研发投入,夯实在类人灵巧操作具身智能机器人方向的软-硬结合技术壁垒,实现硬件(灵巧手)和软件(具身智能算法)的协同进化,并积极探索国际市场,提升品牌影响力,引领通用类人灵巧操作机器人技术和产品创新,并实现在工业、服务和特种场景的广泛应用。

          
图13 Casia Hand获日内瓦国际发明展金奖、ISTA全球创新与发明奖

图14.Casia Hand连续亮相2023和2024世界机器人大会

              

(文:机器人大讲堂)

欢迎分享

发表评论