Advanced Intelligent Systems 软体机器手助力截肢者玩转鼠标

随着科技的不断进步,假肢技术在改善截肢者生活质量方面取得了显著成就。然而,截肢群体在就业方面仍面临巨大困难,适龄截肢群体的就业率仅为健全群体的一半。现有的肌电控制假肢手在与计算机交互时存在诸多挑战,特别是截肢者在使用标准计算机外设(如鼠标)时,因假肢手的刚性结构及设备的不规则形状而导致操作困难,这直接影响了他们的工作效率和生活便利。

针对上述问题,方斌和李曙光教授在“清华大学自主科研课题前沿交叉专项”资助下,联合研制了一种新型的软体肌电假肢手。该软体肌电假肢手旨在通过灵巧的软体手指和“一对多”映射的肌电交互接口,提高截肢者使用假肢手操作物理鼠标的任务性能和用户体验。研究的核心动机在于探索如何通过创新的软体假肢设计与交互控制策略,使截肢者能够更加高效和轻松地完成多种光标控制任务。相关成果以“A Robotic Prosthetic Hand for Computer Mouse Operations”为题发表在《Advanced Intelligent Systems》上。

https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/aisy.202500126

软体假肢手及其肌电控制接口

为了实现鼠标的基本操作,包括点击按键、滚动滑轮和平面移动,作者开发了一款软体假肢手及其肌电控制接口,如图1所示。这款软体假肢手配备两个肌腱驱动的软体手指和三个鳍状手指,不仅可以包络抓握不同尺寸的鼠标,同时手指还能执行点击和滚动等基本鼠标操作。具体而言,通过一对鳍状手指组成的夹爪能实现灵活的鼠标平面移动,另一个鳍状手指则设计用于适应不同鼠标的表面曲率,以实现鼠标滑轮的滚动。两个肌腱驱动的软体手指采用热塑性聚氨酯(thermoplastic urethane, TPU)材料构造,负责执行鼠标的左右键点击操作。该软体假肢手的总成本为434美元,整体重量为405.8克,与接受腔连接后的总长度接近于人手的长度。


人手能够通过单根手指的动作完成多种操作类型,包括单击、双击、长按、向下滚动和向上滚动。在肌电控制算法方面,作者结合了轻量级卷积神经网络与基于决策窗口的后处理算法,实现了手势动作与鼠标操作之间的“一对多”映射。

图1:软体假肢手系统的总体框架

用户研究

现有的研究主要集中于验证基于表面肌电信号的光标控制方法在菲茨定律类型任务中的性能表现。在本研究中,作者比较了所提出的软体假肢手系统和肌电控制光标方法在两种菲茨定律类型任务中的性能差异。


此外,作者还设计了一种典型的电脑办公任务——跨文件夹的复制粘贴任务,旨在比较使用所提出的软体假肢手系统或肌电控制光标方法在组合键盘完成任务时的性能表现。此外,该任务还评估了单侧截肢者在同时使用鼠标和键盘与单手(健全侧)操作鼠标之间的表现差异。


实验结果表明,采用作者设计的软体假肢手系统进行鼠标操作时,用户的任务完成时间显著缩短,展现出更高的操作效率和更低的肌肉使用率,整体任务表现和用户体验均优于传统的肌电控制鼠标方法(图2)。

图2:菲茨定律类型任务的性能表现

讨论

本文的研究发现,截肢者使用假肢手操作鼠标能够有效地利用残肢的自然运动,从而显著减少用户在操作过程中的控制负担。此外,软体假肢手系统的设计不仅提高了截肢者与计算机交互的灵活性与友好度,还展示了低位截肢者通过假肢手直接操作物理鼠标的可行性,强调了为截肢者提供更广泛的可供性选择以提高假肢设备的接受度。


综上所述,本研究通过创新的设计和有效的实验验证,为改善截肢者与计算机的交互能力提供了重要的理论和实践依据,进一步探索了软体假肢技术在未来发展的广阔前景。

图3:截肢者使用软体假肢手系统完成光标控制任务的惊喜瞬间

来源:CAAI认知系统与信息处理专委会

(文:机器人大讲堂)

欢迎分享

发表评论