基于柔性磁膜的触觉传感器

作者:闫友璨

本文已获得闫友璨博士授权发布,转载请联系本公众号

在具身触觉社区主办、HyperAI超神经协办的「新锐论前沿」第五期线上分享活动中,来自法国国家科学研究中心的博士后研究员闫友璨博士,以「基于柔性磁膜的自解耦及超分辨率触觉传感」为主题,向大家分享了基于柔性磁膜的触觉传感器的设计及应用等内容。

触觉感知是智能机器人和人机交互的重要能力之一,但如何实现高精度、快速响应的触觉传感仍然面临诸多挑战。传统触觉传感器在力的测量中往往受到信号耦合的限制,难以准确分辨法向力与切向力。同时,由于传感单元分辨率的限制,触觉感知的空间分辨率也受到制约。基于柔性磁膜的自解耦及超分辨率触觉传感技术,为这些问题提供了一种解决方案。

该技术通过正交磁化的 Halbach 阵列设计了一种柔性磁膜触觉传感器。当外力作用于传感器表面时,柔性磁膜发生形变,导致磁场分布发生变化。集成的霍尔传感器能够捕捉磁场变化,并通过信号处理实现三维力的自解耦。另外,通过使用超分辨率算法,该传感器可以实现高于物理分辨率的定位精度,大幅提升了触觉感知的空间分辨率。

12 月 26 日,在具身触觉社区主办、HyperAI超神经协办的「新锐论前沿」第五期线上分享活动中,来自法国国家科学研究中心的博士后研究员闫友璨博士,以「基于柔性磁膜的自解耦及超分辨率触觉传感」为主题,向大家分享了基于柔性磁膜的触觉传感器的设计及应用,并重点介绍了如何利用正交磁化的 Halbach 阵列实现三维力的自解耦。

HyperAI超神经在不违原意的前提下,对闫友璨博士的本次深度分享进行了整理汇总。

触觉传感器的设计与应用探索

机器人触觉感知的现状与挑战

众所周知,人类的手能够完成许多复杂操作,例如切土豆、倒水等,这主要得益于手部丰富的触觉感知能力。这种触觉感知对机器人而言同样至关重要,它不仅可以帮助机器人感知外部环境,还能实现与环境的交互。当触觉传感器被安装在机器人的指尖时,即便在没有视觉反馈的情况下,机器人也能完成一定的精细操作。

然而,与人类的触觉系统相比,当前机器人的触觉感知仍主要局限于指尖,而人类则在全身范围内分布着触觉感受器。为了赋予机器人触觉感知能力,研究人员开发了多种类型的触觉传感器,包括光学型 (Optical)、压阻型 (Piezoresistive) 和电容型 (Capacitive)等。这些传感器各有优缺点,但它们面临的共同挑战在于如何通过简单的传感器结构和标定流程,解耦法向力与切向力。

基于柔性磁膜的触觉传感器设计

针对这一问题,我们设计了一种基于柔性磁膜的触觉传感器(如下图所示),其结构由三层组成:最上层为正弦磁化过的柔性磁膜,由聚二甲基硅氧烷 (PDMS) 与钕铁硼磁粉混合而成;中间层为柔性弹性层;底层为带有霍尔传感器的电路板 (PCB)。当外力作用于传感器表面时,柔性磁膜发生变形,从而引起磁场变化。这种磁场变化被霍尔传感器捕捉后,通过信号处理实现对外力的解耦。

解耦外力大小的必要性在于,在某些场景或应用中,通过力反馈可以利用简单的物理原理实现高效控制。如下图所示,在实验中,我们演示了基于触觉反馈的鸡蛋自适应抓取。当传感器检测到沿切向的下拉力时,控制系统会相应增加加持力,使得合力始终位于摩擦锥内,从而保持抓取的稳定性。若无触觉反馈,鸡蛋则可能因缺乏及时调整而滑落。因此,力的解耦对实现精准控制具有重要意义。

正交磁化的 Halbach 阵列

本研究采用了 Halbach 阵列磁铁,其独特之处在于能够增强一侧的磁场并削弱另一侧的磁场。如下图所示,当磁性材料沿 x 方向和 z 方向分别以正弦模式磁化并叠加后,可使磁场在一侧显著增强,而另一侧接近为零。这一特性广泛应用于电机、磁悬浮轨道以及冰箱贴等领域。

此外,由于 Halbach 阵列下方的磁通量 Bx 与 Bz 与 x 和 z 坐标耦合在一起,故无法使用该原始磁通量进行力的解耦。但经过计算我们发现,磁场强度 B(即 BxBz 的平方和开根号) 仅与 z 方向相关,而与磁场方向有关的量 RB(即 Bx/Bz)仅与 x 方向相关(如下图所示)。在实际测量中也验证了这一结果:磁场强度 B 的值仅受 z 方向影响,而 RB 的值仅受 x 方向影响。

基于这一特性,法向力 Fz 可通过磁场强度 B 表示,切向力 Fx 则可通过磁场方向 RB 表示,从而实现了 x 方向与 z 方向的天然解耦。此解耦特性显著简化了传感器的标定过程。然而,该磁化方式的局限性在于,沿 y 方向的磁场强度分布一致,无法感测 y 方向上的力。

为了解决这一问题,我们将两层正弦磁化后的磁膜进行了叠加。由于磁场遵循叠加原理,叠加后的磁场沿 x、y、z 三个方向均有变化。如下图所示,通过推导证明,在小变形条件下,叠加后的磁场强度 B 以及磁场方向参数 Rxz 和 Ryz 也具有天然解耦的特性。因此,我们可以利用这三个参数推导出 x、y、z 方向的力的大小,从而降低标定复杂度并实现更快速的标定。

基于三维力解耦的触觉传感器应用

基于上述传感原理和力的解耦方法,我们可以实现分布力的测量。下图展示了一种由 24 个传感单元组成的触觉传感器,其形状为膝关节横截面的轮廓。通过提前标定弹性层的刚度系数并测量每个传感单元沿 x、y、z 方向的位移,我们可以获得实时的分布力。

下图展示了膝关节转动时,传感器测得的力分布情况。其中,x 方向表示左右方向,y 方向表示前后方向,z 方向表示垂直方向。对比传感器的读数与 ATI 传感器的测量值,二者的合力大小具有较高的一致性。

此外,基于传感器的物理模型,可以推导出其灵敏度和量程的表达式。如下图所示,沿 z 方向的灵敏度 Sz 表示在单位输入(或单位压力)作用下,传感器响应变化的程度。响应变化越大,灵敏度越高。x、y、z 方向的灵敏度与弹性层的厚度、弹性层的杨氏模量以及磁化周期相关。同时,量程也与上述三个参数有关,但灵敏度和量程受到这些参数的影响是相反的。因此,需要根据具体需求在更高灵敏度与更大量程之间取得平衡。

为此,针对不同应用场景,我们设计了三种不同的传感器,每种传感器在灵敏度和量程方面的参数有所差异。如下图所示,第一个传感器的应用刚刚已展示,其余两个传感器的实际应用分别为以下两个场景:

第一个应用场景是基于触觉的机械臂示教。如下图所示,我们将一个 3×3 阵列结构的传感器安装在机械臂末端,用于示教任务(如制作咖啡)。当外力作用于传感器时,传感器可实时计算 x、y、z 方向的力和力矩。通过将传感器读数与增益矩阵 (gain matrix) 相乘后再加上机械臂的当前位姿即可得到机械臂的最新位姿,由此完成咖啡制作的示教操作。

第二个应用场景是护膝触觉传感。如下图所示,该传感器采用柔性 PCB ,安装于护膝内部,用于监测人在行走过程中护膝与皮肤间的三维接触力。实验结果表明,不同运动状态(如步行、下蹲、跑步)下的传感器响应有明显差异。当护膝的支撑力增大时,传感器所测力值也随之增加,这是由于弯腿时需要施加更大的力来克服护膝提供的支撑力。

触觉超分辨率的研究与应用

触觉超分辨率是通过多个传感单元或相邻传感单元之间信号的叠加与插值 (interpolation) 实现的高精度触觉信息恢复方法。当传感单元在外力作用下发生整体变形时,我们可通过上述力的解耦算法实现三维力的测量。但当物体施加于两个传感单元之间,且传感器表面连续时,如何准确推算施加力的位置和大小是一个关键问题。为解决这一问题,我们提出了一种超分辨率模型。其目标是在传感器的任意位置施加力时,可以通过超分辨率算法精确估算接触力的位置与大小。

超分辨率算法的发展

超分辨率算法的概念最早由 Nathan 于 2015 年提出。他指出,当传感单元的接收区域(即感知场)存在重叠时,其物理分辨率定义为能够清晰区分两点的最小间距,通过超分辨率算法,可以将这一分辨率进一步提高。下图展示了 2015-2024 年期间的部分代表性研究。

我们在 2021 年的研究中提出了一种定性分析加定量分析的超分辨算法。如下图所示,在一个 3×3 的传感器阵列上,当一个小球压在其表面时,我们首先根据最大响应值定位出小球的初步位置(位于 5 号传感单元)。随后,通过 x 和 y 方向磁通量的符号(正或负),进一步推算其位于该传感单元的上侧还是下侧,以及左侧还是右侧,由此可将传感器的空间分辨率提高一倍(相比于物理分辨率)。由于这种方法是定性分析,因此可用于不同形状的接触物体。

为了进一步提升定位精度,我们采用多层感知机 (MLP) 模型对 x 和 y 方向进行回归分析,从而得到更精确的接触位置。有了接触位置,我们可以结合 z 方向磁通量的读数,通过提前标定好的查找表确定按压深度,进而推算力的大小。然而,该方法仅适用于单点接触,无法处理多点接触的情况。

为了解决多点接触的问题,我们提出了基于几何模型的方法。如下图所示,当球形物体压在传感器表面并由 Position 1 移动到 Position 2 时,传感器 S1 测量到的磁场相当于从水平位置 X1 移动至 X2。通过分析 RB 值与 x 方向的关系,可以从 RB 曲线中计算接触位置 x,并进一步推算力的大小。

其具体工作流程如下图所示,该方法可以实现 15 倍分辨率的提升。

下图展示了基于几何模型的高分辨率算法,在实时定位接触位置和测量力大小方面的表现。我们进一步测试了不同形状的物体,包括球形和非球形物体(假设非球形物体可等效为某一直径的球形物体)。该方法可同时检测多点接触,初步实现了触觉超分辨率在复杂场景下的应用。然而,目前尚无法实现对力分布的高分辨率测量,这仍是未来需要攻克的挑战。

基于贝叶斯优化的机器人触觉诊断

通过结合触觉传感器和贝叶斯 (Bayesian) 优化算法,我们实现了机器人快速触诊(模拟医生触诊,即通过按压身体不同部位以诊断病变)。

下图为实验设置,其中 3D 打印的硬块用于模拟肿瘤,其上覆盖的硅胶模拟人体组织。右下角蓝色区域表示硬块硬度分布的真值 (ground truth)。这里我们将触觉传感器设计成了弧形结构,以减少摩擦力并提高灵敏度。实验目标是以最少的按压次数找到硬块位置,并实现肿块的精确分割。

通过贝叶斯优化算法,触觉传感器可以在 15 次迭代内找到第一个硬块的轮廓,20 次内发现第二个硬块,30 次内定位第三个硬块的边界。

接着,我们对硬度分布的估计进行聚类后可以找到每个肿块的质心,从质心出发沿不同方向滑动传感器可找到肿块在每个方向的边界点(通过检测 Bx 值的突变),然后将找到的边界点通过三次样条插值拟合即可得到肿块的精确分割结果。

对于质心在体外的复杂形状(如 C 型或 O 型硬块),实验表明该方法同样可以精确找到其边界。

盲文识别与材质分类

触觉传感器也可以用于盲文识别。当传感器滑过盲文时,x、y、z 三个方向的磁通量会随着盲文凸起的不同而产生不同的变化。为此我们训练了一个 LSTM 神经网络,该网络的输入为传感器的磁通量变化,输出为相应的字母或符号,可以实现 97% 的识别成功率。

此外,利用相同的传感器系统及 LSTM 神经网络还可以实现布料材质分类。通过将传感器按压在布料表面并进行滑动,我们发现传感器沿 x、y、z 方向的响应反映了布料硬度、摩擦力和粗糙度的特性,依据这一特性我们实现了 99% 布料识别成功率。

总结与展望

我们设计了高灵敏度的触觉传感器硬件,并开发了力的解耦与超分辨率算法,将其应用于触觉诊断和材质分类等实际场景。然而,该领域仍存在许多未解问题,包括传感器仿真的优化与扩展;适用于复杂接触场景的通用超分辨率算法开发;实现类似人类皮肤的全身触觉感知等。

未来,我们将继续探索触觉传感器的潜力,推动其在智能机器人和人机交互中的广泛应用。

 往期推荐 

“阅读原文”,免费获取海量数据集资源!

(文:HyperAI超神经)

欢迎分享

发表评论