新闻资讯

敲击扫描期间的指尖中指运动学建模和运动跟踪

1 . 介绍
指猴被誉为现存最大的夜行灵长类动物 [1],其出色的敲击觅食行为使其有别于其他动物。指猴是一种原产于马达加斯加的灵长类动物,具有独特且专门的解剖学特征,即在敲击觅食时使用细长的中指 [2] , [3]。指狐猴的敲击觅食过程需要一系列复杂的步骤。为了寻找营养,它利用细长的第三根手指敲击腐烂的树皮,寻找可能藏有虫子的空洞。猎物。一旦确定了潜在的食物来源,指猴就会用向前倾斜的门牙刺穿木头,形成一个小洞。然后,它继续使用与胶带相同的细中指,巧妙地将其插入孔中,以取出隐藏在 [4]内的珍贵幼虫。。指猴采用的这种觅食方法的特征与工程师用来评估老化基础设施的无损评估/测试(NDE/T)技术相似,包括管道、航空领域使用的复合材料和桥梁。指猴具有许多区别于其他灵长类动物的形态特征,并且由于其奇异的摄食生态和饮食,它们被认为是哺乳动物中适应的特殊例子 [5] , [6]。它们目前被认为是世界上 25 种最濒危的夜行狐猴之一,是受人尊敬的 Daubentoniidae 家族唯一现存的代表 [7]。Daubentoniidae 科中唯一现存的成员,除了拇指外,每个手指上都有爪子 [3],成年平均体重为 2.5 千克 [8],头体长度为 30 至 37 厘米,尾长为 74 至 90 厘米cm  [9](参见图1)。值得注意的是,相对于头部尺寸,指猴还拥有最大的耳朵 [10],这增强了指猴在敲击扫描期间的声学感应 [11]。最初,由于不同昆虫在它们的饮食中的重要性,指猴被认为是食虫的 [12]。但车身尺寸较大这种动物的特征导致一些研究人员认为它们并不是严格意义上的食虫性 [13]、[14]。事实上,它们以许多食物来源为食,特别是幼虫。他们从死树或活树上的腐烂木材、倒下的枯木和很少活的树中提取昆虫幼虫 [13],[15]。因此,它们的进食行为本质上与在腐烂的木材中觅食有关。如前所述,一旦找到空洞,它们就会利用不断生长的门齿小心翼翼地刺入树的外部,并使用灵活的中指提取其中的幼虫 [4],[16]。

指狐猴的声学驱动部分是它的手,更具体地说,是它细长的中指。手指使用的差异对应于指猴的第三和第四手指形态的显着差异 [16],[17]。图 2显示了从指猴尸体上获得的指猴手的完整扫描结果。CT 由杜克大学的共享材料仪器设施提供。非凡的中指充当类似探针的仪器,用于扫描、定位和提取食木(钻木)幼虫和其他类型的猎物。一般来说,手的使用被分为五个不同的类别:


下载:下载高分辨率图像 (460KB)
下载:下载全尺寸图像
图。1。指狐猴在进行敲击扫描(照片:David Haring,杜克狐猴中心)。

(1)
敲击:动物用第三根(有时是第四根)手指以刻板的节奏方式敲击木原木基底。

(2)
握持:指狐猴能够通过用多个手指形成握力来抓住树皮、树枝或任何其他物体。然而,据报道,指猴手中握有物体的情况很少见 [18]。

(3)
探测:打开孔或空腔后,动物用其专门的无名指或无名指之一探测/检查任何缝隙,以丢弃食物或将食物带入 [19]。

(4)
用嘴:动物在喝水或吃食物时将一根手指插入嘴中 [20]。

(5)
梳理:指猴用一根手指梳理或抓挠皮毛 [19]。


指狐猴的形态特征,特别是指趾的独特形状及其在觅食过程中的利用,一直是多项研究的中心内容。它们的手按比例比几乎所有其他灵长类动物的手都长,并且表现出多种用于定位食物的结构形态。指猴的手部特化非常出色,正如前面提到的,第三个手指已经进化出在觅食过程中具有独特的声学驱动能力。同时,其余的数字保留了原来的形式,以帮助指猴的移动性 [17]、[21]。指猴的无名指是敲击的主要工具并从小树洞中提取食物。该手指因其相对细长的结构、较高的神经元密度和增强的关节灵活性而与众不同。这些特殊的伸手和敲击能力来自于中指所附着的掌骨。与第四根手指(最长)相比,第三根手指(最细长)是探测狭窄空腔的绝佳探针,尤其是在硬木树中。然而,应该注意的是,这个脆弱的手指可能容易受到很大的弯曲力的影响。相比之下,第四根手指的特点是长度、坚固、肌肉组织强健和较大的爪(见图2))。因此,它足够强大,可以在确保指猴无名指的位置支撑方面发挥主要作用 [16]。指狐猴对表面进行轻敲扫描后,源自树木不同内部结构的声音反射变化会被该动物巨大、专注且对高频敏感的耳廓检测到。指猴大脑内相对增大的下丘随后处理这些声音信号。该手指在指眼中的敲击速率估计为 97.7  ±  19.9 ms,每次敲击的主要能量在 2 至 27 kHz 之间测量 [5]。


下载:下载高分辨率图像 (347KB)
下载:下载全尺寸图像
图2 . 指狐猴手部 CT 扫描,由杜克狐猴中心 (DLC) 提供;(a) 对手部肌肉和皮肤进行完整扫描;手指连续编号(放大图显示第三和第四个数字爪)(b)突出显示手的骨骼结构。

鉴于指猴独特的觅食行为,人们可能会对其行为知识的有限了解感兴趣。这种理解的缺乏主要源于在自然栖息地观察这些神秘生物的挑战。指猴的夜间生活方式阻碍了研究人员全面了解其行为模式。因此,直到最近,其行为的复杂细微差别仍然难以捉摸。为了解决这个问题,对圈养指猴进行了多项调查,对它们的发育里程碑和行为特征进行了更仔细的检查。

温恩描述了圈养指猴在生命最初几个月的一些发育行为,提供了各种婴儿指猴的定性和定量描述,例如发声、运动、摆脱母亲的独立性,以及防御和警报反应 。 22]。在另一项研究中,Krakauer 等人。检查了三只圈养的成年指猴的手部和身体姿势。值得注意的是,指猴在运动过程中表现出对手部位置的适应性调整,大概是为了减轻施加在其细长手指上的潜在压力。在穿过倾斜和水平分支时,研究人员观察到,与所有三个人的手部位置相比,身体位置具有更大的一致性 [23]。基维尔等人。拟指猴通过将手指卷曲远离基底来减轻运动过程中手指的压力。为了通过实验研究这一假设,采用同步视频图形和压力分析来评估 5 只成年指猴在 30° 仪表跑道上水平运动、上升和下降时的手、脚和手指运动。压力分布表明动物采用重量转移策略来减轻其纤细手指上的负载 [21]。此外,一项研究强调了指猴第三指独特的肌肉骨骼形态,阻止动物在运动过程中对该手指施加沉重的机械负荷。因此,大量的研究探索了当指猴穿过不同倾向的支撑时该手指的位置。CE Oxnard、TL Kivell 和 E. Krakauer 等人之前对这些类似研究进行了深入回顾。 [21]、[23]、[24]。

指狐猴凭借其灵巧的手指实现了非凡的觅食行为,长期以来一直引起人们的关注。然而,这方面仍然缺乏可靠的观测数据。人们通过直接观察或视频记录分析来检查指猴手指的操纵。洛塔等人。 [18]研究了指猴的手部偏好模式,并将他们的发现与之前对圈养个体的研究进行了比较。他们观察到,对于两种最常见的行为(敲击和探测),手部偏好保持一致。此外,据报道,使用双手可以在攻丝过程中扩大覆盖范围,并在探测复杂型腔时提高彻底性。与此同时,费斯特纳等人。对一座岛屿上自由放养的指猴进行了观察,并报告说,指猴在探索和进食时会敲击,主要利用细长的无名指。有趣的是,这两种行为常常显得难以区分。此外,值得注意的是,指猴从来不会同时使用双手来完成专门的手指任务 [25]。米利肯等人。检查并描述了觅食期间第三根手指的使用频率,证明其独立于其他手指的运动 [17]。这项调查涉及设备的内部和外部视频记录。独特的球窝掌指关节促进了第三根手指的自主性和多轴活动性,赋予手指显着的灵活性 [16]。

徐等人。提出了一种经济实惠的视频跟踪系统,旨在测量小动物的肢体运动。该系统采用基于强度和基于颜色的算法来有效地区分标记和周围背景。为了提高准确性和可靠性,采用了自适应加权融合方法,从而能够集成多个跟踪器的关节位置。这种融合技术显着提高了跟踪系统的鲁棒性和精度,确保测量更加可靠 [26]。韦森伯格等人。设计了一种紧凑的高分辨率检测和跟踪系统,称为单光子发射计算机断层扫描 (SPECT) 利用外部标记的红外 (IR) 成像来跟踪动物的运动。然后,在断层扫描图像重建过程中,将获得的动物位置和方向的数据用于运动校正。这种方法确保了在生成的图像中准确可靠地重建小鼠头部解剖结构 [27]。Perner 采用面向对象的方法对猪栏内的猪的运动跟踪进行了研究。参考图像用于辨别感兴趣的物体和背景。使用线重合法生成掩模图像。物体校正后,最终的跟踪路径和运动参数显示在屏幕上,为操作员提供用于各种目的的有价值的信息 [28]。张等人。通过利用数字重建技术,对猎豹高速运动的运动机制进行了深入研究。猎豹腿部机构的运动学和动力学通过应用 Denavit–Hartenberg (D–H) 方法确定 [29]。默里等人。提出了一种使用主动相机的实时运动跟踪方法。该系统包括一个安装在云台上的可移动摄像机,可以智能地调整其视角。评估了两种运动检测技术:光流跟踪和运动能量跟踪。研究结果证明了系统能够准确检测动态图像中的移动边缘,从而在实时场景中实现有效的运动跟踪 [30]。此外,Koehnsena 等人。提出了一种运动跟踪方法,利用 Adob​​e Systems 开发的自定义 JavaScript 和开源统计软件 (R) 来跟踪蝗虫的跳跃行为。通过与模拟视频进行比较来评估跟踪系统的性能 [31]。

虽然之前的研究主要集中在跟踪指猴手的整体运动,但很少强调准确跟踪和复制中指的复杂运动。在作者最近进行的一项研究中 [11],引入了仿生敲击扫描方法来模仿指猴的敲击机制。然而,应该指出的是,该研究未能完全模拟中指在敲击过程中的复杂动力学和运动。

本文的主要贡献在于开发了运动跟踪方法和具有双旋转关节配置(RR )的硬件模型,两者都旨在系统地模拟指猴中指的复杂运动。为了实现这一目标,该研究采用了运动跟踪技术来分析指猴中指的运动。通过同时捕捉视频图形,可以准确地记录和分析运动。为了复制这种运动,构建了一个双连杆机器人手臂模型,允许复制手指的轨迹。使用拉格朗日方法推导中指的运动学,产生了一个模拟指猴手指运动的综合模型。为了确保模型的准确性,运动的各个方面(包括轨迹路径和关节角度)与硬件模型进行了比较和验证。本文分为以下几个部分: 运动跟踪部分,探索角运动和轨迹跟踪的精确测量和分析。接下来的部分“运动学模型”重点是开发一个综合模型来描述指猴中指的复杂运动,并利用数学公式来确定其精确运动。第4节 对仿真结果与硬件实现进行了比较分析。最后,结论部分简要总结了本研究的有价值的发现和深刻的见解。

2 . 运动追踪
本文提出的实验方法基于使用视频采集软件 Kinovea  [32]的无标记运动跟踪方法。普伊格-迪维等人。证明 Kinovea 是一种可靠、精确且有效的工具,用于从坐标获取角度和距离数据 [33]。该计划展示了评估者间和评估者内部的可靠性,建立了其可信度。研究表明,从 90° 到 45° 的视角可以获得可靠的结果,建议使用 90° 的正交视角以获得最佳结果。此外,Shishov 等人。研究展示了 Kinovea 在从现实生活视频中捕获全身运动学方面的成功应用 [34] 。该软件有效地跟踪关节30 Hz 视频中的运动,计算最大误差为 9% 的关节轨迹。它可以在 13% 的误差范围内准确确定角位置和速度,而确定峰值垂直和水平速度的误差范围为 2%。

本研究中使用的视频片段是从国家地理网站获得的,帧是从视频中捕获的。完整视频可通过以下链接访问:https://www.youtube.com/watch? v=Fw2DtZYJuiI 。该视频在 Kinovea 运动跟踪软件的帮助下进行了进一步处理,以跟踪各个关节的运动。


下载:下载高分辨率图像 (176KB)
下载:下载全尺寸图像
图3 . 指指指指指点点;(a) 手部骨骼结构,由杜克狐猴中心 (DLC) 提供 (b) 作为RR机器人的第三个手指的描述;基于手指上的 MCP、PIP 和 DP 关节标记位置设计的 Simulink 模型。

与本研究的目标一致,本文的主要重点是检测和分析针对指指中指的运动。在掌指关节(MCP)、近指间关节(PIP)和远端指间关节(DP)点选择微型标记来跟踪这些不同关节的运动 [35]。如图3所示根据杜克狐猴中心(DLC)提供的指狐手部CT扫描,MCP和PIP之间的距离为70毫米,PIP到DP的长度为40毫米。为了理解整个手指的运动路径,简化时不考虑 PIP 关节角度轮廓的弯曲部分,这将通过使用 Kinovea 跟踪运动来进一步验证。换句话说,角度变化将专门在 XY 平面中测量。正如 Ramsier 和 Dominy  [5]所记录的那样,精确的攻丝众所周知,指猴的频率具有可变性,通常在 8 到 10 Hz 的范围内。出于本研究的目的并为了进行有意义的比较,“周期”被定义为分隔两个连续敲击事件的时间间隔,特别是当指猴的第三个手指接触木质表面时。

2.1 . 角度追踪
为了研究中指复杂的角运动,绘制了 PIP 和 DP 关节的运动路径,如图 4所示。仔细检查和观察不同阶段关节角度的演化模式。当指尖DP从触摸点(图4(a))抬起到点击点(图4(c))时,相对角度从

因为关节放松并且关节上没有力或扭矩;随后,随着指尖上升到空中更高的位置,关节角度逐渐增大到峰值
展示肌肉用力引起的关节主动伸展。此后不久,角度稍微减小到
当指尖以高速快速接近目标物体时。为了进一步了解角度动力学,请参阅图 5,其中显示了关节角度随时间的变化。如图所示,曲线是使用从每个视频帧上计算的手指轨迹导出的有限数据集点通过插值绘制的。为了更好地表示,每个子图在一个循环中被分为四个部分,用季度 1 表示(
) 到第 4 季度 (
)。图 5 (a) 说明了角度(
MCP 关节的 ) 表现出与 PIP 关节角度相似的模式,但规模相对较小。值得注意的是,两个角度大约在同一时间实例(区域

)。

至于角速度,

也共享相同的模式(如三角函数余弦)。尽管如此,整体形状仍与图 5 (a)中的角度(如三角函数正弦)不同,因为后者表示角位移相对于时间的导数。相反,加速特性封装在图 5(c)中。值得注意的是,加速度的线性下降对于
,归因于 MCP 关节的单独影响。MCP 关节可以被视为由一致加速度推动的执行器,从而阐明了观察到的线性下降。


下载:下载高分辨率图像 (933KB)
下载:下载全尺寸图像
图4 . Kinovea 无标记运动跟踪结果显示指猴手指敲击时的相对路径。


下载:下载高分辨率图像 (354KB)
下载:下载全尺寸图像
图5。PIP 和 DP 关节角度变化图的 Kinovea 运动跟踪结果 (a) 相对角度 (b)角速度(c)角加速度。

2.2 . 路径追踪
类似地,在指猴的敲击动作期间跟踪 PIP 和 DP 关节轨迹,如图6所示。当手指停在提升位置的峰值时, DP关节的最大位移为图6(e)中的39.83 mm,然后当指尖DP接触对象时返回到4.63 mm(几乎接近起始点) 。这一观察结果阐明了指猴在敲击过程中手指路径的重复性质,从而在指定位置精确地形成闭环轨迹。由图6 (e)至图6 (f)可以看出,存在一个加速期这使得指尖DP能够获得0.22 m/s的最大速度,这有助于在接触之前获得最大动量。此外,路径序列表明关节PIP首先向后移动,如图6 (a)至图6 (c)所示,随后是向上轨迹,如图6 (e)所示。值得注意的是,该路径不是完美的圆形,因为关节MCP中的基架原点不固定,这与传统的二连杆RR机械臂略有不同。然而,通过对基架原点进行轻微补偿,二连杆RR机器人手臂的这个新原点可以被视为一个固定参考点。因此,出于模拟目的,双链路RR机器人可以被认为是指猴手指的直接复制品。

此外,从视频中,可以绘制指猴的 DP 和 PIP 关节在行进距离、速度和加速度方面的差异,如图7所示。与图5类似,图是使用一个周期的有限数量的数据点生成的。根据图7(b)所示的DP和PIP关节的速度变化图,可以发现DP关节的速度在周期开始时下降,表明指尖离开触摸点,然后稍微加速并在其周期的第二季度达到最大0.23 m/s,可以参考图7(c)。随后,速度在结束时降至 0 m/s 左右
,这意味着它到达最高点并在从

。这种情况可以在距离曲线图 7(a)中观察到,该曲线在该时间间隔内表现出逐渐且最小的距离变化,两条曲线在第三节至第四节初期间均保持接近水平的轨迹。一个周期。此后,指尖会经历加速,导致速度从 0 m/s 逐渐增加到接触物体之前的最大值 0.22 m/s。


下载:下载高分辨率图像 (803KB)
下载:下载全尺寸图像
图6 . Kinovea 无标记运动跟踪结果显示指猴手指敲击时的相对路径。


下载:下载高分辨率图像 (281KB)
下载:下载全尺寸图像
图7 . Kinovea运动跟踪结果中指关节DP和PIP的速度变化(a)距离(b)速度(c)加速度。

3 . 运动学模型
本节重点讨论开发综合数学模型来准确描述指猴中指的复杂运动。通过对关节角度、轨迹和运动参数的详细分析,运动学模型为理解和模拟指猴手指所表现出的复杂运动动力学提供了一个强大的框架。

3.1 . 运动学模型开发
根据其运动学开发了一个简化的机械模型,以深入了解指猴中指的独特机械特性。当指狐猴用手指敲击木头时,其手指关节会发生旋转运动,导致指尖与目标表面以特定角度相交。为了分析该机制,在以下假设下构建了一个简化模型:(i)指尖是直的并绕其各个关节旋转;(ii)敲击时,手掌保持固定;(iii) 手指被描述为两连杆旋转关节(RR)机器人模型(见图3(b));(iv)假设指尖是DP关节的一部分,从而假设它是固定关节。

4.2 . 硬件实现
为了创建全面的硬件模型,使用SolidWorks设计了中指的复制品。该设计基于从动作捕捉测试、Simulink 模型模拟以及指猴骨骼结构 CT 扫描中收集的数据。该手指由两个连杆组成,连接三个关节 MCP、PIP 和 DP,提供两个自由度(
,
)。为了测试该复制手指的整体运动,使用两个标准高速伺服电机构建了硬件模型,这些电机借助合成尼龙绳连接到设计的复制手指。为了驱动,使用了两个 goBILDA 2000 系列伺服电机,如图 10 (b)所示。选择这些伺服系统是因为它们具有高速度(约 0.035 s/60°)和运动范围(300°)以及精确控制(约 0.15°/
s)。在第一个测试阶段,人们发现该手指遵循与指狐中指类似的轨迹趋势,但缺乏结构稳定性,这使得在一块木头上测试这种复制品敲击变得困难。为了加强结构并提高攻丝手指的稳定性,对控制系统和连杆的安装方案进行了一些修改。

为了模仿指猴的手指敲击,我们在 Arduino微控制器和 Adafruit 16 通道 12 位伺服驱动器的帮助下构建了一个简单的开环控制器。基于 Simulink 模型,选择了适当的 PWM 信号参数,从而提供了手指两个连杆的全方位允许运动。该控制器的总体连接框图如图10 (a)所示。这些尼龙绳充当肌腱,允许驱动各个关节,从而形成与指猴手指非常相似的顺应手指设计。

指猴中指尖 DP 和关节 PIP 的变化如图 11所示,用于建议的硬件建模。从图中可以明显看出,指尖的速度在第一节开始时增加,并在第二节中间达到最大值 0.4 m/s,表明在此期间手指的加速度很高。根据Kinovea运动跟踪软件获得的结果,指猴中指相对于距离、速度和加速度的总体变化如图11(d)至(f)所示。手指的 DP 关节和 PIP 关节似乎遵循类似的偏转,如图11 (a) 所示。如图 11所示(e),在循环开始时,指尖以最小0.05 m/s的速度接触物体,并达到0.25 m/s的最大速度。与图11(b)相比,可以看到DP关节的最大速度大于实际跟踪值,因为模仿模型比真实指点手指重,并且长度也明显大于真实指点手指。真实的。模拟加速度也如图11 (c)所示,出于同样的原因,其比例比真实跟踪值更大。但模仿模型也与指猴的手指敲击动作有相似的模式。

通过比较从硬件模型和 Kinovea 获得的性能参数,如图11所示,根据获得的运动跟踪结果,可以观察到硬件模型遵循与指猴中指相似的轨迹,但无法匹配手指敲击表面的速度。还观察到,手指的最大范围明显高于指猴所能达到的范围,因为事实证明电机和肌腱接头在提供精确的连杆控制方面效率低下。在此链接中可以看到 aye-aye 攻丝、提议的 Simulink 模型和提议的硬件模型之间的整体比较。

5 . 结论
本研究追求三个主要目标。首先,它利用运动跟踪技术通过检查动物的视频来分析指猴中指的复杂运动。其次,构建了简化的双连杆机器人手臂模型,以有效地复制观察到的手指轨迹。最后,开发了一个硬件模型来准确模拟指猴手指的复杂运动。

该模型是通过跟踪从视频中捕获的 MCP、PIP 和 DP 关节而得出的。构建了动态RR机器人模型来复制手指的敲击运动。尽管从硬件实现中获得的数据在 DP 关节处(约 0.4 m/s)略高于建模手指的Simulink仿真结果(约 0.6 m/s),但本研究的初步结果似乎如下与指猴敲击木树皮的视频相比,轨迹相似。

由于指猴中指运动学的复杂性,需要进一步研究更准确的研究。目前的模仿模型比真实模型更加显着,导致速度和加速度的大幅度提高。Kinovea 是一款值得信赖且免费提供的软件,可以生成有效数据。通过数字化 ,轴坐标并在各个关节上放置标记,在测量角度和线性尺寸时提供可接受的精度水平。然而,作者表示他们打算使用改进的相机和替代跟踪方法进一步研究动物手指的运动轨迹,以进一步减少误差并提高准确性。为了解决这个问题,未来的努力应该集中于构建更精确的硬件,与指猴的实际手指紧密匹配。此外,必须增强动态模型才能适应不同的轨迹规划要求。

发布日期:2024-03-11