【论文阅读】一种基于经典机器学习的肌电下肢意图检测方法，用于人机交互系统
A CLASSICAL MACHINE LEARNING APPROACH FOR EMG-BASED LOWER LIMB INTENTION DETECTION FOR HUMAN-ROBOT INTERACTION SYSTEMS
原文：DOI: 10.1109/ICAS49788.2021.9551190
2021年
翻译：靠岸学术
目录
摘要
1绪论
2实验
3特征提取与学习方法
4实施策略
5结果
6结论
摘要
Surface Electromyography (sEMG)-based intention-detection systems of lower limb can intelligently augment humanrobot interaction (HRI) systems to detect subject’s walking direction prior-to or during walking. Ten Subject-Exclusive (Subj-Ex) and Generalized (Gen) Classical Machine Learning (C-ML)-based models are employed to detect direction intentions and evaluate inter-subject robustness in one knee/footgesture and three walking-related scenarios. In each, sEMG signals are collected from eight muscles of nine subjects during at least nine distinct gestures/activities. Linear Discriminant Analysis (LDA) and Random Forest (RF) classifiers, applied to the Time-Domain (TD) feature set (of the four input sets), provided the best accuracy. Subj-Ex approach achieves the highest prediction accuracy, facing occasional competition from the Gen approach. In knee/foot gesture scenario, LDA reaches an accuracy of 91.67%, signifying its applicability to robotic-assisted walking, prosthetics, and orthotics. The overall prediction accuracy among walkingrelated scenarios, though not as remarkably high as in the knee/foot gesture recognition scenario, can reach up to 75%.
Index Terms— surface EMG - Intention Detection - Direction Detection - Classical Machine Learning - intelligent HRI- Robotic-Assisted Walking
基于表面肌电图（sEMG）的下肢意图检测系统可以智能地增强人机交互（HRI）系统，以检测受试者在行走之前或行走期间的行走方向。采用了十个受试者专属（Subj-Ex）和广义（Gen）的经典机器学习（C-ML）模型，以检测方向意图，并在一个膝盖/脚部姿势和三个与行走相关的场景中评估受试者间的鲁棒性。在每个场景中，从九名受试者的八块肌肉中收集sEMG信号，这些信号至少来自九种不同的姿势/活动。应用于时域（TD）特征集（四个输入集之一）的线性判别分析（LDA）和随机森林（RF）分类器提供了最佳的准确率。Subj-Ex方法实现了最高的预测准确率，偶尔会受到Gen方法的竞争。在膝盖/脚部姿势场景中，LDA的准确率达到91.67%，表明其适用于机器人辅助行走、假肢和矫形器。与行走相关的场景中的总体预测准确率虽然没有像膝盖/脚部姿势识别场景中那样显著，但可以达到75%。
索引词— 表面肌电 - 意图检测 - 方向检测 - 经典机器学习 - 智能人机交互 - 机器人辅助行走
1绪论
包括脑瘫 (CP) 患者在内的行动不便人士，可以通过使用各种类型的机器人设备来提高生活质量，例如康复、辅助和人机交互 (HCI) 设备 [1]。为了满足用户的需求，这些机器人应该足够智能，能够检测到他们的人类伙伴的意图，从而在执行所需运动时向他们提供有益且引人入胜的反馈 [2]。基于 C-ML 方法的人类模式识别研究，采用分类方法可以追溯到 1993 年 Hudgin 的研究，该研究基于五个 TD 特征，使用多层感知器 (MLP) 分类器，从两个 sEMG 通道中对四种手势进行分类 [3]。然后，研究人员研究了具有各种特征集的其他分类器，以提高分类效果。Englehart 等人指出，特征提取和降维的性能高度依赖于分类器的结构 [4]。后来，他们证明，与一个或两个通道相比，四个通道的 EMG 数据可以显著提高分类准确率 [5]。此外，他们应用了一种称为多数投票的后处理技术来减少错误预测的数量，从而降低了预测误差 [6]。Kuzborskij 等人提出了第一个在大量手势（Ninapro 数据集上的 52 个手势）上成功实现 70-80% 分类准确率的研究。他们在一个 SVM 分类器上使用了一组从 8 个通道的肌电信号中提取的 TD 和频域 (FD) 特征 [7, 8]。Atzori 等人通过使用集成 RF 分类器在线性组合特征上实现了 75.32% 的平均准确率，从而改进了之前的研究 [9]。Gijsberts 通过结合从 sEMG 和加速度信号中提取的特征，将分类性能提高了 5% [10]。
关于使用sEMG信号控制辅助机器人的下肢手势识别和意图检测，已经有大量且不断增长的文献 [11, 12, 13, 14]。Lyons等人阐明，对于足部手势识别，可以实现超过90%的七种手势识别准确率 [15]。他们考虑了下肢模式中的等长收缩，而大多数关于小腿意图检测的研究都涉及步行练习中的等张收缩 [14]，例如步态相位识别和模式预测（坐、站、坡道上升/下降等）[16, 13]。研究人员还研究了传感器选择、融合和配置（单侧或双侧）的影响。脑电图（EEG）传感器被用于检测健康受试者执行六项运动任务的意图，以便最终与外骨骼结合进行神经康复 [17]。Zhang等人融合了来自地面反作用力（GRF）和运动学信息的机械测量数据以及神经肌肉数据，以识别多发性硬化症患者研究中的三种活动（水平地面行走、坐和站）。他们设计的系统能够可靠地预测用户在静态状态下的意图，同时也能在实际转换前约100到130毫秒正确预测活动转换 [13]。Hu等人使用双侧收集的EMG数据以及关节和肢体的运动学数据来检测运动活动之间的平滑过渡，并证明在考虑双侧传感器数据的收集方式的同时融合不同的传感器可以提高分类器预测真实活动的能力 [18]。本研究扩展了先前的下肢意图检测研究，仅依靠sEMG数据来检测更全面的手势/活动范围，这些手势/活动对应于运动不同阶段（行走之前或期间）的特定方向，通过探索涵盖广泛运动模式的场景。C-ML被用作识别用户预期方向的初步方法，并通过采用两种实施策略（Gen和Subj-Ex）来评估模型的受试者间鲁棒性。
2实验
设计了一组实验，旨在通过使用Delsys Bagnoli系统的干电极采集八通道的sEMG数据，采样率为1kHz。传感器通过[19]中提出的结构安装在优势腿的大腿和小腿上。数据从九名受试者身上收集，重复五个周期。每个周期包含至少五秒的数据，这些数据来自受试者在每个场景中执行一个随机选择的手势。该研究已获得卡尔顿大学研究伦理委员会的批准，编号为ID: 114417，并已获得所有受试者的知情同意。
在数据收集过程的早期，观察到用户在 (i) 初始意图阶段，(ii) 运动启动阶段，以及 (iii) 用户处于运动状态的阶段，其运动模式之间存在差异。训练中这些阶段之间的区别越明确，模型的信息量就越大。因此，计划了三种步行场景加上一种基于膝盖/脚部手势的验证场景，以研究每个阶段。验证场景涉及静态位置的等距膝盖/脚部手势，这些手势与现有文献中通常评估的手/臂手势非常相似[7, 9]。因此，模型在此场景中的显著性能是其适用于更复杂的手势/活动的有希望的迹象。场景详述如下，并在图 1、2 和 3 中进行了说明。在三个步行场景中，每个实验的手势都对应于 9 个分类方向之一的运动。
- 站立姿势场景（StPS）包括受试者朝着所需方向迈出一步并保持该姿势（由GUI系统显示）。相应地，此场景被归类为静态场景。
- 尝试运动场景 (AMS)：受试者想象并产生必要的力，以启动朝向所需方向的运动，而实际上并没有移动。由于没有运动，此场景也是静态的。
- 动态运动场景 (DMS)，其中受试者经历涉及受试者的整个运动过程，包括倾向、启动和以平均速度行走
- 坐姿场景 (SiPS)，其预见通过让受试者在坐姿时进行一些静态等距手势来促进模型的验证。
图 1：DMS 和 AMS 中执行的手势/活动包括：侧步、交叉步、向前、向后、内旋、外旋、坐、站和休息。
图 2：涉及以下动作的 StPS 手势：侧步、交叉步、前移、前移 2、后退、后退 2、髋关节内旋、髋关节外旋和休息。
总结：分为四个场景采集数据
3特征提取与学习方法
收集到的数据被分割成260毫秒的窗口，重叠235毫秒，并用20-450Hz的巴特沃斯带通滤波器进行滤波。特征工程已被选为特征提取方法。总的来说，与FD特征相比，TD特征在分类任务中表现出更好的性能，并且所需的计算能力更少，从而减少了实时应用的延迟[20]。为了避免冗余，同时保持模式识别任务的准确性，我们考虑了最常用的特征：平均绝对值（MAV）、过零点（ZC）、波形长度（WL）、斜率符号变化（SSC）、均方根（RMS）、积分绝对值（iEMG）和偏度（Skew）。此外，还添加了自回归系数（AR）和直方图（HIST）特征，它们可以传递信号的FD信息，以研究它们在每个组中的有效性。还应用了主成分分析（PCA），以研究其选择最重要特征并忽略不太重要特征的能力（忽略20%的特征）。表1总结了用作C-ML模型输入的特征的不同组合。
图 3：SiPS 手势包括：踝关节背屈、跖屈、内翻、外翻、外旋和内旋，膝关节外展、内收、屈曲、伸展和休息。
表1：提取的用于输入到C-ML的特征列表
C-ML 包含广泛的分类器族，它们主要建立在统计和概率推理的基础上。选择其中十个分类器来研究涉及以下方面的预期方向检测：K-最近邻 (KNN)、支持向量机 (SVM)、LDA 和二次判别分析 (QDA)、决策树 (DT)、高斯朴素贝叶斯 (GNB)、集成 Bagging 模型（由 RF 和 Bag 组成）以及集成 Boosting（由自适应 Boosting (Ada) 和梯度提升 DT (GBDT) 组成）。
4实施策略
为了推广分类器并确保其预测对受试者选择的稳健性，设计了两种实现策略。两种策略都挑选出相同的周期用于最终测试（总共五个周期），但它们训练模型的方式不同。
- 泛化 (Gen)：在剩余的四个循环中，三个循环被连接起来形成训练集，第四个循环被留作验证集。分类器通过对这四个循环中验证集的多个选择进行交叉验证来优化。报告的准确率是这些迭代的平均值。
- 主体专属（Subj-Ex）：每个分类器都按照Gen中描述的相同方式，针对每个主体分别进行训练和验证。然后，在同一主体的测试集上评估训练模型的准确性。通过平均这些个体准确性来报告模型的总体性能。
5结果
在计算出的四个特征集上应用了十个具有两种不同实现策略的 C-ML 模型，并报告了在每个四种场景的这 80 个案例中的模型准确率。图 4。描述了通过 Gen 策略在每种场景中发现的不同特征集的分析，比较的方面包括：(i) 分类器，(ii) 是否应用了 PCA，以及 (iii) 实验场景。表 2 描述了用于研究每个模型的泛化能力的两种不同策略的比较。由于 TD 特征集在所有场景中都表现出优越的性能（如图 4 所示），因此使用 TD 特征集进行此分析。由于数据集的分布几乎是平衡的，因此在 SiPS 和三个与步行相关的场景中，随机猜测正确的几率分别为 9.1% 和 11.11%。
表 2：具有 TD 特征的每种情景下模型在测试集上的准确率得分
在使用11种不同手势的SiPS中，LDA（91.67%）和RF（87.63%）分类器分别在Subj-Ex和Gen方法中获得了最高的准确率。由于在这种情况下获得了高准确率，它们可以可靠地用于各种应用。在使用9种不同手势的StPS中，LDA（75%）和RF（73.32%）分类器分别在Subj-Ex和Gen策略中获得了最高的准确率。在使用9种不同手势的AMS中，RF在Subj-Ex策略和Gen策略中分别获得了最高的准确率，分别为53.81%和51.13%。分析每个分类器在每种模式下训练的结果表明，它们在区分各种手势的能力方面存在显着差异。可以通过仔细观察实验本身来找出原因。在实验过程中，受试者被要求想象并提供所需的肌肉张力，就好像他们应该朝着特定方向移动而没有实际执行任务一样。每个人都有自己独特的表达这种意图的方式，同时避免运动。因此，预计不同受试者之间的sEMG信号存在明显的差异。这最类似于患有运动障碍的受试者的行为。因此，在这种情况下，Subj-Ex方法最有利于提高检测器的准确度。在使用9种不同活动的DMS中，RF超越了所有其他分类器，无论是在Subj-Ex还是Gen策略下训练，准确率分别为64.8%和61.89%。由于这些活动更复杂的动态特性，预计在这种情况下准确率会较低。固有的动态复杂性使得C-ML分类器难以关联不同的数据窗口并区分相关的任务。总的来说，RF、LDA、Bag和SVM是所有场景中的佼佼者。然而，RF几乎是我们所有场景中最好的分类器。此外，StPS、AMS和DMS场景中要识别的手势数量
图 4：当采用 Gen 策略时，在每种情景下选择不同特征集时，每个分类器的性能。
narios低于SiPS。然而，这些分类器在区分不同类型的手势方面能力仍然不足。其原因可以追溯到用于记录表面肌电图数据的肌肉。SiPS手势涉及最多的肌肉是被监测的那些。另一方面，在其他情况下，许多手势起源于髋部肌肉。由于受试者需要额外负担来连接髋部肌肉，因此在实验期间未监测这些肌肉。缺乏来自髋部肌肉的信息削弱了分类器区分高度依赖于它的任务的能力。
6结论
总的来说，SiPS模型被证明可以可靠地促进膝盖/足部相关的智能辅助设备和操纵杆式控制器，特别是如果受试者经过训练，更频繁地使用他们的足部手势作为控制器。当专门针对每个受试者进行训练时，AMS相关的场景会更好。该研究提出了一个有希望的早期概念验证。尽管在StPS、AMS和DMS中没有达到非常高的检测精度，但可以通过使用额外的处理方法（例如，多数投票或高级决策算法）并谨慎地执行可以增强人机交互的安全程序，进一步调整检测模型，使其适当地集成到机器人辅助行走设备的控制系统中。此外，预计增加髋部肌肉数据或融合来自其他来源（如IMU或力传感器）的数据将提高准确性。可以研究深度学习方法，以在泛化性和适应性方面改进C-ML，并通过提供迁移学习框架来提高预测准确性。